Уже в течение двух лет в Google наблюдается проблема с индексацией страниц. Новые страницы в некоторых случаях очень сложно попадают в индекс. Первый сбой в индексации зарегистрирован 5 апреля 2019 года во время планового обновления дата-центров.

Что случилось в апреле 2019 года

Индекс Google содержит сотни миллионов страниц. Чтобы показать ответ пользователю за доли секунды, система обращается в ближайший дата-центр. Вот такие центры Google расположены по всему миру:

Чтобы показывать корректный ответ пользователю из любой точки мира, данные во всех центрах должны быть идентичны. Во время очередного обновления данных 5 апреля 2019 года часть индекса была утеряна. Google оперативно отреагировал, принял меры по восстановлению индекса и разработал стратегию предотвращения подобных случаев. 

Следующий сбой в индексации Google произошел 22 мая 2019 года, когда системам не хватило памяти для обработки новых URL. Это привело к тому, что часть новых URL система не обработала.

Аналогичный сбой случился и в августе 2019 года. 

С тех пор вебмастера и оптимизаторы наблюдают постоянные сложности в индексации как страниц своих проектов, так и страниц со статьями для продвижения. 

В индекс сложно входят страницы вне зависимости от таких факторов:

  • возраст и авторитетность сайта;
  • масштаб — плохо индексируются страницы как больших интернет-магазинов, так и небольших информационных сайтов;
  • качество контента — проблемы испытывают и сайты, которые пишут оригинальный, полезный и качественный контент;
  • краулинговый бюджет;
  • дублированный контент.

Это “боль” оптимизаторов и вебмастеров, для решения которой нет единого на 100% эффективного метода.

Поэтому мы приняли решение помогать всеми силами вебмастерам и оптимизаторам добавлять страницы в индекс Google.

Что мы предлагаем

За время проблем с индексацией мы опробовали несколько методов возвращения статей в индекс. Результат на разных контрольных группах варьировался —  40-70% непроиндексированных страниц с разными статусами все таки вошли в индекс.

Мы понимаем, что метод не дает 100% возврата (иначе давно бы нами применялся). 

Мы не заявляем что это революционный тайный метод нашей разработки о котором никто не знает и вообще… 

Но это лучше, чем ничего не делать. 

Поэтому теперь мы будем:

  • делать дополнительную выборку статей;
  • выбирать те, которые не вошли в индекс Google в течение срока, данного системной на индексацию, или выпавшие из него;
  • за свой счет применять меры для помощи в переиндексировании.

Для этого оптимизатору не нужно подавать никаких заявок и делать дополнительных пометок при размещении. Услуга предоставляется по умолчанию и бесплатно. 

Мы надеемся, что общими усилиями мы сможем ввести в индекс Google большую часть “не принятых” страниц.

Напомним —  закрытие материала от индексации, отсутствие пути с главной являются нарушением системы и приравниваются к пропаже статьи. Речь в новости идет именно о том материале, который вылетел/не попал в индекс из-за нынешней политики поисковика при соблюдении всех правил нашей системы.

Вебмастеру

Вебмастерам мы рекомендуем добавлять проблемные статьи на переобход гуглом. Почему-то  рекомендуют именно в порядке как на скриншотах.

Пример был взят на скорую руку, проблема, о которой пишет Гугл — мобильная версия хелпа.

Пробовать делать дополнительную перелинкову статьи с другими материалами сайта или проставить дополнительные внешние ссылки.

В случае неиндексации можно переразместить статью по другому адресу, главное не забудьте сменить этот адрес в системе.

В общем, продолжать делать то, что многие делали для этого, а мы будем стараться вместе с вами.

Кейс по Google Indexing API

Друзья, мы добавили в блог кейс, как при помощи индексатора Google удалось вогнать в индекс большую часть страниц интернет-магазина.


Читайте нас в Дзене!

14+
Поделиться: