Публикация обновлена 17 ноября 2021 года. Мы добавили опыт и рекомендации экспертов MOZ по исправлению ошибок индексации: “обнаружена, не проиндексирована”, “просканирована, не проиндексирована”.
Вебмастера часто сталкиваются с проблемой отказа индексации страниц Google-поиском. В Search Console появляется ошибка “обнаружена, не проиндексирована”, “просканирована, не проиндексирована”. При этом не указываются ни приблизительные сроки индексации, ни возможные причины, тогда как в других поисковых системах проблемы с индексацией этих же страниц нет. Мы собрали несколько способов, которые помогают вебмастерам быстрее проиндексировать страницы с такой ошибкой.
Что говорит Google об ошибке “обнаружена, не проиндексирована”
Cправка Google указывает, что:
Исходя из этого вебмастеру не нужно предпринимать никаких действий, чтобы проиндексировать страницы. Но по сообщениям на форумах вебмастеров и оптимизаторов сроки индексации могут растягиваться от нескольких недель до никогда.
Так как Google не дает практических путей решения проблемы, вебмастера экспериментируют. Вот самые эффективные методы.
Основные причины и решения ошибок индексации страниц
Некоторые вебмастера полагают, что причиной проблем с индексацией становятся лишь технические факторы страницы. Но это не всегда и в большинстве случаев не так. Простой эксперимент MOZ показал, что 15% страниц популярных интернет-магазинов США не попадают в индекс.
Ошибка: обнаружена, не проиндексирована
Это одна из самых сложных ошибок для устранения, так как причинами может быть что угодно: от качества контента до краулингового бюджета.
Чаще такая ошибка возникает на товарных страницах интернет-магазинов.
Краулинговый бюджет — это максимальное количество страниц одного сайта, которое может просканировать Google за один визит. Большое количество новых и/или обновленных страниц приводит к тому, что Google не справляется с объемом и оставляет остаток на потом.
Вторая распространенная причина появления ошибки — шаблонность страниц. Google определяет, что страницы определенного шаблона на сайте низкого качества, и предпочитает не индексировать их.
Работа с этой ошибкой требует определенных знаний и опыта. Что нужно проверить:
- нет ли определенного шаблона страниц, которые Google не индексирует. Это важно, так как в индекс могут не попадать целые категории товаров;
- очередь новых страниц на индексацию;
- краулинговый бюджет, который вполне могут занимать страницы результатов поиска или фильтров, где Google тратит много времени.
Далее опишем несколько нестандартных решений для ошибки “обнаружена, не проиндексирована”.
1. Перенос на новый URL
Зарубежный вебмастер Дэн Шур (@dan_shure в Твиттере) решил проблему с непроиндексированными страницами путем переноса контента на новый URL. При этом контент оставался неизменным (скопирован), а вот сам URL немного изменен. Для эксперимента вебмастер оставил одну страницу с этой ошибкой без изменений, вторую перенес на новый адрес. Страница на новом URL попала в индекс в течение нескольких часов, а неизмененная страница так и осталась с ошибкой (на тот момент уже более 10 дней).
Вебмастер отмечает, что подача заявок на переобход и отправка URL на индексацию вручную результатов не давали.
Джон Мюллер прокомментировал ситуацию так:
Такая ошибка часто возникает на сайтах, находящихся на грани допустимого качества. Это значит, что вам надо убедить Google в том, что страница стоит добавления в индекс.Для этого сайт должен быть “улетным” (awesome).
Это самая размытая рекомендация Google, потому как указанная характеристика весьма субъективна.
Мюллер предупреждает, что технические манипуляции, чтобы ввести страницу в индекс, не всегда эффективны. Так как добавленная страница может точно также через несколько дней снова вылететь из индекса.
К слову, вторая страница из эксперимента также успешно была проиндексирована после переноса на новый URL.
2. Обновить контент
Другие вебмастера видят проблему в самом контенте, что подтверждает рекомендацию Мюллера. Обнаруженные и не проиндексированные страницы содержат мало контента, он недостаточно информативен и полезен.
Рекомендация: дополнить страницу уникальным контентом в достаточном объеме (от 1000 символов). При этом контент должен быть полезным и информативным, а не техническим дополнением.
3. Проверить контент на уникальность
Мы не знаем, как Google определяет уникальность. Но даже разные инструменты могут показать разный процент проверки одного и того же текста. Ошибку “обнаружена, не проиндексирована” чаще получают страницы с контентом пограничной уникальности. Если какой-то из инструментов показывает низкий процент, стоит доработать страницу, дополнив ее уникальным и полезным текстом.
4. Получить внешнюю ссылку на страницу
Переход по внешним ссылкам — один из методов Google для обнаружения новых страниц. При этом ссылка с хорошего, авторитетного сайта оценивается поиском как голос “за” сайт, что станет дополнительным маркером важности непроиндексированной страницы.
Экспериментировать можно как с внутренними ссылками, прокачав неиндексируемую страницу линками с главной и тематических страниц, так и внешними ссылками.
5. Нагрузка на сервер
Это самый очевидный способ устранения проблемы с индексацией, который работает, но не во всех случаях.
Если страница получила ошибку “обнаружена, не проиндексирована”, стоит проверить хостинг и нагрузку на сервер и устранить причины ее повышения.
Ошибка: просканирована, но пока не проиндексирована
Google указывает, что робот просканировал страницу, но она не внесена в индекс. При этом отправлять повторный запрос на сканирование не надо. Из опыта экспертов MOZ такая ошибка часто вызвана проблемой качества содержания. Учитывая темпы появления новых интернет-магазинов, Google становится более избирательным в том, что вносит в индекс, а что нет.
Если страница получила такой статус, то надо проверить следующее:
- уникальность основных тегов Title и Description. а также основного содержания страницы
- не скопирован ли контент из внешних источников
- не дублируется ли контент в пределах сайта
- заблокирован ли доступ Google к некачественному, неоригинальному контенту на сайте.
Расскажите, случалась ли в вашей практике такая ошибка? Какие методы помогли ее устранить?
Эта статья также доступна на нашем Дзен-канале!
Сделал новый сайт namorskom.com Первая страница быстро зашла в индекс. Все последующие залетать не хотят. Контент отличается, дополнил, переработал. Bing проиндексировал. Может, дело в недостатке ссылок?
У меня выпала страница из яндекса, и ни как назад не заходит. Через яндекс вемастер добавлял на переобход но результата нет. Что посоветуете?
Проанализировать страницу, насколько она полезна, дополнить контентом и для начала поставить несколько внутренних ссылок на нее.
Обновить контент (дополнить, улучшить его, сделать более объемным — вариантов много), сделать внутреннюю перелинковку, чтобы на эту страницу вели ссылки с других страниц, запостить ссылку в твиттер, заново отправить на переобход.
Плюс можно добавить пару ссылок с пресс релизов, пусть даже эти ссылки будут nofollow.
Если на страницу нет ссылок с плохих сайтов (рекомендую проверить), то попробуйте поставить на страницу ссылку с главной своего сайта или сквозняк (можно временно, до индексации). Или просто наставьте ссылок с социалок. Если ничего не помогло за пару недель, то можно просто переместить страницу на другой URL, часто это помогает. Еще лучше совместить с доработкой контента.