Кейс по использованию Google Indexing API

Мы знаем, насколько вебмастеров и оптимизаторов волнует проблема индексации страниц в Google, поэтому, увидев этот кейс, не могли пройти мимо. 

Эксперты ANT-TEAM рассказывают пошаговые действия, которые помогли ввести большое количество страниц в индекс с помощью индексатора Google.

Описанный метод подойдет вебмастерам, так как требует доступа к Google Search Console.

Дано: интернет-магазин  с 10 000 страниц в индексе из 70 000. 

Задача: проиндексировать остаток. 

Стандартные методы ускорения индексации

Чтобы поисковые системы индексировали сайт, нужно выполнить несколько условий:

  • оптимизированный качественный контент;
  • микроразметка страниц;
  • настройка заголовков Last Modified;
  • внутренняя перелинковка (в данном случае для ИМ применялись плитки тегов в категориях товаров);
  • стабильный хостинг;
  • оптимизация коммерческих факторов (для Google—  YMYL);
  • правильные robots.txt и sitemap.

Все эти способы были применены до середины 2021 года. Вот так изменилась видимость сайта в ПС  Яндекс:

видимость сайта в Яндексе, после оптимизации

Но, как видим, проделанная работа никак не повлияла на индексацию в ПС Google:

индексация в гугле после оптимизации

На скриншоте видно, что в индексе Google остаются все те же 10 000 страниц, которые были там изначально.

Google Indexing API

В начале сентября 2021 года создано ТЗ программисту на индексатор на основе вот этого поста в Telegram (здесь ссылка на код, инструкция по запуску и дополнительные рекомендации). Можно воспользоваться вот этой обновленной версией.

Этот индексатор позволяет отправлять в Google сразу по 200 запросов. Но при задаче на индексацию в 60 000 страниц это очень низкий лимит. До начала работы с API надо было настроить аналитику и донастроить индексатор.

Подготовка к использованию индексатора

Для запуска нового индексатора создан актуальный список страниц, которые необходимо отправить Google-боту. В этом кейсе использовали такой набор инструментов:

  • парсер — для отправки запросов к реальной выдаче Google;
  • XEvil — для обхода капчи;
  • прокси-ферма — модемы с симками, чтобы снизить количество капч.

Результат выглядел так:

выборка страниц, ссылки на которые нужно отправить в Google Indexing API

На индексацию отправлялись ссылки, где в индексе стоял 0.

Также надо настроить аналитику, чтобы отслеживать ход индексации через API:

  • список ссылок с датами отправки на индексацию;
  • парсинг и визуализация логов сервера.

Чтобы отслеживать, когда ссылка отправлена и когда бот ее посетил, был создан дашборд в Google Data Studio:

дашборд по аналитике индексации через Google Indexing API

Донастройка индексатора

По умолчанию через Google Indexing API можно отправлять только по 200 ссылок в день. Ознакомиться с квотами и способом увеличения можно в блоге Google.

Чтобы обойти это ограничение, команда ANT-TEAM.RU  попробовала регистрацию нового аккаунта Google и подключение его к индексатору. Для этого потребовалось изменить исходный код индексатора. Его модификация доступна здесь. Для работы кода в корне необходимо создать папку “json_keys”, куда затем поместить все json-ключи, выданные Google после регистрации новых аккаунтов. 

Это позволило сразу увеличить квоту. Каждый новый аккаунт добавлял +200 ссылок на отправку в день. Далее индексатор работал с 32 аккаунтами Google, чтобы отправлять в день 6000+ ссылок.

дашборд по аналитике индексации через Google Indexing API

Результаты работы индексатора отображены на скриншоте из Google Search Console:

Результаты индексации через Google Indexing API в Search Console

Результаты использования Google Indexing API

Основная цель — ввести в индекс Google как можно больше страниц. После запуска массовой отправки ссылок с 32 аккаунтов Google проиндексировал 24 000 страниц за 10 дней:

Результаты индексации через Google Indexing API в Search Console

Вот как изменилась видимость сайта в Google:

Результаты индексации через Google Indexing API видимость

Алгоритм по настройке Google Indexing API:

активация API
  • заполнение всех данных, выбор статуса OWNER;
  • в созданном аккаунте перейти в раздел Keys, добавить новый в формате json, сохранить файл ключа в соответствующую папку скрипта;
  • добавить сервисную почту созданного аккаунта в Search Console (Настройки — Пользователи и разрешения).

Данный метод позволяет быстро проиндексировать большой объем страниц. Исходная версия кода поможет тем, кто работает с небольшим количеством страниц и вкладывается в стандартную квоту  — 200 ссылок за один день. 


Этот кейс также доступен в Дзене Миралинкс!

8+
Поделиться: