Кейс по использованию Google Indexing API

Мы знаем, насколько вебмастеров и оптимизаторов волнует проблема индексации страниц в Google, поэтому, увидев этот кейс, не могли пройти мимо. 

Эксперты ANT-TEAM рассказывают пошаговые действия, которые помогли ввести большое количество страниц в индекс с помощью индексатора Google.

Описанный метод подойдет вебмастерам, так как требует доступа к Google Search Console.

Дано: интернет-магазин  с 10 000 страниц в индексе из 70 000. 

Задача: проиндексировать остаток. 

Стандартные методы ускорения индексации

Чтобы поисковые системы индексировали сайт, нужно выполнить несколько условий:

• оптимизированный качественный контент;
• микроразметка страниц;
• настройка заголовков Last Modified;
• внутренняя перелинковка (в данном случае для ИМ применялись плитки тегов в категориях товаров);
• стабильный хостинг;
• оптимизация коммерческих факторов (для Google—  YMYL);
• правильные robots.txt и sitemap.

Все эти способы были применены до середины 2021 года. Вот так изменилась видимость сайта в ПС  Яндекс:

Но, как видим, проделанная работа никак не повлияла на индексацию в ПС Google:

На скриншоте видно, что в индексе Google остаются все те же 10 000 страниц, которые были там изначально.

Google Indexing API

В начале сентября 2021 года создано ТЗ программисту на индексатор на основе вот этого поста в Telegram (здесь ссылка на код, инструкция по запуску и дополнительные рекомендации). Можно воспользоваться вот этой обновленной версией.

Этот индексатор позволяет отправлять в Google сразу по 200 запросов. Но при задаче на индексацию в 60 000 страниц это очень низкий лимит. До начала работы с API надо было настроить аналитику и донастроить индексатор.

Подготовка к использованию индексатора

Для запуска нового индексатора создан актуальный список страниц, которые необходимо отправить Google-боту. В этом кейсе использовали такой набор инструментов:

• парсер — для отправки запросов к реальной выдаче Google;
• XEvil — для обхода капчи;
• прокси-ферма — модемы с симками, чтобы снизить количество капч.

Результат выглядел так:

На индексацию отправлялись ссылки, где в индексе стоял 0.

Также надо настроить аналитику, чтобы отслеживать ход индексации через API:

• список ссылок с датами отправки на индексацию;
• парсинг и визуализация логов сервера.

Чтобы отслеживать, когда ссылка отправлена и когда бот ее посетил, был создан дашборд в Google Data Studio:

Донастройка индексатора

По умолчанию через Google Indexing API можно отправлять только по 200 ссылок в день. Ознакомиться с квотами и способом увеличения можно в блоге Google.

Чтобы обойти это ограничение, команда ANT-TEAM.RU  попробовала регистрацию нового аккаунта Google и подключение его к индексатору. Для этого потребовалось изменить исходный код индексатора. Его модификация доступна здесь. Для работы кода в корне необходимо создать папку “json_keys”, куда затем поместить все json-ключи, выданные Google после регистрации новых аккаунтов. 

Это позволило сразу увеличить квоту. Каждый новый аккаунт добавлял +200 ссылок на отправку в день. Далее индексатор работал с 32 аккаунтами Google, чтобы отправлять в день 6000+ ссылок.

Результаты работы индексатора отображены на скриншоте из Google Search Console:

Результаты использования Google Indexing API

Основная цель — ввести в индекс Google как можно больше страниц. После запуска массовой отправки ссылок с 32 аккаунтов Google проиндексировал 24 000 страниц за 10 дней:

Вот как изменилась видимость сайта в Google:

Алгоритм по настройке Google Indexing API:

• создание нового аккаунта Google;
• активация API;

• создание проекта;
• создание сервисного аккаунта:

• заполнение всех данных, выбор статуса OWNER;
• в созданном аккаунте перейти в раздел Keys, добавить новый в формате json, сохранить файл ключа в соответствующую папку скрипта;
• добавить сервисную почту созданного аккаунта в Search Console (Настройки — Пользователи и разрешения).

Данный метод позволяет быстро проиндексировать большой объем страниц. Исходная версия кода поможет тем, кто работает с небольшим количеством страниц и вкладывается в стандартную квоту  — 200 ссылок за один день. 

---

Этот кейс также доступен в Дзене Миралинкс!