Почему сайты в Яндексе резко меняют позиции: работа многорукого бандита

Если по определенному документу недостаточно данных, поисковая система может показать его выше в поисковой выдаче, чтобы собрать достаточно пользовательских сигналов для более точной оценки релевантности. Вот почему иногда страницы сайтов появляются на некоторое время в топе Яндекса, а затем резко теряют (или не теряют) позиции. Мы изучили официальный документ Яндекса, который рассказывает о применении технологии многорукого бандита. 

Любой документ в Яндексе ранжируется по двум наборам сигналов: 

  • фактическим, основанным на контенте и технических данных страницы
  • пользовательским, основанным на реакции пользователей на документ

Такой подход применяется к ранжированию сайтов по уже известным системе поисковым запросам. Когда же запрос относительно новый, то поисковая система использует фактические сигналы. Затем, когда собирается достаточное количество пользовательских сигналов рейтинг документов меняется (повышается или понижается). 

Документы, чей рейтинг понизился, заменяются другими документами, чей рейтинг по фактическим сигналам соответствует топу. И снова запускается процесс сбора пользовательских сигналов. 

После того как алгоритм соберет достаточное количество пользовательских сигналов и сформирует топ выдачи, ранжирование не меняется по двум причинам:

  • алгоритм продолжает получать подтверждения высокой релевантности документов на основе пользовательского выбора
  • отсутствие документов с недостаточным набором пользовательских сигналов и соответствующим рейтингом для топа

Фактические сигналы не отражают полностью все аспекты документа, которые влияют на выбор и удовлетворение пользователя, поэтому некоторые документы с недостаточным набором пользовательских сигналов, оказываются более релевантными запросу, чем те, что отображаются в топе.

Традиционный подход к ранжированию исключает возможность низко-ранжируемым документам дособирать достаточное количество пользовательских сигналов. Именно поэтому имеет смысл показывать такие документы выше, чтобы получить больше реакций пользователей по ним. Этот принцип лежит в основе алгоритма многорукого бандита.

Такой подход может снизить качество поискового ответа, показывая менее релевантные документы в топе.

В  алгоритм многорукого бандита попадают не все документы, то есть не каждая страница может неожиданно появиться в топе, а только те, по которым система не имеет достаточно данных для ранжирования. В части случаев фактического набора сигналов достаточно, чтобы четко определить позиции страницы. 

При этом удовлетворенность пользователя определяется по следующим факторам:

  • последний клик в выдаче
  • клик с достаточным последующим временем пребывания на странице

Как проявляется действие многорукого бандита на практике

Вебмастер или оптимизатор может заметить, что одна или несколько страниц по популярным запросам вышли в топ поиска. Затем также неожиданно страницы возвращаются на прежние позиции или меняют позиции (проседают/повышаются/редко, но закрепляются в топе поиска). По наблюдениям, страницы, выкинутые в топ, часто проваливаются за топ-30.

Первые подобные изменения в выдаче были отмечены летом 2015 года, а уже осенью Яндекс опубликовал в официальном блоге объяснение изменений в выдаче и применение нового подхода к ранжированию.

Многорукий бандит может привести к краткосрочному снижению релевантности и качество поисковой выдачи по запросу с целью повышения общего качества поискового ответа. Новый сайт заменяет один из качественных, проверенных документов, тогда как сам может не соответствовать интересу и ожиданиям пользователя. 

С другой стороны такой подход позволяет поддерживать актуальность поисковой выдачи, то есть проверять, не появились ли другие более качественные, свежие, релевантные документы по запросу. 

Многорукий бандит также делает процесс ранжирования более объективным и позволяет новым документам “проявить себя”. Если документ соберет качественный набор пользовательских сигналов, тогда его постоянные позиции вырастут. Шансы на закрепление в топе минимальные, так как для определения позиции используются как фактические сигналы (контентные и технические параметры сайта), так и поведенческие.

Традиционный подход к ранжированию, в котором учитывается только информационная и техническая составляющая сайтов, консервирует поисковую выдачу.

Многорукий бандит применяется не к каждому запросу и не к каждому случаю обращения пользователя к поисковой системе. Алгоритм работает дозированно, чтобы поддерживать оптимальное качество выдачи.

Как оптимизатору и вебмастеру использовать возможности многорукого бандита

Алгоритм учитывает три фактора:

  • клик
  • последний клик в выдаче
  • время, проведенное на странице

На клик пользователя влияет описание сайта и его заголовок в поисковой выдаче, дополнительные данные, которые пользователь может увидеть в выдаче Яндекса, дополнительные знаки (выбор пользователей, турбо-страницы, метка официальности сайта). Поэтому единственное, что может сделать вебмастер — дополнить сниппет сайта максимально полезной информацией. 

Так как невозможно предположить, какие страницы попадут в многорукий бандит, оптимизация title, description и дополнительных данных сайта в выдаче должна стать основной работы с поисковой оптимизацией страниц.

Повлиять физически на исход эксперимента невозможно. То есть, попробовать подкрутить переходы, клики, нарастить хорошие поведенческие невозможно. Алгоритм учитывает референсные значения — средние показатели сайтов на данной позиции в паре запрос-документ. 

Изучить технический вопрос работы алгоритма можно в документе Gathering Additional Feedback on Search Results by Multi-Armed Bandits with Respect to Production Ranking

Выводы

Многорукий бандит — часть основного алгоритма ранжирования Яндекса, применяется дозировано с тем, чтобы предотвратить консервацию поисковой выдачи и поддерживать ее актуальность.

Вебмастера и оптимизаторы должны уметь отличать результаты  работы алгоритма от результатов собственных действий. Алгоритм выводит в топ одну страницу по конкретному запросу, получает по ней отклик пользователей и пересчитывает ее рейтинг. В указанном выше документе эксперимент с документами проводился в течение 10 дней. На какой период выбрасываются страницы в естественных условиях, не известно. Основное отличие работы алгоритма от действий оптимизатора/вебмастера — резкий выход в топ одной страницы, тогда как позиции остальных страниц сайта остались неизменными. 

Сотрудники Яндекса подчеркивают, что поиск давно применяет персонализацию выдачи. Это значит, что по одному и тому же запросу поисковая система одномоментно может показывать разный набор сайтов. Поэтому вебмастерам и оптимизаторам не стоит сильно ориентироваться на топовые позиции сайта при оценке его работы, а полагаться на общий объем органического трафика. 


Этом материал также доступен на Дзен-канале Miralinks!

8+
Поделиться: