Google опубликовал предупреждение о том, что активный пользовательский спам может стать причиной ручных санкций для сайта. В основном под угрозой сайты с возможностью взаимодействия: блоги с комментариями, выгрузка файлов, форумы, поиск по сайту. Некачественный UGC контент нарушает Рекомендации для вебмастеров Google.
Как спамный UGC контент может навредить сайту
Некачественный, автоматический контент от пользователей может привести к следующим результатам:
- спамный UGC контент в некоторых разделах может привести к снижению позиций всего сайта;
- некачественный UGC контент может навредить пользователям, которые попадут на опасные фишинговые или вирусные сайты, что неизменно отразится на репутации вашего ресурса;
- повышение нагрузки на сайт и хостинг за счет трафика;
- Google может исключить такие страницы из выдачи, даже не учитывая качество основного контента.
Google приводит несколько рекомендаций, как ограничить вероятность пользовательского спама на сайтах.
Блокировка автоматического создания аккаунтов
Механизм создания и подтверждения аккаунта должен быть доступен только человеку. Возможность автоматического создания повышает риск размножения бот-аккаунтов на вашем ресурсе. Чтобы ограничить ботов, можно использовать самое простое и бесплатное решение — CAPTCHA.
Другой действенный способ защитить сайт от ботов — подтверждение создания аккаунта через почту или другие внешние каналы данных. Такой метод также позволяет настроить блокировку регистрации с подозрительных адресов.
Модерация пользовательского контента
Одним из эффективных методов становится модерация комментариев и контента, который публикуют пользователи. Пользователь должен заработать определенный рейтинг на сайте, чтобы появилась возможность публиковать ссылки. Также ограничьте на сайте анонимный постинг, любые сообщения новых пользователей должны проходить модерацию прежде, чем станут доступны другим пользователям.
Мониторинг и зачистка спама
Google рекомендует несколько способов мониторинга UGC спама:
1. Search Console — отслеживать вероятный спам можно в разделах безопасности и ручных санкций.
2. Проверять сайт в поиске, используя оператор site: вместе с коммерческими или адалтовыми ключами, например: site: домен + смотреть онлайн, домен + viagra.
Также рекомендуется отслеживать лог-файлы на предмет всплеска трафика, в особенности на только что созданные страницы. Особое внимание стоит уделить новым страницам, которые могли создать пользователи, с ключевыми словами в URL. Найти такие страницы можно в Google Analytics.
Используйте доступные плагины, которые будут блокировать страницы, созданные пользователями и оптимизированные/переоптимизированные под нерелевантные ключевые слова из сфер адалта, гемблинга, фармы.
Настройте Оповещения Google. Задайте оповещения по принципу: домен сайта + нежелательное ключевое слово. Тогда инструмент будет уведомлять каждый раз, когда такая страница появится в индексе и будет доступна в поиске.
Определение и блокировка спамных аккаунтов
Проверяйте регулярно лог действий пользователей, отдельное внимание уделяйте:
- многочисленным попыткам регистраций за короткий промежуток времени;
- большому количеству запросов с одного IP-адреса;
- подозрительным или бессмысленным логинам — автогенерированные абракадабры или коммерческие ключи smotrionlinebezregistracii.
Ограничение индексации пользовательского контента
Если сайт предполагает создание аккаунтов, то лучше изначально закрывать такие страницы от индексации с помощью noindex:
Или же через файл robots.txt:
Дополнительным методом защиты становятся атрибуты UGC или nofollow, чтобы показать боту тип страницы или комментария.
Организация пользовательского контента на сайте
С помощью софта злоумышленники могут создать тысячи спам-страниц на сайте. Поэтому Google рекомендует для всего пользовательского контента создать отдельную папку. Если такие страницы будут частью обычной категории на сайте, их обнаружение станет проблематичным.
Если же создать для UGC отдельную директорию, то мониторинг станет проще и эффективнее. Например:
неправильно
site.com/luchshaya-vaigra-deshevo
правильно
site.com/user-directory/content-1
Обновление софта и применение автоматических систем обнаружения спама
Не игнорируйте обновление CMS, особенно безопасности. Злоумышленники могут воспользоваться уязвимостями старых версий, чтобы “проникнуть” на сайт. Устанавливайте антиспам-плагины, которые будут оповещать и блокировать попытки спама на сайте.
Эта новость также доступна на Дзен-канале Miralinks!
Организация пользовательского контента на сайте в отдельный каталог не поможет, не верьте Гуглу, это попытка сделать хорошую мину при плохой игре, пиар-ход по сути. Тем более, большинство спама сыпется в комментах, которые являются частью страницы или на форумах.
Сам забил на свой форум, который задолбался чистить от спама не только я, но и еще 5 модераторов. В итоге просто закрыл регистрацию и теперь форум уже несколько лет постепенно умирает.
Единственное решение — вырезать все ссылки и картинки везде + все равно премодерация UGC (уже спамят и текстом).
Отложенная публикация комментариев например не во всех проектах возможна как тогда обезопасить себя?