TurtleGuard

Документация / Правила и фильтры

Известные боты

Поисковики и сервисы проходят без проверки, подделки под них — нет.

1 минута чтенияОбновлено 07.11.2026

Поисковым роботам и сервисам, которые показывают превью ссылок, проверка браузера не нужна: они проходят на сайт сами. Но только настоящие — бот, который просто назвался Googlebot, проходит проверку как все.

Какие боты известны

ЗачемБоты
ПоискGooglebot, Bingbot, YandexBot, DuckDuckBot, Baiduspider, Applebot, PetalBot
Превью ссылокTelegramBot, Twitterbot, facebookexternalhit, LinkedInBot, WhatsApp, Pinterestbot
SEO-сервисыAhrefsBot, SemrushBot

Как мы отличаем настоящего бота

  1. В User-Agent есть имя бота.
  2. Адрес принадлежит сети владельца бота.
  3. Обратная DNS-запись адреса ведёт в домен владельца (например, googlebot.com), а прямая запись этого имени возвращает тот же адрес.

Проверка идёт в фоне, поэтому самый первый запрос нового робота ещё не подтверждён. Результат запоминается на сутки. Telegram проверяется по сети владельца.

Кого пропускать

Домен → Настройки → Дополнительно → «Какие боты идут мимо проверки». По умолчанию пропускаются все боты из списка. Снимите отметки с ненужных — например, с SEO-сервисов, если они нагружают сайт.

Без проверки — не значит без ограничений

Подтверждённые боты проходят только проверку браузера. Чёрный список, лимиты, WAF и ваши правила блокировки для них работают.

В своих правилах есть поле Проверенный бот: так можно, например, открыть отдельный путь только для поисковиков или закрыть его от них.

Блок по отпечатку клиента

Отпечаток JA4 описывает, как программа устанавливает TLS-соединение. У ботнета он обычно одинаковый, даже когда User-Agent меняется. В Настройки → Дополнительно → «Отпечатки клиентов в блок» можно перечислить отпечатки целиком или по началу (t13d1516h2_*), до 500 штук. Такие клиенты получают 403, а при повторах их соединения отбрасываются ещё в ядре узла. Отпечатки видны в журнале запросов.

VPN-приложения

Если на сайте раздаются подписки VPN, приложения вроде Happ, sing-box, Clash, Hiddify и v2ray не умеют проходить проверку браузера. Включите их в Защита → VPN-приложения: они будут проходить без проверки, но только на путях подписок (по умолчанию /sub/*, /api/sub/* и ссылки-токены) и только простыми GET-запросами с ограничением частоты. Браузер, который притворяется таким приложением, получит 403.