Документация / Правила и фильтры
Известные боты
Поисковики и сервисы проходят без проверки, подделки под них — нет.
Поисковым роботам и сервисам, которые показывают превью ссылок, проверка браузера не нужна: они проходят на сайт сами. Но только настоящие — бот, который просто назвался Googlebot, проходит проверку как все.
Какие боты известны
| Зачем | Боты |
|---|---|
| Поиск | Googlebot, Bingbot, YandexBot, DuckDuckBot, Baiduspider, Applebot, PetalBot |
| Превью ссылок | TelegramBot, Twitterbot, facebookexternalhit, LinkedInBot, WhatsApp, Pinterestbot |
| SEO-сервисы | AhrefsBot, SemrushBot |
Как мы отличаем настоящего бота
- В User-Agent есть имя бота.
- Адрес принадлежит сети владельца бота.
- Обратная DNS-запись адреса ведёт в домен владельца (например,
googlebot.com), а прямая запись этого имени возвращает тот же адрес.
Проверка идёт в фоне, поэтому самый первый запрос нового робота ещё не подтверждён. Результат запоминается на сутки. Telegram проверяется по сети владельца.
Кого пропускать
Домен → Настройки → Дополнительно → «Какие боты идут мимо проверки». По умолчанию пропускаются все боты из списка. Снимите отметки с ненужных — например, с SEO-сервисов, если они нагружают сайт.
Без проверки — не значит без ограничений
Подтверждённые боты проходят только проверку браузера. Чёрный список, лимиты, WAF и ваши правила блокировки для них работают.
В своих правилах есть поле Проверенный бот: так можно, например, открыть отдельный путь только для поисковиков или закрыть его от них.
Блок по отпечатку клиента
Отпечаток JA4 описывает, как программа устанавливает TLS-соединение. У ботнета он обычно одинаковый, даже когда User-Agent меняется. В Настройки → Дополнительно → «Отпечатки клиентов в блок» можно перечислить отпечатки целиком или по началу (t13d1516h2_*), до 500 штук. Такие клиенты получают 403, а при повторах их соединения отбрасываются ещё в ядре узла. Отпечатки видны в журнале запросов.
VPN-приложения
Если на сайте раздаются подписки VPN, приложения вроде Happ, sing-box, Clash, Hiddify и v2ray не умеют проходить проверку браузера. Включите их в Защита → VPN-приложения: они будут проходить без проверки, но только на путях подписок (по умолчанию /sub/*, /api/sub/* и ссылки-токены) и только простыми GET-запросами с ограничением частоты. Браузер, который притворяется таким приложением, получит 403.