Защита интернет-магазина от ботов и парсеров

Интернет-магазин атакуют не только DDoS-ом. Каждый день по нему ходят парсеры цен, боты, которые выкупают дефицитный товар, и скрипты, которые проверяют краденые карты на вашей оплате. Сайт при этом работает, но вы теряете деньги и доверие платёжной системы. Разберём, какие боты ходят по магазинам и как их остановить, не отпугнув покупателей.

Какие боты ходят по магазинам

• Парсеры цен. Конкуренты и агрегаторы выкачивают каталог по несколько раз в день. Нагрузка на сервер растёт, а ваши цены оказываются у конкурента раньше, чем у покупателя.
• Боты-перекупщики. Добавляют дефицитный товар в корзину пачками и держат его, пока живой покупатель видит «нет в наличии».
• Кардинг. Скрипт прогоняет украденные карты мелкими оплатами. Платёжная система видит волну отказов и может заблокировать ваш магазин.
• Подбор паролей. Связки логинов и паролей из чужих утечек проверяют на вашей форме входа и забирают бонусы и сохранённые карты.
• Злоупотребление промокодами и регистрацией. Тысячи новых аккаунтов ради скидки на первый заказ.
• Флуд поиска и фильтров. Самые тяжёлые запросы к базе. Сотня таких в секунду, и каталог перестаёт открываться.

Почему капча на всём сайте не выход

Капча на каждой странице отсекает ботов вместе с половиной покупателей и мешает поисковым роботам. Защищать нужно точечно: там, где бот зарабатывает или где запрос дорогой для сервера.

Что закрыть в первую очередь

• Оплата и вход. Лимит попыток с одного адреса и проверка браузера для подозрительных запросов. Человек проходит её за секунду, скрипт без настоящего браузера останавливается.
• Корзина. Лимит добавлений в корзину с одного адреса за минуту. Покупатель столько не добавит, а перекупщик упрётся.
• Поиск и фильтры. Лимит запросов на адрес и кеш для популярных запросов, чтобы флуд не доходил до базы.
• Регистрация и промокоды. Проверка браузера на форме и ограничение регистраций с одного адреса и подсети.
• Каталог. Парсинг полностью не остановить: всё, что видит покупатель, может скачать и бот. Но можно сделать его медленным и дорогим, ограничив число страниц в минуту с одного адреса.

Кого пускать без проверки

• Поисковые роботы. Google, Яндекс и Bing нужно пропускать, иначе магазин выпадет из выдачи. Проверяйте их по сетям, а не по User-Agent: его подделывает любой парсер.
• Платёжные системы. Уведомления об оплате приходят с серверов платёжки и проверку браузера не проходят. Для пути колбэка нужно правило-исключение, а на сервере обязательно проверять подпись.
• Маркетплейсы и сервисы доставки. Если они забирают выгрузку товаров, пропустите их по адресу или по пути файла выгрузки.

Как найти ботов в логах

Посмотрите, с каких адресов больше всего запросов к поиску и корзине:

grep -E '/search|/cart' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -20

Если сверху адреса дата-центров и хостингов, это почти наверняка боты: покупатели заходят с домашнего интернета и мобильных сетей. Больше команд для разбора логов есть в статье «Как понять, что сайт под DDoS-атакой».

Как это настраивается у нас

• Лимит запросов с одного адреса в минуту для всего сайта и проверка браузера на отдельных путях: оплата, вход, корзина, поиск.
• Свои правила по пути, методу, стране и AS, например проверка браузера для запросов к корзине из сетей дата-центров.
• Списки адресов прокси, Tor и дата-центров, которые можно проверять или блокировать.
• Роботы поисковиков проходят без проверки, вебхуки платёжек пропускаются правилом «Пропустить».
• Журнал решений, где видно, кого и каким правилом остановили.

Общие приёмы против ботов описаны в статье «Защита сайта от ботов», тарифы на странице «Защита сайта от DDoS».

Подключить магазин