Как заблокировать ботов с помощью Cloudflare Firewall?

Каждый день ваш сайт посещают тысячи поисковых роботов/роботов, и очень немногие из них полезны. Некоторые из них считаются плохими ботами или спамом.

Как узнать, какие боты посещают ваши сайты?

Нет простого ответа. Чтобы узнать это, вам нужно просмотреть access.logфайл вашего веб-сервера и найти столбец User-Agent. Допустим, вы хотите вывести список всех ботов, кроме Googlebot, тогда вы можете запустить следующую команду на своем веб-сервере, где существует файл access.log.

grep bot access.log |grep -v Googlebot

Вы удивлены, увидев их так много?

Я тоже был удивлен, когда проверял свои журналы.

root@gf-prod:nginx# grep bot access.log |grep -v Googlebot | wc -l
616834
root@gf-prod:nginx#

Прежде чем что-либо блокировать, вам необходимо просмотреть их, чтобы убедиться, что вы не блокируете их, что может потребоваться для вашего бизнеса. И есть много способов сделать это, но я всегда предпочитаю блокировать их на краю.

Причина проста — зачем позволять запросам попадать на веб-сервер, если они вам вообще не нужны.

Как и в заголовке, давайте узнаем, как заблокировать ботов, которые вам не нужны, с помощью брандмауэра Cloudflare.

Примечание . Если вы ведете крупный бизнес, вам может быть интересна служба управления ботами Cloudflare .

• Войти в Cloudflare
• Перейдите на вкладку «Брандмауэр», затем «Правила брандмауэра» и создайте правило брандмауэра.

• Введите название правила
• Выберите «Поле» в качестве пользовательского агента, «Оператор» в качестве «содержит» и «значение» в качестве имени бота, которого вы хотите заблокировать.
• Используйте условие или, чтобы добавить несколько ботов в одно правило.

Примечание . Боты, упомянутые на изображении выше, приведены только для иллюстрации. Не обязательно, это плохие боты.

• а затем выберите действие как блокировать и развернуть
• Если вы знаете выражение, вы также можете написать его, щелкнув «Редактировать выражение» вместо того, чтобы следовать графическому интерфейсу. После развертывания вы должны увидеть только что созданное правило в списке, а статус должен быть включен, чтобы быть эффективным.

Легко, не так ли?

Что еще можно сделать с правилами брандмауэра?

Ну и многое другое для большей безопасности. Давайте посмотрим на следующие условия блокировки.

• Если запрос поступает с определенного ASN, IP-адрес
• Соответствующий файл cookie, реферер, ключевые слова X-Forwarded-for
• Ограничение обслуживания запросов по всей стране
• Отключите нежелательные методы HTTP , такие как PUT, DELETE, OPTIONS, PURGE и т. д.

Все, что вы можете сделать, это либо через GUI Builder, либо написать свое выражение. Применение изменений практически мгновенно.

Заключение

Правила брандмауэра Cloudflare — отличный способ добавить защиту для ваших веб-приложений на границе сети без простоев. Если вы еще этого не сделали, вы также можете рассмотреть возможность использования Cloud WAF для повышения безопасности приложений и защиты от DDoS и других сетевых уязвимостей.