Фильтруем ботов, краулеров и прочий мусор с помощью CloudFlare

• В видео рассматривается сервис "Хлам Fleur" для настройки защиты от ботов.  

• Обсуждаются два типа ботов: поведенческие и сервисы парсинга и анализа данных.  

• В сервисе "Хлам Fleur" создаются правила для фильтрации ботов.  

• Правила могут быть созданы вручную или с использованием готовых кодов.  

• В сервисе настраивается защита от ботов, использующих протокол HTTP 1 или HTTP 1.1.  

• Можно выбрать блокировку или отправку капчи для проверки.  

• После создания правил можно проанализировать их эффективность.  

• В сервисе есть возможность отслеживать количество прямых заходов и отказов ботов.  

• В видео рассказывается о том, как ограничить доступ к сайту для людей, которые заходят на сайт напрямую по прямой ссылке.  

• Для этого используется Джефф Челлендж, который блокирует 170 человек, которые заходили до этого.  

• В видео объясняется, как заблокировать различные краулеры, такие как Megaindex, поисковых систем, таких как Байду, и парсеров, таких как Screaming Frog и XPEKE Spider.  

• Создается два правила для блокировки плохих user agent.  

• В видео объясняется, как можно заблокировать людей из других стран, используя опцию "исключения".  

• Для этого можно использовать сервис Яндекс Метрика, чтобы изучить географическое распределение посетителей.  

• В видео демонстрируется, как проверить работоспособность фильтров, используя сервис Burton.  

• Также демонстрируется, как обойти защиту, используя разные user agent.  

• В видео предлагается использовать сервис Anti Bot Cloud для дополнительной защиты от ботов.  

• Ссылка на настройку сервиса Anti Bot Cloud будет предоставлена в описании видео.