Вот как я очищаю 99% веб-сайтов с помощью LLM

• Веб-скрапинг страдает от искусственного интеллекта, особенно в 2024 году.  

• Традиционно компании тратят много ресурсов на сбор данных из Интернета.  

• Веб-сайты имеют уникальную структуру, что усложняет создание универсальных скриптов.  

• Веб-скрапинг используется для генерации лидов, поиска потенциальных клиентов и мониторинга цен.  

• Малые и средние бизнесы ищут экономически эффективные решения.  

• Современные технологии, такие как большие языковые модели, значительно снизили стоимость создания веб-скраперов.  

• Веб-сайты без аутентификации или оплаты требуют индивидуальной сборки.  

• Большие языковые модели могут извлекать структурированную информацию из неструктурированных данных.  

• Логические способности агентов позволяют создавать сложные сценарии поведения.  

• Некоторые веб-сайты требуют сложного взаимодействия для получения данных.  

• Примеры: новостные сайты с регистрацией и всплывающими окнами.  

• Необходимость имитации человеческого взаимодействия для сбора данных.  

• Использование сервисов для оптимизации веб-контента для больших языковых моделей.  

• Примеры: FileL, Gina, SpiderCloud.  

• Каждый сервис имеет свои преимущества и недостатки в зависимости от конкретного использования.  

• Пример агентского скребка, использующего FileL и Gina для получения данных.  

• Возможность оптимизации хранения памяти агента и интеграции с новыми источниками данных.  

• Призыв присоединиться к сообществу для получения шаблона агента и подробной разбивки кода.  

• Веб-сайты могут требовать сложного взаимодействия, включая всплывающие окна и аутентификацию.  

• Для имитации взаимодействия используются программы, такие как Selenium, Pop Tier и D драматург.  

• Основная сложность - найти нужные элементы пользовательского интерфейса для взаимодействия.  

• Agent QL помогает идентифицировать нужные элементы пользовательского интерфейса и DOM.  

• Это позволяет выполнять веб-автоматизацию, включая закрытие всплывающих окон и регистрацию на сайтах.  

• Использование SDK Agent QL позволяет передавать элементы пользовательского интерфейса на естественном языке.  

• Демонстрация использования Agent QL для создания веб-скрапинга.  

• Пример: создание скребка для сайта вакансий Ideal List.  

• Сайт требует авторизации и борьбы с ботами, что будет показано в примере.  

• Установка плагина для Chrome и настройка API-ключа.  

• Пример запроса данных о вакансиях и их фильтрации.  

• Возможность добавления дополнительных описаний для элементов пользовательского интерфейса.  

• Использование Python для автоматизации входа на сайт.  

• Настройка виртуальной среды и установка необходимых библиотек.  

• Создание скрипта для ввода электронной почты и нажатия кнопки "Продолжить".  

• Запуск скрипта в D драматурге для имитации веб-сессии.  

• Ввод электронной почты и установка флажка "Я не робот".  

• Сохранение состояния входа в файл для последующего использования.  

• Успешный вход на сайт с использованием скрипта.  

• Сохранение состояния входа в файл для загрузки в будущем.  

• Подготовка к созданию сценариев для сообщений о вакансиях.  

• Вызов функции для размещения содержимого четырех объявлений о вакансиях на разных страницах.  

• Создание двух новых запросов: запрос о вакансиях и запрос о разбивке по страницам.  

• Получение данных о вакансиях и нажатие кнопки "Следующая страница" для перехода на следующую страницу.  

• Проверка изменения URL для определения завершения страницы.  

• Добавление учетных данных для Airtable в файл env.  

• Создание нового токена в Builder Hub и импорт пакета py air table.  

• Создание функции для отправки данных в таблицу Airtable.  

• Вызов функции в основной функции для сохранения данных.  

• Открытие списка идей и проверка добавления данных в таблицу Airtable.  

• Автоматическое добавление данных на каждую страницу.  

• Возможность применения сценария к другим сайтам размещения вакансий.  

• Планирование выполнения задания для постоянного обновления данных.  

• Примеры автоматизации веб-сайтов: сбор и сравнение данных о ценах.  

• Вторая категория сложных веб-сайтов с предсказуемым процессом.  

• Третья категория: сценарии с расплывчатыми запросами и сложным рабочим процессом.  

• Пример автономного веб-агента от Multi-On.  

• Возможность бронирования билета и завершения рабочего процесса.  

• Преодоление препятствий и использование API для автоматизации.  

• Рекомендации по использованию агентов и моделей для создания веб-сценариев.  

• Призыв к подписке на сообщество для получения помощи и обновлений.  

• Обещание продолжать публиковать интересные эксперименты.