Веб-сбор данных с помощью n8n и Puppeteer

• Сбор данных с веб-сайтов, в частности, адресов электронной почты.  

• Подготовка двух узлов HTTP-запросов для веб-сайтов workflows.com и scrape.workflows.com.  

• Узел HTTP-запроса возвращает HTML-представление веб-сайта.  

• На веб-сайте workflows.com адрес электронной почты скрыт в теге HTML.  

• На веб-сайте scrape.workflows.com адрес электронной почты скрыт за кодом JavaScript.  

• Использование регулярных выражений для извлечения адресов электронной почты.  

• Подключение узлов HTTP-запроса с помощью одного и того же кода.  

• Проблема с отсутствием адреса электронной почты на веб-сайте scrape.workflows.com.  

• Puppeteer как API для управления безголовым Chrome.  

• Создание нового проекта в VS Code и установка Puppeteer.  

• Добавление кода для управления браузером и извлечения текста с веб-сайта.  

• Изменение кода для работы в облачных функциях Google.  

• Создание новой функции в Google Cloud и настройка параметров.  

• Развертывание функции и проверка её работы.  

• Использование URL-адреса функции для очистки веб-сайта scrape.workflows.com.  

• Успешное извлечение адреса электронной почты.  

• Завершение рабочего процесса и благодарность за просмотр.