Парсинг Динамических Сайтов в Python | Парсер OZON

• Автор рассказывает о предыдущем видео, где парсил сайт Хабр.  

• Динамические сайты, такие как YouTube и Ozon, требуют другого подхода к парсингу.  

• Полезная информация на таких сайтах появляется не сразу, а в зависимости от действий пользователя.  

• Для парсинга динамических сайтов есть два пути: универсальный, но медленный, и быстрый, но не всегда доступный.  

• Автор рассказывает о HTTP-запросах и их методах GET и POST.  

• Метод GET используется для запроса данных, а POST — для отправки данных на сервер.  

• HTTP-запросы позволяют передавать данные через URL-строку.  

• Метод GET позволяет получать данные, а POST — отправлять большие объемы информации.  

• Для парсинга сайтов часто используются JSON-объекты.  

• Веб-драйвер Selenium позволяет автоматизировать веб-приложения и парсинг.  

• Selenium управляет браузером через программный интерфейс.  

• Автор предлагает использовать Selenium для парсинга Ozon.  

• Автор рассказывает о необходимых Python-модулях и установке веб-драйвера для Chrome.  

• Ozon использует защиту от скрапинга, поэтому нужно обходить её.  

• Для обхода блокировки можно подменять параметры браузера.  

• Прогрузка контента на сайте Ozon требует прокрутки страницы вниз.  

• Автор написал функцию для прокрутки страницы на 500 пикселей с задержкой в 100 мс.  

• Ozon имеет сложную структуру HTML-кода, и имена классов часто меняются.  

• Для работы с HTML-кодом используется BeautifulSoup.  

• Автор создал скрипт для поиска элементов на странице.  

• Скрипт ищет элементы с классом "container" и использует рекурсивный поиск.  

• Автор сортирует найденные элементы по параметру "fresh\_isle".  

• Найденные элементы содержат секции с карточками товаров.  

• Проверка данных с помощью класса Diff.  

• Анализ классов и секций данных.  

• Подготовка к получению информации о товарах.  

• Использование Selenium для получения данных.  

• Проблемы с запросами GET и POST.  

• Поиск подходящего запроса для получения данных.  

• Использование POSTMAN для получения данных.  

• Анализ JSON-ответа и извлечение полезной информации.  

• Использование ключа SEO для получения данных.  

• Проблемы с использованием стандартного модуля Requests.  

• Нахождение модуля для скрапинга с поддержкой RLS.  

• Написание функции для получения подробной информации о товаре.  

• Проверка данных на наличие ограничений.  

• Сохранение данных в виде словаря.  

• Запуск кода и проверка результатов.  

• Парсинг товаров по категориям.  

• Проблемы с разбивкой результатов на страницы.  

• Реализация рекурсивной функции для парсинга.  

• Переход на следующую страницу поиска.  

• Получение ссылок на карточки товаров.  

• Копирование кода для работы с карточками.  

• Переход на следующую страницу и увеличение списка товаров.  

• Проверка работы парсера.  

• Получение списка товаров в формате словарей.  

• Возможности использования данных.  

• Примеры применения: создание телеграм-канала, сортировка товаров в Excel.  

• Призыв к подписке и благодарности.  

• Призыв к подписке и лайкам.  

• Упоминание о парсинге Wildberries.  

• Прощание и благодарность за просмотр.