Парсинг Динамических Сайтов в Python | Парсер OZON

• Автор канала ранее парсил сайт Хабр и получил просьбы разобрать парсинг динамических сайтов.  

• Решено разобрать парсинг Ozon на YouTube, а Wildberries на Boosty.  

• Динамические сайты меняют контент в зависимости от действий пользователя.  

• Примеры: YouTube, ВКонтакте, Ozon, Wildberries.  

• Стандартный парсинг не подходит для таких сайтов.  

• Два пути: универсальный медленный и быстрый, но не всегда доступный.  

• HTTP запросы: GET и POST.  

• GET для получения данных, POST для отправки данных.  

• Postman помогает изучать GET и POST запросы.  

• На Ozon сложно найти предсказуемые запросы.  

• Веб-драйвер управляет браузером через программный интерфейс.  

• Selenium автоматизирует взаимодействие с браузером.  

• Пример: открытие сайта, прокрутка страницы, извлечение HTML кода.  

• Установка веб-драйвера для Chrome.  

• Ozon имеет защиту от скрапинга и сложную структуру страницы.  

• Использование модуля для подмены параметров браузера.  

• Настройка параметров для обхода блокировки.  

• Прокрутка страницы вниз для загрузки большего количества товаров.  

• Использование JavaScript для прокрутки.  

• Ozon меняет имена классов HTML тегов.  

• Использование BeautifulSoup для анализа HTML кода.  

• Пример скрипта для поиска информации на Ozon.  

• Использование методов BeautifulSoup для извлечения данных.  

• Проверка класса O8G23.  

• Поиск классов на странице.  

• Всего шесть классов, последняя секция.  

• Прохождение по секциям и карточкам товаров.  

• Запись имени товара и ссылки.  

• Получение описания, артикула, стоимости и изображения.  

• Анализ запросов сайта Ozon.  

• Использование Postman для получения данных.  

• Получение ключа SEO для получения полной информации о товаре.  

• Использование модуля для обхода защиты от скрапинга.  

• Написание функции для получения подробной информации о товаре.  

• Проверка товаров с ограничением 18+.  

• Запись информации о товаре в виде словаря.  

• Запуск кода и проверка данных.  

• Сохранение товаров в список и ретер.  

• Парсинг товаров по поиску.  

• Рекурсивная функция для парсинга поисковых страниц.  

• Получение ссылки на следующую страницу поиска.  

• Переход на уровень карточек товаров.  

• Запись данных карточек.  

• Рекурсивный вызов функции для парсинга следующей страницы.  

• Написание парсера для Ozon.  

• Получение списка товаров с артикулом, названием, описанием и ценой.  

• Идеи использования данных: телеграм-канал, таблица в Excel.  

• Призыв к подписке и лайку.  

• Упоминание ролика с парсингом Wildberries.  

• Ссылка на GitHub и Boosty.