Парсинг Avito.ru при помощи Python 3

• Олег Молчанов представляет проект по парсингу сайта Авито с использованием библиотек requests и BeautifulSoup.  

• Создается файл скрипта и точка входа для вызова функции main.  

• Устанавливаются необходимые библиотеки через pip.  

• Используется Firebug для анализа HTML-кода сайта.  

• Выбираются параметры для парсинга: название объявления, ссылка, цена и магазин.  

• Фильтруются нерелевантные объявления, такие как очки виртуальной реальности и Москва-Билайн.  

• Определяется количество страниц на сайте.  

• Создается функция для получения HTML-кода страницы.  

• Используется библиотека requests для получения HTML-кода.  

• Создается объект BeautifulSoup для анализа HTML-кода.  

• Используются методы find и find_all для поиска элементов с определенным классом.  

• Находится последняя страница и извлекается количество страниц.  

• URL-ы разбиваются на части для генерации URL-ов для парсинга.  

• Используется генератор для создания списка URL-ов.  

• Генерируются URL-ы для первой и третьей страниц.  

• Создается функция для парсинга HTML-кода страниц.  

• Используется BeautifulSoup для анализа HTML-кода.  

• Находятся объявления в контейнере с классом "каталог-лист".  

• Фильтруются ненужные элементы, такие как кнопки и Яндекс Директ.  

• Находятся объявления с классом "атом-атом-тейбл".  

• Извлекаются свойства рекламных объявлений, такие как контекст-флаер.  

• Получили список всех объявлений в таблице.  

• Используем методы для работы с элементами супа.  

• Интересуют теги: диф, фото, значок, звездочки, дискрипшн.  

• Используем try-except блоки для обработки исключений.  

• Если у объявления нет заголовка или цены, скрипт прервется.  

• Ищем дискрипшн класс и обрабатываем исключения.  

• Ищем теги с классом дискрипшн и извлекаем данные.  

• Используем метод стрип для удаления ненужных символов.  

• Получаем текст заголовка и ссылки.  

• Ищем теги с классом эбаут и извлекаем цену.  

• Используем метод стрип для удаления пробелов и переносов.  

• Ищем теги с классом дейта и извлекаем метро.  

• Упаковываем данные в словарь с ключами: тайтл, прайс, метро, юра.  

• Используем функцию write для сохранения данных.  

• Импортируем необходимые библиотеки и создаем функцию для записи данных.  

• Фильтруем объявления по наличию поискового запроса в названии.  

• Используем регулярное выражение для проверки наличия тегов.  

• Отфильтровываем не релевантные объявления.  

• Записываем данные в файл и выполняем скрипт.  

• Получаем меньше результатов после фильтрации.  

• Рассматриваем возможность парсинга изображений для получения данных.