Парсинг недвижимости Авито, Циан, Яндекс. Часть I

• Евгений Лукин рассказывает о задаче настроить мгновенное оповещение о новых объявлениях на трех главных досках недвижимости.  

• Цель: получать уведомления о новых объявлениях в Telegram с указанием стоимости, названия и ссылки на объявление.  

• Критерии отбора: объявления должны быть от собственников.  

• Парсер должен собирать свежие объявления с первой страницы Авито.  

• Парсер должен проверять наличие объявлений в базе данных и отправлять новые уведомления в Telegram.  

• Евгений начинает писать парсер, используя библиотеки requests и select-xpath.  

• Евгений создает функцию для получения HTML-кода страницы.  

• Использует библиотеку requests для выполнения запросов и парсер select-xpath для анализа HTML.  

• Парсер получает заголовки объявлений и их ID.  

• Евгений объясняет, почему классический парсинг HTML может быть неэффективным.  

• Предлагает использовать JSON для получения данных, так как сайты используют JSON для ускорения загрузки.  

• Евгений показывает, как найти JSON на странице и извлечь данные.  

• Евгений использует библиотеку urllib.parse для перевода JSON в словарь.  

• Преобразует JSON в словарь, очищая его от лишних пробелов и кавычек.  

• Сохраняет словарь в файл для дальнейшего анализа.  

• Евгений открывает файл с JSON и форматирует его.  

• Находит нужные данные, такие как ID объявления и его описание.  

• Создает функцию для получения данных из JSON и отправляет их в Telegram.  

• Использование готового JSON-файла для экспериментов.  

• Извлечение данных из JSON без лишних запросов на сервер.  

• Указание кодировки и распечатка ключей.  

• Создание условий для ключей с названием "сингл пейдж".  

• Извлечение данных из ключа "дейта".  

• Проверка на изменения данных и использование префикса "б икс".  

• Извлечение ключа "каталог" из ключа "дейта".  

• Распечатка данных и проверка на ошибки.  

• Добавление условия для ключа "айди" для получения офер.  

• Создание переменной "ас" для хранения атомов.  

• Получение ключа "айди" из каждого атома.  

• Распечатка списка айдишников.  

• Извлечение стоимости квартиры из ключа "прайс дитейлит".  

• Получение названия объявления из ключа "тайтл".  

• Извлечение ссылки на объявление из ключа "юрл-паф".  

• Извлечение времени публикации из ключа "тайм-стемп".  

• Преобразование даты в формат даты.  

• Добавление адреса сайта в ключ "сайт".  

• Парсинг данных и форматирование даты.  

• Создание функции для форматирования даты.  

• Распечатка и проверка данных.  

• Создание списка офер и добавление данных через функцию append.  

• Передача данных в функцию html.  

• Запуск парсера и проверка данных.  

• Добавление элемента "адрес" в список офер.  

• Извлечение адреса из блока "адрес детеллит".  

• Добавление ключа "гео" для получения города и адреса.  

• Написание парсера для сайтов ЦИАН и Яндекс Недвижимость.  

• Извлечение данных из блока "недвижимость в москве".  

• Добавление фильтра для аренды от собственника.  

• Сортировка объявлений по дате добавления.  

• Получение 1027 объявлений, из которых 20 минут назад, 5 минут назад и т.д.  

• Использование API для получения данных об объявлениях.  

• Создание нового скрипта и импорт библиотеки requests.  

• Получение JSON-ответа и работа с ним.  

• Поиск ID объявлений и их обработка.  

• Получение данных о квартирах, таких как адрес, телефоны и описание.  

• Создание функции для получения всех объявлений.  

• Создание парсера для Яндекс Недвижимости.  

• Получение данных о квартирах и их обработка.  

• Создание функции для получения всех объявлений и их данных.  

• Создание функции для получения данных о каждом объявлении.  

• Обработка дат публикации и обновления объявлений.  

• Тестирование и отладка парсера.  

• Настройка оповещений в Telegram.  

• Создание базы данных для хранения объявлений.  

• Настройка сервера для ежеминутного парсинга площадок.  

• Использование прокси для обхода блокировок.  

• Призыв к подписке и обратной связи.