Парсинг недвижимости Авито, Циан, Яндекс. Часть II (База данных SQLite)

• Евгений Лукин продолжает проект по мониторингу недвижимости.  

• В первой части были написаны три парсера для сбора данных с Авито, Циан и Яндекс.Недвижимость.  

• В этой части будет подключена база данных для хранения объявлений и улучшен пасинг Авито.  

• Евгений планирует использовать базу данных SQLite для хранения данных.  

• Будут храниться ссылки на объявления, дата публикации, стоимость, адрес, площадь, количество комнат, этаж и количество этажей в доме.  

• Создается новая папка и файл для базы данных.  

• Импортируется библиотека SQLAlchemy и создается соединение с базой данных.  

• Создается объект курсора для управления базой данных.  

• Создается таблица оферс с полями: айди, дата, цена, адрес, площадь, количество комнат, этаж и количество этажей.  

• Создается функция для проверки наличия объявления в базе данных.  

• Функция проверяет наличие айди объявления и записывает данные в базу данных, если их нет.  

• Данные из JSON-файла парсера обрабатываются и записываются в базу данных.  

• Функция возвращает словарь с данными объявления для отправки в базу данных и Telegram.  

• Данные включают айди, дату публикации, цену, адрес, площадь, количество комнат, этаж и количество этажей в доме.  

• Данные форматируются для единообразия и отправляются в Telegram.  

• Создаем команду запроса для базы данных.  

• Добавляем значения из словаря офер в таблицу оферс.  

• Используем именованные переменные для передачи данных.  

• Выполняем команду сохранения и закрываем соединение.  

• Добавляем сообщение о добавлении записи в базу данных.  

• Проверяем наличие записи в базе данных.  

• Убираем брейк и запускаем скрипт для добавления всех объявлений.  

• Обновляем базу данных и проверяем наличие всех объявлений.  

• Наводим порядок в коде, создаем функции для работы с данными.  

• Импортируем необходимые библиотеки и соединяемся с базой данных.  

• Используем контекстный менеджер для автоматического закрытия соединения.  

• Выполняем сброс данных в базу данных.  

• Создаем функцию для получения данных из словаря офер.  

• Проверяем правильность заполнения данных и распечатываем результаты.  

• Отправляем данные в телеграмм и вносим их в базу данных.  

• Проверяем наличие всех данных в базе данных.  

• Обновляем базу данных для всех объявлений.  

• Открываем парсер Авито и очищаем данные.  

• Используем мобильную версию сайта для получения данных.  

• Очищаем данные и продолжаем работу с парсером.  

• Переход в блок фильтра и показ трех тысяч объявлений.  

• Использование JSON для получения объявлений без парсинга HTML.  

• Создание нового скрипта для работы с JSON на Авито.  

• Импорт библиотеки Requests и вызов функции getJSON.  

• Очистка запроса от ненужных параметров и слэшей.  

• Настройка параметров для получения объявлений с первой страницы.  

• Создание переменной response и вызов метода get из библиотеки Requests.  

• Получение JSON и его обработка.  

• Создание функции offers для работы с данными объявлений.  

• Фильтрация объявлений по типу и исключение баннеров.  

• Создание условия для работы с объявлениями типа "атом".  

• Подключение к базе данных и работа с данными объявлений.  

• Преобразование данных из JSON в словарь.  

• Добавление данных в базу данных и их сортировка.  

• Проверка новых объявлений на Циан и Яндекс Недвижимости.  

• Создание таблицы с данными объявлений.  

• Возможность фильтрации по различным параметрам.  

• Планы на настройку оповещений в Telegram и получение обратной связи от зрителей.