Обучение парсингу на Python #1 | Парсинг сайтов | Разбираем методы библиотеки Beautifulsoup

• Обзор библиотеки BeautifulSoup для парсинга веб-страниц.  

• Подготовка заготовки страницы для парсинга.  

• Установка и импорт библиотеки BeautifulSoup.  

• Преобразование HTML-кода в дерево объектов Python.  

• Создание объекта BeautifulSoup и указание парсера.  

• Обзор документации библиотеки BeautifulSoup.  

• Методы find и find_all для поиска элементов на странице.  

• Метод text для получения содержимого тега.  

• Методы fine и fine_all для поиска элементов по атрибутам.  

• Фильтрация элементов по атрибутам и классам.  

• Использование метода text для получения текста из элементов.  

• Применение методов для перебора элементов в глубину.  

• Передача словарей для фильтрации элементов.  

• Пример использования словаря для поиска элементов с атрибутом.  

• Практическое применение метода find_all для сбора элементов.  

• Методы find_parent и find_parent_sibling для перемещения по DOM-дереву.  

• Пример использования метода find_parent для получения родительского элемента.  

• Методы next и prev для перемещения по элементам.  

• Извлечение данных и атрибутов с помощью метода get.  

• Пример получения адресов ссылок и их атрибутов.  

• Комбинирование методов для парсинга и перемещения по HTML-коду.  

• Атрибуты можно парсить не только с помощью метода get, но и обращаясь к нужному атрибуту.  

• Beautiful Soup не справляется с поиском по полному содержанию текста, поэтому используется модуль регулярных выражений re.  

• Метод compile позволяет искать слова с помощью регулярных выражений.  

• Метод compile ищет слова с большой буквы, что не всегда подходит.  

• Для поиска нескольких элементов используется метод findAll.  

• Регулярное выражение должно учитывать регистр символов для точного поиска.  

• Исходный файл был немного изменен и сохранен для удобства.  

• Видео рассмотрело основные методы работы с Beautiful Soup.  

• В следующих видео будет практика парсинга и работа над боевыми проектами.  

• Весь код из видео доступен для скачивания на GitHub и Telegram канале.