Парсинг динамических сайтов на Python. Интенсив по парсеру на Python за 3 дня

• Ведущий представляет себя и объявляет о начале второго дня интенсива.  

• Он напоминает о том, что все участники могут оставить свои контактные данные в чате для обратной связи.  

• Ведущий предлагает участникам написать в чате, на какой день интенсива они пришли.  

• Он также просит участников рассказать о своих целях и задачах на интенсиве.  

• Ведущий представляет спикера - Михаила Овчинникова, главного методиста технического направления Skillbox.  

• Михаил рассказывает о том, как использовать Selenium для парсинга динамических веб-сайтов.  

• Ведущий объясняет, как скачать и настроить Python и Selenium на компьютере.  

• Он также предлагает участникам выбрать сайт для парсинга и предлагает свои варианты.  

• Видео объясняет, как использовать веб-инспектор для изучения работы веб-сайтов.  

• В примере используется инструмент "network" для поиска запросов к сайту.  

• Автор исследует сайт "Авито" и находит информацию о вакансиях, автомобилях и других данных.  

• Используется функция "fetch" для копирования информации из запроса "листинг" и использования ее в коде.  

• В видео демонстрируется процесс парсинга веб-сайтов с использованием Python и библиотеки requests.  

• Автор объясняет, как использовать функцию fitch для выполнения запросов и получения данных с веб-сайтов.  

• Автор демонстрирует, как использовать функцию fitch для получения данных о Lamborghini с сайта Auto.ru.  

• Он также показывает, как можно использовать цикл for для обработки полученных данных и вывода информации о каждом автомобиле.  

• Автор предлагает установить библиотеку ipython и продолжить практическую часть занятия.  

• Он просит зрителей оставить комментарии в чате, если они уже получили консультацию по обучению в Skillbox.  

• Видео рассказывает о том, как попасть на закрытую распродажу курсов Skillbox, получить бесплатную карьерную консультацию и скидку в 10 тысяч рублей.  

• Для этого нужно пройти по ссылке и заполнить форму с контактными данными.  

• Обучение в Skillbox включает в себя программы трудоустройства, практику на реальных кейсах бизнеса, закрытые распродажи для участников интенсивов, курсы в подарок, год английского языка в подарок, отсрочку первого платежа до полугода и другие бонусы.  

• Обучение проходит в несколько этапов: просмотр видеоматериалов, практика, проверка куратором, доступ к материалам курсов навсегда.  

• Центр карьеры Skillbox помогает с трудоустройством, подготовкой резюме и портфолио, проводит тестовые собеседования и ищет вакансии.  

• Все это доступно для участников интенсивов Skillbox.  

• Автор показывает, как установить и настроить Python 3.10.5 в Windows.  

• Он объясняет, что нужно скопировать путь установки Python и создать новый проект в Python.  

• Автор объясняет, как подключить библиотеку Selenium и Chrome Driver для автоматизации тестирования.  

• Он также показывает, как создать новый проект в Python и импортировать необходимые инструменты.  

• Автор запускает браузер Chrome и показывает, как использовать Selenium для автоматизации его поведения и получения информации с сайта.  

• Он также демонстрирует, как использовать Selenium для поиска и ввода текста в поле поиска на сайте.  

• Автор объясняет, как использовать Selenium для поиска элементов на веб-странице.  

• Он копирует элемент с помощью Selenium и импортирует его в переменную.  

• Затем он использует функцию "send keys" для отправки текста в элемент.  

• Автор объясняет, что иногда элементы могут появляться не сразу, и поэтому необходимо использовать функцию "wait for element to be present".  

• Он показывает, как использовать эту функцию для ожидания появления элемента.  

• Автор демонстрирует, как использовать Selenium для парсинга информации с веб-страницы.  

• Он находит элемент с информацией о зарплате и количестве вакансий с максимальной зарплатой.  

• Затем он использует регулярные выражения для фильтрации только чисел из строки.  

• Автор показывает, как использовать функцию "next element" для поиска следующего элемента в дереве элементов.  

• Он демонстрирует, как использовать эту функцию для поиска элемента с информацией о количестве вакансий с максимальной зарплатой.  

• Автор комментирует скрипт, который не работает, и объясняет, что нужно искать блок с уровнем дохода и внутри него группу фильтров.  

• Он также упоминает, что нужно использовать advanced исследование для более детального анализа сайта.  

• Автор объясняет, что Selenium - мощный инструмент для автоматизации веб-скрейпинга и парсинга.  

• Он демонстрирует, как использовать Selenium для ожидания появления элемента на странице и как использовать различные условия ожидания.  

• Автор упоминает о подключении Telegram-бота для получения информации о зарплате.  

• Он призывает зрителей оставить обратную связь и поделиться своими мыслями о интенсиве.