Парсер сайтов и файлов — парсинг интернет-магазинов в Excel

• Игорь, администратор сайта Excel VBA, рассказывает о программе для загрузки данных из интернет-магазина в Excel.  

• Цель: создание файла с кодом товара, названием, описанием, ценой и ссылкой на фото.  

• Пример интернет-магазина: книжный магазин Одиссей.  

• Программа для скачивания и установки.  

• Важная информация о разблокировке файла и работе с антивирусом.  

• Запуск программы и настройка макросов.  

• Создание и настройка нового парсера.  

• Включение опции выполнения подстановки данных в Excel.  

• Выбор режима исходных данных: убрать данные с листа Excel или фиксированное исходное значение.  

• Загрузка главной страницы сайта.  

• Поиск категорий и страниц результатов.  

• Прогрузка каждой страницы результатов и поиск ссылок на товары.  

• Базовые знания HTML для работы с парсером.  

• Поиск тегов и идентификаторов.  

• Идентификация ссылок по имени класса или идентификатору.  

• Поиск тегов и фильтрация ненужных ссылок.  

• Удаление ссылок с текстом "новинки" и "распродажа".  

• Создание под уровня для параллельной обработки данных.  

• Использование под уровня для параллельной загрузки данных.  

• Извлечение ссылки и текста ссылки.  

• Сохранение ссылки в переменную для дальнейшего использования.  

• Добавление действия для вывода информации на прогресс-бар.  

• Отображение информации о выполняемом действии.  

• Использование переменной для отображения прогресса.  

• Поиск ссылок пейджера и их загрузка.  

• Создание нового под уровня для обработки страниц результатов.  

• Прогрузка страниц результатов и поиск ссылок на товары.  

• В консоли вводим ссылку и видим подсвеченные теги.  

• Используем действия "поиск тегов" и "загрузить исходный код страницы".  

• Находим 30 ссылок на товары и загружаем их.  

• Создаем подуровень и добавляем действие "про бар вывод информации".  

• Извлекаем ссылку и текст ссылки, сохраняем их в переменные.  

• Загружаем страницу товара и сохраняем её в буфере обмена.  

• Включаем опции "выводить название столбцов заголовка" и "создавать новый файл при запуске парсера".  

• Настраиваем список столбцов для вывода данных.  

• Добавляем столбец для кода товара и настраиваем поиск тегов.  

• Настраиваем поиск тегов для кода товара и его значения.  

• Используем опцию "конвертировать текст" для корректного отображения данных.  

• Настраиваем поиск тегов для названия, описания и цены товара.  

• Настраиваем поиск тегов для ссылки на фото и сохраняем её в переменную.  

• Используем функцию "взять цену товара" для автоматического поиска цены.  

• Сохраняем значение переменной для дальнейшего использования.  

• Выводим ссылку на товар и настраиваем её как гиперссылку.  

• Настраиваем поиск тегов для категорий и исключаем ссылку "Главная".  

• Используем функцию "несколько элементов массива" для вывода категорий в отдельные столбцы.  

• Настраиваем ширину столбцов и выравнивание данных.  

• Отключаем кэширование страниц для получения актуальных данных.  

• Настраиваем интервал между запросами для оптимизации работы.  

• Установка интервала для предотвращения бана сайта.  

• Опция тайм-аута запроса для ожидания ответа от сайта.  

• Включение опции вывода сообщений об ошибках и запроса действий пользователя.  

• Включение опции загрузки файлов на вкладке "Основная информация".  

• Настройка сохранения файлов в переменные и их загрузка.  

• Указание папки для сохранения файлов и включение опции открытия папки с загруженными файлами.  

• Поиск ссылок в найденных столбцах и гиперссылках.  

• Вывод динамических столбцов и характеристик.  

• Пример использования функции замены текста для разделения значений.  

• Настройка гиперссылок, отображаемых ячеек и всплывающих подсказок.  

• Форматирование столбцов и очистка листа от прежних данных.  

• Опция количества выведенных строк для перерисовки экрана.  

• Добавление набора действий для завершения работы парсера.  

• Сохранение файла в нужную папку и настройка имени файла.  

• Использование макросов и прокси-серверов для работы.  

• Загрузка исходного кода страницы и поиск тегов.  

• Замена и модификация тегов перед обработкой.  

• Многопоточная загрузка и форматирование текста.  

• Использование регулярных выражений и сжатие пробелов.  

• Функции форматирования числа, даты, изменения регистра и текста для пацановки в ссылку.  

• Работа с форматом JSON и преобразование в формат HTML.  

• Проверка и сравнение для удаления лишних значений из массива.  

• Сохранение значений в переменные и выполнение наборов действий.  

• Возможность программно запускать другой парсер.  

• Открытие результатов в браузере или блокноте.  

• Вывод сообщений и использование буфера обмена.  

• Диалоговое окно для ручного ввода капчи и автоматическое распознавание через сервис.  

• Отправка файла на почту и диалоговое окно выбора переменных.  

• Функции массива: сортировка, добавление, удаление и перестановка элементов.  

• Округление, сумма, произведение, деление, минимальная и средняя.  

• Поиск первого числа в тексте и действия с листами и книгами.  

• Обработка текстовых и вордовских файлов, чтение и удаление файлов.  

• Специфические функции для авторизации на сайте.  

• Использование браузера Internet Explorer для сложных сайтов.  

• Опция прокрутить страницу вниз и подключение к запущенному IE.  

• Вывод информации, пауза, управление кэшированием и планирование запуска парсера.  

• Вкладка веб-запросы и недокументированные опции.  

• Возможность заказа парсера для обработки данных с сайта.  

• Описание процесса обработки данных и указание, как найти список товаров.  

• Вопросы и контакты для дальнейшей работы с программой.