Парсер на Golang. Telegram и Go. Программирование на Go #10

• Автор создал канал с ботом, который парсит ресурсы по Go, Python и Kubernetes.  

• Бот отправляет сообщения в Telegram с припиской ресурса и ссылки на статью.  

• В настоящее время поддерживаются ресурсы Хабр и Gofer.  

• Программа состоит из главного файла main.go, модулей actions, db, logger и telegram.  

• В модуле telegram используется функция post для отправки сообщений в Telegram.  

• Используется стандартная библиотека Go для выполнения POST-запросов.  

• Функция post принимает URL, контент и тело запроса.  

• Тело запроса передается в формате JSON.  

• Используется пакет telegram для форматирования и отправки сообщений.  

• Пакет logger открывает файл для записи логов.  

• Пакет db подключается к базе данных и выполняет функции select и insert.  

• Используется MongoDB для хранения данных.  

• Пакет actions содержит функции для парсинга HTML-кода с сайтов Gofer и Хабр.  

• Используется библиотека go-query для парсинга HTML.  

• Парсинг включает поиск и извлечение данных из HTML-кода.  

• Находим ссылку на нужную статью.  

• Извлекаем текст между тегами <a>.  

• Ищем класс, который ближе к желаемому результату.  

• Находим класс post-preview и внутри него класс post-title.  

• Извлекаем атрибут и значение тега <a>.  

• Создаем MD5 хэш из ссылки и передаем его в функцию.  

• Проверяем наличие хэша в базе данных.  

• Если хэш отсутствует, создаем его и отправляем сообщение в Telegram.  

• Подключаем функции из Action и Habr Go.  

• Мониторим несколько тегов на Kubernetes.  

• Исходники будут доступны в блоге, разбор через два-три дня.