Очереди и отложенное выполнение на примере RabbitMQ в .Net // занятие курса «Highload Architect»

• Приветствие участников открытого урока по курсу "Highload Architect".  

• Урок посвящен теме очередей и отложенного выполнения на примере RabbitMQ.  

• Цель урока - оценить курс и познакомиться с преподавателями.  

• Спикер Иван Трушин, ведущий разработчик проекта MRHub.  

• Опыт работы в IT более десяти лет, основной стек технологий - .NET.  

• Иван является ментором курса "Highload Architect" в OTUS.  

• Активное участие участников, вопросы в чате.  

• План вебинара: знакомство с OTUS, тема очередей, RabbitMQ, курс "Highload Architect", карьерные возможности, рефлексия.  

• OTUS специализируется на обучении IT-специалистов.  

• Продвинутые программы для специалистов с техническим бэкграундом.  

• Образовательная лицензия, выдача удостоверений и дипломов, налоговый вычет.  

• Курсы по программированию, инфраструктуре, тестированию, аналитике, дата-сайнс, управлению, геймдеву и информационной безопасности.  

• Курсы для разных уровней: джуниор, мидл, сеньор, лит.  

• Цели урока: понять, когда использовать очереди, как запускать и настраивать, организовать синхронное взаимодействие между сервисами.  

• Теория: что такое очереди сообщений и асинхронное взаимодействие.  

• Обработка данных, требующих большого времени.  

• Синхронная обработка множества однотипных запросов.  

• Передача данных между приложениями и микросервисами.  

• Использование баз данных и общей памяти для решения задач.  

• Проблемы с блокировками и транзакциями.  

• Оптимальное решение - системы доставки сообщений, такие как RabbitMQ.  

• RabbitMQ как брокер сообщений.  

• Требования к брокерам: гарантия доставки, порядок передачи, управление размером очереди, зеркалирование и масштабирование.  

• Протокол AMQP для взаимодействия между клиентами и брокерами.  

• Брокер - приложение, реализующее модель AMQP, которое принимает соединения клиентов и маршрутизирует сообщения.  

• Сообщения - это данные, передаваемые между сервисами через брокера.  

• Производитель и потребитель - роли, которые могут меняться местами.  

• Event-Driven Architecture EDA - принцип построения взаимодействия между сервисами на основе обмена сообщениями.  

• Слабо связанные программные компоненты обмениваются сообщениями через брокера.  

• Брокер оркестрирует и перенаправляет сообщения между сервисами.  

• Посредник медиатор контролирует последовательность этапов обработки сообщений.  

• Брокер передает сообщения напрямую между сервисами без центрального посредника.  

• Топология брокера используется для простых потоков событий, топология медиатора - для распределенных транзакций.  

• Событийная модель может быть реализована на Kafka и RabbitMQ.  

• Kafka имеет жесткую маршрутизацию событий, RabbitMQ - гибкую маршрутизацию.  

• Событийная модель не привязана к конкретной технологии, важна идея.  

• RabbitMQ поддерживает гарантии доставки сообщений: "at least once" и "at most once".  

• Гарантирует порядок передачи сообщений и возможность сохранения на диск.  

• Поддерживает подтверждение отправки и получения сообщений, а также кластеризацию и зеркалирование.  

• Расширяется набор определений по сравнению с AMQP.  

• Введены новые понятия: queue, connection, channel.  

• Queue — это буфер для хранения сообщений, которые забирают консьюмеры.  

• Connection — это физическое соединение между приложением и RabbitMQ.  

• Channel — виртуальное соединение внутри соединения.  

• Connection устанавливается редко, так как это тяжелая процедура.  

• Channel создается и закрывается быстро, что делает его более эффективным.  

• Connection обычно открывается один раз и держится на время жизни приложения.  

• Channel может быть переменной величиной, открывается и закрывается.  

• Point of Reception — это место, куда отправляются сообщения.  

• RabbitMQ распределяет сообщения по очередям с помощью биндингов.  

• Биндинги задают связь между очередью и обработчиком сообщений.  

• Routing определяет правила перенаправления сообщений.  

• User — это логин и пароль для подключения к брокеру.  

• Virtual Hosts позволяют эмулировать разные экземпляры брокера на одном хосте.  

• Producer отправляет сообщения, которые попадают в RabbitMQ.  

• Сообщения сначала попадают в Exchanger, а затем в очередь.  

• Ребит и продюсер взаимодействуют через очереди.  

• Сообщения отправляются в зависимости от типа бензина.  

• Консьюмер забирает сообщения из очереди и выполняет действия.  

• Директ: сообщения направляются в определенную очередь.  

• Топик: сообщения маршрутизируются по текстовым словам.  

• Финал: сообщения рассылаются на все доступные очереди.  

• Директ: сообщения копируются в связанные очереди.  

• Панаут: сообщения рассылаются на все очереди.  

• Про топик: сообщения маршрутизируются по ключу маршрутизации.  

• Ключ маршрутизации может быть составным и разделяется точками.  

• Звездочка используется для задания правил маршрутизации.  

• Пример: сообщения с "игрименс" и "берлин" попадают в одну очередь.  

• Хедерс: маршрутизация по заголовкам сообщений.  

• Пример: сообщения с форматом PDF попадают в одну очередь.  

• Конфигурации очередей: автоудаляемая, дюрабельная, эксклюзивная, пейси, интерна.  

• Возможность указания времени жизни для очередей и сообщений.  

• Сообщения удаляются автоматически, если не востребованы в течение определенного времени.  

• Переход к живой демонстрации и коду примера.  

• Запуск в Docker, логин и создание пользователя.  

• Обзор админки: состояние, нагрузка, подключения, каналы, очереди.  

• Вкладки для детального просмотра подключений и каналов.  

• Каналы и их количество.  

• Использование RabbitMQ для маршрутизации сообщений.  

• Настройка и управление очередями.  

• Создание осмысленных и автоименованных очередей.  

• Подписка на очереди и получение сообщений.  

• Админские функции: очистка очередей, настройка виртуальных хостов.  

• Маршрутизация сообщений по ключам роутинга.  

• Примеры маршрутизации сообщений по маске.  

• Статистика обработки и доставки сообщений.  

• Использование клиента для взаимодействия с .NET.  

• Примеры и туториалы для различных языков.  

• Пример с .NET, построенный по туториалу.  

• Описание структуры кода: приложение, продюсер, консьюмер.  

• Создание и отправка сообщений в RabbitMQ.  

• Обработка сообщений консьюмером.  

• Простая ситуация: отправка сообщений без указания ченджа.  

• Создание очереди и обработка сообщений консьюмером.  

• Сложный пример: использование постоянной очереди и нескольких консьюмеров.  

• Демонстрация работы в реальном времени.  

• Обработка сообщений несколькими консьюмерами.  

• Публикация результатов обработки.  

• Отправка множества сообщений и наблюдение за их обработкой консьюмерами.  

• Настройка консьюмеров для обработки по одному сообщению.  

• Возможность разделения консьюмеров на разные серверы для обработки однотипных задач.  

• Отправка сообщений в локс и наблюдение за их обработкой.  

• Создание очередей консьюмерами при подключении.  

• Пример с двумя консьюмерами, создающими свои очереди.  

• Пример с ключами маршрутизации для информационных и ошибок.  

• Настройка консьюмеров для обработки сообщений с разными ключами.  

• Прямое перенаправление сообщений в зависимости от ключа маршрутизации.  

• Пример с тремя консьюмерами, обрабатывающими сообщения по разным маскам.  

• Отправка сообщений в топик локс и наблюдение за их обработкой.  

• Пример с сообщением, которое принимают все три консьюмера.  

• Пример с RPC-сервером, обрабатывающим удаленные вызовы.  

• Подписка на очередь для ожидания ответов.  

• Отправка ответа с использованием роутинга и добавление свойств сообщения.  

• Обзор всех рассмотренных примеров с RabbitMQ.  

• Возможность быстрого переключения между механиками и комментариями.  

• Переход к финальному техническому разделу.  

• Создается клиент для вызова удаленной процедуры.  

• Клиент подключается к очереди для отправки сообщений.  

• Создается промежуточная очередь для приема ответов.  

• Консьюмер подписывается на очередь для ответов.  

• Консьюмер обрабатывает сообщение и отправляет ответ.  

• Ответ отправляется в очередь для ответов с добавлением корреляции.  

• Обсуждение синхронности и асинхронности в работе.  

• Использование корреляции для гарантии получения и обработки сообщений.  

• Пример использования для удаленного запуска задач, таких как бэкап.  

• Запросы хранятся в оперативном режиме до закрытия клиента.  

• Открытие нескольких каналов для обработки множества запросов.  

• Использование маппера для ожидания ответов.  

• Обсуждение правильности подхода к ожиданию ответов.  

• Использование механизма для подтверждения получения сообщений.  

• Вопрос о целесообразности использования механизма для тысяч ожиданий.  

• MassTransit упрощает работу с RabbitMQ и другими сервисами.  

• Позволяет реализовывать транзакции и паттерн "сага".  

• Поддерживает различные провайдеры, такие как AWS и Azure.  

• Демонстрация отправки сообщений с помощью MassTransit.  

• MassTransit автоматически создает и управляет очередями.  

• Не требует настройки очередей и ключей маршрутизации.  

• Отправка и получение сообщений с помощью MassTransit.  

• MassTransit абстрагирует взаимодействие между сервисами.  

• Логика консьюмера остается неизменной при изменении подключения.  

• Вопросы и ответы по MassTransit.  

• Переход к обсуждению курса "Кайл Архитектор".  

• Курс предназначен для разработчиков, лидов, архитекторов и технических руководителей.  

• Включает модули по высоконагруженным системам, базам данных, балансировке и кэшированию.  

• Завершается проектной работой, которая демонстрирует освоенные навыки.  

• Руководитель курса - Виталий Юшкевич, ведущий разработчик с опытом преподавания.  

• Преподаватели - профессионалы с десятилетним опытом работы.  

• Курс включает проверку домашних заданий и менторство.  

• В России на апрель 2024 года доступно 288 вакансий для мидл-специалистов.  

• Средний уровень зарплаты в Москве для джуниоров начинается от 175 тысяч рублей, для мидл-специалистов - от 270 тысяч рублей.  

• Примеры вакансий: PHP-разработчик, разработчик C++, понимание устройства Linux и многопоточности.  

• Цели курса: понимание использования очередей сообщений, запуск и настройка работы с RabbitMQ, организация синхронного взаимодействия между сервисами.  

• Итоги: понимание, для чего нужны очереди, как передавать данные между приложениями, использование RabbitMQ для построения архитектур.  

• Рекомендация статьи преподавателя курса о сборе и обработке телеметрии умного дома.  

• Рекомендация статьи о сравнении RabbitMQ и Kafka.  

• Призыв заполнить опрос о прошедшем занятии для улучшения курса.  

• Важность прохождения опроса для залогиненных пользователей платформы.  

• Обсуждение гарантированной доставки для проектов с небольшой нагрузкой.  

• Относительность понятий мидл и сеньор в зависимости от самоощущения.  

• Старт обучения по курсу "Хайлод архитектор" 25 апреля 2024 года.  

• Рекомендация записаться на курс для понимания построения нагруженных приложений и использования инструментов.  

• Длительность курса - пять месяцев, два занятия в неделю.  

• Призыв пройти опрос и записаться на курс.  

• Благодарность за внимание и приглашение на дальнейшие открытые уроки и курс "Хайлод архитектор".