Kafka против RabbitMQ Stream // Демо-занятие курса «Apache Kafka»

• Начало открытого урока по курсу "Kafka vs. Redis Streams".  

• Проверка звука и видео, настройка микрофона.  

• Представление лектора и его опыт работы с инфраструктурой и дата-сайенс.  

• Лектор работает в различных компаниях, включая Сбербанк, и преподает на курсах по дата-инженерии.  

• Опыт работы с Kafka и другими технологиями.  

• Обзор Kafka и Redis Streams, сравнение технологий.  

• План урока: знакомство с Kafka и Redis, обзор новых технологий, сравнение и выводы.  

• Введение в новый курс "Kafka".  

• Урок проходит в живом формате, активное участие приветствуется.  

• Лектор отвечает на вопросы в чате.  

• Образовательная компания "Otus" предоставляет актуальные знания.  

• Курсы разрабатываются практикующими специалистами, адаптируются под запросы.  

• Курсы имеют образовательную лицензию и возможность получения удостоверения повышения квалификации.  

• Живые вебинары позволяют оперативно реагировать на изменения и подстраивать программу.  

• Лектор показывает свежие версии продуктов.  

• Множество курсов и преподавателей на сайте Otus.  

• Технологические партнеры предоставляют дополнительные лекции и гранты.  

• Примеры партнеров: Яндекс Клауд.  

• Rebit - продукт компании VMware, доступный бесплатно.  

• Поддерживает стандартные протоколы взаимодействия и плагины для расширения функциональности.  

• Rebit поддерживает кластерные режимы и различные топологии взаимодействия с клиентами.  

• Коммерческий продукт доступен только в виде образа Docker для развертывания в облаке.  

• Отличается наличием двух неопенсорсных плагинов и настройками безопасности.  

• Поддерживает различные топологии взаимодействия: точка-точка, публикация-подписка, маршрутизация и фильтрация сообщений.  

• Пример взаимодействия отправителя и получателя через очереди.  

• Отправитель отправляет сообщения в очередь, а получатель получает их оттуда.  

• Возможность настройки маршрутизации сообщений между очередями.  

• Очереди и потребители связаны через биндинг.  

• Сообщения хранятся в памяти и удаляются после подтверждения получения.  

• Возможность сохранения сообщений на диск для отказоустойчивости и отправки на другой брокер.  

• Кластеризация позволяет объединять несколько брокеров в единую сущность.  

• Метаданные реплицируются на все узлы кластера.  

• Кворумные очереди работают быстрее обычных и описаны на сайте Rebit.  

• Федерация позволяет распределять сообщения между разными брокерами.  

• Шоверинг позволяет транслировать сообщения между брокерами.  

• Оба варианта обеспечивают доступность и устойчивость системы.  

• Проверка работы трансляции.  

• Сравнение федерации и шва.  

• Федерация более высокоуровневая и позволяет распространять сообщения между узлами.  

• Кластеризация требует одинаковых версий и надежных каналов.  

• Федерация допускает разные версии и менее надежные каналы.  

• Запуск ребита в Docker.  

• Управление кластером через веб-интерфейс.  

• Создание очереди с помощью утилиты.  

• Отправка и чтение сообщений через интерфейс.  

• Обзор работы с ребитом.  

• Переход к обсуждению реми стримов.  

• Kafka - это распределенная потоковая платформа.  

• Позволяет производителям отправлять записи в Kafka, которые хранятся и обрабатываются.  

• Поддерживает топологию PubSub.  

• Производители отправляют сообщения в Kafka.  

• Consumers получают сообщения.  

• Kafka Streams - высокоуровневый API для работы с сообщениями.  

• Несколько продюсеров могут писать в разные топики.  

• Kafka поддерживает интеграцию с другими системами, такими как базы данных и файловые системы.  

• Существуют готовые интеграции, такие как Spark Streaming.  

• Kafka Connect - система для интеграции с другими системами.  

• Позволяет работать с топиками как с обычными базами данных.  

• Kafka Streams поддерживает команды SQL для работы с топиками.  

• Топики - наборы данных ключ-значение.  

• Сообщения хранятся в топиках, и у них есть позиция в топике.  

• Consumers могут читать сообщения из топиков.  

• Данные должны быть преобразованы в последовательности для передачи и хранения.  

• Существуют стандартные и пользовательские стерилизаторы.  

• Kafka Connect поддерживает схемы сообщений.  

• Kafka работает вместе с кластером Zookeeper.  

• Zookeeper хранит конфигурации брокеров и отслеживает их состояние.  

• Начиная с версии 3.3.0, Kafka можно запускать без Zookeeper.  

• Роль зоо-кипера снижается, так как путь к брокерам указывается везде.  

• Раньше в командах прописывался путь к кластеру, сейчас это не нужно.  

• Брокеры принимают и сохраняют данные на диск.  

• Взаимодействуют с зоо-кипером.  

• Топики делятся на партийцы для повышения производительности и отказоустойчивости.  

• Партийцы гарантируют упорядоченность только в рамках партийцы.  

• Если есть ключ, сообщения распределяются по партийцам через хэш.  

• Если ключа нет, используется раунд робин.  

• В продюсере можно реализовать свою логику распределения.  

• Журнал подтверждений хранится на диске в виде файлов.  

• Поддерживается сохранение файлов в разумных пределах.  

• Активный сегмент со временем становится архивным, а старый сегмент удаляется.  

• Kafka используется для хранения сообщений в зависимости от бизнес-задач.  

• Оптимальное количество сообщений для хранения помогает избежать переполнения диска.  

• Kafka можно использовать как базу данных, но это зависит от задач.  

• Сжатие возможно при наличии ключей в сообщениях.  

• Kafka поддерживает репликацию для обеспечения устойчивости данных.  

• Реплики распределяются по кластеру для повышения производительности.  

• Kafka обеспечивает высокую производительность благодаря распределенному журналу.  

• Kafka подходит для событийно-ориентированной архитектуры.  

• Kafka не только для больших данных, но и для архитектуры, ориентированной на события.  

• Репликация позволяет поддерживать копии данных для отказоустойчивости.  

• Ведущий брокер для партийции может стать ведомым при сбое.  

• Пример репликации на трехузловом кластере Kafka.  

• Kafka можно запустить через Docker Compose.  

• Стандартный путь для запуска Kafka через Docker Compose: docker-compose up.  

• Kafka требует Java и Docker для запуска.  

• Kafka можно запустить локально без Docker.  

• Утилиты Kafka можно использовать через Docker Exec.  

• Создание топика и отправка сообщений через Docker Exec.  

• Демонстрация работы с консольными утилитами для отправки и чтения сообщений Kafka.  

• Использование опции "read\_from\_start" для перечитывания сообщений.  

• Применение дополнительных свойств, таких как "print\_key" и "print\_offset", для просмотра сообщений.  

• Rebit Streams - попытка добавить функционал, похожий на Kafka, в Rebit.  

• Сравнение с Kafka: разные подходы к работе с журналами.  

• Новая структура данных в Rebit Streams: журнал FIFO CommitLog.  

• Журнал FIFO CommitLog: сообщения не исчезают после прочтения.  

• Совместимость с MQTT 0.9.1.  

• Чтение сообщений из журнала: возможность перечитывать сообщения.  

• Потребность в ресурсах: Rebit требует много ресурсов для работы.  

• Рекомендации по использованию: пустой "Rabbit" для быстрого принятия и передачи сообщений.  

• Преимущества: возможность перечитывать сообщения, отсутствие необходимости в большом количестве очередей.  

• Репликация: возможность отправки сообщений только в лидера и чтения с реплик.  

• Подводные камни: необходимость обеспечения согласованности реплик.  

• Распределение по кластеру: разные лидеры и реплики в кластере.  

• Сравнение с Kafka: отсутствие некоторых функций, таких как подтверждения и распределенные транзакции.  

• Вопросы аудитории о различиях и подводных камнях.  

• Стримы совместимы со старыми протоколами, такими как 0.9.1.  

• Старые клиенты могут работать с новыми стримами, но не наоборот.  

• Стримы могут притворяться очередями для старых клиентов.  

• Новая функция "сингл-активная конс" позволяет одному потребителю быть активным, а остальным неактивными.  

• Это обеспечивает отказоустойчивость, но логика между потребителями остается неясной.  

• Супер-потоки объединяют обычные стримы в логическую сущность.  

• Сравнение с партийцами не совсем точное, но концепция схожа.  

• Супер-потоки могут быть использованы для реализации партийцев.  

• Запуск стримов в Docker с использованием плагинов.  

• Проверка изменений в интерфейсе RabbitMQ.  

• Ребит чаще используется в микросервисной архитектуре, ориентированной на события.  

• Kafka подходит для больших потоков данных.  

• Выбор между этими технологиями зависит от конкретных задач и архитектуры.  

• Новый курс посвящен Kafka, до этого она упоминалась на других курсах.  

• Курс сбалансирован: рассказывает о развертывании, администрировании и написании кода.  

• Введение в брокеры сообщений, их назначение и задачи.  

• Введение в Kafka, варианты развертывания и использования.  

• Администрирование: установка, настройка, запуск, мониторинг.  

• Безопасность Kafka, важность защиты данных.  

• Базовые понятия Kafka: продюсер, консьюмер, транзакции.  

• Обработка данных: Kafka Streams, Spring Cloud, Data Flow.  

• Интеграция с другими системами: Confluent, Kafka Connect.  

• Программа курса включает домашние задания и защиту проектов.  

• Курс стартует 28 апреля, занятия будут в формате вебинаров.  

• Возможность вносить изменения в программу до запуска курса.  

• Kafka востребована среди дата-инженеров и разработчиков микросервисов.  

• Данные по вакансиям и зарплатам, Kafka часто требуется в проектах.  

• Kafka: простая и быстрая, не отслеживает потребление данных.  

• Rebit Streams: умный брокер, требует больше ресурсов.  

• Основные сайты: Kafka, Confluent, Rebit.  

• Документация Kafka: скромная, лучше использовать документацию Confluent.  

• Дополнительные материалы: книги, статьи, примеры кода.  

• Книги по Kafka: Kafka: The Definitive Guide, Kafka Streams in Action, Kafka Streams: The Definitive Guide.  

• Книги по потоковой обработке: Stream Processing: The New Wave, Event-Driven Microservices.  

• Ресурсы для изучения: онлайн-курсы, видеоуроки, форумы.  

• Курс стартует 28 апреля, вебинары будут проходить в течение двух месяцев.  

• Возможность задавать вопросы и вносить предложения до запуска курса.  

• Обратная связь важна для улучшения курса.