Apache Kafka основы УРОК 2. Что такое broker, consumer, producer, topic, partition и т.д.

• Kafka - распределенная система обмена сообщениями с высокой пропускной способностью.  

• Состоит из брокеров, Zookeeper, потребителей и производителей.  

• Потребители и производители - это приложения, подключающиеся к брокеру Kafka.  

• Брокеры - это серверные приложения, которые аккумулируют и сохраняют данные.  

• Zookeeper - распределенное хранилище ключей и значений для конфигурации и информации о брокерах.  

• Отказ от Zookeeper пока не планируется из-за его важности на больших проектах.  

• Топики - это базовые сущности Kafka, где данные хранятся в виде очередей.  

• Партиции - это копии данных, которые могут находиться на одном или нескольких брокерах.  

• Коэффициент репликации определяет, сколько копий данных должно храниться.  

• Продюсер запрашивает у брокера информацию о лидерной партиции и отправляет данные.  

• Репликация данных происходит по принципу мастер-слейв.  

• Сообщения содержат ключ, данные, время и пользовательские атрибуты.  

• Kafka не следит за порядком чтения сообщений, это делают потребители.  

• Потребители могут перечитывать данные и определять их позицию с помощью офсетов.  

• Для масштабирования используется топик консьюмер-офсет и группы потребителей.  

• В следующем видео будет рассказано о механизме репликации и масштабирования Kafka.  

• Призыв ставить лайки, писать комментарии и делиться видео.  

• Напоминание о партнере выпуска - хостинг-провайдере Fest VDS.