Exactly-once Kafka | Артём Кулешов | Golang Meetup 2023 | СберМаркет Tech

• Артем, разработчик из Сбермаркета, рассказывает о подводных камнях Kafka.  

• Неправильная работа Kafka может привести к потере и искажению данных.  

• Приложения работают в ненадежной среде, где могут возникать сбои в железе, сети и софте.  

• Kafka - это надежный распределенный брокер логов, используемый для синхронной коммуникации.  

• Выделяют три типа гарантий доставки: от мост, от лист и экзакванс.  

• От мост позволяет терять данные, от лист - дублировать данные, экзакванс - гарантирует доставку данных без потерь.  

• Разработчик добавляет отправку сообщений в Kafka в транзакцию.  

• Проблема: транзакция может откатиться, что приведет к дублированию сообщений.  

• Решение: использовать паттерн от бокс для сохранения заказов и сообщений в разных таблицах.  

• Debezium - комбайн для работы с базами данных, который может отправлять данные в Kafka.  

• Debezium работает на низком уровне, что может вызвать сложности с форматом данных.  

• Важно учитывать возможные проблемы с базой данных и настройки коннектора.  

• Разработчик создает собственный пакет для отправки сообщений в Kafka.  

• Пакет включает функции для сохранения сообщений и их отправки.  

• Пакет легко конфигурируется и поддерживает сквозную трассировку и метрики.  

• Потребители иногда получают дубликаты сообщений.  

• Проблема решается с помощью идемпотентной отправки в Kafka версии 0.11.  

• Настройка продюсера включает идемпотентность и ожидание записи со всех реплик.  

• Проблемы с публикацией и чтением сообщений из Kafka.  

• Kafka должна легко переживать обновления, но это не всегда так.  

• Топики разбиты на партиции с заданным количеством реплик.  

• У каждой партиции есть лидер, через которого идет запись и чтение.  

• Kafka распределяет нагрузку равномерно между брокерами.  

• Важна настройка количества инсинк-реплик, чтобы сообщения были доступны для чтения.  

• Консьюмеры могут читать сообщения только при записи на заданное количество реплик.  

• Продюсеры могут конфигурировать, сколько реплик ждать подтверждения.  

• Рекомендуется устанавливать количество инсинк-реплик меньше репликейшн-фактора.  

• Настройка лидер-экшн позволяет Kafka выбирать лидера из партиций в состоянии инсинк.  

• Перезагрузка брокера не должна останавливать работу системы.  

• Задача: прочитать сообщения, обогатить их и записать в другой топик.  

• Консьюмер сохраняет состояние в специальном топике.  

• Проблема двойной записи решается с помощью транзакций в Kafka.  

• Новый топик транзакшн-стейт отвечает за состояние транзакции.  

• Транзакшн-координатор отправляет команды для завершения транзакции.  

• Важно использовать уникальные транзакшн-идентификаторы для предотвращения конфликтов.  

• Kafka Streams — библиотека для задач чтения и записи.  

• Использует транзакции для достижения атомарности.  

• Сохраняет состояние в специальных топиках и управляет ими.  

• Задача: прочитать сообщения и записать артефакты в базу.  

• Сервис должен одновременно читать из топика с заказами и писать в базу.  

• Важно коммитить изменения для предотвращения дублирования данных.  

• Разработчик решает использовать транзакционность базы данных для обеспечения атомарности операций.  

• Сервис читает сообщения из топика, помещает метаданные в таблицу и передает их хендлеру для обработки.  

• В конце транзакции происходит коммит или аборт.  

• Если сервис падает между шагами, сообщения обрабатываются повторно, но только один раз.  

• Это называется эффектом ливанс.  

• Интерфейс пакета включает консьюмер, который получает хендлер и обрабатывает сообщения.  

• В случае битых или нарушающих модель консистентности сообщений, их количество ретраев ограничивается.  

• Это позволяет избежать остановки процессинга.  

• Неправильная работа с транзакциями может привести к потере данных.  

• Вопрос о хранении апсетов в Kafka: это удобно для переобработки сообщений.  

• Вопрос о выборе между Serio и Sarama: предпочтение отдается Sarama из-за стабильности.  

• Вопрос о влиянии настроек Kafka на производительность: автокоммит асетов снижает производительность.  

• Основная метрика для мониторинга Kafka — это LAC.  

• Важно следить за скоростью записи и чтения, а также за ошибками записи и чтения.  

• Джентльменский набор настроек Kafka включает правильные настройки топика и реплик.  

• Выбор самого интересного вопроса: коммиты асетов можно не коммитить.  

• Благодарность за доклад и переход к следующей теме.