Использование Kafka Connect. Плюсы и минусы данной технологии.

• Приветствие участников и объявление о первой встрече в новом году.  

• Встреча будет проходить раз в две недели, тема - Kafka Connect.  

• Встреча организована в рамках сообщества Zet и стрима интеграционных практик.  

• Участники могут оставлять вопросы в чате.  

• Лучшие три вопроса будут удостоены награды.  

• Встреча продлится час, вопросы будут озвучены в течение презентации или в конце.  

• Дмитрий расскажет о Kafka Connect и своем опыте работы с ним.  

• Дмитрий работает в компании Pam Systems и имеет 10 лет опыта в разработке.  

• Основные темы: Kafka Connect, его принципы, Observability, мониторинг и использование.  

• Kafka Connect - это фреймворк для подключения к Kafka и интеграции с внешними системами.  

• Kafka Connectors - это плагины, реализующие интеграционные флоу.  

• Kafka Connect может работать в стенда и дистрибьютор режимах.  

• Существуют два типа коннекторов: source и sink.  

• Source коннектор работает в polling режиме, забирая данные из внешней системы и передавая их в Kafka.  

• Sink коннектор работает в reverse mode, передавая данные из Kafka в целевую систему.  

• Kafka Connectors можно найти на GitHub и в других источниках.  

• Конфлюент предоставляет платные и бесплатные решения.  

• Использование Camel Kafka Connectors позволяет легко подключаться к разным системам.  

• Camel Kafka Connectors используют автогенеренный код, что накладывает ограничения на изменения.  

• Конфигурация Kafka Connectors возможна через application.properties или REST API.  

• REST API позволяет управлять коннекторами и отслеживать их статус.  

• Мониторинг возможен только с использованием JMX и стандартных метрик.  

• Это работает, но не предоставляет всех необходимых инструментов для глубокого анализа.  

• Kafka Connect не поддерживает трейсинг из коробки.  

• Можно добавить трейсинг в разрабатываемые коннекторы, но это будет неполным.  

• Использование готовых коннекторов требует отказа от трейсинга.  

• Логирование в Kafka Connect является общим для всех коннекторов.  

• Использование Log4J не поддерживается, так как конфигурация глобальна.  

• Kafka Connect использует Log4J первой версии, которая не подпала под атаку.  

• Error Handling доступен только для Sink коннекторов.  

• Можно настроить три режима обработки ошибок: None, All, и комбинация All и DLQ.  

• Комбинация All и DLQ позволяет собирать ошибочные сообщения в отдельную очередь.  

• Управление доступно только на уровне конвертера и трансформера.  

• Можно добавлять трейсинг и логи, но не всю картину работы.  

• Логи Kafka Connect общие для всех коннекторов, что усложняет их различение.  

• Kafka Connect инфраструктура общая для всех коннекторов, что вводит дополнительные ограничения.  

• Общий класс Path вызывает проблемы при внесении изменений в код коннекторов.  

• Данные хранятся в памяти, что делает систему уязвимой к сбоям.  

• Kafka Connect не поддерживает Exaqlives.  

• Управление размером буфера невозможно для Sink коннекторов.  

• Сорс коннекторы не поддерживают List и NAMOT, что делает невозможным построение систем с реквест-реплаем.  

• Kafka Connect требует запуска только через Kafka Connect инфраструктуру.  

• Разработка Kafka Connect похожа на написание лямбда-функций для AWS.  

• Замена Kafka Connect на другой сервис будет сложной задачей из-за монополии Kafka Connect.  

• Kafka Connectors на Confluent платные, что вызывает вопросы о целесообразности их использования.  

• Пример проекта: сервис для работы с курсами валют, где не требовались сложные трансформации и обсервабилити.  

• Kafka Connectors подходят для простых задач, где данные нужно просто перелить из одной системы в другую.  

• Демонстрация интеграционного флоу с использованием Kafka Connectors.  

• Необходимость дополнительного уровня бизнес-сервисов для сложных трансформаций.  

• Альтернатива: использование Apache Pulsar и Spring Boot для микросервисной архитектуры.  

• Kafka Connectors хороши для простых задач без сложных трансформаций.  

• Для сложных задач лучше использовать микросервисы.  

• Kafka Connectors не обеспечивают полную обсервабилити и требуют дополнительного уровня бизнес-сервисов.  

• Kafka Connectors предоставляют функционал для трансформаций, но сложные трансформации лучше выполнять на уровне бизнес-сервисов.  

• Гарантия доставки данных в Kafka Connectors ограничена, и повторные обращения невозможны.  

• Можно запускать несколько задач, но гарантии, что они не будут вычитывать одни и те же сообщения, нет.  

• Ошибки в Kafka Connectors зависят от разработчика коннектора.  

• Для разработки с нуля можно управлять обработкой ошибок.  

• Для сорс-коннекторов можно настроить рол-толеранс, но это требует изменений в коде.  

• Проблема шумного соседа возникает, когда воркеры работают на одной машине.  

• Разные типы коннекторов и задачи могут привести к деградации производительности.  

• В микросервисной архитектуре достигается более высокая томарность.  

• В проекте не было необходимости решать задачу удаления записей.  

• Можно использовать дополнительные джобы для пометки и удаления обработанных сообщений.  

• В кастомных коннекторах можно реализовать удаление после получения уведомления от Kafka.  

• Коннектор можно отслеживать через API и автоматизировать перезапуск.  

• При тестировании столкнулись с проблемой, что воркер не переконфигурировался.  

• Решение: увеличить время ожидания или отправлять команды с периодичностью.  

• В кастомных коннекторах можно реализовать ретрай.  

• В готовых коннекторах это не предусмотрено.  

• Развертывание возможно в AWS, сложностей нет.  

• Важно учитывать файерволы и сетевые термины.  

• Написание коннектора занимает спринт.  

• Использование Camel ускоряет разработку, но требует интеграции с системой.  

• Kafka Connect подходит для простых интеграций и протоколов.  

• Для сложных интеграций лучше использовать Camel.  

• Для построения USB-системы использовали Apache Camel.  

• Camel подходит для задач, где Kafka Connect не подходит.  

• Благодарность за вопросы и фидбеки.  

• Фокус на Camel в будущем.