Алексей Степаненко. Улучшаем работу MDM с помощью Apache Kafka

• Алексей Степаненко, эксперт по разработке 1С, рассказывает о том, как улучшить работу МДМ с помощью Apache Kafka.  

• Алексей приветствует зрителей и проверяет связь.  

• Алексей Степаненко представляется и объясняет, что занимается программированием 30 лет, 23 года из которых в 1С.  

• Он также занимается вопросами архитектуры и качества кода последние 8 лет и 5 лет соответственно.  

• Алексей сравнивает Kafka с системами очередей, такими как Amazon SQS и RabbitMQ.  

• В Kafka сообщения не удаляются сразу, а хранятся в течение настраиваемого срока.  

• Каждое сообщение имеет характеристики: ключ, время, смещение и метаданные.  

• Алексей объясняет, как подключить новую систему к МДМ через Kafka.  

• Новая система подключается к топику и начинает читать сообщения с нужной скоростью.  

• Системы продолжают читать данные с той скоростью, с которой они обрабатывали их ранее.  

• Алексей объясняет, как Kafka понимает, где остановилась каждая система.  

• В случае восстановления системы, Kafka позволяет клиенту хранить смещение и обновлять его при чтении.  

• Это решает проблему потери данных при восстановлении информационной базы.  

• Алексей объясняет, что такое Lock Action и как оно помогает избежать лишних чтений.  

• В текущей конфигурации лишняя нагрузка составляет 150%, что можно избежать с помощью Lock Action.  

• Kafka позволяет удалять устаревшие записи по ключу.  

• Лок компакшн удаляет записи с большим таймстапом.  

• Офсеты остаются неизменными, что не вызывает проблем у клиентов.  

• Лок компакшн снижает нагрузку на систему.  

• Процедура затратна и должна проводиться в периоды наименьшей загрузки.  

• Рекомендуется проводить лок компакшн раз в неделю или месяц.  

• Сообщения могут иметь разные форматы, что усложняет поддержку.  

• Kafka помогает с преобразованием форматов через сервис Schema Registry.  

• Schema Registry добавляет недостающие поля при десериализации.  

• Kafka имеет множество преимуществ для подключения новых систем.  

• Вопросы о масштабировании и мониторинге Kafka требуют индивидуального подхода.  

• Kafka позволяет избежать ненужных нагрузок, в отличие от RabbitMQ.  

• Представление Владимира Свириденко, руководителя группы.  

• Тема выступления: тестовый перевод крупной базы данных Microsoft SQL Server на PostgreSQL.  

• Проект по нагрузочному тестированию для подготовки к переходу на новую платформу.  

• Этап анализа возможностей и переноса крупной базы данных с платформы 1С и SQL Server на новую СУБД PostgreSQL.  

• Конфигурация базы данных самописная, не типовая.  

• Проект не был основной целью, ресурсы технические и временные были ограничены.  

• Заказчик пытался спрогнозировать затраты на перевод базы данных на новую СУБД PostgreSQL.  

• Основной вопрос касался определения способа транспортировки данных.  

• Перенос значительного объема информации был ключевым аспектом.