Visiology и Arenadata современная архитектура хранения данных

• Вебинар начинается с приветствия и представления участников.  

• Обсуждается важность обратной связи от участников и просьба ответить на вопросы в конце вебинара.  

• Дмитрий Павлов представляет компанию Арена Дата, которая специализируется на обработке больших данных.  

• Платформа Арена Дата состоит из пяти основных компонентов: ядро субд Арена Дата Деби, классический кластер ходу, Арена Дата Квик Маркс, мемори решение на базе продукта Тарантул и Арена Дата Стриминг.  

• Платформа управляется с помощью средства управления Арена Дата Кластер Менеджер.  

• Обсуждается интеграция платформы Арена Дата с биорешением компании Физиология.  

• Платформа работает на он премис серверах, публичных и приватных облаках, а также интегрируется с облачными провайдерами через веб-интерфейс или рест-апи.  

• Компания разрабатывает и отдает обратно в сообщество Open Source продукты, включая ClickHouse.  

• ClickHouse - аналитическое СУБД, созданное Яндексом для внутреннего проекта Яндекс.Метрика, но стало доступным для всех.  

• ClickHouse хорошо работает с аналитическими запросами, без сложных соединений и оконных функций.  

• ClickHouse обеспечивает скорость и масштабируемость, но имеет ограничения на сложные запросы.  

• ClickHouse используется для хранения витрин данных и предоставления доступа к ним пользователям.  

• ArenaData - продукт на базе ClickHouse, который отличается от сборки Яндекса и имеет свои особенности.  

• ArenaData имеет коннектор для подключения к другим компонентам платформы, включая Grimpel.  

• ArenaData также имеет мониторинг и поддержку интеграции с Kafka и S3.  

• Платформа поддерживает различные системы, включая клик-хаус и гримплам, и предоставляет услуги по поддержке и развитию.  

• Платформа имеет поддержку 24/7 и 8/5 для всех своих клиентов.  

• Платформа используется в различных сферах, включая ритейл, финансы, телеком и другие.  

• Платформа успешно работает с крупными ритейлерами, такими как "Магнит" и "Экс 5 Ритейл Групп".  

• Клик-хаус может использоваться для витрин данных, несмотря на то, что изначально был создан для другого кейса.  

• Клик-хаус может быть использован для выгрузки данных из гримплама, что позволяет пользователям получать данные в реальном времени.  

• В видео обсуждается партнерская политика и работа с интеграторами.  

• Упоминаются компании Крок, ИГС и Неафлекс, которые являются партнерами и берут на себя внедрение и построение прикладных систем на базе инфраструктуры компании.  

• В крупных проектах, таких как внедрение КХД в банках, компания берет на себя 10% работы, а остальное выполняет партнер.  

• В видео рассказывается о том, как интеграция работает в платформе Visiology.  

• Платформа Visiology предназначена для создания аналитического зонтика над всеми данными в организации, предоставления пользователям простых и удобных инструментов для анализа данных и визуализации.  

• Под капотом платформы Visiology находятся аналитический портал, работа аналитика с данными, автоматизация процессов сбора данных и другие функции.  

• В видео обсуждаются различные подходы к работе с биосистемами, включая использование революционной лапы и аналитических колонночных субд.  

• Революционная лапа позволяет обрабатывать данные в режиме реального времени, но имеет ограничения по объему данных и эффективности использования кэша.  

• Аналитические колонночные субд, такие как ClickHouse и Vertica, обеспечивают высокую производительность и эффективность использования кэша, но могут быть сложными в развертывании и поддержке.  

• Гибридная система, сочетающая в себе преимущества обоих подходов, позволяет разделить данные на горячие и холодные, обеспечивая гибкость и большой объем данных.  

• В видео также обсуждается интеграция с ClickHouse и Arena-Data, позволяющая использовать гибридный подход для работы с данными.  

• В будущем планируется расширение набора аналитических функций и интеграция с единой консолью управления.  

• Visiology масштабируется на основе вычислительного ядра, которое является основным узлом, требующим масштабирования.  

• Остальные компоненты, такие как фронт и кэш, не требуют больших ресурсов.  

• Visiology может работать с данными из различных источников, таких как ClickHouse и другие платформы.  

• Однако, для некоторых бизнес-кейсов, использование ClickHouse может быть не оптимальным вариантом.  

• Visiology имеет механизм автоматизации сбора данных, который позволяет легко собирать данные из различных источников и объединять их в единую систему.  

• В Visiology также есть преимущества в лицензионной политике для больших внедрений, где требуется предоставлять доступ внешним пользователям.  

• Visiology позволяет ограничивать доступ к данным на разных уровнях, таких как функциональность, отчеты и данные.  

• Это позволяет пользователям видеть только свои данные и упрощает администрирование системы.  

• В компании обучают около 50-60 человек в неделю, и за год обучили более 300 человек.  

• Обучение проводится по различным курсам, включая аналитиков и разработчиков.  

• Компания проводит исследования и сравнивает требования к железу с другими платформами, такими как ClickHouse и Power BI.  

• В настоящее время требования к железу для Apache Metron выше, чем для ClickHouse, но компания работает над уменьшением этой разницы.  

• В компании работает 50 человек, в основном разработчики, а также группы технической поддержки, обучения, маркетинга и внедрения.  

• В настоящее время нет интерфейса администрирования кластера, но компания работает над интеграцией с оркестратором.  

• Компания предлагает подписку на лицензию, но также есть возможность использования в облаке.  

• Спрос на SaaS пока не высок, но компания готова рассмотреть возможность его предоставления в будущем.