Форсайт BI и Arenadata, применение аналитической СУБД в аналитике больших данных big data

• Алексей Скребенцев, руководитель компании Форсайт, представляет вебинар.  

• Вебинар посвящен особенностям применения СУБД в аналитике больших данных.  

• Программа включает доклады о компании Форсайт, сравнении СУБД и демо-примеры.  

• Форсайт - отечественный вендор, разрабатывающий продукты для анализа данных.  

• Основные продукты: аналитическая платформа Форсайт и коробочные продукты.  

• Компания имеет штаб-квартиры в Москве и Перми, а также производственные базы в Санкт-Петербурге.  

• Форсайт стал лидером по выручке среди российских разработчиков решений для анализа данных.  

• Компания работает с компаниями государственного и коммерческого сектора, а также с международными заказчиками.  

• Форсайт развивает партнерскую сеть, насчитывающую более 50 компаний.  

• Объем данных растет катастрофически, включая неструктурированные данные.  

• Компании сталкиваются с вызовами обеспечения быстродействия и актуальности данных.  

• ИТ-ландшафт становится центром компетенции, требующим сильной экспертизы в информационных технологиях.  

• Компании сталкиваются с необходимостью работы в разнородном ИТ-ландшафте и поддержки российского стека.  

• Важно обеспечить интеграцию систем, быстродействие и поддержку пользователей на русском языке.  

• Форсайт и Арена-Дата предлагают комплексное решение для этих задач.  

• Форсайт и Арена-Дата обеспечивают комплексный подход к цифровизации и управлению бизнес-процессами.  

• Форсайт является лидером среди отечественных платформ, а Арена-Дата обеспечивает быстродействие СУБД.  

• Решение решает задачи импортозамещения и обеспечивает высокую скорость построения отчетов.  

• Александр Ермаков, технический директор компании Арена-Дата, представляет компанию.  

• Арена-Дата занимается разработкой платформы хранения и обработки данных.  

• Компания активно развивается, удваивая численность проектов и сотрудников каждый год.  

• Компания является контрибьютором проектов Bigtop, Pyxel, Ambari.  

• Вторые по объему изменений в проекте Grimpplum.  

• Развитие направления CLI-House и использование SubCLI.  

• Платформы для распространения ПО: Enterprise и Community редакции.  

• Фокус на гетерогенные ландшафты и управление через единую систему.  

• Поддержка различных инфраструктур: внутренние ЦОДы, публичные и частные облака.  

• Помощь заказчикам в реализации бизнес-процессов.  

• Компания не занимается визуализацией и аналитикой, это передается партнерам.  

• Основные задачи: реализация хранилищ данных и хабов, снижение затрат на технологии.  

• Поддержка искусственного интеллекта и машинного обучения.  

• Модульная структура с функциональными блоками: хранение данных, аналитика, стриминг.  

• Продукты: Arena Data, Grimpplum, Arena Data Quick Mars, Arena Data Streaming.  

• Развитие направлений Memri и Memri Scale на базе Tarantool.  

• Пример использования разнородных систем-источников данных.  

• Модульная платформа для интеграции решений: Grimpplum и Hadoop.  

• Концепция Data Lake от Джеймса Диксона.  

• Проблемы с нагрузкой и конкурентными запросами.  

• Альтернативный вариант интеграции с несколькими системами для улучшения производительности.  

• Гримплан - это MPP массив, параллел-процессинг система.  

• Поддерживает сложные джойны и транзакции на любом уровне выполнения запроса.  

• Построен на базе PostgreSQL, что позволяет легко интегрироваться с другими системами.  

• Кли Хаус - это MPP платформа высокой доступности, ориентированная на перформанс и колоночное хранение.  

• Рассчитан на широкие таблицы и не любит сложные джойны.  

• Интеграция решений и доработки для взаимодействия.  

• Кли Хаус имеет ограничения по транзакциям, но работает на фантастической скорости.  

• Подходит для широких витрин и ET-HOC запросов.  

• Объединение технологий позволяет решать сложные задачи.  

• Архитектура включает уровень хранения для процессинга, историчный слой данных и уровень витрин данных.  

• Используется технология Pyxis, которая позволяет распределенным базам данных взаимодействовать с внешними табличными пространствами.  

• Написан коннектор для взаимодействия с инстансами Кли Хауса в параллельном режиме.  

• Написан прокси-сервер Bazee для предоставления единой точки входа для конечных пользователей.  

• Включает механизмы распределения прав доступа и обеспечения фейловера.  

• Объединение двух технологических решений для решения задач аналитики и ETL.  

• Pyxis позволяет взаимодействовать с историчными данными, хранящимися в HDFS или HBase.  

• Пример вызова создания внешней таблицы в Гримплане с указанием полей и форматов.  

• Поддержка подключения к внешним системам через протокол Pyxis.  

• Процесс переноса данных из гриплама в клихаус осуществляется через SELECT.  

• Данные автоматически создаются на уровне клихауса, что обеспечивает контроль и транзакционность.  

• Возможность динамического изменения количества вставок и параллельного выполнения.  

• Тхемали коннектор поставляется в рамках решения Интерпрайс Арена Дата.  

• Протокол является открытым исходным кодом, что позволяет разработчикам создавать свои коннекторы.  

• Возможность написания коннекторов для различных платформ.  

• Арена Дата использует гриплама для сложных JOIN и процессов.  

• Поддержка индексов и богатый инструментарий для аналитики.  

• Решение Мадлип от Института Беркли, разработанное для гриплама.  

• Возможность запуска контейнеров для изоляции среды выполнения запросов.  

• Использование дистрибутива Хадуб, который является третьим по популярности в мире.  

• Интеграция с грипламом через пиксель спартаков.  

• Компания предоставляет техническую поддержку в четырех офисах по России.  

• Опыт решения задач на уровне гриплама и оптимизатора.  

• Различные режимы поддержки, включая 24/7 и VIP-пакет.  

• Работа с крупными заказчиками, такими как Газпром нефть и М-Видео.  

• Проекты по миграции с импортных решений на отечественные.  

• Участие в проектах с Федеральной налоговой службой и ВТБ.  

• Обсуждение нативного коннектора клихаус и его преимуществ.  

• Преимущества Арена Дата по сравнению с грипламом, включая систему управления и интеграционные решения.  

• Исправления и добавления в дистрибутив, которые могут быть быстрее внедрены в комьюнити версии.  

• Обсуждение вопросов, заданных Артуром.  

• Предложение связаться с менеджером по продажам для уточнения деталей.  

• Платформа является самым современным продуктом на рынке.  

• Начало сотрудничества с Ареной в 2018 году.  

• Арена выбрана из-за её современности и работы в гетерогенных средах.  

• Каждый продукт имеет свой цикл обновления.  

• Ходуп обновляется раз в квартал, гримплам часто, клик-хаус имеет LTS.  

• Стриминг обновляется редко, но важно следить за изменениями в Kafka.  

• Коннектор Kafka не доступен в коммите версии.  

• Планируется выпуск второй версии коннектора с использованием форинг дата-рапера.  

• OLAP-кубы остаются востребованными для структурированных данных.  

• Рассматривается гибридный ландшафт с реляционными и многомерными источниками.  

• Subd ClickHouse подходит для больших витрин данных.  

• Пример использования для задач машинного обучения и прогнозирования.  

• Платформа позволяет интегрироваться с Subd ClickHouse.  

• Нативного драйвера для СУБД нет, но можно использовать ODBC драйвер.  

• Драйвер можно скачать с официального сайта ClickHouse.  

• Для подключения к СУБД через ODBC драйвер нужно указать IP-адрес сервера и базу данных.  

• ODBC драйвер позволяет обращаться к СУБД через запросы.  

• Для создания таблицы в ClickHouse нужно выбрать тип подключения и тип объекта.  

• Пример запроса выбирает все данные из таблицы с несколькими полями.  

• Запрос на выборку данных из СУБД выполняется быстро.  

• Пример данных по логам ошибок показывает структуру данных.  

• Запрос на подсчет событий по времени выполняется мгновенно.  

• Запрос на подсчет событий по дням выполняется за 15-16 секунд.  

• Пример показывает, как данные агрегируются по типам событий.  

• Кубик данных строится на основе примитивных справочников.  

• В запросах можно пробрасывать параметры на уровень источника.  

• Это решает проблемы, с которыми сталкивались заказчики.  

• Кубик данных строится на примитивных справочниках без ключей.  

• ClickHouse позволяет быстро агрегировать большие объемы данных.  

• Это важно для оперативного принятия решений на основе данных.  

• Рекомендуется использовать ClickHouse для задач машинного обучения и анализа данных.  

• ClickHouse поддерживает иерархические справочники.  

• ClickHouse применим только для аналитических сценариев без записи.  

• Вопросы о производительности и сравнении с другими СУБД.  

• ClickHouse и Vertica имеют разные архитектуры.  

• Vertica использует оси для обеспечения консистентности данных.  

• ClickHouse ускоряет операции чтения и записи, но может иметь проблемы с консистентностью.  

• ClickHouse подходит для персистентного хранения данных.  

• Для потоковой обработки данных используются другие решения, такие как Ignite.  

• Ignite используется как мемори-кэш для обработки данных в реальном времени.  

• Проект по расчету консолидации данных для нефтяной компании.  

• Развернут стенд с кластером и мастер-системой.  

• Использование PostgreSQL и Arena Data для обработки больших объемов данных.  

• Запросы выполняются быстро, даже на больших объемах данных.  

• Примеры запросов и их выполнение.  

• Arena Data поддерживает кластеризацию, что обеспечивает стабильность работы.  

• Интеграция с Excel и возможность экспорта данных.  

• Вопросы по использованию справочников и моделей в Greenplum.  

• Вопросы можно задавать на сайте компании Форсайт.  

• Благодарность участникам вебинара.  

• Призыв участвовать в будущих вебинарах.  

• Прощание и завершение мероприятия.