Визуализация данных на основе Clickhouse и Apache Superset // Курс «Data Warehouse Analyst»

• Алексей Железный, дата-инженер и дата-архитектор, рассказывает о своем опыте и роли в финтех-компании.  

• Он преподает курсы по ClickHouse и другим темам уже около трех лет.  

• В лекции будет обсуждаться ClickHouse, патчи SuperSet и их интеграция, а также команда курса и карьерные советы.  

• Алексей просит участников представиться и рассказать о себе.  

• Он упоминает, что работает в финтех-компании и занимается инженерными задачами, а также визуализацией данных.  

• Курс включает широкий спектр задач и инструментов, включая создание и развертывание визуализаций.  

• Алексей приглашает участников задавать вопросы и оставлять комментарии.  

• Он упоминает, что чат расположен на втором экране и старается отвечать на все вопросы.  

• Участники делятся своими целями и опытом, что помогает Алексею лучше понять аудиторию.  

• OT создает авторские онлайн-курсы для различных специалистов.  

• Курсы включают повышение квалификации и авторские курсы для различных грейдов.  

• Алексей рассказывает о развитии курса по ClickHouse и его рефакторинге.  

• Преподаватели курса являются текущими специалистами в крупных компаниях.  

• Курсы охватывают более 170 направлений и постоянно развиваются.  

• Обучение проходит на платформе OT и в телеграм-чатах, что способствует оживленным дискуссиям.  

• Алексей объясняет, почему был выбран SuperSet для визуализации данных.  

• Выбор инструмента зависит от бизнес-заказчика и предпочтений.  

• Цель вебинара - познакомить участников с ClickHouse и SuperSet, а также с современными инструментами для визуализации данных.  

• ClickHouse - это колонночная система управления базами данных.  

• Она распределенная, с репликацией и шардированием.  

• ClickHouse не самая шустрая, но и не тормозит, что делает ее оптимальной для аналитических задач.  

• K-Haus работает в Docker и поддерживает различные решения для развертывания.  

• K-Haus был выбран как альтернатива PostgreSQL из-за его легкости и возможностей шардирования и репликации.  

• K-Haus обеспечивает быструю выборку данных, что делает его привлекательным для биосистем.  

• K-Haus появился в 2008 году как проект Яндекса.  

• В 2012 году он стал основной технологией сервиса Яндекса.  

• В 2016 году K-Haus был выпущен как open-source проект.  

• Первый кластер K-Haus использовался в Яндекс Метрике.  

• В 2020 году K-Haus обрабатывал 120 миллиардов строк данных ежедневно.  

• Колоночное хранение данных позволяет легко сжимать и выбирать данные.  

• Колоночное хранение позволяет быстро выбирать данные без сканирования лишней информации.  

• Это особенно эффективно для больших плоских таблиц.  

• K-Haus переваривает большие объемы данных, но не так силен в JOIN-запросах.  

• Векторная обработка запросов и эффективная компрессия данных.  

• Мощный SQL-диалект и множество интеграций.  

• K-Haus поддерживает множество типов данных и источников.  

• Активное комьюнити и множество блогов и информации.  

• Поддержка работы с геоданными, машинным обучением и различными интеграциями.  

• Обсуждение протоколов и кейсов, которые будут полезны после вебинара.  

• Изменения данных и апдейты в Скат Хаузер.  

• Использование встроенных инструментов для изменения данных.  

• Создание таблиц и указание типов данных.  

• Нормализация данных в OLAP базах данных.  

• Важность корректного распределения данных.  

• Оптимизация запросов и их реализация.  

• Cloudera как опенсорс решение с низкой стоимостью.  

• Рекомендации по использованию документации и ресурсов.  

• Сравнение стоимости Cloudera и Greenplum.  

• Преимущества Cloudera в плане операционной поддержки.  

• Использование промокодов для бесплатного использования ресурсов.  

• Cloudera используется для работы с данными, визуализации и аналитики.  

• Рекомендации по построению пайплайна с использованием Cloudera.  

• Важность грамотного управления ресурсами.  

• Порты для подключения к Cloudera.  

• Рекомендации по установке и использованию официального сайта.  

• Применение Cloudera в блокчейн-аналитике.  

• Примеры работы с данными и интеграции с другими базами данных.  

• Обработка транзакционной информации и аналитика.  

• Интеграция с Kafka и другие примеры использования.  

• Возможность задать вопросы по Cloudera.  

• Короткий брифинг по Cloudera и его использованию.  

• Передача данных через пиксф не самый быстрый способ.  

• GPS диск может подцепляться к памяти системы и обрабатывать информацию параллельно.  

• Для передачи данных лучше использовать гримпламп пикхаус.  

• BI предоставляет ценную информацию бизнесу.  

• Бизнес-пользователям лучше предоставлять данные за пределами корпоративного хранилища.  

• Важно иметь хорошо подготовленную исходную информацию для хорошей BI-отчетности.  

• Визуально конструктор запросов и предопределенные метрики важны для BI.  

• Бизнес-пользователи должны иметь доступ только к дашбордам.  

• Уведомления и гибкие возможности публикации также важны.  

• Поддержка различных источников данных.  

• Незатратность настройки и надежность.  

• Возможность мониторинга и комьюнити.  

• Суперсет имеет три уровня: датасет, чарты и дашборды.  

• Возможность разделения доступов для пользователей.  

• Поддержка различных источников данных, включая клихаус.  

• Официальная документация по установке клихауса.  

• Возможность работы с докером и развертывания в продакшне.  

• Настройка и использование клихауса в различных операционных системах.  

• Рекомендуется использовать гидропозиторий для установки суперсета.  

• Установка клик хауса из дэп пакетика и запуск сервера.  

• Проблемы с установкой последних версий клик хауса.  

• Проблемы с установкой клик хауса из-за ошибок.  

• Использование плейграунда для установки клик хауса.  

• Суперсет устанавливается через докер.  

• Установка суперсета через докер не рекомендуется.  

• Проблемы с настройкой ресурсов операционной системы.  

• Установка через докер может быть неудобной.  

• Скачивание и запуск шаблона.  

• Инициализация первого пользователя и миграция базы данных.  

• Подгрузка примеров и инициализация всего.  

• Подключение клик хауса через вкладку "сеттис".  

• Подключение новой базы данных через пип хаос.  

• Пример подключения к клик хаусу.  

• Загрузка данных из клик хауса.  

• Время загрузки данных и производительность.  

• Использование плейграунда для упрощения установки.  

• Настройка подключения и безопасности.  

• Использование кэш тайм-аута для повышения скорости.  

• Синхронное выполнение запросов и настройка перфоманс.  

• Мощный диалект клик хауса для работы с данными.  

• Создание и настройка датасетов.  

• Визуализация данных и построение графиков.  

• Построение графиков и анализ данных.  

• Добавление фильтров и аннотаций.  

• Кастомизация и добавление новых осей.  

• Создание и сохранение бордов.  

• Отображение данных для клиентов.  

• Драго дроб и перетаскивание данных.  

• Создали датасет, обработали его и получили визуализацию без написания кода.  

• Возможность фильтрации данных и добавления вкладок для разных сайтов.  

• Работа с пользователями и ролями, создание действий на основе ролей.  

• Возможность создания вложенности и детализации данных.  

• Костыльность в интерфейсе и отсутствие связи с системой контроля версий.  

• Возможность импорта и экспорта бордов и коннекторов к базе данных.  

• Возможность дополнительной обработки данных на уровне базы или датасета.  

• Создание и изменение датасетов, добавление новых колонок и метрик.  

• Проблемы с фильтрацией и автокомплитом, необходимость настройки параметров.  

• Объяснение, что такое тол тип и как его использовать.  

• Возможность кастомизации графиков и метрик.  

• Поддержка написания собственных функций для метрик и измерений.  

• Благодарность за вопросы и приглашение к дальнейшим вопросам.  

• Курс включает аналитика и инженера, работающего с различными инструментами и данными.  

• Используются базы данных ClickHouse, инструменты R, Python и другие.  

• Вебинары проходят два раза в неделю, материалы остаются доступными.  

• Вебинары длятся полтора часа, материалы доступны после вебинаров.  

• Домашние задания включают повторение пройденного и самостоятельные проекты.  

• Курс дорабатывается и обновляется в соответствии с трендами и запросами студентов.  

• После прохождения курса студенты защищают проектную работу.  

• Сертификат включает выполненные домашние задания и тему проекта.  

• Портфолио студентов включает информацию о преподавателях и их достижениях.  

• Курсовой проект включает подготовку и защиту проекта в течение месяца.  

• ДЗ включают простые и сложные варианты, отчетность в виде проекта на GitHub.  

• Вопросы и ответы на ДЗ помогают студентам лучше понять материал.  

• Курс фокусируется на работе с базами данных, инструментами для работы с данными.  

• Вакансии и медиана зарплаты указаны на слайде.  

• Курс помогает студентам подготовиться к реальным рабочим задачам.  

• Следующий открытый урок пройдет 20 июля.  

• Курс длится три-четыре месяца, новые группы формируются каждые три-четыре месяца.  

• Завершение лекции и благодарность за участие.