ClickHouse: развертывание и настройка // Курс «ClickHouse для инженеров и архитекторов БД»

• Приветствие участников первого открытого урока по ClickHouse для инженеров и архитекторов БД.  

• Представление Алексея Железного, сеньора дата-инженера компании Wildberries.  

• Алексей руководит курсами по ClickHouse и аналитике, преподает более двух лет.  

• Алексей оставляет ссылку на свой контакт для вопросов и общения.  

• План урока: знакомство, информация о ClickHouse, настройка и развертывание.  

• Участники могут поделиться информацией о себе: имя, опыт работы, цель участия.  

• Алексей объясняет правила вебинара: активное участие в чате, возможность задавать вопросы.  

• Призывает участников писать вопросы и замечания в чат.  

• Предупреждает о возможных задержках в связи и просит продолжать писать, если не успели задать вопрос.  

• Участники делятся своими потребностями и целями: использование ClickHouse, аналитика, изучение базы данных.  

• Алексей благодарит за участие и обещает ответить на вопросы.  

• ОТС специализируется на обучении инженеров и архитекторов БД.  

• Компания имеет образовательную лицензию и аккредитацию.  

• Курсы ОТС включают множество направлений и аккредитованы по программам повышения квалификации.  

• Преподаватели ОТС – практики, делящиеся своим опытом.  

• Компания имеет множество выпускников и специалистов.  

• Алексей просит участников оценить их опыт обучения в ОТС.  

• Алексей объясняет свою манеру подачи материала и просит участников сообщать, если она слишком быстрая.  

• Призывает студентов активно участвовать и задавать вопросы.  

• Цель курса - знакомство с базой данных HBase.  

• Курс включает информацию о HBase, установке и настройке.  

• Курс разбит на три урока для лучшего усвоения материала.  

• Получение базовых знаний о HBase.  

• Возможность самостоятельного развертывания базы данных.  

• Понимание основных тонкостей и нюансов настройки.  

• MPP расшифровывается как Massively Parallel Processing.  

• MPP позволяет решать большие задачи быстрее за счет параллельной обработки данных.  

• HBase оптимизирована для параллельной обработки множества операций.  

• HBase относится к OLAP системам, предназначенным для аналитических задач.  

• OLAP системы больше ориентированы на чтение данных, чем на запись.  

• HBase часто используется как источник данных для других систем.  

• Масштабирование бывает горизонтальным и вертикальным.  

• Горизонтальное масштабирование увеличивает количество вычислительных единиц.  

• Вертикальное масштабирование увеличивает ресурсы на одной вычислительной единице.  

• Пример с библиотекой иллюстрирует горизонтальное масштабирование.  

• Горизонтальное масштабирование позволяет разделить задачу на несколько сегментов и обрабатывать их параллельно.  

• Это ускоряет процесс решения задачи по сравнению с одиночной обработкой.  

• MPP распределяет вычислительные мощности между несколькими узлами.  

• Преимущества: высокая скорость обработки больших объемов данных, масштабируемость до сотен узлов, устойчивость.  

• Недостатки: высокие требования к ресурсам, низкая производительность при простых запросах.  

• Репликация всей информации на каждую ноду.  

• Распределение по ключу или round robin.  

• Архитектура: разделение ресурсов базы данных между узлами.  

• Архитектура: разделение ресурсов между узлами.  

• Примеры: HBase, Cassandra, Snowflake.  

• ClickHouse - колоночно-ориентированная СУБД.  

• Преимущества: быстрые аналитические запросы, поддержка различных облачных и локальных сред.  

• Начало разработки в 2008 году.  

• Внедрение в Яндекс.Метрику в 2014 году.  

• Широкое распространение и использование в более чем тысяче компаний.  

• Переваривание больших объемов данных.  

• Векторная обработка запросов и эффективная компрессия данных.  

• Поддержка различных типов данных и интеграция с внешними сервисами.  

• Колоночное хранение данных.  

• Данные хранятся в виде массивов, что позволяет быстро выбирать информацию.  

• Ограничения: не рекомендуется использовать звездочку и фантейбл.  

• Обсуждение использования био-аналитиков и инженеров данных.  

• Основные СУБД: Greenplum и Crypter.  

• Crypter как вычислительное ядро, сравнение с PostgreSQL.  

• Crypter как финальная СУБД для BI-инструментов и Kafka.  

• Сравнение с PostgreSQL: значительное улучшение производительности.  

• Важность правильного использования и знания нюансов.  

• Вопрос о связывании значений в столбцах.  

• Объяснение логики движка Crypter и соединения данных.  

• Проблемы с зависанием и их решение.  

• Обсуждение архитектуры и движков.  

• Варианты развертывания и установки.  

• Физическое хранение данных и их перераспределение.  

• Проблемы с большими вставками в Crypter.  

• Объяснение работы с партиями данных.  

• Оптимизация процесса мерджинга.  

• Благодарность за вопросы и просьба ставить плюсики.  

• Вопрос о хранении колонок в разных файлах.  

• Объяснение независимости хранения столбцов и их влияния на скорость.  

• Три варианта установки Crypter.  

• Уточнение информации из официальной документации.  

• Обсуждение различных облачных решений, включая Cloudera Cloud.  

• Различие между облачными и полуоблачными решениями.  

• Примеры решений: вендор-хост и селф-хост.  

• Cloudera Cloud доступен в облаках Amazon и Google.  

• Примеры собственных облаков: от VK и Яндекса.  

• Промокоды для использования Яндекс Облака в курсе.  

• Три команды для быстрой установки: загрузка бинарника, запуск сервера и клиента.  

• Создание виртуальной машины и настройка параметров.  

• Подключение через различные интерфейсы, включая веб и консольный клиент.  

• Использование Docker для запуска Cloudera.  

• Инструкции по запуску Docker и подключению к Cloudera.  

• Рекомендации по установке и настройке.  

• Инструкции по установке Cloudera на локальный компьютер.  

• Использование пакетов и рекомпилированных версий.  

• Запуск и проверка работы сервера и клиента.  

• Установка KHAUS и настройка сервера.  

• Запуск KHAUS и проверка статуса.  

• Подключение к KHAUS через консольный клиент баз данных.  

• Использование документации на английском языке.  

• Примеры запросов и создание таблиц.  

• Особенности работы с полями и движками.  

• Загрузка данных из различных источников.  

• Быстрое выполнение аналитических запросов.  

• Возможности кастомизации и интеграции с другими системами.  

• Избегайте частых остановок KHAUS.  

• Использование меньшего объема оперативной памяти.  

• Рекомендации по отключению файла подкачки.  

• Возможность репликации данных между узлами KHAUS.  

• Перенос временных данных на внешнюю память.  

• Важность мониторинга ресурсов для предотвращения проблем.  

• Частоту редактирования конфигурации зависит от частоты использования параметров.  

• Если параметр используется редко, лучше оставить его в рамках сеттингс.  

• Если параметр часто используется, его нужно вносить в конфигурацию и перезагружать сервис.  

• Конфигурация хранится в двух файлах: сервер конфиг и юзер конфиг.  

• Сервер конфиг содержит настройки сервера, а юзер конфиг - настройки пользователей.  

• Рекомендуется хранить конфигурацию в отдельных файлах для удобства редактирования.  

• Если запросы падают по памяти, нужно увеличить параметр макс мем юзач.  

• Важно внимательно настраивать параметры, чтобы избежать проблем с памятью.  

• Лучше перераспределять параметры на уровне запроса, а не менять конфигурацию пользователя.  

• Пользовательские конфигурационные файлы хранятся в директории юзер конфиг.  

• Изменения в этих файлах требуют перезагрузки сервера.  

• Пользовательские настройки могут быть переопределены для каждого пользователя.  

• Настройки памяти юзач и количество потоков влияют на производительность.  

• Важно контролировать загрузку системы и использовать встроенные средства мониторинга.  

• Рекомендуется отключить ненужные параметры в командной строке ядра.  

• Материал по настройке и установке ClickHouse обширен и требует дальнейшего изучения.  

• В будущем будут дополнительные уроки по этой теме.  

• Оценка лекции: от 0 до 5, где 0 - ничего не понятно, 5 - все понятно.  

• Обсуждение команды, программы курса и дополнительной информации.  

• Возможность задать вопросы и обсудить их в профиле автора.  

• Вопрос о повышении нагрузки на сервер до 98%.  

• Рекомендация посмотреть настройки и план запроса.  

• Важность соответствия параметров нагрузкам.  

• Вопрос о переходе с PostgreSQL на MySQL.  

• Зависимость от ресурсов и размеров таблиц.  

• Рекомендация тестировать MySQL для понимания его эффективности.  

• Курс начинается 30 ноября, длится три месяца.  

• Формат обучения: вебинары с возможностью задавать вопросы.  

• Восемь домашних заданий, выпускной проект, единая сессия.  

• Преподаватели курса, включая автора.  

• Сертификат с государственной аккредитацией.  

• Возможность подключения других преподавателей.  

• 287 вакансий инженеров данных с знанием MySQL.  

• Медианная зарплата и требования к знанию MySQL.  

• Обзор пройденного материала и настройка MySQL.  

• Ссылки на дополнительные материалы и инструкции.  

• Призыв к обратной связи и пожелания на будущее.