Курс по dbt с нуля. Занятие 1. Преимущества dbt. Запускаем dbt из docker в связке с ClickHouse.

• Курс начинается 7 февраля 2024 года.  

• Цель курса: понять концепции Debezium, научиться работать с ним и пройти собеседование на мидл разработчика.  

• План: теоретическое обсуждение Debezium, развертывание с помощью Docker и ClickHouse, создание первого проекта и модели.  

• Установка Docker может быть сложной, но есть видео по развертыванию Docker Desktop.  

• Для Windows потребуется установка WSL для работы с виртуальной машиной Ubuntu.  

• Ссылка на Docker Desktop и WSL будет приложена.  

• Debezium отвечает за процесс трансформации данных в хранилище.  

• Включает автоматическую загрузку данных, преобразование данных и визуализацию.  

• Debezium не касается загрузки данных и визуализации.  

• Альтернативы: процедуры на SQL, специализированные инструменты, такие как Pentaho и Talend.  

• Преимущества Debezium: визуализация зависимостей, контроль версий кода, автоматическое создание визуализации и автотесты.  

• Debezium поддерживает CI/CD и автоматизацию разработки.  

• Запуск ClickHouse с помощью Docker.  

• Docker позволяет запускать приложения в контейнерах, что упрощает управление и предотвращает конфликты.  

• Использование Docker Compose для запуска нескольких контейнеров.  

• Создание рабочей папки и файла Docker Compose для развертывания ClickHouse.  

• Объяснение содержимого файла Docker Compose.  

• Указание образа для запуска ClickHouse и передача переменных для подключения.  

• Публикация порта для подключения к контейнеру.  

• Подключение папок с данными базы данных к контейнеру.  

• Подключение контейнера к сети контейнеров Host One.  

• Создание сети Host One с помощью команды docker network create hostone.  

• Запуск Docker Compose с командой docker-compose up -d.  

• Создание соединения с ClickHouse через Debezium.  

• Подключение к базе данных ClickHouse и проверка наличия таблиц.  

• Использование инструкции по интеграции ClickHouse и Debezium.  

• Создание базы данных и таблиц в Debezium.  

• Наполнение таблиц данными с сайта IMDb.  

• Решение проблемы тайм-аута при наполнении данных.  

• Настройка параметра подключения для увеличения времени ожидания.  

• Описание различных способов установки Debezium.  

• Использование Docker для установки Debezium и его утилит.  

• Создание Docker-образа для Debezium.  

• Скачивание и установка Dockerfile для Debezium.  

• Настройка Dockerfile для установки Debezium и плагинов.  

• Сборка Docker-образа с помощью команды docker build.  

• Docker использует контейнеры, которые являются урезанными виртуальными машинами.  

• Контейнер запускается с Linux и содержит приложение.  

• Образ Docker — это инструкция для создания контейнера, из которого можно запустить несколько контейнеров.  

• В Docker Desktop создаем образ debty-clickhouse.  

• Подготавливаем команду запуска контейнера, используя шаблон с сайта debty.com.  

• Указываем путь к проекту и файлу YAML.  

• Запускаем команду debty-cli, которая инициализирует проект.  

• Добавляем параметры -rm для удаления контейнера после выполнения команды и -i для интерактивного режима.  

• Сохраняем команду для дальнейшего использования.  

• Инициализируем проект debty-cli и выбираем базу данных ClickHouse.  

• Открываем папку проекта в Visual Studio Code и настраиваем файлы debty-project.yaml и profile.yaml.  

• Создаем файл profile.yaml для подключения к ClickHouse.  

• Запускаем команду debty-debug для проверки настройки проекта.  

• Удаляем папку example и создаем папку examples.  

• Создаем файлы models.yaml и schema.yaml для модели и схемы.  

• Указываем таблицы ClickHouse, которые будут использоваться как источники данных.  

• Debezium берет данные из таблиц и готовит их для отправки в ClickHouse.  

• Используется шаблонизатор Jinja для интерпретации кода.  

• Пример ссылки на данные из таблицы: источник AMMBI, таблица Ector.  

• Debezium интерпретирует шаблонизатор Jinja и отправляет запросы в ClickHouse.  

• Вопросы о работе с шаблонизатором и запросами.  

• Пример создания модели с использованием метода материализации вью.  

• Проверка создания представления в ClickHouse.  

• Debezium использует свою схему для указания источников данных.  

• Возможность создания разных схем для разных баз данных.  

• Проверка наличия базы данных AMMBI Debezium в ClickHouse.  

• Создание представления на основе модели Debezium.  

• Задание повторить установку Debezium в Docker или на локальном компьютере.  

• Прислать скриншот запроса SELECT FROM AMMBI Ector.  

• Debezium уже установлен, что упрощает дальнейшее использование.  

• Следующее занятие через две недели.