ускоренный курс dbt (data build tool) Для начинающих (dbt Core) | Полное руководство

• DBT - инструмент для создания данных, открытый исходный код, создан dbt lab.  

• DBT обеспечивает основу для определения, тестирования и развертывания SQL-преобразований.  

• Установка Python 3.9, подключение к базе данных (BigQuery), использование GitHub для управления версиями.  

• Создание виртуальной среды Python для проектов DBT.  

• Создание файла профиля для подключения к базе данных (BigQuery).  

• Установка типа базы данных, учетная запись службы, местоположение файла учетной записи службы.  

• Запуск DBT для создания моделей DBT (SQL-файлы).  

• Использование макросов и шаблонов Jinja для управления созданием таблиц и представлений.  

• Тестирование DBT в BigQuery, удаление примеров таблиц.  

• Создание таблиц и представлений в DBT.  

• Создание файла проекта в GitHub для контроля версий.  

• Настройка конфиденциальности в GitHub.  

• Добавление файлов проекта с помощью команды git init и git add.  

• Добавление удаленного местоположения в проект с помощью команды git remote add origin.  

• Загрузка файлов проекта с помощью команды git push-u origin main.  

• Создание файла SQL с инструкцией SQL для создания модели клиентов.  

• Материализация модели клиентов в виде представления по умолчанию.  

• Настройка материализации модели в файле проекта для создания модели в виде таблицы.  

• Разделение логики очистки данных и преобразования данных на отдельные модели с помощью функции ref.  

• Создание двух файлов SQL для промежуточных клиентов и старого города.  

• Обращение к промежуточным моделям внутри клиентов с помощью функции ref и SQL-инструкции.  

• Проверка работы моделей с помощью команды dbt run.  

• Созданы две модели в целевой директории, что вызывает ошибку при запуске DBT.  

• Удалены файлы моделей и примеры, чтобы убедиться, что инструкции SQL все еще присутствуют.  

• Созданы модели клиентов и самые старые модели в виде таблиц, используя DBT.  

• Создан файл схемы с тестовыми утверждениями для проверки правильности работы моделей.  

• Выполнены тесты на терминале с использованием DBT.  

• Создана документация с использованием команды DBT docs generate.  

• Запущена документация в локальном браузере с помощью команды DBT docs service.