Реализация хранилищ данных DWH в MS SQL Server ч.2

• Рассматривается ситуация с операционной базой данных и хранилищем данных, где хранилище строится таким образом, чтобы нивелировать недостатки операционной базы.  

• Обсуждаются принципы построения хранилища данных, включая выделение фактов, которые все время растут и подлежат анализу, и избегание джойнов в двух больших таблицах.  

• Приводится пример продаж в операционной базе данных, где продажи представлены в виде таблицы с продажами и таблицы с детализацией (ордер).  

• В хранилище данных эти таблицы должны быть объединены, чтобы избежать проблем с производительностью.  

• В видео обсуждается структура хранилища данных, которое состоит из большой фактической таблицы и нескольких справочных таблиц.  

• Обсуждается схема хранилища данных "звезда", где факты ссылаются на справочники через внешние ключи.  

• В хранилище данных также есть меры, которые являются аргументами агрегатных функций в отчетах.  

• В видео обсуждаются проблемы, связанные с проектированием хранилища данных, такие как необходимость соединения двух больших таблиц и необходимость скалярных операций.  

• Обсуждаются решения этих проблем, такие как де-нормализация фактов и использование хранимых вычисляемых столбцов.  

• В видео приводятся примеры хранилищ данных, которые используют схему "снежинка", где справочники не связаны напрямую с фактами.  

• Обсуждаются причины, по которым разработчики хранилища данных могут использовать эту схему, и как это может повлиять на отчеты.  

• Обсуждение необходимости работы со справочниками как со справочниками, а не просто как с атрибутами.  

• Выбор между звездой и снежинкой для хранения справочников.  

• Гранулярность фактов определяет, как аналитик будет работать с данными.  

• Гранулярность справочников зависит от того, что пользователь хочет анализировать.  

• Факты всегда привязаны ко времени, поэтому дата является важным аспектом хранилища.  

• Дата обычно хранится в виде справочника, чтобы избежать скалярных операций.  

• Создание таблицы фактов с номером года, месяца, дня и других полей.  

• Использование целочисленных значений для внешних ключей.  

• Обсуждение проблемы внесения изменений в справочники и таблицу фактов.  

• Использование подхода "медленно меняющаяся размерность" для отслеживания изменений в атрибутах справочников.  

• Использование суррогатного ключа для отслеживания изменений в бизнес-ключе.  

• В таблице фактов добавляются столбцы с датами начала и конца действия ключа, а также флаг с признаком текущего значения.  

• Это позволяет отслеживать историю изменения атрибутов и создавать отчеты с учетом этой истории.  

• Если атрибут меняется быстро, можно использовать прием "быстро меняющаяся размерность" (фас), когда атрибут переносится в фактическую таблицу.  

• Это увеличивает размеры фактической таблицы, но сохраняет работоспособность отчетов.  

• Куб и хранилище имеют разные функции: куб для анализа и построения отчетов, хранилище для вечного хранения и анализа.  

• Куб может заменить хранилище, но не может быть самостоятельным.  

• Хранилище может быть использовано для детальной информации, которую неудобно брать из куба.  

• Обсуждение важности проектирования хранилища и его влияния на последующие этапы работы с данными.  

• Упоминание о необходимости рассмотрения аддитивных и неаддитивных фактов при проектировании хранилища.  

• Упоминание о потере преимущества операционной базы и сложности системы.  

• Недостатки хранилища: потеря актуальности данных, большие таблицы фактов, торможение запросов.  

• Упоминание о том, что на следующем этапе можно перейти к кубу для решения проблем с торможением запросов.  

• Обсуждение возможности ускорения агрегаций с помощью индексированных представлений или таблиц.  

• Демонстрация слайдов, объясняющих подход к хранилищам и их роль в бизнес-аналитике.  

• Обсуждение термина "датамарт" - части хранилища, отвечающей за одну предметную область.  

• В этом модуле обсуждается важность понимания потребностей тех, кто будет использовать хранилище данных, и необходимость учитывать это при проектировании.  

• Обсуждаются роли в компании и их влияние на проектирование хранилища данных.  

• В этом модуле обсуждаются особенности логического и физического проектирования хранилища данных, включая выделение фактов и мер, использование звезд и снежинок, гранулярность и де-нормализацию данных.  

• Обсуждаются причины, по которым может потребоваться переход от звезды к снежинке, включая сложность структуры данных, изменение атрибутов и использование разных уровней гранулярности.  

• В этом модуле обсуждаются проблемы, связанные с зацикливанием в базе данных, и важность избегания таких ошибок при проектировании.  

• Обсуждается хранение календаря в отдельном справочнике, который должен быть наполнен и разложен по компонентам для анализа.  

• В 2008 году Microsoft добавил отдельные типы данных для работы с датой и временем, чтобы облегчить работу с большими объемами данных в хранилище.  

• В восьмом модуле появились функции для работы с датами, что упрощает процесс конвертации и снижает зависимость от настроек сервера.  

• В учебнике есть демонстрация, которая поможет разобраться в работе с датами.  

• В учебнике есть две лабораторные работы: из третьего модуля и из первого модуля.  

• Выполнение этих лабораторных работ поможет познакомиться со структурой лабораторных работ и сделать их более интересными и понятными.  

• После выполнения лабораторных работ можно быть свободным до следующего дня.  

• В дальнейшем темп обучения будет ускоряться, так как будут изучаться более сложные темы.