Высшая школа бизнес-информатики

Введение в хранилища данных

Программа знакомит с технологиями создания хранилищ данных (Data Warehouse), архитектурными паттернами (3NF, star, snowflake) и основами OLAP-анализа для поддержки управленческих решений.
Для всех RU
2 900 ₽ 6 000 ₽
или любая сумма на ваше усмотрение,
но не менее 1290 ₽
Вы можете оплатить любую сумму, чтобы поддержать наш проект и авторов программы. Объем услуг не зависит от размера вашей оплаты.
Объем
48 час.
Длительность
45 дней
Нагрузка в неделю
8 час.
Формат обучения
Дистанционно (самостоятельно)
Описание Учебный курс посвящен хранилищам данных и охватывает базовые знания и навыки в области их реализации для поддержки управленческих решений. Рассматриваются понятие и описание хранилищ, преимущества технологии, сравнение OLTP и хранилищ, проблемы разработки и архитектура, инструменты, витрины данных и денормализация. Изучаются архитектурные паттерны 3NF, star и snowflake, работа с сущностями измерений и фактов, ETL-процедуры, проверка и очистка данных. Материал адресован архитекторам данных и аналитикам.
Цели
  • Сформировать понимание архитектуры хранилища данных и его роли в поддержке решений.
  • Развить умение проектировать схемы по паттернам star и snowflake.
  • Подготовить к описанию ETL-процедур и контролю качества данных.
Чему я научусь?
  • Сравнивать архитектуры OLTP и хранилищ данных.
  • Проектировать измерения и факты в схемах звезды и снежинки.
  • Описывать ETL-процедуры загрузки данных.
  • Применять методы проверки и очистки данных.

Авторы

Бекларян Армен
Бекларян Армен
Чему я научусь?
  • Сравнивать архитектуры OLTP и хранилищ данных.
  • Проектировать измерения и факты в схемах звезды и снежинки.
  • Описывать ETL-процедуры загрузки данных.
  • Применять методы проверки и очистки данных.

Учебный план

№ Занятия
Экзамен экстерном Внимание! Экзамен экстерном не обязательный для сдачи. При желании вы можете его пройти, если хотите подтвердить свои знания по данному курсу без его изучения или поверить свои знания по нему. Экзамен экстерном можно сдать только один раз. 90 мин
1 Введение в понятие Хранилища данных Курс вводит в понятие хранилища данных (Data Warehouse) и показывает его место после баз данных. Рассматривается... Курс вводит в понятие хранилища данных (Data Warehouse) и показывает его место после баз данных. Рассматривается логика перехода от разрозненных корпоративных баз к единому аналитическому контуру: зачем объединять источники, приводить данные к единому формату, автоматизировать отчётность и строить прогнозы. Отдельное внимание — крупным предприятиям, облачным решениям и системе поддержки принятия решений. ещё 42 мин
2 Описание Хранилищ данных В лекции объясняется, зачем организациям нужно хранилище данных. Показано, как из внутренних и внешних, структурированных и... В лекции объясняется, зачем организациям нужно хранилище данных. Показано, как из внутренних и внешних, структурированных и неструктурированных источников собирается историческая информация для поддержки решений. Вводится определение Data Warehouse, раскрываются его свойства: предметная ориентированность, интегрированность, привязка ко времени и неизменяемость. Рассматриваются OLAP, Data Mining, эволюция от хранения к анализу и понятие Data Mart. ещё 78 мин
Тест 1 для курса # 58744 для курса Введение в хранилища данных 40 мин
3 Преимущества технологии Хранилищ данных В разделе рассматриваются преимущества хранилищ данных: высокая отдача от инвестиций, накопление ретроспективной информации и выявление сложных... В разделе рассматриваются преимущества хранилищ данных: высокая отдача от инвестиций, накопление ретроспективной информации и выявление сложных зависимостей алгоритмами машинного обучения. Показано, как это повышает конкурентоспособность и эффективность принятия решений. Затем сравниваются OLAP (On-Line Analytical Processing) и OLTP (On-Line Transactional Processing): первый подход служит для анализа и произвольных запросов, второй — для интенсивной записи однотипных транзакций. ещё 33 мин
4 Сравнение OLTP и Хранилищ данных В материале сопоставляются два подхода к работе с данными: OLTP-системы и хранилища данных. Логика изложения движется... В материале сопоставляются два подхода к работе с данными: OLTP-системы и хранилища данных. Логика изложения движется от назначения и характера данных к режиму обработки, роли человека, интенсивности транзакций и типам запросов. Показано, почему оперативные базы решают повторяющиеся задачи учёта, а хранилища — аналитические и стратегические задачи, требующие обобщения, истории и произвольных запросов. ещё 42 мин
5 Проблема разработки и основы архитектуры Хранилищ данных В разделе рассматриваются проблемы разработки и сопровождения хранилищ данных: недооценка ресурсов загрузки, скрытые ошибки источников, отсутствие... В разделе рассматриваются проблемы разработки и сопровождения хранилищ данных: недооценка ресурсов загрузки, скрытые ошибки источников, отсутствие нужных данных, рост требований пользователей, унификация, ресурсы, владение данными, сложное сопровождение, длительность проектов и интеграция. Затем раскрывается макроархитектура хранилища: источники, ODS, диспетчер загрузки, ETL, чистка, агрегация, метаданные, внутренний диспетчер, архив, диспетчер запросов, OLAP и data mining. ещё 90 мин
Тест 2 для курса # 58744 для курса Введение в хранилища данных 40 мин
6 Архитектура Хранилищ данных В материале рассматривается хранилище оперативных данных (Operational Data Store, ODS) как промежуточное звено между первичными системами... В материале рассматривается хранилище оперативных данных (Operational Data Store, ODS) как промежуточное звено между первичными системами и хранилищем данных (Data Warehouse, DW). Логика изложения: от проблемы редкой и тяжёлой загрузки DW к решению — ODS; затем к диспетчерам, составу данных и метаданных, средствам доступа и потокам данных. Показано, как ODS сокращает задержку актуализации и приближает аналитику к реальному времени. ещё 51 мин
7 Инструменты и технологии Хранилищ данных Рассматриваются инструменты и технологии хранилищ данных: ETL-процедуры, СУБД в составе хранилища, критерии выбора СУБД и требования... Рассматриваются инструменты и технологии хранилищ данных: ETL-процедуры, СУБД в составе хранилища, критерии выбора СУБД и требования к ней. Логика движется от загрузки и преобразования данных к ядру хранилища, затем к эксплуатационным свойствам, метаданным и администрированию. В финале обозначен переход к витринам данных (data mart). ещё 45 мин
8 Магазины (витрины) данных В лекции рассматривается витрина данных (data mart) как подмножество хранилища данных, ориентированное на конкретное подразделение или... В лекции рассматривается витрина данных (data mart) как подмножество хранилища данных, ориентированное на конкретное подразделение или группу пользователей. Объясняются причины её создания: повторяющиеся запросы, нужная агрегация, ограничение доступа и рост скорости. Показаны отличия от глобального хранилища, архитектура, преимущества и проблемы разработки. В завершение обозначены дальнейшие темы: схемы хранения, ETL, отчётность и интеллектуальный анализ данных. ещё 42 мин
Тест 3 для курса # 58744 для курса Введение в хранилища данных 40 мин
9 Денормализация данных в Хранилищах данных. Часть 1 В материале объясняется, как организовано внутреннее хранение данных в хранилище. Логика изложения идет от отказа от... В материале объясняется, как организовано внутреннее хранение данных в хранилище. Логика изложения идет от отказа от нормализации к денормализации: контроль целостности остается в базах-источниках, а хранилище оптимизируется под сложные аналитические выборки. Затем рассматриваются размерное моделирование, схемы «звезда» и «снежинка», таблица фактов, таблицы размерностей и пример. ещё 66 мин
10 Денормализация данных в Хранилищах данных. Часть 2 В материале рассматриваются типы таблиц фактов: транзакционные, снимки состояния, факты элементов документа и факты событий без... В материале рассматриваются типы таблиц фактов: транзакционные, снимки состояния, факты элементов документа и факты событий без деталей. Показано, почему важна низкая гранулярность и как агрегаты ускоряют анализ. Объясняются таблицы размерностей, иерархии, переход от схемы «звезда» к «снежинке» и роль консольных таблиц. Завершается обзор правилами жизненного цикла данных: обновление, дополнение, резервное копирование, восстановление, архивирование и очистка. ещё 69 мин
11 Кубы данных Рассматривается многомерная модель данных в хранилище — OLAP-куб. Показано, как измерения и показатели образуют ячейки, как... Рассматривается многомерная модель данных в хранилище — OLAP-куб. Показано, как измерения и показатели образуют ячейки, как выполняются срезы и агрегаты, зачем нужны иерархии измерений. Отдельное внимание уделено типам иерархий, коллективным и частным измерениям, а также месту кубов в цепочке «источники — хранилище — витрины — аналитика». Логика — от базового понятия куба к практическим операциям и реализации. ещё 69 мин
Тест 4 для курса # 58744 для курса Введение в хранилища данных 40 мин
12 Варианты реализации Хранилищ данных Рассматриваются варианты реализации хранилищ данных. Логика изложения идет от виртуального хранилища к корпоративной фабрике Инмона, затем... Рассматриваются варианты реализации хранилищ данных. Логика изложения идет от виртуального хранилища к корпоративной фабрике Инмона, затем к хранилищу Кимбалла и гибридной архитектуре. Показано, где хранятся данные, как формируются аналитические структуры, какие компромиссы возникают между полнотой истории, скоростью запросов, стоимостью и устойчивостью. В конце обозначен переход к форматам хранения данных в OLAP-кубах. ещё 48 мин
13 Формат хранения данных в OLAP-кубе В материале рассматриваются три формата хранения данных в OLAP-кубах: многомерный (MOLAP), реляционный (ROLAP) и гибридный (HOLAP).... В материале рассматриваются три формата хранения данных в OLAP-кубах: многомерный (MOLAP), реляционный (ROLAP) и гибридный (HOLAP). Логика изложения — от сути каждого формата к его преимуществам, недостаткам и условиям применения. Затем сравниваются OLTP, ROLAP и MOLAP по операциям, объёму, детализации, срокам хранения и структуре, а также перечисляются общие достоинства и ограничения OLAP-отчётов. ещё 72 мин
Тест 5 для курса # 58744 для курса Введение в хранилища данных 40 мин
14 OLAP и анализ данных. Часть 1 В материале рассматривается завершающая компонента OLAP-архитектуры — аналитическая обработка и интеллектуальный анализ данных (Data Mining). Логика... В материале рассматривается завершающая компонента OLAP-архитектуры — аналитическая обработка и интеллектуальный анализ данных (Data Mining). Логика изложения: от напоминания о хранилище и OLTP к требованиям к OLAP, тестированию производительности, многомерному представлению, вариантам MOLAP, ROLAP и HOLAP, 12 правилам Кодда и управляемой среде запросов (MQ). Показано, как выбор инструмента влияет на скорость, согласованность и практическую аналитику. ещё 84 мин
15 OLAP и анализ данных. Часть 2 Раздел объясняет разработку данных (data mining) как процесс извлечения из больших баз данных достоверной, ранее неизвестной,... Раздел объясняет разработку данных (data mining) как процесс извлечения из больших баз данных достоверной, ранее неизвестной, полной и значимой информации для деловых решений. Логика: от невозможности человека вручную увидеть сложные закономерности — к машинному обучению (machine learning), его задачам и связи с хранилищем данных. Разбираются классификация, прогнозирование, кластеризация, анализ связей и аномалии, а также требования к данным, масштабируемости, визуализации и интеграции с ETL и OLAP-кубами. ещё 63 мин
Тест 6 для курса # 58744 для курса Введение в хранилища данных 40 мин
16 ETL процедура. Описание источника данных. Часть 1 Практическое занятие посвящено построению хранилища данных по схеме «звезда» и реализации упрощённого процесса ETL (Extract, Transform,... Практическое занятие посвящено построению хранилища данных по схеме «звезда» и реализации упрощённого процесса ETL (Extract, Transform, Load — извлечение, преобразование, загрузка) из транзакционной системы. Рассматривается состав измерений — персонал, продукт, доставка, время, — а также показателей — объём продаж и количество. Показана логика проектирования: от требований анализа к выбору источника, атрибутов, целевых таблиц и возможных аналитических срезов. ещё 39 мин
17 ETL процедура. Описание источника данных. Часть 2 Рассматривается табличная структура учебной базы данных AdventureWorks 2017: системные таблицы, схемы Human Resources, Person, Production, Purchasing... Рассматривается табличная структура учебной базы данных AdventureWorks 2017: системные таблицы, схемы Human Resources, Person, Production, Purchasing и Sales. Показано, какие данные относятся к сотрудникам, людям и адресам, товарам, закупкам и продажам. Объясняется, как по назначению схем выбирать нужные таблицы для решения практической задачи. ещё 18 мин
18 ETL процедура. Создание запроса измерений. Часть 1 В лекции показано, как из нормализованных таблиц транзакционной базы собрать первое измерение «Персонал» для аналитического куба.... В лекции показано, как из нормализованных таблиц транзакционной базы собрать первое измерение «Персонал» для аналитического куба. Сначала определяются нужные атрибуты, затем выбираются таблицы Person, Employee, Department и Employee Department History. Объясняются связи, денормализация, обработка NULL, склейка ФИО и формирование запроса в конструкторе. Результат сохраняется как источник измерения. ещё 99 мин
19 ETL процедура. Создание запроса измерений. Часть 2 Рассматривается завершение подготовки измерений для аналитической модели: создание измерения «Продукт» и «Доставка». Логика изложения идет от... Рассматривается завершение подготовки измерений для аналитической модели: создание измерения «Продукт» и «Доставка». Логика изложения идет от состава атрибутов к запросам, затем к правилам соединения таблиц и обработке истории цены. Отдельное внимание уделено левым внешним соединениям, чтобы сохранить продукты без категорий, подкатегорий, моделей и изменений цены, а также устранению дублей городов через DISTINCT. В финале обозначен переход к целевым таблицам. ещё 45 мин
20 ETL процедура. Создание табличной структуры Хранилищ данных В материале показано, как на демонстрационной базе SQL Server создать хранилище данных: отдельную базу DW Demo,... В материале показано, как на демонстрационной базе SQL Server создать хранилище данных: отдельную базу DW Demo, три таблицы измерений — сотрудник, продукт и адрес доставки — и центральную таблицу фактов продаж. Логика движения — от источников AdventureWorks к денормализованным целевым структурам: сначала определяются поля и типы, затем собираются измерения, после — схема звезда и подготовка к ETL. ещё 84 мин
21 ETL процедура. Загрузка таблиц измерений Рассматривается практическое создание ETL-процедуры в SQL Server Integration Services: подготовка проекта в Visual Studio, построение плана... Рассматривается практическое создание ETL-процедуры в SQL Server Integration Services: подготовка проекта в Visual Studio, построение плана загрузки, очистка таблицы фактов и измерений, параллельная загрузка измерений сотрудников, товаров и адресов, затем загрузка фактов продаж. Показаны настройка подключений, сопоставление полей и исправление несоответствий схемы. ещё 90 мин
22 ETL процедура. Загрузка таблицы фактов. Часть 1 Рассматривается завершающий этап ETL (Extract, Transform, Load — извлечение, преобразование, загрузка): загрузка фактов продаж в хранилище... Рассматривается завершающий этап ETL (Extract, Transform, Load — извлечение, преобразование, загрузка): загрузка фактов продаж в хранилище после заполнения измерений. Показано, как настроить суррогатные ключи, извлечь отправленные заказы, сопоставить их с адресами и продуктами через Lookup, учесть актуальность цены на дату заказа и обработать ошибки сопоставления. ещё 69 мин
23 ETL процедура. Загрузка таблицы фактов. Часть 2 Рассматривается практическое построение ETL-процедуры для загрузки данных о продажах в хранилище по схеме «звезда». Показано создание... Рассматривается практическое построение ETL-процедуры для загрузки данных о продажах в хранилище по схеме «звезда». Показано создание файлов ошибок для измерений «Продукт» и «Сотрудник», сопоставление ключей, учёт истории департаментов через интервал дат, агрегация количества и суммы продаж, загрузка таблицы фактов. Отдельное внимание — запуску пакета, контролю строк и проверке заполненного хранилища. ещё 63 мин
Тест 7 для курса # 58744 для курса Введение в хранилища данных 40 мин
Тренировочный экзамен Внимание! Тренировочный экзамен экстерном не обязательный для сдачи. При желании вы можете его пройти, если хотите проверить свои знания курса перед сдачей экзамена. Тренировочный экзамен можно сдавать сколько угодно один раз. 90 мин
Экзамен 120 мин

Какой документ я получу?

Сертификат

Выдаётся автоматически после успешного завершения программы.

Удостоверение о повышении квалификации

Выдается при наличии среднего специального или высшего образования (необходимые документы).

Стоимость программы

2 900 ₽ 6 000 ₽
или любая сумма на ваше усмотрение,
но не менее 1290 ₽
Вы можете оплатить любую сумму, чтобы поддержать наш проект и авторов программы. Объем услуг не зависит от размера вашей оплаты.
^