Резюме

В лекциях к главе был изучен процесс создания ХД: создание физической модели данных, скрипта создания ХД, моделирование метаданных и процесса извлечения, преобразования и загрузки данных

Было рассмотрено понятие метаданных, как совокупности спецификаций и элементов данных, содержащих описание данных ИС и процессов их обработки. Были определены основные функции и дана классификация метаданных в ХД. Дан краткий обзор спецификации «Общая метамодель хранилища данных».

Метаданные — это информация о данных, которая требуется для управления ХД, а управление метаданными — существенный компонент архитектуры хранения. К техническим метаданным относится вся информация, которая требуется для настройки и использования ХД. Предметно-ориентированные метаданные включают в себя бизнес - термины и определения данных ХД. Структурные метаданные – это описание объектов ХД и их характеристик. Метаданные процесса обработки данных — это информация, собранная во время работы ХД, такая как происхождение перенесенных и преобразованных данных; статус использования данных (активные, архивированные или удаленные); данные мониторинга, такие как статистика использования, сообщения об ошибках и результаты аудита.

Метаданные часто размещаются в репозитории, который позволяет совместно использовать метаданные различными инструментами и процессами при проектировании, установке, использовании, эксплуатации и администрирования ХД.

Был изучен вопрос создания физической модели ХД из корпоративной модели данных. В этом случае процедуру создания физической модели ХД можно разбить на следующие шаги:

1. Выбрать данные данных корпоративной модели, которые будут сохраняться в ХД.
2. Исследовать временные зависимости данных и, если необходимо, добавить элемента времени в ключи сущностей ХД.
3. Добавить в модель производные элементы данных.
4. Преобразовать взаимосвязи между данными.
5. Определить уровень структуризации (грануллированности) данных в ХД
6. Перенести данные из таблиц корпоративной модели данных в таблицах выбранной схемы ХД.
7. Выявить периодические группы данных или массивы данных.
8. Разделить атрибуты согласно параметрам стабильности.

Был рассмотрен процесс извлечения, преобразования и загрузки данных в хранилище данных. Разработка ETL процесса включает в себя следующие основные стадии:

• Планирование ETL процесса;
• Конструирование процесса заполнения таблиц измерений;
• Конструирование процесса заполнения таблиц фактов;
• Извлечение данных;
• Преобразование и очистку данных;
• Загрузку данных.

При проектировании процессов преобразования данных проектировщик ХД должен решить следующие задачи:

• Проанализировать требования к данным ХД;
• Проанализировать и описать источники данных для ХД;
• Создать модель преобразования данных высокого уровня;
• Определить и подробно описать каждую задачу преобразования данных;
• Определить и подробно описать последовательность действий для каждой задачи преобразования.

Извлечение, преобразование и загрузка данных, являются основными этапами переноса информации из одного приложения в другое. Процессы ETL полезны при обновлении или изменении приложений или при увеличении уровня интеллектуальной поддержки бизнеса с помощью баз или киосков данных.

Разработка ETL процесса является сложной и очень трудоемкой задачей. По оценкам специалистов при разработке ХД она может занимать до 80-90% времени проекта создания ХД.