Магазины (витрины) данных

Записаться

1. Что такое витрина данных

Витрина данных (data mart), или магазин данных, — это подмножество внутри хранилища данных (data warehouse, ХД). Она поддерживает требования отдельного подразделения, группы сотрудников или конкретной задачи компании.

2. Зачем нужна витрина

Сотрудники одного отдела часто анализируют одни и те же данные и формируют похожие запросы. Если заранее известно, что нужно пользователю, можно выделить ему небольшой фрагмент данных. Тогда он обращается не ко всему хранилищу, а к своей витрине. В ней уже есть нужный уровень агрегации (aggregation) — суммирования и обобщения данных. Объём меньше, потому что пользователю нужна только часть, соответствующая его зоне ответственности.

3. Отличия витрины от хранилища

4. Причины создания витрины

1. Доступ к часто анализируемым данным.
2. Представление данных в форме, привычной для группы пользователей.
3. Сокращение времени ответа на запрос.
4. Структурирование данных с учётом прав доступа группы.
5. Упрощение очистки, загрузки, преобразования и интеграции.
6. Снижение стоимости по сравнению с ХД.
7. Более простая поддержка определённого круга пользователей.

5. Архитектура

Конечные пользователи делятся на группы. Целевые группы работают напрямую с витриной. Сотрудники, не входящие в такие группы, продолжают работать с хранилищем. Внутри витрины есть агрегированные данные. Они могут храниться в реляционной (relational) или многомерной (multidimensional) форме. Позже рассматривается и гибридная схема хранения.

6. Проблемы разработки

• Функциональность. В хранилище возможности почти не ограничены, а витрина проще. Пользователям приходится отказываться от части функций ради простоты и быстродействия.
• Размер базы данных. Если группа пользователей слишком большая, объём данных может стать сопоставим с хранилищем. Тогда обслуживание витрины может оказаться дороже.
• Производительность загрузки. При большом объёме загрузка занимает много времени, и преимущество в скорости теряется.
• Доступ к нескольким витринам. Один сотрудник может иметь несколько профилей и компетенций, поэтому ему нужен доступ к разным витринам. Это усложняет структуру.
• Доступ через интернет и внутреннюю сеть. Нужно обеспечить простой и оперативный доступ, иначе выгоднее работать с хранилищем.
• Администрирование и установка. Появляется дополнительная компонента, которую нужно развернуть, настроить и сопровождать.

7. Что дальше

Далее рассматривается физическое хранение информации: реляционная, многомерная и гибридная схемы. Затем — практическая работа с хранилищами на примере SQL Server: написание ETL-процедур (Extract, Transform, Load), формирование отчётов и интеллектуальный анализ данных (data mining).

Краткие итоги

Смысл витрины данных раскрывается через конфликт между универсальностью и специализацией. Централизованное хранилище даёт широкий доступ и единую картину, но платой становится сложность, универсальные структуры и конкуренция запросов. Витрина сужает область данных до задач конкретной группы, поэтому выигрывает в скорости, понятности и управляемости. Однако это выигрыш не абсолютный, а условный: он сохраняется, пока группа, её задачи и объём данных остаются достаточно локальными. Как только витрина начинает покрывать слишком много пользователей или почти весь набор сведений, она теряет главное преимущество — компактность. Тогда расходы на загрузку, хранение и администрирование могут превысить эффект от быстрого доступа. Практическое решение требует оценивать не только техническую скорость, но и организационную цену: какие функции пользователи готовы потерять, насколько стабильны их запросы, совпадают ли права доступа, есть ли пересечения ролей. Важно и управление жизненным циклом: витрина должна развиваться вместе с подразделением, иначе она превращается в ещё один разрозненный источник. Архитектурно витрина не заменяет хранилище, а дополняет его как слой доставки. Она может хранить агрегаты в реляционной или многомерной форме, что влияет на аналитические сценарии. Выбор между этими формами связан с характером вопросов: детальные срезы удобнее в реляционной модели, многомерные срезы — в аналитической. В итоге ценность витрины определяется точностью попадания в потребности группы и дисциплиной поддержки. Если эти условия выполнены, организация получает быстрый и понятный инструмент анализа. Если нет — растут дублирование, стоимость и сложность. Поэтому создание витрины — управленческое и архитектурное решение, а не только техническая задача.