OLAP и анализ данных. Часть 1

Записаться

1. Место аналитической обработки

Третья, последняя компонента после построения OLAP-куба в форме MOLAP, ROLAP или HOLAP — аналитическая обработка и извлечение данных (Data Mining). Это аналитика, ради которой кубы строятся. Отчёты тоже важны, но ROLAP предпочтителен, если основная задача — отчёты. MOLAP лучше приспособлен для аналитики: машинное обучение, искусственный интеллект, поиск скрытых зависимостей, регрессионные модели, модели временных рядов, прогнозирование, классификация и другие задачи.

2. OLTP и OLAP

Хранилища объединяют большие объёмы данных и оптимизируют их для анализа или отчётов. Раньше были реляционные схемы в форме баз данных. OLTP (On-Line Transaction Processing, оперативная обработка транзакций) держит простые транзакции, которые часто и массово поступают, обслуживая бизнес-процессы: ERP, CRM и другие. Хранилище содержит оперативные данные и поддерживает запросы разных типов. В OLTP — вставка новых данных; в хранилище — выборка для анализа и отчётов. Запросы могут быть сложными, и OLTP для них не предназначен.

OLAP (On-Line Analytical Processing, оперативная аналитическая обработка) — синтез анализа и обобщения больших объёмов многомерных данных. Это технология обработки агрегированных данных в многомерном представлении для быстрого доступа к стратегически важной информации. OLAP позволяет просматривать корпоративные данные, изучать положение предприятия и принимать решения о стратегии.

3. Оценка OLAP-сервера

Для эффективной работы OLAP-компоненты оценивают:

1. Массовую загрузку данных из внутренних и внешних источников.
2. Инкрементную загрузку из операционных систем.
3. Агрегирование данных на этапе ввода по иерархиям.
4. Скорость расчётов новых показателей на основе экономических моделей.
5. Анализ временных рядов.
6. Выполнение запросов любой сложности.
7. Изменение степени детализации.
8. Поддержку нескольких сеансов оперативной обработки.

Отдельно проводят Just-in-Time тестирование: оно показывает, насколько своевременно информация из OLTP-системы доходит до хранилища, затем до OLAP-куба и аналитика. Для оценки используют AQM (Analytical Queries per Minute, аналитических запросов в минуту). AQM учитывает производительность системы в целом.

4. Многомерное представление данных

Многомерное представление — это хранение данных в форме многомерного массива. OLAP-куб хранится с определённым уровнем агрегации. Данные должны быть достаточно плотными, чтобы MOLAP оправдал ресурсы. Если данные разрежены или объём слишком велик, используют ROLAP: данные хранятся в реляционных таблицах в третьей нормальной форме, а куб собирается по запросу.

В многомерном кубе по граням идут измерения (dimensions), а в ячейках на их пересечении — показатели (measures). Например, по строкам могут идти кварталы, по столбцам — города, а в ячейках — доход. Можно добавить третье измерение, например тип объекта. Показателей в ячейке может быть несколько.

Для эффективной многомерной базы заранее рассчитывают логические промежуточные и итоговые значения: агрегации, суммы, средние. Поэтому запросы работают быстро. Для этого нужны иерархии — правила агрегирования по размерностям и уровням грануляции. Основные операции: консолидация, дрилл-даун (нисходящий анализ), разбиение с поворотом (срез и поворот).

5. MOLAP, ROLAP, HOLAP

MOLAP даёт высокую производительность на сложных запросах. ROLAP позволяет хранить гигантский объём информации, но куб строится в момент запроса из нормализованных таблиц. В HOLAP агрегационные данные и факты хранятся в MOLAP, а измерения — в ROLAP.

6. Фактор времени и преимущества OLAP

Нужен корректный учёт времени. Например, продажа была в начале месяца по старой цене, затем произошла индексация, и вторая часть месяца считалась по новой цене. При подведении итога месяца каждая транзакция должна учитываться с учётом времени. Система должна поддерживать этот фактор, иначе аналитика будет неверной.

Преимущества OLAP:

1. Повышение производительности персонала и организации.
2. Уменьшение запаздывания при разработке приложений.
3. Сохранение контроля над целостностью корпоративных данных.
4. Снижение нагрузки на OLTP-систему.
5. Перенос анализа на уровень хранилища и OLAP-кубов.
6. Расширение возможностей получения доходов и повышения прибыльности.

7. 12 правил Кодда

1. Многомерное концептуальное представление данных.
2. Прозрачность: пользователь понимает связь данных с первичными источниками.
3. Доступность: любую нужную информацию можно получить.
4. Неизменно высокая производительность подготовки отчётов.
5. Производительность не зависит от формы отчёта.
6. Производительность не падает при росте числа измерений.
7. Клиент-серверная архитектура: вычисления на сервере, клиент получает результат.
8. Универсальность измерений: единые размерности и иерархии для всех кубов.
9. Динамическое управление разреженностью матриц.
10. Многопользовательская поддержка.
11. Неограниченные перекрёстные операции между размерностями.
12. Удобные средства манипулирования данными, гибкость отчётов и неограниченное число измерений и уровней агрегирования.

8. MQ — управляемая среда запросов

MQ (Managed Query Environment, управляемая среда запросов) предоставляет ограниченные функции анализа. Данные передаются из реляционных СУБД на локальный компьютер пользователя. Пользователь заранее не знает, по какой размерности свернуть куб и какую функцию применить. Он запрашивает исходные данные, а затем локально выполняет агрегации, дрилл-даун или другие операции. Это даёт гибкость, но появляются избыточность данных и несогласованность между сотрудниками. Современные OLAP-решения позволяют вернуть перестроенный куб на сервер, чтобы им могли пользоваться другие аналитики.

Краткие итоги

Практическая ценность OLAP раскрывается не в отдельном кубе, а в связке слоёв: транзакционные системы фиксируют события, хранилище очищает и согласует данные, OLAP-куб даёт многомерный доступ, а аналитика превращает его в решения. Ключевой выбор — между скоростью и объёмом. MOLAP выигрывает там, где данные плотные, а запросы сложные. ROLAP незаменим при больших и разреженных массивах, когда куб можно собирать по запросу. HOLAP ищет компромисс, разделяя факты и измерения. Но любой вариант требует продуманных иерархий, агрегатов и корректного учёта времени.

Производительность нельзя оценивать одним показателем. Она проявляется в загрузке, агрегировании, расчётах, временных рядах, детализации и параллельных сеансах. Just-in-Time тестирование показывает, насколько быстро данные доходят от источника до аналитика, а AQM позволяет сравнивать системы по числу аналитических запросов. Это делает эксплуатационные характеристики частью аналитической ценности.

Правила Кодда переводят выбор инструмента из интуиции в систему критериев: многомерность, прозрачность, доступность, стабильная скорость, клиент-серверная архитектура, единые измерения, работа с разреженностью, многопользовательский режим, свободные пересечения измерений, удобные манипуляции, гибкие отчёты и масштабируемость. Они помогают не только выбрать продукт, но и понять, где архитектура ограничит развитие.

MQ показывает важный компромисс: локальная гибкость ускоряет эксперименты отдельного аналитика, но снижает согласованность общей картины. Возврат перестроенного куба на сервер смягчает этот риск, превращая локальную работу в коллективный ресурс. В результате OLAP становится не просто витриной отчётов, а управляемой средой для проверки гипотез, прогнозирования и стратегических решений.