Преимущества технологии Хранилищ данных

Записаться

Преимущества технологии хранилищ данных

Рассмотрим ключевые преимущества. Список можно продолжать, но обозначим основные.

1. Потенциально высокая отдача от инвестиций. Деньги вкладываются в сопровождение бизнес-процессов. После запуска они начинают генерировать информацию. Со временем формируется пул ретроспективной информации. Из неё с помощью сложных алгоритмов, выполняемых машинами, извлекаются ценные данные. Человек такой объём проанализировать не может и не увидит нетривиальные зависимости, которые обнаруживает, например, алгоритм машинного обучения.
2. Задача хранилища — в ответ на инвестиции в бизнес-процесс получить работающий процесс, который пишет информацию. Затем эта информация накапливается. История данных даёт конкурентное преимущество: становятся видны зависимости и закономерности, незаметные раньше. На их основе принимаются более эффективные решения на рынке. Как следствие, повышается конкурентоспособность. Если детально понимать процессы с учётом макроэкономических и социальных показателей, можно принимать решения, дающие конкурентное преимущество.
3. Повышается эффективность труда лиц, принимающих решения. Бесконечные совещания, разбор отчётов, обсуждения с разных сторон не гарантируют заданный уровень эффективности решений. Хранилище в результате анализа предоставляет аргументированную позицию: почему решение именно такое или даёт выбор из нескольких решений, объясняя достоинства и недостатки каждого. Вместо того чтобы ломать голову, мы получаем набор готовых альтернатив и выбираем более приемлемую. Идеальных решений не бывает; обычно есть серия решений, удовлетворяющих ограничениям, со своими плюсами и минусами.
4. Высвобождается время. Выбрав из набора альтернатив, мы можем заниматься вопросами, где действительно нужен человек, а машина пока не справляется. Как правило, это внутричеловеческие коммуникации и взаимоотношения: встречи с потенциальными партнёрами, работа с персоналом. Там человеческий мозг эффективнее машины. Всё, что можно автоматизировать, лучше передать машине: пусть она предложит один-два-три варианта с плюсами и минусами, а наша задача — выбрать.

OLAP и OLTP

С хранилищем связана технология OLAP (On-Line Analytical Processing). Она интегрирована в хранилище. Эта технология позволяет в режиме реального времени производить анализ. Не обязательно строго реального времени, хотя это актуальный фронт технологий хранилищ данных. Есть онлайн-решения: продажа произошла на точке во Владивостоке, а через 2 минуты факт продажи уже фигурирует в отчётности бэк-офиса в Москве. Такие OLAP-решения в онлайне уже есть на рынке. Но большинство решений работают с периодичностью, как правило, раз в сутки. Есть окно загрузки, или «санитарные часы», например с двух до четырёх утра, когда хранилище выгружает всю информацию за предыдущий день. Когда аналитик приходит на следующий день, он видит продажи за прошлый день.

OLTP (On-Line Transactional Processing) — это базы данных, которые являются первичным источником информации. Буква T означает Transactional (транзакционный). Задачи таких систем — накапливать результат транзакций: продажу на кассовом аппарате, формирование контракта с клиентом, открытие счёта в банке. Это базовая типовая транзакция. Пока бизнес-процесс не изменится, но это бывает не часто и обычно не революционно, а постепенно. Есть набор заранее предопределённых операций — транзакций, форма и содержание которых по времени почти не меняются. Нужна система, которая хранит однотипный набор информации: продажа, продажа, продажа.

Такие системы называются OLTP. По сути, это классические базы данных. Они непригодны для организации самого хранилища, потому что у хранилища другая задача.

Требования к OLTP и задача хранилища

К системам OLTP предъявляются следующие требования. Они проектируются для максимально интенсивной обработки фиксированных транзакций. Форма транзакции фиксирована, едина, содержание тоже едино. Таких транзакций очень много: в одной точке, другой, третьей, четвёртой — всё работает параллельно. Задача — максимально интенсивно записывать всё в базу данных и хранить. OLTP-системы должны максимально быстро и бесконфликтно записывать информацию о функционировании бизнеса. Они пишут текущую информацию из бизнес-процессов, и эта информация однотипна.

Когда речь идёт о хранилище данных, в первую очередь выполняется обработка информации, то есть не запись, а обработка того, что уже хранится. Обработка идёт в форме произвольных запросов. Аналитик думает, как извлечь ценную информацию: смотрит на данные, пишет один запрос, второй, третий, четвёртый, пятый, шестой. Эти запросы заранее не предопределены, они ограничены только фантазией аналитика. Например, он может решить извлечь возраст сотрудника. Во вчерашней выгрузке возраста не было, в сегодняшней он есть. Запросы постоянно видоизменяются и эволюционируют. Поэтому перед хранилищем данных стоит иная задача: извлечение и обработка информации, а не её запись, причём в рамках произвольного запроса, который сегодня один, а завтра другой.

Это две разные системы с разными требованиями. Есть OLAP-подход и OLTP-подход, каждый решает свой спектр задач. Базы данных интегрированы с OLTP-подходом. Этот подход обеспечивает максимально эффективную запись текущих процессов в компании. OLAP-подход сделан для анализа уже сохранённой информации, многогранного анализа с настраиваемыми (кастомными) запросами к этой информации.

Краткие итоги

Практическая ценность хранилищ данных раскрывается не в самом факте накопления сведений, а в превращении операционной активности в управленческий ресурс. Инвестиции в бизнес-процессы создают поток однотипных событий; со временем он образует ретроспективный слой, который становится основой для выявления закономерностей, недоступных прямому наблюдению. Ключевой сдвиг состоит в переходе от интуитивного обсуждения к выбору из аргументированных альтернатив, где достоинства и недостатки вариантов уже оценены. Это снижает неопределённость, ускоряет принятие решений и освобождает время для задач, требующих человеческого участия: коммуникации, переговоров, работы с персоналом. Автоматизация анализа не заменяет человека, а меняет распределение его усилий.

Разделение OLTP и OLAP отражает разную природу операционной и аналитической нагрузки. OLTP обеспечивает стабильную запись фиксированных транзакций, поддерживая текущую деятельность. OLAP ориентирован на обработку уже накопленных данных и произвольные запросы, которые меняются вместе с гипотезами аналитика. Смешение этих ролей приводит к конфликту требований: система, оптимизированная под интенсивную запись, не предназначена для многогранного анализа, а аналитическая среда не должна подменять операционный учёт. Практический вывод — архитектурное разделение контуров: один контур фиксирует события, другой превращает их в знания.

Периодичность обновления хранилища — не деталь, а управленческий выбор. Он определяет, насколько быстро данные становятся доступными для решений. Онлайн-режим сокращает разрыв между событием и отчётностью, но требует более сложной организации. Пакетный режим с окном загрузки проще и достаточен, когда решения не требуют мгновенной реакции. Выбор зависит от цены задержки: чем выше стоимость запоздалого решения, тем сильнее аргумент в пользу онлайн-аналитики.

Таким образом, хранилище данных — это не просто база для отчётов, а механизм преобразования операционной истории в конкурентное преимущество. Его эффективность оценивается по тому, насколько быстро и качественно оно помогает выбрать действие, а не по объёму сохранённых записей. Успешное применение требует чёткого разделения транзакционной и аналитической логики, понимания допустимой задержки данных и готовности передать машине рутинный анализ, оставив человеку выбор и коммуникацию.