OLAP и анализ данных. Часть 2

Записаться

Разработка данных (data mining)

1. Назначение и определение

Разработка данных (data mining) — это процесс извлечения из больших баз данных достоверной, ранее неизвестной, полной и значимой информации и использования её для принятия ответственных деловых решений. Задача — выявлять неочевидные тенденции и закономерности в гигантских объёмах данных.

Человек, даже видя отчёты и срезы, не может осознать сложные зависимости: объём слишком велик, а закономерности могут быть сколь угодно сложными. Поэтому нужен дополнительный инструмент — алгоритмы, которые находят зависимости.

2. Связь с машинным обучением

Процесс разработки данных связан с анализом данных и программными технологиями. Наука, которая описывает модели и алгоритмы для выявления зависимостей, — это машинное обучение (machine learning). Сами алгоритмы будут подробно изучаться в следующих курсах.

Сейчас важно понимать: есть математические и программные методы, которые позволяют находить в больших данных правила, закономерности и взаимосвязи. Задача хранилища — интегрировать эти алгоритмы, чтобы аналитик подавал на вход срез из OLAP-куба и получал найденные закономерности.

3. Задачи разработки данных

Основные задачи:

• Прогностическое моделирование:
  • Классификация — отнесение объекта к одной из категорий. Пример: клиент уйдёт или не уйдёт; кредит вернут или не вернут. Классификация может быть бинарной или многокатегориальной.
  • Прогнозирование непрерывного значения (регрессия) — предсказание числовой величины. Пример: доля рынка, доход, объём продаж.
• Сегментирование — кластеризация: разбиение множества клиентов на устойчивые группы (кластеры) по характеристикам. Пример: мужчины 30–45 лет с двумя детьми ведут себя особым образом, им нужны специальные предложения.
• Анализ связей — выявление ассоциаций и ассоциативных правил. Пример продуктовой корзины: купившие A и B часто покупают C; купившие A и D никогда не покупают E. Может учитываться время и цепочка покупок: сначала A, потом B.
• Обнаружение отклонений — поиск аномалий, не свойственных общему тренду. Сначала нужно определить норму и ключевой тренд, затем выявить аномалии и их причины. В банковском секторе аномальные операции могут быть мошенническими.

4. Обучение с учителем и без учителя

Обучение с учителем (supervised learning, контролируемое обучение) используется, когда есть выборка с известными правильными ответами. Модель учится на исторических данных, где для клиента уже известен результат (ушёл или не ушёл). Затем она получает новых клиентов и даёт прогноз с уровнем уверенности, например 90%. По прогнозу можно запускать таргетированную рекламу или рассылку.

Со временем предсказания становятся историей с известным ответом. Модель дообучается и становится точнее.

Обучение без учителя (unsupervised learning, неконтролируемое обучение) используется, когда правильных ответов заранее нет. Машина сама по сложным алгоритмам разбивает клиентов на группы по характеристикам. Аналитик затем интерпретирует смысл групп и решает, какие специальные предложения делать.

5. Требования к данным и инструментам

Одно из главных затруднений — поиск данных, подходящих для разработки. Общий поток данных может содержать мусор, который не помогает анализу. Нужно отделять ценные данные от неценных; этому посвящены отдельные разделы машинного обучения.

Источник данных должен быть:

• единым;
• отдельным;
• частым;
• интегрированным;
• непротиворечивым.

Например, данные о транзакции месяц назад не должны завтра неожиданно измениться или появиться задним числом.

В архитектуре хранилища должны быть инструменты, поддерживающие анализ:

• подготовка данных для разных видов анализа;
• выбор алгоритма разработки данных;
• масштабируемость — скорость работы не должна резко падать при росте объёма с 10 000 до миллиона записей и более;
• визуализация результатов, иначе значения анализа непонятны.

6. Интеграция с хранилищем данных

Разработка данных и хранилища дополняют друг друга, поэтому они должны быть интегрированы. Вендор хранилища обычно закладывает внутрь инструмента возможность применения алгоритмов data mining. Изолированное хранилище без анализа теряет смысл.

Крупные поставщики предлагают единый комплекс: ETL-процедуры (Extract, Transform, Load — извлечение, преобразование, загрузка), хранение в хранилище, построение схем (MOLAP, ROLAP, HOLAP), построение OLAP-куба, отчёты и анализ данных. Источником для анализа служит само хранилище или срезы и сечения OLAP-куба.

7. Итог теоретической части

Теоретические основы курса завершаются. Далее — практическая работа: построение кубов, иерархий, drill-down и агрегирование, системы ключевых показателей (KPI), интеллектуальный анализ данных и применение алгоритмов. Предстоит создавать хранилище и манипулировать им для создания куба и анализа.

Краткие итоги

Разработка данных — не отдельный технический приём, а продолжение логики хранилища: накопленные и очищенные данные превращаются в основание для решений. Ключевой переход — от отчётности к поиску неизвестных закономерностей. Центральная идея: человек не способен вручную удерживать и интерпретировать сложные зависимости в больших объёмах, поэтому нужны алгоритмы машинного обучения. Их ценность раскрывается не сама по себе, а в связке с хранилищем, OLAP-кубами и подготовкой данных.

Задачи анализа удобно рассматривать как разные типы бизнес-вопросов. Классификация отвечает на вопрос «к какой категории отнести?», регрессия — «какое числовое значение ожидать?», кластеризация — «какие устойчивые группы существуют?», анализ связей — «что встречается вместе?», обнаружение аномалий — «что выбивается из нормы?». Такое разделение помогает выбирать метод не по названию, а по характеру решения.

Отдельный смысловой узел — различие обучения с учителем и без учителя. При обучении с учителем есть исторические ответы, поэтому модель можно обучить и оценить вероятность. При обучении без учителя ответов нет, и модель сама выделяет структуру, которую затем должен осмыслить аналитик. Это различие определяет, какие данные нужны и как интерпретировать результат.

Практическая применимость зависит от качества источника. Мусор, противоречивость, неполнота или нестабильность данных разрушают анализ. Поэтому требования единства, частоты, интегрированности и непротиворечивости — не формальность, а условие доверия к выводам. Не менее важны масштабируемость, выбор алгоритма, подготовка данных и визуализация. Без визуализации результат остаётся набором чисел, который трудно использовать для управленческого решения.

Главный вывод: data mining встроен в единый комплекс от ETL до OLAP-анализа. Ценность появляется там, где алгоритмы работают на согласованных данных, а результаты встроены в бизнес-процесс: таргетированные предложения, управление оттоком, выявление мошенничества, прогнозирование показателей. Тогда аналитика становится не отчётностью, а механизмом конкурентного преимущества.