Ансамблирование моделей ч.1

Переход от единичных моделей к ансамблям

Мы рассмотрели различные модели по отдельности, оценивали их качество и выбирали среди них лучшую — ту, что даёт самый высокий уровень точности. Теперь перейдём к ансамблированию (объединению в ансамбль). Идея в том, что несколько моделей будут работать не поодиночке, выдавая каждая свой результат, а в связке. Мы видели подобный подход, когда говорили об ансамблировании деревьев решений по принципам бустинга (boosting) или бэггинга (bagging). Теперь же мы будем объединять модели, разные по своей природе.

Построение базовых моделей

Для работы используем уже знакомый датасет response to complain. Первое поле — идентификатор, мы его исключаем, а поле response to complain назначаем целевой переменной (таргетом).

После настройки типов данных последовательно применяем три разных типа анализа:
1. Дерево решений C5.0.
2. Дискриминантный анализ (Discriminant analysis).
3. Метод опорных векторов, используя узел SVM (Support Vector Machine).

В настройках каждой модели включена опция подсчета метрики склонности (Propensity Score).

Создание ансамбля из моделей

Теперь наша задача — скомбинировать эти модели в ансамбль, чтобы каждая из них улучшала результат предыдущей. Для этого отсоединяем модели от конечного узла и соединяем их последовательно со специальным узлом Ensemble (Ансамбль), который находится в разделе Field Ops.

В настройках узла ансамблирования:
• Снимаем флажок Filter outfields generated by ensemble models, чтобы увидеть все служебные поля, которые создает узел в процессе работы.
• Выбираем метод построения итоговой модели. Среди подходов, например, есть голосование на основе доверительных интервалов (Confidence-Weighted Voting). Однако мы остановимся на методе агрегации на основе склонности (Propensity). Так как для каждой модели мы включили расчет этой метрики, узел сможет оценить средний прирост по ней и на этой основе построить ансамбль.

Перед запуском необходимо не забыть разделить датасет на обучающую и тестовую выборки с помощью узла Partition. Установим соотношение 70% на обучение (Training) и 30% на проверку (Testing).

Анализ результатов ансамблирования

Запускаем узел анализа и смотрим на результат. Сравним точность (Accuracy) каждой модели на тестовой выборке:
• Дерево решений C5.0: 74.25%.
• Дискриминантный анализ: 71.6%.
• SVM: 73.17%.
Комбинированная, ансамблированная модель показывает результат практически 76%. Это наглядно демонстрирует, что ансамбль отработал лучше, чем каждая из моделей по отдельности.

Чтобы убедиться окончательно, запросим в узле анализа расчет коэффициента Джини (Gini coefficient). Ансамблированная модель лидирует по всем метрикам: её коэффициент Джини превышает 0.5, а точность составляет 0.753. Остальные модели показали более низкие результаты. Это подтверждает, что использование ансамбля эффективнее применения отдельных моделей.

Если в настройках узла Ensemble вернуть флажок для фильтрации промежуточных полей, на выходе мы получим чистый результат итоговой модели с Accuracy = 0.753 и Gini = 0.5.

Работа с порогом классификации

После получения ансамбля мы можем выгрузить итоговые данные. Узел Ensemble генерирует не только сам ответ («да» или «нет»), но и вероятность (propensity) этого ответа. Автоматическое проставление бинарного ответа на основе вероятности можно отключить, оставив принятие окончательного решения за человеком: он сам определит, считать ли вероятность 0.55 достаточной для ответа «да».

Мы можем попытаться найти оптимальное пороговое значение вероятности. Для этого подадим вероятность, сгенерированную ансамблем, на вход новой модели, например, дерева решений C5.0, чтобы та автоматически подобрала порог.

Проанализировав результат такого подхода, мы увидим, что точность не улучшилась — она упала с 0.753 до 0.742. Это говорит о том, что попытка ручного или внешнего переопределения критерия для бинарного ответа не всегда приносит пользу. В любом случае, ансамблированная модель оказалась лучше, чем каждая из её составных частей.

В заключение, мы увидели, как объединение нескольких моделей в совокупности дает прирост точности. Следующий шаг — посмотреть, как можно автоматизировать сам процесс отбора типов анализа, чтобы система сама определяла, какой из них наиболее предпочтителен для конкретного набора данных.

Краткие итоги

Центральная тема материала — практическое подтверждение гипотезы о том, что агрегация разнородных прогностических моделей в ансамбль дает прирост качества, недостижимый для каждой из них по отдельности. На примере задачи бинарной классификации демонстрируется, что слабые стороны одного алгоритма могут компенсироваться сильными сторонами другого, если их результаты объединены корректным методом. Экспериментально доказано, что итоговая метрика Accuracy и коэффициент Gini у ансамбля оказались выше, чем у дерева решений, дискриминантного анализа и метода опорных векторов, обученных на одних и тех же данных.

Ключевой аналитический вывод заключается в том, что ценность ансамбля не сводится к простому усреднению результатов. Узел ансамблирования, агрегируя модели на основе метрик склонности (propensity), строит новое, более устойчивое решение. Это методологически отличается от независимой оптимизации порога классификации постфактум. Неудачная попытка улучшить качество ансамбля путем внешнего пересчета порога на основе дополнительного дерева решений показала, что необдуманное вмешательство в сбалансированную конструкцию может привести к деградации результата. Система принятия решений становится не просто суммой ее компонентов, а сложным равновесием, которое легко нарушить.

С практической точки зрения, подход определяет сценарий, в котором аналитик сначала добивается максимума возможного от единичных моделей, а затем использует автоматизированные средства платформы для их слияния. Это освобождает от субъективного выбора «лучшей» модели, поскольку ансамбль демонстрирует способность нивелировать риски, связанные с выбором одного-единственного, возможно, неоптимального алгоритма. Становится понятно, что дальнейшее повышение эффективности лежит в плоскости автоматического поиска и объединения моделей, где система сама подбирает наилучшую комбинацию под конкретные данные.