Обзор принципов работы основных алгоритмов машинного обучения. Часть 1

Записаться

Зачем нужно машинное обучение

В анализе данных мы часто сталкиваемся со сложно устроенными данными, объем которых может быть крайне большим. Наша задача — найти или проверить в них закономерности. Чаще всего речь идет о таких закономерностях, которые человек не может выявить с помощью простого анализа или сводных таблиц в Excel. Причины — большой объем данных или нетривиальность самой зависимости.

Чтобы научить машину искать эти закономерности, нужно сначала понять, что они из себя представляют. Простой пример закономерности — поиск однокоренных слов в тексте. Но что делать, если мы не можем явно описать правило? Для этого и существует машинное обучение.

Основной принцип машинного обучения

Суть машинного обучения заключается в следующем:

1. У нас есть обучающаяся программа (алгоритм).
2. Мы предоставляем ей примеры данных, в которых содержатся искомые закономерности (даже если они скрыты от человека).
3. Программа строит модель этих закономерностей.
4. Построенную модель мы применяем к новым данным, для которых правильный ответ неизвестен.
5. Мы проверяем, насколько хорошо модель выявляет закономерности, оценивая ее точность на новых данных.

Разбор на примере: метод ближайших соседей (k-NN)

Рассмотрим самый простой метод — метод ближайших соседей (k-Nearest Neighbors, k-NN).

Представьте набор данных с точками двух цветов: красного и синего. Появляется новый объект, и нам нужно определить его цвет. Метод ближайших соседей предлагает посмотреть на ближайших к новому объекту соседей и на основании их цветов принять решение.

Но здесь возникает проблема шума или выбросов в данных. Если взять слишком маленький радиус вокруг новой точки, в него может попасть только один синий объект. Тогда мы решим, что новая точка — синяя. Однако, взглянув на картину шире, мы увидим, что область вокруг в основном красная, а этот синий объект, скорее всего, является отклонением от нормы (шумом).

Если мы увеличим радиус, то увидим, что рядом есть и три красных, и два синих объекта. Логично предположить, что новая точка должна быть красной, а синие — это аномалии. Таким образом, наличие ошибок в обучающих данных — это нормально. Стремиться к стопроцентной точности на обучающей выборке вредно.

Если мы будем стараться классифицировать каждую точку обучающей выборки идеально, то модель «зазубрит» шум и построит слишком сложную границу, которая будет идеально работать на старых данных, но плохо — на новых. Это называется переобучением (overfitting). Если же модель слишком проста и не может уловить основную закономерность, это называется недообучением (underfitting). Необходим баланс.

Метод k-NN позволяет регулировать сложность с помощью параметра k (количество соседей). При маленьком k=1 модель очень чувствительна к шуму и склонна к переобучению, выстраивая сложные границы с «островками» и «вырезами». При большом k=15 модель более устойчива к шуму и строит более гладкую, естественную границу.

У метода k-NN есть модификация, которая вместо четкого отнесения объекта к классу использует вероятностное (нечеткое) разделение. Вместо строгого ответа «синий» или «красный», модель может сказать: «Этот объект синий с вероятностью 70% и красный с вероятностью 30%». Это позволяет лучше отражать реальность в пограничных областях, где классы пересекаются.

Все эти принципы работают и в многомерном пространстве. Для визуализации многомерных данных используют их двумерные проекции (например, пары признаков X-Y, X-Z, Y-Z), так как человеческий глаз лучше воспринимает плоскую картинку.

Качество модели и ее оценка

Как оценить, насколько хороша построенная модель? Качество — это доля правильных ответов модели на новых данных. Проблема в том, что для новых данных у нас нет правильных ответов.

Решение — разделить исходный набор данных (где ответы известны) на две части:

• Обучающая выборка (training set): на ней модель учится. Модель «видит» признаки и правильные ответы и подгоняет свои параметры для достижения наилучшего результата.
• Тестовая (контрольная) выборка (test set): на ней модель проверяется. Мы подаем модели только признаки, получаем ее ответ и сравниваем с известным нам правильным ответом. Так мы оцениваем точность.

Обычно данные делят в пропорции 70–80% на обучение и 20–30% на тест.

У этого подхода есть недостатки:

1. Мы не используем все данные для обучения, отбрасывая потенциально ценную информацию.
2. Оценка качества производится только на малой части данных, что может быть нерепрезентативно.

Скользящий контроль (кросс-валидация)

Чтобы получить более надежную оценку, используют скользящий контроль (кросс-валидация, cross-validation).

Принцип работы:

1. Обучающая выборка разбивается на n равных частей (например, 10).
2. Проводится n итераций. На каждой итерации одна из частей используется как проверочная (тестовая), а остальные n-1 частей — как обучающие.
3. Таким образом, каждая часть данных по одному разу побывает в роли тестовой выборки.
4. Оценки точности, полученные на каждой итерации, усредняются.

Это позволяет получить более адекватную и устойчивую оценку качества модели.

Подбор параметров на примере k-NN

Кросс-валидация нужна не только для оценки, но и для подбора параметров алгоритма. Для метода k-NN ключевой параметр — k (количество соседей).

Чтобы найти оптимальное k, мы проводим кросс-валидацию для разных значений k и сравниваем среднюю точность. График зависимости точности от k обычно скачет. Это связано с наличием в данных шума. Если бы данные были идеальными, график был бы монотонным. Скачки говорят о том, что при одних значениях k в проверочную выборку попадают выбросы, при других — нет.

Для получения более точного результата кросс-валидацию можно повторять несколько раз с разными разбиениями и затем усреднять полученные оценки.

Важно понимать, что наличие шума — это естественно. Пример: утверждение «люди с высшим образованием зарабатывают больше, чем без него» в целом верно, но из него есть множество исключений. Наличие исключений не делает правило плохим, если оно обеспечивает приемлемую точность.

Важные аспекты метода k-NN

• Вычислительная сложность: для предсказания для M новых объектов на основе N объектов обучения требуется O(N*M) операций. Существуют структуры данных (часто древовидные), которые позволяют ускорить работу алгоритма.
• Параметры: у k-NN больше одного параметра. Помимо k, важную роль играет функция расстояния (метрика). Мы можем использовать:
  • Евклидово расстояние (Euclidean distance): привычное геометрическое расстояние.
  • Манхэттенское расстояние (Manhattan distance): сумма модулей разностей координат.
  • Взвешенное расстояние: когда одни признаки важнее других, и им присваивается больший вес.

Выбор метрики напрямую влияет на результат. Перебрать все возможные параметры (особенно метрики) часто невозможно, поэтому используют эвристики и быстрые методы поиска.

Обобщенный цикл решения задачи

Подход, который мы разобрали на примере k-NN, универсален для любого алгоритма машинного обучения. Общий цикл решения задачи выглядит так:

1. Предобработка данных.
2. Выбор метода и его параметров.
3. Обучение модели на обучающей выборке.
4. Оценка качества на тестовой выборке (с помощью кросс-валидации).
5. Если качество неудовлетворительное, можно:
   • Изменить параметры метода.
   • Выбрать другой метод.
   • Вернуться к предобработке данных.
6. Применение модели к новым данным.

Синонимы в науке о данных

В области анализа данных часто используются синонимы:

• Распознавание, предсказание, прогнозирование — это одно и то же.
• Обучающая выборка, тренировочный набор, наблюдения — синонимы.
• Тестовая, контрольная, скрытая выборка — близкие понятия. Валидационная выборка — это третья отдельная выборка, используемая для дополнительной проверки, но принцип ее работы тот же.
• Классы и метки классов — синонимы.
• Скользящий контроль и кросс-валидация — синонимы.

Краткие итоги

Понимание того, как алгоритмы находят закономерности, принципиально для успешного применения машинного обучения. Основная цель — не зазубрить данные, а выявить устойчивые, обобщающие правила, способные работать на новой информации. Стремление к идеальной точности на известных данных — ловушка, ведущая к переобучению, когда модель воспроизводит случайный шум, а не реальную структуру задачи. Поэтому ключевой становится способность находить баланс между простотой и сложностью модели, между недообучением и переобучением.

Центральная методологическая идея — оценка качества на данных, которые модель не видела при обучении. Разделение выборки и, в особенности, кросс-валидация, предоставляют практический инструмент для такой оценки. Этот подход позволяет не только измерить точность, но и осознанно подойти к настройке параметров алгоритма, например, числа соседей k. Выбор параметров — это итеративный процесс, основанный на компромиссе между точностью и обобщающей способностью.

Наконец, осознание того, что у любого алгоритма есть несколько параметров, включая метрику расстояния, и что их полный перебор часто невозможен, подводит к пониманию важности экспертного знания. Инженер по данным не просто перебирает варианты, а осмысленно выбирает, какие параметры и как настраивать, исходя из особенностей задачи. Это знание предметной области в сочетании с описанным универсальным циклом — от предобработки до финального применения — составляет суть практической работы в машинном обучении.