Искусственные нейронные сети. Часть 2

Записаться

Перспективы глубокого обучения

Существует вопрос: вытеснят ли глубокие нейронные сети все прочие алгоритмы машинного обучения? В ближайшей перспективе — вряд ли. Однако в обозримом будущем, вероятно, появится способ реализовать классические алгоритмы на базе нейросетей, что сделает их использование необязательным.

Сейчас главная проблема глубокого обучения — высокая зависимость от эксперта. Количество настраиваемых параметров настолько велико, что найти оптимальную комбинацию крайне сложно. Если этот процесс удастся автоматизировать, помогая специалисту быстро подбирать архитектуру сети под конкретную задачу, актуальность классических алгоритмов резко снизится.

Риски, связанные с данными

Прежде чем переходить к методологии CRISP‑DM, рассмотрим основные риски, связанные с исходными данными:

• Разнородность. Признаки имеют разную природу и шкалы (например, возраст, цвет волос, уровень образования).
• Неполнота. Наличие пропусков в записях.
• Неточность. Данные содержат погрешности измерений (например, оценка среднегодового дохода). С такими данными работать можно, в отличие от грязных.
• Противоречивость. Одинаковые наборы признаков приводят к разным результатам (например, два одинаковых заемщика: один вернул кредит, другой — нет). Модель должна уметь работать с такими конфликтами.
• Избыточность. Данных так много, что их обработка требует несоразмерных ресурсов.
• Недостаточность. Объектов меньше, чем признаков, или выборка слишком мала для обучения. Даже 1000 строк может не хватить при 100 признаках, учитывая необходимость покрыть все возможные сочетания.
• Неструктурированность. Отсутствие табличного описания (картинки, аудио, видео).
• Грязные данные. Фактические ошибки, не соответствующие действительности (неверно указан пол или возраст). С такими данными построить качественную модель невозможно.

Человеческий фактор

На процесс создания алгоритмов влияют и люди.

Некомпетентный исполнитель

Характеризуется следующими проблемами:

• Неготовность погружаться в предметную область. Специалист не анализирует происхождение данных, не отделяет важные признаки от второстепенных, что ведет к подаче на вход некорректной информации.
• Неспособность аргументировать изменение задачи. Часто исходную задачу нужно декомпозировать на подзадачи. Нежелание формализовать этот процесс и объяснить, почему решение подзадач даст ответ на исходный вопрос, — признак некомпетентности.
• Срыв сроков. Неспособность построить адекватную модель за отведенное время.

Некомпетентный заказчик

Создает не меньше проблем:

• Завышенные ожидания. Ждет «чуда» от искусственного интеллекта и требует результат немедленно.
• Недооценка сложности. Не осознает реальную трудоемкость поставленной задачи.
• Отсутствие критериев качества. Не может сформулировать измеримые показатели, по которым оценивается успех решения.
• Нежелание чистить данные. Ответственность за достоверность и чистоту первичной информации лежит на заказчике, так как он эксперт в своей области.
• Неготовность к пилотным проектам. Внедрение сложных систем следует начинать с небольших пилотных задач, а не с масштабного проекта.

Вывод: для успешного внедрения искусственного интеллекта необходимо напрягать «естественный интеллект». Без компетенций исполнителя и заказчика никакие готовые программные решения не помогут.

Методология CRISP‑DM

Межотраслевым стандартом работы над проектами по анализу данных является методология CRISP‑DM (Cross‑Industry Standard Process for Data Mining). Она включает следующие этапы:

1. Понимание бизнеса (Business Understanding). Формализация задачи, которую требуется решить с точки зрения бизнеса.
2. Понимание данных (Data Understanding). Анализ доступных данных и оценка их пригодности для решения поставленной бизнес-задачи. Если данные не позволяют решить задачу, происходит возврат на предыдущий этап для переформулирования задачи.
3. Подготовка данных (Data Preparation). Очистка данных и преобразование их к формату, пригодному для алгоритмов.
4. Моделирование (Modeling). Построение модели, отбор признаков, настройка гиперпараметров, контроль переобучения и недообучения. На этом этапе может возникнуть необходимость вернуться к подготовке данных.
5. Оценка (Evaluation). Проверка качества модели (кросс-валидация) на новых данных, которые не участвовали в обучении.
6. Внедрение (Deployment). Внедрение модели в эксплуатацию. Если результат неудовлетворителен, проект возвращается к этапу понимания бизнеса.

Факторы риска на этапах CRISP‑DM

• Бизнес-понимание: Несовершенство бизнес-процессов сбора данных. Требуется системный анализ и реорганизация процессов.
• Понимание данных: Наличие грязных данных.
• Подготовка данных: Нехватка ресурсов на исследование.
• Моделирование: Нестандартные задачи, для которых нет готовых решений, что требует разработки новых алгоритмов.
• Оценка и внедрение: Задержка между получением данных и обновлением модели. Пока модель переобучается на новых данных, информация устаревает. Решение — использование платформ адаптивного обучения моделей.

Открытые конкурсы по анализу данных (например, Kaggle) помогают решать проблему нехватки квалифицированных кадров. Компании публикуют обезличенные данные и задачи, а сообщество предлагает решения. Это выгодно бизнесу, науке, образованию и государству. Крупнейшими историческими примерами являются конкурсы Netflix (2006–2009) и платформа Kaggle. Существуют и российские аналоги: платформа Dater Ing и площадки от Сбера и Яндекса.

Роли в команде проекта

В проектах по анализу данных выделяют три ключевые роли:

1. Инженер по данным (Data Engineer). Отвечает за первые этапы CRISP‑DM: понимание данных и их подготовку. Он разбирается в бизнес-процессах, порождающих данные, очищает и визуализирует их.
2. Исследователь данных (Data Scientist). Выполняет этап моделирования: строит признаки, выбирает модели, обучает их, оценивает качество и контролирует весь цикл CRISP‑DM.
3. Менеджер проектов по анализу данных. Организует процессы, формулирует бизнес-задачи, управляет пилотными проектами и следит за движением проекта по этапам методологии.

Краткие итоги

Практическая ценность аналитической работы с данными напрямую зависит от зрелости подходов к управлению рисками и процессами. Осознание того, что алгоритмы не всесильны, а данные редко бывают идеальными, формирует основу для адекватного планирования проектов. Проблема не сводится к выбору самого мощного инструмента; гораздо важнее выстроить связь между бизнес-целью и имеющейся информацией. Если в данных присутствуют неустранимые противоречия или фактические ошибки, никакая модель не даст полезного результата, поэтому первичная экспертиза и очистка информации являются фундаментом, а не второстепенной задачей.

Человеческий фактор играет критическую роль. Эффективность внедрения аналитических решений определяется не столько техническим совершенством кода, сколько готовностью заказчика и исполнителя к предметному диалогу. Разделение ответственности между инженером, исследователем и менеджером в рамках методологии CRISP‑DM позволяет избежать хаоса и обеспечить итеративность процесса. Возможность возврата к предыдущим этапам — это не признак неудачи, а механизм уточнения требований и адаптации к реальности. Такой подход особенно важен при работе с нестандартными задачами, где готовые алгоритмы неэффективны.

Кроме того, открытость и кооперация становятся драйверами развития. Практика публичных конкурсов демонстрирует, как снятие барьеров между бизнесом и научным сообществом ускоряет решение сложных задач. Это позволяет компаниям привлекать внешнюю экспертизу, а специалистам — оттачивать навыки на реальных кейсах. В перспективе, с ростом автоматизации настройки сложных алгоритмов, акцент сместится с ручного конструирования моделей на управление потоками данных и интерпретацию результатов, что потребует еще большей дисциплины в процессах.