Анализ текстов в SPSS Modeler

Для лекции используйте файлы Astroserve0304.sav (необходимо распаковать), AstroCustomers.txt.

Введение в задачу

Мы переходим к финальной и самой сложной теме — настройке модели анализа текста. Универсального решения здесь не существует, так как процесс сильно зависит от предметной области и конкретной бизнес-задачи. Однако существуют эффективные элементы автоматизации, которые мы сегодня рассмотрим.

Исходные данные и бизнес-цель
Наша глобальная цель — предсказать отток клиента (churn), но не только на основе демографических данных (пол, возраст, доход). Мы хотим использовать комментарии пользователей — расшифровки звонков в службу поддержки. По содержанию разговора нужно определить, успокоился ли клиент после решения проблемы или его возмущение столь велико, что он может отказаться от наших услуг. Задача текстового анализа — классифицировать клиента по тональности и тематике обращения.

Подготовка и логика построения модели

Извлечение выборки (Sampling)
Данные хранятся в формате .sav. Мы применяем сэмплирование (sampling) на уровне 25%. Это делается для ускорения работы, так как обработка полного набора строковых данных крайне ресурсоемка. В основе лежит гипотеза, что основные языковые паттерны и категории проявляются уже на четверти данных. При расширении выборки добавляются лишь синонимы, но качественно новые тематики, скорее всего, не возникают. Для построения модели этого достаточно.

Интерактивное построение модели
Мы используем узел Text Mining из раздела Text Analytics. Модель строится интерактивным и итеративным (interactive and iterative) способом, позволяя специалисту контролировать качество создаваемых категорий на каждом шаге. Вместо того чтобы загружать предустановленный универсальный пакет, мы используем специализированный ресурс для английского языка с тематикой «Мнения» (Opinions) , адаптированный под отзывы клиентов телекоммуникационной компании. Такие предобученные пакеты существуют для разных языков и отраслей (CRM, банки, гостиничный бизнес).

Важно понимать, что общий пакет — это лишь старт. Специалист в области семантики должен донастроить его под специфику своего кейса. Платформа позволяет создать новый пакет на базе изменений, внесенных в стандартные шаблоны. Для русского языка поддержка реализована через встроенный движок перевода: русский текст переводится на английский, после чего применяется англоязычная модель.

На данном этапе модель извлекла 324 паттерна (лингвистических правила). Мы отказываемся от использования кэшированной версии и перестраиваем модель заново на основе загруженного пакета.

Извлеченные концепты и их применение

После обучения мы подаем на вход уже 100% данных, чтобы промаркировать всю выборку. Модель автоматически выделяет концепты (concepts) — сочетание темы и тональности. Примеры категорий:
• Плохой телефон (Bad Phone).
• Бюджет + Негатив (Budget & Negative): вопросы оплаты в негативном ключе.
• Обслуживание клиентов (Customer Service): с подкатегориями вроде Доступность / Время ожидания (Accessibility / Waiting Time).
• Ценообразование и биллинг (Pricing & Billing): как с негативной, так и с позитивной тональностью.

Мы настраиваем выгрузку флаговых полей для каждого отзыва. Каждому тексту сопоставляется полный список категорий, и в зависимости от содержания проставляется флаг «Истина» (True) или «Ложь» (False) . Сортировка по частоте встречаемости категорий показывает самые проблемные зоны сервиса.

Интеграция в предиктивную модель

Теперь мы объединяем (merge) эти текстовые признаки с обычными данными пользователей: пол, срок обслуживания, приоритетность и другими. Целевая переменная — факт ухода клиента (churn).

Балансировка выборки
Перед обучением мы устраняем дисбаланс классов. Так как ушедших клиентов меньшинство, мы случайным образом удаляем треть оставшихся, чтобы уравнять пропорции и обучить модель корректно распознавать уход.

Сравнение двух моделей
Мы строим две модели на основе дерева решений (C5.0) и сравниваем их:
• Модель 1 (Демография): использует только данные CRM.
• Модель 2 (Демография + Текст): содержит данные CRM и флаги текстовых категорий.

Результаты моделирования:
• Модель 1 показала общую точность 67%. Однако она верно определяет уходящих клиентов лишь в 40% случаев. Это плохо, так как ценность модели именно в выявлении риска оттока.
• Модель 2 повысила общую точность до 69%. Но ключевое изменение — точность определения уходящих клиентов выросла до 53% (на 13 процентных пунктов). Ложные срабатывания на лояльных клиентах в этом случае не критичны, так как предоставление им промо-акции лишь немного снизит сверхприбыль, в то время как потеря клиента означает потерю 100% его платежей.

Анализ деревьев решений

• Без текста: первичное ветвление идет по сроку обслуживания (меньше или больше 2.5 лет), затем по статусу приоритетного клиента.
• С текстом: корневое разделение сразу происходит по текстовой категории «Разрешимость проблем» (Problem Resolution). Если она негативна, клиент уходит с вероятностью 90%. Это главный драйвер оттока. Далее следуют такие категории как Доступность информации (Knowledge/Info Access) и Время ожидания (Waiting Time) .

Заключение

Анализ текста позволяет радикально уточнять модели, базирующиеся на демографических данных. Платформа позволяет делать это без программирования, используя готовые шаблоны и визуальные настройки. Типовые задачи бизнеса решаются модульно, а при необходимости всегда есть возможность интеграции с Python или R для углубленной кастомизации. Инструмент автоматизирует полный цикл анализа данных: от построения модели до генерации отчетности.

Краткие итоги

Практическая ценность изложенного подхода заключается в демонстрации ограниченности традиционных моделей, опирающихся исключительно на формализованные демографические показатели. Такие модели склонны упускать истинные причины человеческого поведения, фиксируя лишь поверхностные корреляции вроде срока обслуживания. Они хорошо предсказывают лояльность, но не риски.

Центральная идея — изменение приоритетов в оценке качества модели. В задачах удержания клиентов общая точность является плохим критерием, так как маскирует неспособность алгоритма выявлять редкий, но критически важный целевой класс. Методологически правильным становится смещение фокуса на чувствительность модели к событиям оттока. Это требует балансировки данных как обязательного этапа предобработки.

Внедрение текстовых категорий, извлеченных с помощью предметно-ориентированных лингвистических шаблонов, кардинально меняет структуру прогнозного правила. Качественный скачок происходит благодаря тому, что модель начинает оперировать не формальными признаками, а семантическими концептами — мотиваторами поведения. Категория «разрешимость проблем» становится главным предиктором, вытесняя формальную длительность контракта. Это доказывает, что эмоциональный опыт взаимодействия клиента с сервисом критичнее временных факторов.

Аналитическая ценность Text Mining здесь заключается не в создании модели с нуля, а в генерации высокоинформативных признаков, которые можно интегрировать в уже существующие предиктивные конвейеры. Автоматическое аннотирование каждого клиента флагами тональности его обращений позволяет измерить и монетизировать качество работы службы поддержки, переводя неструктурированный диалог в плоскость точных данных для принятия управленческих решений.