Анализ данных на Python в примерах и задачах

Решение задачи определения спам сообщений

В данной лекции рассматривается практическое применение языка Python для решения задачи классификации текстовых сообщений (определение спама). Лектор демонстрирует полный цикл анализа данных: от загрузки датасета до оценки качества моделей машинного обучения. Основной фокус сделан на использовании библиотеки Pandas для обработки данных, метода map для перекодировки категориальных признаков, а также на применении CountVectorizer для преобразования текста в числовую матрицу частот слов. В рамках занятия сравниваются две модели — логистическая регрессия и метод K ближайших соседей (KNN), а также анализируются различные метрики качества (Accuracy, Precision, Recall, F1).

Основные мысли

1. Перекодировка данных: Для преобразования категориальных значений (например, «ham/spam») в числовые (0/1) используется метод map, работающий по принципу словаря (справочника).
2. Векторизация текста: Класс CountVectorizer превращает набор текстовых сообщений в матрицу, где строки — это сообщения, а столбцы — уникальные слова. На пересечении указывается частота встречаемости слова в конкретном сообщении.
3. Принцип «мешка слов» (Bag of Words): Модель не анализирует смысл (семантику) текста, а лишь считает частоту слов. Спам часто определяется по наличию специфических слов, игнорируя общую лексику (предлоги, местоимения).
4. Сравнение моделей: Лектор предлагает обучить как минимум две модели (логистическую регрессию и KNN), чтобы сравнить их эффективность на одной и той же выборке.
5. Проблема метрик: Accuracy (простая доля правильных ответов) может вводить в заблуждение (97%). Более информативными являются Precision (точность) и Recall (полнота), которые показывают баланс между ошибками первого и второго рода, особенно при работе с несбалансированными данными.
Показывать лекцию целиком
Краткое изложение
Записаться
Этап 1: Подготовка данных
Лектор начинает с загрузки датасета SMS (SMS) с помощью Pandas. Данные содержат два столбца: V1 (тип сообщения: ham/spam) и V2 (текст). Для перевода меток в цифры используется метод map, создается переменная Y (правильные ответы): ham → 0, spam → 1. Подсчет через value_counts показывает дисбаланс классов (4825 «не спам» против 747 «спам»).

Этап 2: Преобразование текста в признаки
Из библиотеки sklearn импортируется CountVectorizer. Создается его объект, и применяется метод fit_transform к столбцу V2 (текст). Результат (X) — это разреженная матрица. Каждый столбец матрицы — это слово из общего словаря (доступно через get_feature_names), а значение в ячейках — сколько раз это слово встретилось в конкретном SMS. Таким образом, машина видит не текст, а набор чисел (частот).

Этап 3: Обучение и оценка
Данные разбиваются на обучающую и тестовую выборки (train_test_split, 70/30). Обучается модель логистической регрессии (делается предсказание на тестовой выборке). Импортируются метрики: accuracy_score, precision_score, recall_score, f1_score. Результаты вызывают удивление: Accuracy = 97%, Recall = 84%. Лектор фиксирует разрыв, подчеркивая, что Recall чувствителен к пропущенному спаму.


Этап 4: Задание
В конце лекции ставится задача повторить те же шаги (векторизацию, разбиение, обучение и оценку) для модели KNN (K ближайших соседей), чтобы сравнить качество с логистической регрессией.

Выводы

1. Простота vs Сложность: Для определения спама не требуется глубокого анализа семантики текста; часто достаточно частотного анализа слов, что значительно проще в вычислительном плане.
2. Критичность выбора метрики: Высокий Accuracy при классификации спама может быть обманчив из-за дисбаланса классов (нормальных писем больше). Метрика Recall (доля найденных спамов) критически важна, так как пропуск спама может быть хуже ложной блокировки хорошего письма (хотя в реальности важны обе метрики). Падение с 97% до 84% при переходе от Accuracy к Recall демонстрирует это наглядно.
3. Универсальность Pipeline: Этапы «загрузка -> векторизация -> обучение -> оценка» являются базовым шаблоном (пайплайном) для многих задач анализа данных, где есть текст и бинарная целевая переменная.
4. Важность перекодировки: Метод map — незаменимый инструмент для приведения «человеческих» меток в числовой формат, понятный алгоритмам машинного обучения.

Вопросы для самопроверки

1. Метод map: Как изменится код перекодировки, если в столбце V1 значения будут записаны не как ham/spam, а как not_spam (0) и spam (1) напрямую? Нужно ли будет использовать map?
2. Векторизация: Что произойдет с размером матрицы X, если в датасет добавить одно новое SMS-сообщение, содержащее 5 уникальных слов, которых раньше не было в словаре? Объясните ответ.
3. Матрица частот: Представьте, что у нас есть два слова: "срочно" (встретилось в 10 спамах) и "здравствуйте" (встретилось в 10 спамах и 500 не спамах). Какое из этих двух слов, согласно логике лектора, будет более ценным для модели при предсказании спама?
4. Метрики: Почему Recall (84%) оказался значительно ниже Accuracy (97%) в приведенном примере? О чем говорит низкий Recall при высоком Accuracy?
5. Pipeline: Какая строка кода отвечает за превращение предложения «Привет, купи слона» в набор чисел (0, 1, 5)? Опишите словами, что происходит на этом этапе.
Предыдущее занятие Следующее занятие
Вернуться к учебному плану
^