Анализ данных

Показывать лекцию целиком

Цель лекции: Продолжая исследовать типы анализа, в этой главе мы переходим к очень специфичному типу, который, по сравнению со своими предшественниками, имеет строго научное происхождение и возник благодаря сильному влиянию данных на развитие сферы информационных технологий. Итак, мы начинаем знакомиться с анализом данных.

5.1 Анализ данных

Этот вид анализа является преимущественно научным методом исследования и развивается бурными темпами. Его прикладное назначение востребовано из-за того, что человечество накопило массив информации о себе и окружающем мире. Этот массив используется для выявления закономерностей в нашем поведении и прогнозирования отдельных практических аспектов функционирования и необходимых для этого ресурсов.

Анализ данных — это процесс оценки данных с использованием аналитических и статистических инструментов для обнаружения полезной информации и помощи в принятии деловых решений [1].

5.1.1 Немного истории и об истоках

B англоязычной литературе для обозначения анализа данных используется схожий термин — «наука о данных». Это междисциплинарная область, в которой используются методы, процессы, алгоритмы и инструменты для извлечения данных и выявления закономерностей в их представлении. Анализ данных сочетает методы статистики, прогнозного моделирования, математики и информатики.

Возникновение анализа данных связывают с развитием статистики и потребности в фундаменте достоверных закономерностей, на которых выстраиваются варианты развития направлений деятельности и принимаются обоснованные решения.

Между 1780 и 1820 годами шотландский инженер Уильям Плейфер изобрел статистические графики и заложил основы современной визуализации данных и поискового анализа данных. Плейфер изобрел линейный график и комбинированную диаграмму для временных рядов данных, гистограмму, чтобы проиллюстрировать сравнение значений, принадлежащих разным категориям, и круговую диаграмму для наглядного изображения долей [2].

Современный этап развития анализа данных связан с наличием накопленного и доступного для рассмотрения огромного объема разных данных, собираемых в результате процессов взаимодействия между человеком и используемыми им технологиями.

5.1.2 Личности

Направление анализа данных исторически развивалось из направлений статистики и информатики, наследуя у них развитый инструментарий. Анализ данных в современной реинкарнации — «молодое» направление деятельности. Когда разговор заходит о личностях, которые внесли наибольший вклад в развитие анализа данных, мы упоминаем ученых и исследователей, стоявших у истоков тех статистических инструментов, благодаря которым этот тип анализа обрел популярность.

В 1943 году нейрофизиолог Уоррен МакКаллок и математик Уолтер Питтс создали первую упрощенную схему нейронной сети, описывающую возможный механизм взаимодействия нейронов человеческого мозга [3]. Эта схема легла в основу разработки моделей искусственной нейронной сети.

Нейронная сеть — математическая модель (а также ее программное или аппаратное воплощение), построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы [4].

МакКаллока и Питтса занимал вопрос о том, как логика и закономерности мышления могут быть связаны с мозгом как структурой, составленной из клеток, передающих импульсы, на основе которых человек рассуждает и строит логические выводы.

Уоррен МакКаллок и Уолтер Питтс в 1943 году предложили первую математическую модель нейронной сети[5]

Решение этого вопроса было воплощено в идеях авторов, которые дали толчок дальнейшему развитию информатики, анализа данных, искусственных нейронных сетей, электронной вычислительной техники и классических символьных вычислений. Одним из тех, кто продолжил и развил исследования МакКаллока и Питтса, стал Нильс Нильсон.

В 1965 году Нильс Нильсон опубликовал книгу «Обучающиеся машины», в которой показано, как можно использовать нейронные сети для обучения линейных моделей классификации [6]

Нильс Нильсон исследовал и описывал методы обучения машин, доказал теоремы о сходимости алгоритмов обучения и исследовал свойства функций нейронных сетей. Его целью стало развитие представлений об искусственном интеллекте, автоматических методах решения задач и других направлениях этой научной области. Он особенно известен своим вкладом в поиск, планирование, представление знаний и робототехнику [7].

Развитие методов и техник сферы искусственного интеллекта катализировало развитие анализа данных и помогло ему занять важное место в современной прикладной математике в качестве локомотива технологического и технического прогресса.

5.1.3 Назначение

Давайте более точно и конкретно разберемся с назначением области анализа данных. Почему эта область стала настолько популярна и востребована за последнее десятилетие? Процессы цифровизации привели к тому, что каждое действие пользователя оставляет обширный цифровой след.

Цифровизация — это внедрение современных цифровых технологий в различные сферы жизни и производства.

Цифровой след используется для анализа поведения пользователя и выявления шаблонов в его обыденной или профессиональной деятельности.

Цифровой след — это уникальный набор действий в Интернете или на цифровых устройствах [8].

Анализ данных цифрового следа — неоднозначное понятие с точки зрения желаемых результатов. Прогноз достижения результатов можно разделить на два варианта. Первый вариант — достижимый результат на основе однозначных данных. Такой подход еще называют детерминистским.

Детерминизм — общее учение о взаимосвязи и взаимообусловленности явлений и процессов реальности. Представления о детерминизме входят в структуру научного метода — они нацеливают исследование на анализ и раскрытие условий, причин и закономерностей, любых изменений в природе, обществе и мышлении. Основу детерминизма составляют концепции причинности и закономерностей.

Второй вариант — недетерминированные (или нечеткие) алгоритмы, которые вычисляют вероятность наступления того или иного события по группам косвенных данных. С точки зрения цифрового следа такие алгоритмы представляют особенный интерес, обоснованный тем, что он помогает выявить основные пользовательские сценарии поведения в определенной ситуации. Такие сценарии в дальнейшем подвергаются анализу. Выявляются продукты, сервисы и услуги, которые позволят оптимизировать (достигать цели быстрее, повышать качество услуг и т. д.) путь пользователя.

Кратко, назначение анализа данных — автоматизация тех шаблонов, которые точно и полно воспроизводятся или прогнозируются на большом массиве данных и имеют варианты монетизации.

5.1.4 Структура и функции

Структура и функции анализа данных, как прикладной сферы, которая выполняется аналитиком, ограничивается набором факторов. Главный из них — осведомленность и компетентность аналитика в области данных анализируемой области деятельности. Анализировать все собираемые данные разом нецелесообразно. Перед тем как над ними будут произведены действия, необходимо классифицировать их по определенной направленности, определенному пути, после чего выполняется систематизация и ставится цель. Аналитику необходимо понять, что он ищет и что хочет улучшить. При таких рамках он должен быть готов к тому, что анализируемые данные могут оказаться слишком запутанными, неподдающимся анализу с помощью математических методов. Аналитику следует быть готовым к тому, что подобные задачи предстоит решать с нескольких точек зрения, руководствуясь знанием о предметной области, опытом, интуицией и используя различные эвристические подходы.

Эвристический подход — эффективный, но ненадежный практический метод, в котором вероятность вещей оценивается с точки зрения их доступности в памяти. Если примеры легко приходят на ум, мы полагаем, что они являются общепринятыми [9].

Так происходит движение от грубой модели ко все более точным представлениям об анализируемых данных и процессе, в ходе которого они возникают (рис. 22).

Рис.22

Проводимая структура работ подразумевает, что:

опыт, знания, профессионализм аналитика — ключевой фактор успеха;
проблема должна рассматриваться с разных сторон;
следует комбинировать подходы к анализу данных;
не стоит сразу стремиться к высокой точности результатов. Движение должно быть постепенным, от менее простых и точных к более сложным и точным результатам;
цикл анализа необходимо повторять и пересматривать данные, как только принятые нами решения трансформировали наше представление о процессе.

С помощью такого подхода к анализу данных можно решать реальные и сложные задачи по извлечению необходимой для принятия решения информации.

5.1.5 Артефакты деятельности

Разработка инструментов для анализа данных — бурно развивающаяся сфера: от специализированных и сложных, доступных только высококвалифицированным техническим специалистам, до простых, интуитивно понятных новому пользователю. Это развитие обусловлено тем, что группы специалистов и менеджеров заинтересованы как можно быстрее получать артефакты анализа данных, выраженные в виде отчетов и моделей, на основе которых можно делать первичные или основательные выводы о развитии производимых в компаниях продуктов и услуг. Повышенный интерес к данным и работе с ними привели к тому, что для этапов анализа данных — от сбора до визуализации — появились инструменты, которые упростили процесс работы. Основная задача пользователей таких систем — представить данные в наиболее эффективном для конкретного случая виде.

Смысл получаемых моделей и отчетов будет разным. Различия определяются методом, выбранным для решения поставленной задачи. Выделим следующие подходы и определим, что именно они дают для принятия решения [10]:

Смешивание и интеграция данных:
- Суть: Приведение информации с единым смыслом, полученной из разных источников и в разном виде, к единому виду
- Процесс: Приведение данных к общему формату, дополнение данных, отсеивание лишних данных, которые не нужны с точки зрения цели проведения анализа
- Результаты: Если есть несколько разных источников данных (записи с видеокамер, лог процесса взаимодействия пользователя с аппаратом и т. д.), то смешивание и интеграция позволяют получить целостную картину по данным
Машинное обучение и нейронные сети:
- Суть: Анализ данных на основе автоматизации имеющегося формализованного процесса работы с данными
- Процесс: На вход поступают очищенные данные в едином формате, на выход — результат
- Результаты: Данный тип анализа используется для принятия решений в ситуациях, где экспертный опыт прозрачен и обоснован по результирующим параметрам
Предиктивная аналитика:
- Суть: нужно делать прогнозы о будущем анализируемой сферы
- Процесс: Выделяются несколько параметров, которые влияют на данные, а затем с помощью нейросетей строится модель
- Результаты: Нужна для построения возможных прогнозов. При изменении параметров на входе получаются разные прогнозы о развитии
Имитационное моделирование:
- Суть: Анализ, при котором возможно увидеть, как поведут себя одни показатели при изменении других
- Процесс: Аналогичен предиктивной аналитике. Разница — построение прогноза не по реальным, а по гипотетическим данным
- Результаты: Выполняется для проверки гипотез
Data mining:
- Суть: Процесс поиска закономерностей (сходства, различия, категории) в данных
- Процесс: Использование методов классификации, моделирования, прогнозирования, нейросетей, статистических алгоритмов и других методик
- Результаты: Извлечение тенденций и закономерностей из данных
Визуализация аналитических данных:
- Суть: Представление данных в виде графиков, диаграмм, гистограмм, моделей, карт, пиктограмм, отчетов
- Процесс: Визуализация, конечный этап, демонстрация результатов анализа, проведенного другими способами
- Результаты: Отображение результатов по работе с данными в виде, удобном для принятия решения

5.1.6 Как развиваться в этом направлении

Безупречные в теории методы имеют не много общего с действительностью. Аналитик данных постоянно сталкивается с ситуацией, когда трудно создать четкие гипотезы по решаемой им задаче. Целевая модель неизвестна, задача сформулирована абстрактно, данных много и их смысл открывается постепенно. В результате используются эвристические или экспертные предположения о выборе информативных признаков, о моделях, о параметрах выбранной модели. Эти предположения аналитика основываются на его опыте, интуиции, понимании смысла анализируемого процесса [11].

Развитие и повышение профессионального уровня аналитика данных связано с тем, насколько подробно и детально он освоил анализируемую им сферу деятельности и как хорошо владеет инструментарием анализа данных. Развитие в этом направлении деятельности имеет три основные направляющие (рис. 23):

Эксперт в области анализа данных, осваивающий все его методы и техники.
Эксперт в профильном направлении бизнеса.
Архитектор данных, выбравший развитие по наклонной направляющей.

Рис. 23

Выбор траектории развития определяется личными и профессиональными предпочтениями, которые развиваются по ходу практической деятельности конкретного специалиста. Нахождение специалиста в предлагаемой системе координат логично, но, как вы могли заметить, инструментарий бизнес-анализа, продуктового анализа, системного анализа предполагает владение общими инструментами. Бизнес-аналитику для разработки стратегии необходимо владеть пониманием анализа данных. Это позволит принимать взвешенные и обоснованные решения. Такая ситуация повторяется и для других типов анализа, что создает возможности для миграции по сферам анализа.

Контрольные вопросы

Ответим на вопросы для калибровки и самопроверки по анализу данных (рис. 23.1).

В чем состоит назначение анализа данных?
1. Какие типы анализа могут выступать в качестве потребителей результатов анализа данных?
В чем состоит специфика использования анализа данных?
1. На что направлен анализ данных?
2. Какие навыки нужны для полноценного и комплексного применения анализа данных?
Какой контекст должен быть для использования анализа данных?
1. Что требуется для применения анализа данных в конкретной компании?
2. На анализ каких факторов направлен анализ данных?
Какова область применения анализа данных?
1. В какой момент использование анализа данных наиболее оправдано?
2. Какой опыт должна накопить компания и какие вызовы перед ней должны встать, чтобы использование анализа данных принесло для нее наибольшую ценность?