Что такое большие данные. Часть 2

Данные как товар: пример Jawbone

Ещё один яркий пример относится не столько к моделям, сколько к самим данным. Компания Jawbone (Джибоун) одной из первых выпустила браслеты-трекеры, отслеживающие физическую нагрузку и биометрические показатели. За первой моделью Jawbone Up последовала Jawbone Up2, после чего компания свернула производство браслетов. Несмотря на это, владельцы остались миллиардерами. Создание устройств вовсе не входило в их долгосрочные планы — истинной целью был сбор данных.

Браслет отслеживал показатели сна, включая движения, сердцебиение и дыхание. Анализируя циклы сна, он мог разбудить владельца в оптимальной фазе, обеспечивая бодрое пробуждение. Количество проданных устройств, ночей и дней наблюдений породило колоссальный объём биометрической информации. За одну ночь совокупно собиралось 60 лет непрерывных данных.

Возник закономерный вопрос: кому и зачем нужна эта информация? Основными покупателями стали фармацевтические компании. На западных рынках расстройства сна, бессонница и депрессия официально диагностируются и лечатся медикаментозно. Имея геолокационную привязку, можно было с точностью до района выявить, жители какой территории испытывают конкретные проблемы со сном. Это позволяло адресно поставлять и рекламировать соответствующие препараты, гарантируя высокий спрос. Данные о том, кто именно нуждается в лекарствах, производимых компанией, — это сверхценный актив. Jawbone сгенерировала массив информации с рыночной стоимостью, сопоставимой с миллиардами долларов, и успешно его продала. Данные стали современной «нефтью» или «золотом» — товаром, позволяющим монетизировать практически всё, при условии наличия правильной модели для их обработки.

Концепция Big Data

Традиционно Big Data (большие данные) описывают тремя ключевыми характеристиками:
• Volume (объём) — огромные массивы информации.
• Variety (разнообразие) — данные могут быть структурированными и неструктурированными, разнородными.
• Velocity (скорость) — данные необходимо обрабатывать очень быстро, часто в режиме реального времени, чтобы сервис мгновенно выдавал результат.

Отрасли, выступающие основными потребителями технологий больших данных:
• финансы;
• медицина;
• государственный сектор;
• высокие технологии и интернет-компании.

Сегодня практически любое направление уже невозможно представить вне Big Data. Осознание того, что в данных скрыты ответы на ключевые вопросы, пришло повсеместно.

Генеалогический ресурс и машинное обучение

Ещё один впечатляющий пример силы анализа данных — глобальный генеалогический ресурс (платформа для построения семейных древ). Пользователи заполняют анкеты, рассказывают о предках, загружают сканы старых документов и даже могут дистанционно сдать ДНК-анализ (получив пробирку для сбора слюны). Цель — найти родственников, о которых вы не подозревали, и восстановить историю семьи.

Информация, внесённая разными людьми, перекрестно сопоставляется. Может оказаться, что в книге учёта какой-нибудь деревушки человек записан лишь по дворовой кличке, а выясняется, что это Сергей Дмитриев из вашей семейной истории. Так разрозненные записи обретают имена. По сути, происходит тотальная цифровая перепись человечества с ретроспективой. Задача состоит в том, чтобы понять, как формировалось древо человечества: кто, куда и когда мигрировал, как происходили ассимиляция и генетическое смешение.

Внутренние алгоритмы ресурса ищут связи, сопоставляя разные персоны из разных историй. Если у пользователя сохранились старые записи, их можно отсканировать; производится анализ почерка, и в другом документе обнаруживается тот же почерк — ещё одно подтверждение связи.

Именно благодаря этому ресурсу была с высокой степенью уверенности идентифицирована личность Джека Потрошителя. Сопоставление безличных исторических сводок, данных, сканов документов, не связанных напрямую с преступлениями, позволило вычислить конкретного человека.

Алгоритмы решают все эти задачи: сравнение почерка, нахождение общих персон в разных свидетельствах, анализ ДНК. Это типичная задача класса Big Data. На пути алгоритмов стояли серьёзные проблемы, которые удалось обойти:
• Более 300 000 записей Джона Смита (аналог «Ивана Иванова» в России) — крайне популярное сочетание имени и фамилии, часто используемое для сокрытия реальных данных.
• Отсутствие дат рождения и смерти у многих персон — требовалась специальная компенсация.
• Необходимость восстанавливать места рождения, проживания и смерти.
• Сопоставление членов семьи и объединение родственников в единое древо.
• Постепенное, по крупицам, накопление информации от множества пользователей для построения целостной картины.

Все эти задачи решались алгоритмами машинного обучения (Machine Learning). Именно такие алгоритмы, способные давать обоснованный ответ на сложный вопрос, будут рассмотрены далее.

Краткие итоги

Данные превратились в фундаментальный экономический ресурс, чья ценность определяется не столько объёмом, сколько способностью извлекать из них действенные инсайты. История Jawbone служит яркой иллюстрацией того, как продукт может быть лишь средством доступа к пользовательской информации: компания продала не усовершенствованный гаджет, а детальную картину сна миллионов людей, позволив фармацевтическому бизнесу перейти от массового маркетинга к микротаргетингу, основанному на объективной потребности. Такой подход превращает персональные биометрические данные в самостоятельный товар с многомиллиардной капитализацией, смещая фокус с железа на владение информацией.

Характеристики больших данных — объём, разнообразие и скорость — выступают не просто техническим описанием, а задают рамки для построения жизнеспособных бизнес-моделей. Именно скорость обработки в реальном времени делает возможным мгновенное принятие решений (будь то пробуждение в нужной фазе сна или персональное предложение лекарства), а разнообразие форматов требует алгоритмов, способных работать с неструктурированными массивами.

Генеалогический проект наглядно обнажает природу сложностей реальных данных: противоречивость записей, псевдонимы, отсутствие ключевых атрибутов. Его алгоритмы не ищут точных совпадений, а восстанавливают вероятные связи, объединяя почерковедческую экспертизу, генетический анализ и статистическое сопоставление косвенных свидетельств. Такой подход размывает грань между разрозненными архивами и создаёт единую семантическую сеть человеческих отношений. Практический выход выходит далеко за рамки составления родословных: методика позволяет идентифицировать личности в криминалистике, реконструировать миграционные потоки и выявлять генетически обусловленные риски заболеваний на популяционном уровне.

Центральным звеном всех рассмотренных примеров выступает машинное обучение — оно не программирует жёсткие правила, а самостоятельно выявляет закономерности в массивах информации. Именно этот инструмент превращает сырые данные в актив, приносящий прибыль, раскрывающий вековые тайны и формирующий новую логику принятия решений, где эмпирические корреляции сплошь и рядом заменяют традиционную причинно-следственную экспертизу.