Цель лекции: Изучить понятие «бизнес-аналитика», рассмотреть понятие системы бизнес-аналитики, рассмотреть вопрос информационной безопасности систем бизнес-аналитики. Изучить технологию обработки данных в системах бизнес-аналитики и рассмотреть общую архитектуру систем бизнес-аналитики. Рассмотреть проблемы, возникающие при построении систем бизнес-аналитики. Изучить взаимосвязь хранилища данных и системы бизнес-аналитики.
Изучив материал настоящей лекции, вы будете знать:
и научитесь
Многозначность английского слова «Intelligence» приводит к неопределенности трактовки термина «Business Intelligence» как в российских, так и в зарубежных литературных источниках, посвященных тематике использования информационных технологий для аналитической поддержки бизнеса. Английское слово «Intelligence» означает способность узнавать и понимать, готовность к пониманию, знания, переданные или приобретенные путем обучения, исследования или опыта, действие или состояние в процессе познания, разведку, разведывательные данные. Русское слово интеллект означает мыслительную способность человека.
Термин «Business Intelligence» получил широкое распространение, когда был введен в обращение аналитиками компании Gartner Group в конце 80-х годов прошлого века, как «пользователецентрический процесс, который включает доступ и исследование информации, ее анализ, выработку интуиции и понимания, которые ведут к улучшенному и неформальному принятию решений». Хотя ранее этот термин, например, использовался в компании IBM в качестве внутрикорпоративного термина.
К 1996 году содержание термина было уточнено, и «Business Intelligence» стал пониматься, как «инструменты для анализа данных, построения отчетов и запросов, которые могут помочь бизнес-пользователям преодолеть море данных для того, чтобы помочь синтезировать из них значимую информацию».
В русскоязычной литературе термин «Business Intelligence» перевозится как бизнес-аналитика, бизнес-интеллект, интеллектуальный анализ данных, деловая осведомленность или используется просто как аббревиатура BI. Однако в настоящее время не существует однозначного определения термина «бизнес-аналитика» (BI). Отметим следующие важные аспекты трактовки содержания данного термина:
Таким образом, бизнес-аналитика в широком смысле слова понимается как:
Приведем определение.
Определение 3.1. Бизнес-аналитика - это совокупность методов, бизнес-процессов, программно-аппаратных средств для обработки и преобразования данных предметной области бизнеса в осмысленную и полезную информацию для использования при подготовке стратегических и тактических решений, направленных на повышение эффективности деятельности организации.
В современном мире успех компании на рынке напрямую зависит от того, как быстро руководство компании может распознать изменения динамики рынка и своевременно отреагировать на них с целью увеличения прибыли, исходя из имеющихся место реалий рынка. Руководители компании должны отслеживать тенденции рынка, идентифицировать конкурентов и угрозы, оценивать риски, преобразовывать стратегию компании, оценивать свои ресурсы и т.д. Информация об этом является необходимым производственным ресурсом для принятия эффективных управленческих решений.
Компании накопили значительные объемы данных и имеют доступ к еще большим объемам внешних данных. Руководителям необходимо, чтобы эта информация была преобразована, предварительно обработана и соответствующим образом организована для быстрого доступа, анализа и принятия решений. Такой подход к данным есть, с одной стороны, создание конкурентного преимущества, а с другой стороны, требование к публикации данных для руководителей компании. Публикация данных для руководителей, обеспечивающая быстрый доступ к данным, выполнение анализа данных и информационную поддержку процесса принятия решений, является основной целью систем бизнес-аналитики. Бизнес-аналитика помогает компании создавать знания из всей доступной информации для принятия эффективных управленческих решений и превращения этих решений в действие.
Таким образом, ключевую роль в управлении организацией в целом и ее отдельными производственными функциями играет информация. Данные, которые доступны руководителям и аналитикам непосредственно из корпоративных информационных систем, не унифицированы, разрозненны и в общем случае не готовы для анализа. Системы бизнес-аналитики являются классом информационных систем, который позволяет превратить данные корпоративных информационных систем и данные из внешних источников в полезную для бизнеса информацию и знания, используемые в управлении, на основе которых можно принимать решения.
Информационным фундаментом бизнес - анализа и систем бизнес-аналитики является ХД. Основное требование к ХД системы бизнес-аналитики состоит в том, чтобы обеспечить структурированную и организованную для решения задач бизнеса информационную среду. Как правило, такую среду лаконично представляют в виде информационной пирамиды, как показано на Рис. 3.1.
Информационная пирамида формируется из нескольких уровней:
Информационная пирамида описывает среду бизнес-аналитики, которую можно представить следующим образом. В информационную среду бизнес-аналитики поступает первичный материал - данные, которые затем перерабатываются в автоматизированных системах и информационных продуктах.
В процессе переработки происходит переход от данных к информации. ХД извлекает данные из множества транзакционных или оперативных систем, а затем интегрирует и хранит данные в специализированной БД. Например, в ХД могут приводиться в соответствие и объединяться пользовательские записи из четырех оперативных систем (приложений для обработки заказов, обслуживания, продаж, и поставок). Такой процесс извлечения и интеграции преобразует данные в новый информационный продукт - информацию.
Затем пользователи, работающие с аналитическими инструментами, (например, для создания запросов, отчетов, OLAP-анализа и выполнения операций интеллектуального анализа данных) обращаются к данным из ХД и анализируют ее. Таким образом, определяются тенденции, структуры и исключения. Аналитические инструменты помогают пользователям преобразовать информацию в знания.
Теперь дадим определение систем бизнес-аналитики.
Определение 3.2. Системой бизнес-аналитики (BI System) будем считать программно-технологическую инфраструктуру организации, которая включает в себя набор методов и инструментов для проведения бизнес-анализа, а именно: интеллектуальный анализ данных (data mining), аналитическую обработку в реальном времени (online analytical processing), получение информации из баз данных (querying), составление отчетов (reporting).
К основным функциям системы бизнес-аналитики, как правило, относят следующие:
К основным технологическим средствам реализации функциональности систем - бизнес-аналитики относят:
Система бизнес-аналитики является стержнем, вокруг которого формируются потоки стратегической бизнес - информации. Данный инструмент помогает компании принимать решения, основанные на корректной информации, полученной во время.
В условиях, когда рынок постоянно меняется, а конкуренция становится все жестче, руководителям крайне необходимо выявлять и анализировать имеющиеся у предприятия резервы, которые могут существенно расширить возможности бизнеса.
Предлагаемые решения в области бизнес-аналитики должны предоставлять возможность оперативно анализировать тенденции рынка, осознавать движущие силы бизнеса и, основываясь на объективной информации, быстро реагировать на изменения рыночной ситуации и принимать верные решения.
Например, одним из возможных решений может быть графический инструмент для экономического анализа, относящийся к категории OLAP-приложений (On-line Analytical Processing), который:
Эти многомерные «информационные кубы» собирают и хранят всю информацию о деятельности предприятия. С помощью «информационных кубов» можно моделировать и анализировать критические аспекты бизнеса, учитывая информацию о продукции, поставщиках, потребителях, товарообороте, ценах и доходах. Анализ ведется интерактивно, в реальном времени, с помощью удобных визуальных инструментов, а не просто на основе многочисленных отчетов с тысячами страниц, таблиц и чисел.
«Кубы данных» должны быть настроены для решения ряда критически важных аспектов бизнеса, включая анализ продаж, запасов, финансов, каналов снабжения и производства.
Специальные возможности должны обеспечивать мгновенную детализацию данных и всестороннее исследование проблемы. Результирующее двух- или трехмерное представление удобно для быстрого изучения тенденций и анализа отклонений.
Типовой состав программного обеспечения систем бизнес-аналитики включает в себя не только саму систему, но и обучающие материалы, техническую документацию, а также возможность получения технической поддержки и профессиональных консультаций. Все это помогает быстро и в совершенстве освоить систему, получить максимум преимуществ ее использования:
Система бизнес-аналитики должна:
Таким образом, системы бизнес-аналитики позволяют:
Следует отметить, что многие компании не придают значения вопросам безопасности, игнорируя тот факт, что архитектурные компоненты систем бизнес-аналитики таят в себе «определенную опасность». Обеспечение безопасности среды бизнес-аналитики не менее важная задача, чем защита оперативных приложений.
Необходимость безопасности систем оперативной обработки транзакций (On-Line Transaction Processing, OLTP) осознается большинством компаний. Особенность реализации этой задачи для OLTP-приложений заключается в том, что она хорошо поддается структуризации и является статичной (определенные приложения каждый раз одинаковым образом обращаются к определенным данным). Круг пользователей весьма ограничен - это работники с определенными бизнес-функциями, которые работают с приложениями и данными, и которые касаются только их поля деятельности. Кроме того, физическая структура этих приложений также остается довольно постоянной. Инструментальные средства и базовая структура данных меняются нечасто.
Среда бизнес-аналитики и ХД, наоборот, характеризуется значительной динамичностью вкупе с широкой и часто меняющейся пользовательской аудиторией, причем пользователи могут быть как внутренними, так внешними. В такой ситуации гораздо сложнее (а иногда и практически невозможно) распределить пользователей по подмножествам данных; особенно это касается аналитических приложений высокого уровня, как, например, решения управления эффективностью корпорации (corporate performance management), где окончательная информация формируется на основе изучения данных всего предприятия. Помимо этого, физическая структура этой среды часто является неясной: в нее устанавливается множество различных средств, а сами данные пребывают в постоянном движении (из ХД в витрины данных и на пользовательские машины в информационные панели). В результате, мероприятия по обеспечению безопасности корпоративной информации обходят стороной приложения бизнес-аналитики и ХД.
Для того чтобы гарантировать защищенность среды бизнес-аналитики, компании должны в первую очередь выполнить задачи безопасности, возникающие на уровне отдельных ее компонентов (см. Рис. 3.2.).
Каждый из основных компонентов среды бизнес-аналитики имеет «свою степень риска» и для обеспечения безопасности каждого компонента потребуется реализовать различные подходы (и различные технологии). Это крайне непростая задача, и, пожалуй, наибольшую сложность представляют «пробелы» между компонентами. Ведь программная оболочка для бизнес-аналитики практически никогда не поставляется одним поставщиком или в форме одной ИТ-технологии. При этом бесшовная интеграция между компонентами невозможна. Более того, именно то, как компоненты работают друг с другом, и то, как информация проходит между ними, и образует «точки риска».
Безопасность данных. Сама суть бизнес-аналитики подталкивает бизнес-пользователей к расширению доступа к данным и контроля над ними. Поэтому необходима жесткая политика по защите информации, которая должна помочь «залатать дыры», созданные многочисленными, слабо интегрированными технологическими компонентами, а также минимизировать огромный риск, присущий человеческому фактору.
Данные в ХД, витринах данных и операционных складах данных создают условия для осуществления всей бизнес-аналитики и, как правило, включают гигантские объемы детальных, транзакционных данных. Поскольку они часто отображают длительный отрезок времени, относящейся к истории существования компании, как, например, финансовая информация, обеспечение защищенности таких данных чрезвычайно важно. При рассмотрении задач безопасности данных следует задаться следующими вопросами:
Топология данных в среде бизнес-аналитики влияет на возможности доступа к данным и обеспечение безопасности. Во многих компаниях результаты запросов часто загружаются на индивидуальные машины с целью дальнейшей детализации и использования. Эти данные оказываются в витринах данных, настольных БД, информационных панелях или крупноформатных электронных таблицах и быстро оказываются вне пределов инфраструктуры безопасности ИT - отдела, хотя по-прежнему сохраняют свою конфиденциальную сущность. При рассмотрении топологии данных с точки зрения безопасности необходимо изучить следующие вопросы:
Процесс сбора данных. Обычно процесс сбора и подготовки данных для среды бизнес-аналитики очень сложный и «непрочный». Огромное число источников данных и их значительное разнообразие самих данных приводят к многоступенчатым процессам, в которых данные интерактивно собираются и преобразуются для загрузки в ХД. Данные, подвергающиеся как процессу сбора, так и преобразования, также образуют «точки риска»:
Пользовательские средства формирования запросов и аналитические приложения. Программные инструменты бизнес-аналитики и аналитические приложения - это в первую очередь механизмы, предназначенные для доступа к данным в ХД. Такие средства часто приобретались в большом количестве с целью широкого и глубокого развертывания бизнес-аналитики по всему предприятию. Эти инструменты представляют особую ценность только для определенных пользователей, и несут серьезную опасность, если попадают не «в те руки»
Появление и развитие аналитических приложений для электронной коммерции по схеме «бизнес-бизнес» (business-to-business) и «поставщик-покупатели» (business-to-consumer) усилили насущность вопросов безопасности.
Политика информационной безопасности. Корпоративная политика информационной безопасности часто не затрагивает информации, которая хранится, анализируется и поставляется посредством аналитических приложений. Поскольку бизнес-аналитика расширяет доступ к информации, часто передавая ее в непосредственное распоряжение бизнес-пользователей, информация быстро оказывается вне пределов инфраструктуры безопасности ИT-отдела. Поэтому при формировании корпоративной политики информационной безопасности необходимо рассмотреть следующие вопросы:
Технология диалоговой аналитической обработки (OLAP). Концепция многомерного представления данных предполагает, что элементы данных (фактическая информация) являются точками многомерного пространства, размерности которого представляют собой содержательное описание таких фактов (точку зрения на них). В приложениях обработки многомерных данных сохраняются все проблемы с визуализацией многомерных массивов данных. Это направление исследований и практических применений интенсивно развиваются..
Конечные пользователи не намерены каким-то образом продвигать за свой счет электронные таблицы в интерфейс с многомерными БД. Конечно, электронные таблицы, в силу их удобства и простоты, являются излюбленным инструментом конечных пользователей. Однако, как показывает опыт, электронные таблицы хороши лишь тогда, когда они «заточены» под многомерность конкретных предметных областей.
Приложения OLAP зачастую бывают весьма громоздкими, обычно их рентабельность отвечает использованию в составе корпоративных рабочих групп, например в аналитических службах. Для эффективного использования решений OLAP нужна поддержка корпоративной инфраструктуры.
Как показывает анализ, Web-архитектуры быстро вытесняют традиционные клиент/серверные приложения для целого ряда категорий программного обеспечения, и рынок корпоративных OLAP-решений здесь не исключение.
Это направление стремительно развивается за счет появления различных Web-OLAP инструментов на базе HTML- и Java-технологий от известных поставщиков и быстро растущих новых компаний. В связи с расширением контингента пользователей продукты Web-OLAP разрабатываются для выполнения несколько иного анализа, чем традиционные клиент/серверные инструменты. Происходит переход от инструментальных средств исследования данных, ориентированных на специалистов-аналитиков, к готовым аналитическим приложениям, доступным для более широкого круга пользователей. Ниже приведены критерии, которые определяют успех Web - OLAP продуктов.
Критерии успеха Web-Olap решения:
Интеллектуальная обработка данных (Data Mining). Возникновение Data Mining (добыча данных) связано с наличием противоречия между теоретическими методами прикладной статистики и практикой решения реальных задач. Синонимами этого понятия являются: обнаружение знаний в БД и интеллектуальный анализ данных
Стимулом развития технологии Data Mining явился прорыв в технологиях электронного хранения больших объемов данных - деятельность любого предприятия сопровождается регистрацией и записью на электронные носители всех подробностей его деятельности.
Очевидно, что без технологии переработки потока этих «сырых данных» (raw data), последние образуют просто большую свалку.
Требования к технологии переработки:
Традиционная прикладная статистика не справляется с поставленными задачами. Главная причина - она работает с фиктивными, средними величинами (концепция усреднения по выборке). Ее методы полезны при проверке заранее сформулированных гипотез (verification-driven data mining) и для грубого предварительного анализа, составляющего основу OLAP (online analytical processing).
В основу технологии Data Mining (discovery-driven data mining) положена концепция шаблонов (паттернов), отражающих фрагменты многоаспектных взаимоотношений в данных. Эти шаблоны представляют закономерности, свойственные выборкам данных, которые могут быть выражены в понятной человеку форме. Поиск шаблонов проводится методами не ограниченными рамками априорных предположений о структуре выборки и виде распределений значений анализируемых показателей.
Понятно, что такие шаблоны должны быть нетривиальны (unexpected - неожиданные регулярности в данных, которые составляют так называемые скрытые знания (Hidden knowledge). Есть понимание того, что сырые данные содержат глубинный пласт знаний и его нужно раскопать. Различия в формулировках задач диалоговой аналитической обработки данных и интеллектуального анализа данных приведены ниже.
Сравнение задач OLAP и Data Mining:
Основные бизнес-приложения Data Mining:
Необходимость автоматизированного интеллектуального анализа данных стала очевидной, в первую очередь, из-за огромных массивов исторической и вновь собираемой информации. В настоящее время такой анализ входит в науку данных (Data Science) и обработку больших данных (Big Data). Трудно, даже приблизительно оценить объем ежедневных данных, накапливаемых различными компаниями, государственными, научными и медицинскими организациями.
Другой причиной роста популярности интеллектуального анализа данных (data mining) является объективность получаемых результатов. Человеку-аналитику, в отличие от машины, всегда присущ субъективизм: он в той или иной степени является заложником уже сложившихся представлений. Иногда это полезно, но чаще приносит большой вред.
И, наконец, интеллектуальный анализ данных дешевле. Оказывается, что выгоднее инвестировать деньги в решения интеллектуального анализа данных, чем постоянно содержать целую армию высококвалифицированных и дорогих профессиональных статистиков. Интеллектуальный анализ данных вовсе не исключает полностью человеческую роль, но значительно упрощает процесс поиска знаний, делая его доступным для более широкого круга аналитиков, не являющихся специалистами в статистике, математике или программировании.
Задачами любой системы бизнес-аналитики являются эффективное хранение, обработка и анализ данных с целью получения новых знаний для формирования управленческих решений. В настоящее время накоплен значительный опыт в этой области.
Эффективное хранение информации достигается наличием в составе системы бизнес-аналитики целого ряда источников данных. Обработка и объединение информации достигается применением инструментов извлечения, преобразования и загрузки данных. Анализ данных осуществляется при помощи современных инструментов делового анализа данных. Архитектура современной системы бизнес-аналитики организации в обобщенном виде представлена на Рис. 3.3.
Приведенная архитектура демонстрирует длинный путь, который проходят данные, прежде чем попасть на стол аналитику.
Разнообразие источников данных и необходимость их использования в каждом конкретном случае объясняется потребностью по-разному хранить информацию в зависимости от стоящих перед организацией задач. Если попытаться классифицировать источники данных по типам и назначению, то каждый из них можно условно отнести к одной из трех групп: транзакционные источники данных, ХД, витрины данных, информационные панели.
Данные в систему могут заноситься как вручную, так и автоматически. На этапе первоначальной фиксации данные поступают через системы сбора и обработки информации в так называемые транзакционные БД. Транзакционных БД в организации может быть несколько.
Поскольку транзакционные источники данных, как правило, не согласованы друг с другом, то для анализа таких данных требуется их объединение и преобразование. Поэтому на следующем этапе решается задача консолидации данных, их преобразования и очистки, в результате чего данные поступают в так называемые аналитические БД. Аналитические БД, будь то ХД или витрины данных, и есть те основные источники, из которых аналитик черпает информацию, используя соответствующие инструменты делового анализа.
При этом система бизнес-аналитики среднего и крупного предприятия или организации должна обеспечивать пользователям доступ к аналитической информации, защищенной от несанкционированного использования и открытой как через внутреннюю сеть организации, так и пользователям сети Интранет и Интернет. Таким образом, архитектура современной системы бизнес-аналитики является многоуровневой и включает следующие уровни:
Рассмотрим перечисленные уровни архитектуры и остановимся на примерах типовых инструментов, которые могут служить основой для построения каждого из них.
Сбор и первичная обработка данных. К первому уровню архитектуры системы бизнес-аналитики относятся источники данных, как правило именуемые транзакционными или операционными источниками (базами) данных, являющимися частью так называемых OLTP-систем (online transactional processing). Транзакционные БД включают в себя источники данных, ориентированные на фиксацию результатов повседневной деятельности организации. Требования, предъявляемые к транзакционным БД, обусловили их следующие отличительные особенности: способность быстро обрабатывать данные и поддерживать высокую частоту их изменения, ориентированность, как правило, на обслуживание одного процесса, а не всей деятельности организации в целом.Примерами здесь могут служить БД, которые используются в биллинговых системах операторами сотовой связи, в автоматизированных банковских системах коммерческих и государственных банков, в Интернет-магазинах.
Информация в таких БД ориентирована на конкретное приложение и управляется транзакциями, она сильно детализирована и часто корректируется. Транзакционные БД отлично справляются с валом повседневной информации, которая должна рутинно обрабатываться каждый день, но не позволяют получить общую картину положения дел в организации в целом и редко могут служить источниками для проведения комплексного анализа.
Итак, совокупность транзакционных источников данных образует нижнее звено архитектуры системы бизнес-аналитики любой организации. В дальнейшем будем исходить из того, что такая система предприятия строится на основе уже имеющихся на вооружении систем сбора и первичной обработки данных, включающих транзакционные источники данных.
Извлечение, преобразование и загрузка данных. Процесс извлечения, преобразования и загрузки данных поддерживается так называемыми ETL-инструментами (extraction, transformation, loading), предназначенными для извлечения данных из различных транзакционных источников нижнего уровня, их преобразования и консолидации, а также загрузки в целевые аналитические БД, ХД и витрины данных. На этапе преобразования устраняется избыточность данных, проводятся необходимые вычисления и агрегирование данных. Трехступенчатый процесс извлечения, преобразования и загрузки должен осуществляться на основе установленного регламента.
Поясним на примере смысл аналитической БД. Она может и не иметь структуры ХД. Предположим, что компания владеет парком грузовых летательных аппаратов, которые предоставляет заказчикам в аренду. Аналитики компании собирают информацию (в основном из открытых и слабо структурированных источников) о заказчике, с целью обезопасить бизнес компании. Например, появился новый заказчик. Аналитику нужно собрать материал, который отвечал бы на некоторые вопросы: были ли случаи переноса сроков аренды, задержки оплаты, был ли замешан заказчик в трафике наркотиков и т. д.
Складирование данных. К третьему уровню архитектуры системы бизнес-аналитики относятся источники данных, которые называют ХД (от англ. Data Warehouse). ХД включают в себя источники данных, ориентированные на хранение и анализ информации. Такие источники могут объединять информацию из нескольких транзакционных систем и позволяют анализировать ее в комплексе с применением современных программных инструментов делового анализа данных.
Напомним, что по определению ХД является предметно-ориентированной, интегрированной, некорректируемой, зависимой от времени коллекцией данных, предназначенной для поддержки принятия управленческих решений.
Характерными особенностями ХД являются: относительно редкая корректируемость большинства данных, обновляемость данных на периодической основе, единый подход к именованию и хранению данных вне зависимости от их организации в исходных источниках.
ХД, являясь одним из главных звеньев архитектуры системы бизнес-аналитики любой средней или крупной организации, выступает в качестве основного источника данных для всестороннего анализа всей имеющейся в организации информации.
Представление данных в киосках или витринах данных. К четвертому уровню архитектуры системы бизнес-аналитики относятся источники данных, называемые витринами данных (data marts), предназначенные для проведения целевого делового анализа. Витрины данных строятся, как правило, на основе информации из ХД, но могут также формироваться из данных, взятых непосредственно из транзакционных систем, когда ХД в организации по каким-либо причинам не реализовано.
По типу хранения информации витрины подразделяются на реляционные и многомерные. Витрины первого типа организуются в виде реляционной БД со схемой «звезда», где центральная таблица, таблица фактов, предназначенная в основном для хранения количественной информации, связана с таблицами-справочниками.
Многомерные витрины организуются в виде многомерных БД OLAP (Online Analytical Processing), где справочная информация представляется в виде измерений, а количественная - в виде показателей (метрик). Информация в многомерной витрине данных представляется в терминах бизнеса в виде, максимально доступном конечным пользователям, что позволяет существенно снизить время на получение требуемой для принятия решений информации.
С точки зрения пользователя, отличие витрин данных от ХД заключается в том, что ХД соответствует уровню всей организации, а каждая витрина обычно обслуживает уровень не выше отдельного подразделения и иногда может создаваться для индивидуального использования, отличаясь достаточно узкой целевой специализацией.
Отличие витрин данных от транзакционных БД заключается в том, что первые служат для удовлетворения потребностей конечных пользователей, не являющихся профессиональными программистами: аналитиков, менеджеров разных уровней, решающих различные задачи бизнеса. Транзакционные же БД используются в основном операторами, отвечающими за ввод и обработку первичной информации, а не за ее анализ, нацеленный на поддержку принятия решений.
Применение витрин данных, многомерных и реляционных, в сочетании с современными инструментами делового анализа данных позволяет превратить просто данные в полезную информацию, на основе которой можно принимать эффективные решения.
Анализ данных. К следующему уровню архитектуры системы бизнес-аналитики организации относятся современные программные средства, именуемые инструментами интеллектуального или делового анализа данных (Business Intelligence Tools), или BI-инструменты.
BI - инструменты позволяют управленческому звену организации проводить всесторонний анализ информации, помогают успешно ориентироваться в больших объемах данных, анализировать информацию, делать на основе анализа объективные выводы и принимать обоснованные решения, строить прогнозы, сводя риски принятия неверных решений к допустимому минимуму.
Инструменты интеллектуального анализа данных используются конечными пользователями для доступа к информации, ее визуализации, многомерного анализа и формирования как предопределенных по форме и составу, так и произвольных отчетов, создаваемых управленцем или аналитиком (без программиста). Как уже было сказано, в качестве входной информации для делового анализа выступают не столько "сырые" данные из транзакционных систем, сколько заранее обработанные данные из хранилища или представленные в витринах данных.
Web-портал. В настоящее время российские компании, вслед за западными коллегами, все активнее начинают внедрять у себя различные Интернет - технологии. Уже сегодня все больше специалистов, работающих не только в сфере информационных технологий, начинают понимать выгоду от использования этих решений в целях повышения эффективности своего бизнеса. Проведение интеллектуального анализа данных с применением программных решений не только в локальной среде, но и в среде интранет и Интернет, открывает аналитикам новые возможности работы с данными.
Современные тенденции развития архитектуры системы бизнес-аналитики базируются на применении Интернет - технологий. Традиционный вид архитектуры системы бизнес-аналитики в недавнем прошлом дополнился Web - порталом, постепенно приобретающим все более весомую роль в ее архитектуре. Возможность доступа к информации через привычный Web-браузер позволяет экономить на затратах, связанных с закупкой и поддержкой настольных аналитических приложений для большого числа клиентских мест. Реализация Web-портала позволяет снабжать аналитической информацией как пользователей внутри офиса, так и мобильных пользователей-аналитиков в любой точке мира, подключенных к порталу через Интернет.
Реализация архитектуры системы бизнес-аналитики. Сегодня на рынке информационных технологий представлен широкий спектр инструментальных средств, предназначенных для быстрой реализации компонентов архитектуры системы бизнес-аналитики. Использование таких инструментов позволяет не разрабатывать аналитические приложения заново, а воспользоваться готовыми современными технологиями и, следовательно, сократить время и затраты на их создание.
Решение задачи обеспечения пользователей информацией в системы бизнес-аналитики определяется в основном правильным подбором инструментов делового анализа. Но немаловажным является и выбор инструментов поддержки процессов извлечения, преобразования, загрузки и хранения данных.
При реализации системы бизнес-аналитики предприятия могут быть использованы программные решения как разных фирм-производителей - смешанные решения, так и одного производителя (платформенно-базированные решения). И в первом и во втором случае имеются свои преимущества и недостатки. Поэтому выбор инструментов для реализации архитектуры системы бизнес-аналитики, несмотря на их многообразие, задача не простая.
На рынке не существует одного производителя, предлагающего лучшие решения всех требуемых для построения системы бизнес-аналитики программных компонентов. Поэтому совместное использование наиболее подходящих решений от различных производителей позволяет повысить функциональную мощность системы бизнес-аналитики. Критериями оценки инструментов могут выступать как их технические и стоимостные характеристики, так и скорость внедрения, а также уместность использования в каждом конкретном случае.
Использование продуктов от разных производителей приводит к значительному усложнению архитектуры системы из-за разнородности инструментальных решений. Это усложнение объясняется необходимостью интегрирования не связанных друг с другом инструментальных решений. Кроме того, администрирование системы оказывается непростой задачей, учитывая несогласованность данных и метаданных, управляемых отдельными, не связанными друг с другом модулями платформ от разных производителей.
При реализации архитектуры системы бизнес-аналитики от одного производителя (если пользоваться терминологией исследовательского центра Gartner, платформенно - базированное решение) решение необходимо искать среди фирм - производителей так называемых BI-платформ (Business Intelligence Platforms).
Данный сегмент рынка информационных технологий представлен небольшим количеством компаний. Среди них выделяются следующие семь лидеров и претендентов на лидерство в данной области: Microsoft, SAS, Oracle, SAP, PeopleSoft, Info Builders, Hyperion. С рекомендациями по выбору BI систем можно познакомиться на сайте.
Microsoft и Oracle, в состоянии реализовать все уровни системы бизнес-аналитики своими силами, не прибегая к инструментам третьих фирм. Решающий критерий, выделяющий этих производителей - наличие собственной СУБД.
Oracle обеспечивает полное интегрированное решение для ХД и инструментарий для систем бизнес аналитики, которое включает поддержку процессов извлечения, преобразования и загрузки данных, СУБД для ХД, приложения анализа данных (регламентированная отчетность, произвольные запросы, многомерный анализ, средства data mining, интерактивные информационные панели, сервер бизнес анализа).
Microsoft также обеспечивает интегрированное решение для хранилищ данных и систем бизнес-аналитики, которое включает СУБД SQL Server, комплексную платформу для извлечения, преобразования и загрузки (ETL), OLAP-сервис (Online Analytical Processing) и сервис для data mining, сервис для генерации отчетов, облегчающее создание, публикацию и распространение подробных бизнес - отчетов по предприятию и за его пределами.
В качестве конкретных примеров реализации систем бизнес-аналитики следует изучить материалы российских компаний Softline, RS SoftLab, ФОРС (выбор компаний связан с предпочтениями автора) и ряда других.
Информационные технологии обеспечивают поддержку технологической цепочки обработки данных: сбор и получение данных; преобразование данных; предоставление данных.
Получение данных обеспечивается автоматизированными системами оперативной обработки данных или транзакционными системами обработки данных. Основное назначение таких систем - это обеспечение развитой формы учета данных на низком уровне бизнес-процессов организации. Пользователями этих систем являются специалисты.
Чтобы использовать собранные данные для анализа, их нужно привести к единому формату, преобразовать, согласовать и предварительно обработать. Эту задачу предназначены решать системы извлечения, преобразования и загрузки данных. Это важное звено перехода к анализу данных.
Предоставление данных обеспечиваются системами бизнес-аналитики или информационно-аналитическими системами обработки данных. Такие системы разрабатываются с использованием технологии ХД и методов бизнес-анализа. Основное назначение таких систем - это обеспечение развитой формы публикации данных. Пользователями этих систем являются руководители организации.
Каждый руководитель обучался аналитической работе, использовал компьютер при обучении в школе и университете, в повседневной работе окружен компьютерами и требует данные для принятия решений.
Публикация данных для руководителей является первостепенной задачей. Хорошо известно, что публикация является успешной, если она удовлетворяет потребности читателей. Своевременная и по возможности полная публикации данных является средой для поддержки и принятия решений.
Для руководителя важно, чтобы публикация была:
Рассмотрим комплекс проблем и пути их возможного решения, с которыми приходится сталкиваться при построении систем бизнес-аналитики.
Данные, необходимые для принятия решений, являются недоступными.
Первая проблема при создании систем бизнес-аналитики заключается в том, что в ХД оказываются недоступными данные, необходимые для принятия решений. Если в хранилище данных оказываются недоступными необходимые данные, нужно восполнить эту недостачу путем сбора бизнес - требований от конечных пользователей; изучения того, какая информация необходима бизнес-пользователям в процессе принятия решений; регулярных дискуссий с лицами, принимающими решения, для понимания новых требований; систематического исследования новых источников данных и метрик.
В связи с этой проблемой Ральф Кимбалл отмечает, что нельзя относиться к построению корпоративного ХД как к проекту, у которого имеется начало и конец. В действительности, построение ХД для системы бизнес-аналитики есть это непрерывный процесс, который может закончиться только после отказа от построения ХД.
Отметим также, что на этот факт неоднократно указывали ряд исследователей в области построения ХД. Причиной такой точки зрения, скорее всего является простое обстоятельство: бизнес - среда в современных экономических условиях может меняться очень быстро и динамично, что существенно влияет на потребности в данных.
Недостаток партнерских отношений между конечными пользователями и ИТ специалистами. Вторая проблема при создании систем бизнес-аналитики заключается в недостатке партнерских отношений между конечными пользователями и специалистами в области ИT. Симптомами этой проблемы являются разочарование конечных пользователей имеющимся уровнем обслуживания; осуждение специалистами ИT конечных пользователей за их жалобы, компьютерную безграмотность и пренебрежение чтением документации; недооценка использования современных ИT руководством организации.
Как следствие, ХД не удовлетворяет потребности пользователей или работает слишком медленно, фактически не используется пользователями. При этом отсутствуют административные решения о способах достижения согласия и исправления ситуации.
Общая идея решения этой проблемы - ИТ персоналу необходимо жить в окружении бизнес-пользователей, чтобы лучше узнать специфику бизнеса компании и потребности ее заказчиков и завоевать доверие конечных пользователей.
Как показывает опыт, возникновение этой проблемы тесно связано с тем, что ИТ специалисты при разработке автоматизированных не соблюдают требования соответствующих ГОСТ РФ и не уделяют должного внимания разработке лингвистического и организационного обеспечения.
Отсутствие ясности у конечных пользователей. Третья проблема при создании систем бизнес-аналитики состоит в отсутствии явной познавательной и концептуальной модели конечных пользователей. Симптомом этой проблемы является выбор IT-специалистами инструментальных средств на основе бесед с потенциальными продавцами и знакомства с демонстрационными версиями без учета реальных потребностей пользователей.
Проблема проявляются в том, что ИТ-специалисты стремятся к сложным решениям и подразумевают, что конечным пользователям нравится работать на компьютерах. Следует отметить, что суть проблемы состоит в том, что пользователи зарабатывают свои деньги за счет решения стоящих перед ними бизнес-задач, и, возможно, рассматривают компьютер как средство, помогающее им решать эти задачи. Изучение и освоение новых программных продуктов не является их основной производственной задачей. До появления в организации новых программных продуктов бизнес-пользователи справлялись с решением своих задач и без них.
В качестве решения предлагается уточнение уровня познавательной и компьютерной грамотности конечных пользователей; построение концептуальной модели поведения пользователей при решении задач и принятии решений; выбор или настройка средств доставки информации, наилучшим образом соответствующих особенностям конечных пользователей.
Самый простой подход состоит в том, чтобы разделить пользователей на две категории - те, которые используют Excel, и те, которые считают электронные таблицы слишком сложными. Для первой категории нужно обеспечить возможность формулировки произвольных запросов, а вторым предоставить заранее подготовленные, может быть, параметризуемые отчеты.
Ральф Кимбалл предлагает простую модель оценки сложности программных инструментов: «Сложность» = «Количество щелчков мыши для получения результата».
Правило применения этой модели очень просто. Оно исходит из двух логических предпосылок: «Каждое нажатие - это подцель при достижении цели» и «Каждое нажатие -это отвлечение от дела, как неожиданный звонок телефона». Отсюда имеем эмпирическое правило: «1-3 нажатия: хорошо; 4-8 нажатия: приемлемо; больше 8 нажатий: провал». На Рис. 3.4. показана простая модель использования ХД в системах бизнес-аналитики для принятия решений.
Как видно из рисунка модель включает в себя отражение следующих бизнес-процессов принятия решений:
Данные, необходимые для принятия решения, поступают с задержкой. Четвертая проблема при создании систем бизнес-аналитики заключается в запаздывании данных, требуемых для принятия решений. Симптомом является потребность в данных в «реальном времени». Здесь под требованиями «реального времени» понимаются любые требования к временным характеристикам данных, которые не могут быть удовлетворены действующей процедурой ETL.
Одним из возможных решений заключается в изменении процедуры ETL (Extraction, Transformation, Loading) за счет использования готовых инструментов извлечения данных, например, сообщений EAI (Enterprise Application Integration). Для быстрого удовлетворения потребностей пользователей можно связывать «горячие» разделы таблицы фактов со статическим ХД, не дожидаясь обновления таблиц измерений.
Несогласованные измерения и факты. Победите интеграцию. Пятая проблема при создании систем бизнес-аналитики состоит в том, что не единообразные факты и измерения препятствуют интеграции корпоративных данных. Топ-менеджерам требуется всестороннее представление данных, а его невозможно получить, потому что в разных подразделениях данные представляются по-разному. В качестве решения предлагается при проектировании витрин данных использовать шинную матрицу для согласования данных. Как подчеркивает Ральф Кимбалл, это решение является не столько техническим, сколько организационным.
Недостаточно подробные данные: невыразительная система бизнес-аналитики. Шестой проблемой при создании систем бизнес-аналитики является недостаточная подробность (граннулированность) данных, в результате чего получается невыразительная система бизнес-аналитики . Симптомом является недостаточное число атрибутов у данных измерений. Предлагается постоянно стремиться к повышению выразительности данных, а для создания содержательного контекста данных использовать вспомогательные источники данных.
Данные в неудобных форматах. Седьмую проблему при создании систем бизнес-аналитики представляют неудобные форматы данных. По Ральфу Кимбаллу неудобной является нормализованная форма реляционных данных. Симптомами проблемы, кроме этого, является запутанность и запуганность пользователей, сложность формулировки запросов, сложные процедуры ETL, потребность в специализированном оборудовании для достижения требуемой производительности.
Одним из возможных решений является представление данных в многомерной модели. Это представление соответствует пользовательской интуиции, облегчает формулировку запросов, упрощает процедуру ETL и позволяет добиться нужного уровня производительности на обычной аппаратуре.
Медленная, не адаптированная для пользователей доставка данных. Восьмая проблема при создании систем бизнес-аналитики состоит в слишком медленной доставке данных конечным пользователям. Данные не поступают в оперативном режиме, пользователи остерегаются задавать медленно выполняемые запросы, имеются количественные ограничения на использование данных.
Решением этой проблемы является тщательное проектирование БД, использование многомерных моделей данных, подбор качественных программных средств СУБД с развитыми механизмами индексации, оснащение компьютеров основной памятью большого объема, использование распараллеливания, применение компьютеров с быстрыми центральными процессорами.
Данные закрыты в отчете или информационной панели. Девятая проблема при создании систем бизнес-аналитики проявляется в том, что некоторые данные оказываются «запертыми» в каком-то приложении, и их невозможно переместить оттуда в другое приложение простым образом. Выходом из положения является использование только таких приложений, для которых возможно копирование данных в электронную таблицу через буфер обмена путем одного нажатия на клавишу мыши.
Низкое качество данных. Десятая проблема при создании систем бизнес-аналитики связана с низким качеством данных. Симптомами проблемы являются отсутствие содержательных данных, наличие ненадежных или бессмысленных данных, присутствие дублирующих или несогласованных записей (чаще всего такие записи относятся к заказчикам компании). В качестве решения проблемы предлагается расширить используемые средства ETL системой экранов качества данных. В многомерной модели данных для фиксации ошибок в данных создается схемы событий с ошибками (Error Event Schema) - таблица фактов со своими измерениями. На основе этой таблицы порождаются измерения аудита данных для других таблиц фактов, и эти измерения могут использоваться при формировании отчетов, в которых учитываются ненадежные данные.
Преждевременно агрегированные данные. Одиннадцатая проблема при создании систем бизнес-аналитики состоит в преждевременной агрегации данных. Наличие в многомерной модели агрегированных данных без соответствующих атомарных данных не позволяет проводить детализацию данных. Рекомендуемым решением проблемы является поддержка для витрин данных физических структур хранения, содержащих атомарные данные. Детализация данных поддерживается за счет агрегатной навигации.
Отвлечение и фокусировка на показателе ROI для ХД. Двенадцатой проблемой при создании систем бизнес-аналитики Ральф Кимбалл считает отвлечение внимания на оценку показателей возврата инвестиций (ROI) ХД. Симптомами этой проблемы является расчет показателей ROI до создания ХД с применением стандартных методов, основанных на периоде окупаемости, чистой приведенной стоимости, внутренней норме прибыли, системе сбалансированных показателей, экономической добавленной стоимости. По его мнению, во всех этих методах упускается основной смысл стоимости и, в конечном счете, ценности ХД.
ХД поддерживает принятие решений. Рекомендуется после принятия решения отнести часть полученной прибыли на счет ХД, а затем сравнить ее с расходами на ХД. Ральф Кимбалл рекомендует считать, что 20% прибыли, полученной в результате принятия решения, получено благодаря использованию ХД. Такой подход соответствует той идее, что единственным осмысленным способом оценки эффективности ХД является оценка его возможности поддерживать принятия решений конечными пользователями.
Отвлечение на создание корпоративной модели данных. Тринадцатая проблема при создании систем бизнес-аналитики состоит в затрате сил и времени на создание корпоративной модели данных. Симптомом является появление большого количества сущностей, которые никогда не наполняются реальными данными. Ральф Кимбалл считает, что усилия, затрачиваемые на разработку корпоративной модели данных, только задерживают работу над ХД рассчитывая на то, что при выполнении процедуры ETL будут выявляться ошибки и несоответствие данных. У Билла Инмона иная точка зрения. Это связано с различием подходов к разработке ХД (глобальное хранилище данных против киосков данных).
Отметим, что решение о разработке корпоративной модели данных действительно требует больших интеллектуальных затрат и времени на ее создание. Может оказаться так, что модель может устареть к моменту ввода ее в эксплуатацию.
Мандат на получение всех данных. Четырнадцатой проблемой при создании систем бизнес-аналитики Ральф Кимбалл считает возможное требование использовать все источники данных для наполнения ХД. В соответствии с его опытом, если при построении ХД выдвигается требование использования трех или более источников данных, то ХД не заработает и через два года. На первом этапе построения ХД рекомендуется потратить шесть недель на полноценный аудит данных, а затем выбрать один источник данных, который, во-первых, влияет на наиболее важные решения конечных пользователей и, во-вторых, проще всего подключается к процедуре ETL. После заполнения ХД из первого источника следует оценить полученный результат и обдумать следующие шаги.
Первым из главных предназначений системы бизнес-аналитики является публикация в удобном для принятия решений данных формате и предоставления простых и удобных инструментов руководителям организации для манипулирования этими данным с целью их исследования и анализа.
Вторым из главных предназначений ХД является аккумулирование данных из различных источников для аналитической обработки и отделение формирования отчетов и проведения интеллектуального анализа данных от систем оперативной обработки данных предприятия с целью увеличения производительности.
Таким образом, ХД представляют собой очень большие репозитории исторических данных, а системы бизнес-аналитики представляют собой взаимосвязанный или нет набор приложений для бизнес - анализа этих данных. На Рис. 3.5. ниже показано, как система бизнес-аналитики взаимодействует с ХД.
Разработчики систем бизнес-аналитики являются по существу издателями. Они собирают данные из различных источников, редактируют их для обеспечения качества и согласованности, обеспечивают доверие к опубликованной информации. Их успех оценивается конечными бизнес-пользователями: аналитика, менеджерами различных уровней и руководством организации.
ХД поддерживает системы бизнес-аналитики, являясь ее информационным фундаментом. Это:
С этой точки зрения ХД помогает решать основные задачи поддержки систем бизнес-аналитики:
На Рис. 3.6 ниже показано, как хранилища данных управляют системами бизнес-аналитики.
На практике ХД функционируют в соответствие с ниже приведенными условиями:
Таким образом, ХД через хранимые в них данные управляют системами бизнес-аналитики и влияют на качество и эффективность принимаемых решений. Чтобы данные способствовали принятию качественных решений, они должны быть хорошо организованы. Организацию данных в ХД обеспечивает модель данных. Разработке таких моделей данных и будут посвящены следующие лекции, а сейчас кратко подведем итоги настоящей лекции.
Сфера систем бизнес- аналитики развивается быстро и динамично. Это объясняется тем, что в современных условиях информация становиться реальным производственным ресурсом. К настоящему времени можно выделить следующие основные типы систем бизнес-аналитики:
Системы бизнес-аналитики и хранилища данных обеспечивают полноту, достоверность и актуальность информации, необходимой для принятия управленческих решений, снижают нагрузку на транзакционные системы за счет перераспределения функций формирования отчетности.
Системы бизнес-аналитики дают возможность решать целый ряд актуальных для современного предприятия задач:
Для получения официальных документов о завершении программы дополнительного профессионального образования (удостоверения о повышении квалификации, дипломов о профессиональной переподготовке и MBA) необходимо предоставить:
Внимание! Вы можете не заказывать доставку бумажной версии официального документы, а скачать его в электронном виде и распечатать самостоятельно. Информация о выданном документе в течение 1 месяца загружается в Федеральную информационную систему «Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении» - ФИС ФРДО.
Доступ на новый сайт осуществляется с использованием адреса электронной почты, который был указан вами при регистрации на "старом". Мы постарались перенести все ваши данные с прежнего ресурса, однако не исключена вероятность потери части информации.
При возникновении проблемы со входом, воспользуйтесь функцией сброса пароля
Если вы обнаружите несоответствия, пожалуйста, сообщите нам.