Управление IT ресурсами

Статистический процесс изменился во многих отношениях; сбор информации, ее обработка, анализ и распространение сегодня невозможно представить без применения IT . Процесс управления и внутренние коммуникации в статистических офисах также подверглись значительному воздействию IT. Использование IT означает, что персонал статистических служб, во-первых, должен иметь техническую возможность использовать эти технологии, и, во-вторых, быть обучен пользоваться техникой и программами, которые постоянно усложняются. Управление IT процессом, включая принятие решений об инвестировании и организации соответствующих функций, стало одной из основных задач, постоянно решаемых руководством национальных статистических служб. Поэтому даже самому высокому руководству необходимо иметь представление о сущности базовых IT процессов.

Вторая часть лекции посвящена рассмотрению собственно статистических процессов. IT играет свою роль на каждой стадии статистического процесса - от сбора первичных данных до распространения готового статистического продукта. Иными словами, обсуждается важность IT процессов для организации внешних и внутренних коммуникационных процессов. Особое внимание уделяется использованию и разработке компьютерных программ.

За последние несколько десятилетий ИКТ резко изменили общество в целом, а также работу НСС. Воздействие ИКТ на работу НСС оказались действительно глубокими. Можно выделить пять важных изменений. Во-первых, это мощная, относительно недорогая компьютерная техника, которая в настоящее время доступна для большинства сотрудников во многих статистических службах. Несколько десятилетий назад ЭВМ широко использовались во многих НСС, и только высококвалифицированные специалисты могли справиться с аппаратным и программным обеспечением, чтобы заставить работать эти дорогостоящие системы. В настоящее время использование коллективных ЭВМ почти полностью прекращено, и все сотрудники работают и общаются на постоянной основе с помощью персональных инструментов ИКТ. Во-вторых, удобные программные приложения дали сотрудникам возможность контролировать ряд ключевых статистических функций. Это касается формата анкет, систем сбора данных, операций по обработке данных и распространения информации. В-третьих, компоненты коммерческих программных продуктов облегчили программирование приложений для внутреннего использования, а повторное использование компонентов в рамках организации становится все более распространенным явлением. В-четвертых, компьютерные сети способствовали внутреннему доступу к данным и метаданным посредством среды "клиент-сервер". И, наконец, ИКТ сделали возможным для сотрудников доступ к внешним источникам информации, что оказало содействие научным исследованиям, сбору общей информации и выполнению других задач на всех уровнях организации. Эти достижения и другие связанные с ними изменения породили новые опасения относительно управления средой ИКТ.

С миром ИКТ связано множество быстро развивающихся и неудержимых технологических изменений. Это относится как к аппаратному и программному обеспечению, так и сетевому общению. Развитие событий здесь до некоторой степени непредсказуемо. Двадцать или даже десять лет назад немногие статистики могли полностью предвидеть воздействие, которое Интернет окажет на их повседневную работу. Веб-сайты большинства НСС существуют менее двадцати лет, а в некоторых странах они все еще находятся на ранних стадиях разработки. Широкополосные соединения еще не получили широкого распространения и ценовой доступности во многих странах мира. Во всех областях ИКТ приходят и уходят победители и проигравшие. В сочетании с тем фактом, что ресурсы ИКТ стали одним из столпов статистических операций, это делает управление ИКТ одной из ключевых проблем управления. Существуют две основные модели управления ИКТ в статистических организациях. В одной модели статистическое ведомство принимает подробные и всеобъемлющие решения о своей информационной инфраструктуре, которая включает в себя как аппаратуру, так и общую архитектуру программного обеспечения. "Архитектура программного обеспечения" – термин, относящийся не только к программному обеспечению для управления базами данных и соответствующим стандартизированным определениям внутри всей организации, но и к стандартному пользовательскому интерфейсу, групповому и персональному программному обеспечению, такому как электронные таблицы и т.д. В рамках первой модели техническое обслуживание, обновления и решения по новому программному обеспечению определяются централизованно. Вторая модель также признает необходимость избегать информационной анархии, но в большей степени полагается на установление некоторых общих стандартов без навязывания стандартной и твердой инфраструктуры. В практике НСС ИКТ модели могут склоняться к одному из двух описанных крайних случаев, но, как правило, представляют собой компромиссные решения.

Некоторые НСС заходят так далеко в использованием модели 1 для управления ИКТ, что запрещают сохранение частных личных файлов на рабочих местах для гарантии того, что никакое программное обеспечение, кроме утвержденного централизованным порядком, не устанавливается на индивидуальные машины. Кроме того, может запрещаться импорт и экспорт данных с персональных компьютеров, что, несомненно, способствует безопасности. Во-первых, это уменьшает риск того, что конфиденциальные данные будут переданы за пределы организации. Во-вторых, это один из нескольких способов предотвращения проникновения вирусов в систему. Модель 2 полагается на стандарты – оборудование, программное обеспечение и телекоммуникации – с целью обеспечить связную среду ИТ в организации, а не на стандартную и жесткую инфраструктуру. Вполне вероятно, что закупки оборудования осуществляются централизовано в обеих моделях не только с целью стандартизации, но и потому, что часто существуют правила государственных закупок для обеспечения наилучших условий сделок. Может показаться, что модель 2 проще в реализации. Большинство сотрудников за пределами организации информатики склонно выбивать эту модель, поскольку она обеспечивает большую гибкость принятия решений на местах. Однако, с точки зрения центрального управления данная модель не лишена рисков. На практике оказалось трудно обеспечить интеграцию нового программного обеспечения, даже если оно отвечает определенным стандартам, с существующим программным обеспечением. Кроме того, изменения в существующем программном обеспечении могут вызвать непредвиденные локальные проблемы в новых программных продуктах. В обеих моделях отражено общее понимание того, что программное обеспечение должно разрабатываться для максимального удобства основных пользователей. Для первой модели все программные средства определяются, предоставляются и обслуживаются центральной организацией информатики. Во второй модели, несмотря на то, что основные инструменты и набор стандартов, которые должны соблюдаться, определяются центральной организацией, основным пользователям предоставляется ??большая свобода действий в реализации проектов. Использование обеих моделей показало, что они могут быть успешными. Выбор часто делается с учетом культуры организации.

В 1970-е и в начале 1980-х годов статистические ведомства пытались интегрировать центральные ЭВМ в свою деятельность. В тот период появился ряд направлений в политике управления ИКТ. Во-первых, людские ресурсы в сфере ИКТ были ограничены и должны были находиться под централизованным контролем. Во-вторых, необходимо было вести обширную документацию во всем системам. Даже тогда, когда профессия ИТ принадлежала к особой касте в НСС, было ясно, что статистики-специалисты по тематическим направлениям также должны быть вовлечены в развитие ИТ. Что касается первого наблюдения, по-прежнему верно, что специальные знания и опыт в области информатики – довольно редкий ресурс. Однако, в зависимости от размера организации и ее уровней децентрализации, более разумным решением может быть размещение некоторых из этих ресурсов в тематических подразделениях статистического ведомства. По-прежнему нельзя недооценивать значение документации, и трудности в достижении этой цели являются сегодня такими же серьезными, как и раньше. Наконец, следует поощрять обмен опытом и "ноу-хау" между специалистами в областях статистики и разработчиками приложений. Итак, при том, что большинство из ранних направлений политики в сфере ИКТ еще актуальны, появляются и некоторые новые. Одно из них связано с проблемой передачи работ с системами и программирования сторонним организациям, не считая некоторых одноразовых приложений, которые должны передаваться на аутсорсинг. Другое заключается в том, чтобы не утверждать системных аналитиков и программистов для выполнения новых проектов до тех пор, пока они не завершат формирование ясной документации по текущим проектам. Что касается вопроса о доверии управления техническим оборудованием другим сторонам, стоит отметить, что многие компании, в том числе НСС, все чаще ищут другие организации для управления их аппаратно-технической инфраструктурой. Практика концентрации на основных функциях организации и заключении договоров на выполнение функций, с которыми лучше справляются внешние специализированные организации, представляется благоприятной возможностью, но также и вызовом, поскольку должна быть твердая гарантия того, будут действительно предоставлены качественные услуги.

Современные статистические ведомства используют большое разнообразие ИКТ – оборудования и программного обеспечения. ИКТ используются не только для основных статистических процессов, но и для многих других целей, включая внутренние коммуникации, обмен системами данных, управление финансовыми и людскими ресурсами и т.д. Что касается процессов подготовки статистических данных, использование ИКТ начинается уже со сбора данных. Каждый из наиболее часто используемых способов сбора данных, а именно личные опросы, саморегистрация и телефонные опросы, имеет свои "ручные" и соответствующие им электронные методы, такие как автоматизированный личный опрос, автоматизированный самостоятельный опрос, включающий в себя веб- и электронные почтовые формы, и автоматизированный телефонный опрос. Для ввода данных существует несколько типов процессов, в каждом из которых используются ИТ. Одним из них является электронный обмен данными. Другим техническим приемом является сканирование, а также оптическое распознавание текста. И, наконец, практикуется ввод данных "вручную" с использованием компьютеров. Редактирование данных, представление их в табличном формате, анализ и распространение в наши дни так же немыслимы без ИКТ. Помимо различных видов периферийных устройств, основным оборудованием, используемым НСС, являются персональные компьютеры и серверы. Базовое программное обеспечение, как правило, состоит из пакета "офисных программ" и некоторых стандартных программных продуктов для хранения информации в базах данных, а также для статистических манипуляций и анализа. Для распространения данных через веб-сайт службы широко используются веб-технологии. Кроме того, часто используются стандартные технологии геоинформационной системы (ГИС). Наконец, каждая НСС использует широкий набор программных приложений для конкретных целей. Одним из ключевых вопросов управления ИКТ является то, в какой степени может использоваться стандартное коммерческое программное обеспечение и в каких случаях должны разрабатываться программные продукты по индивидуальному заказу, и будет ли в последнем случае более эффективно разрабатывать его собственными силами или через внешнего поставщика.

Основательная модель подготовки статистических данных с адекватными стандартными техническими средствами является краеугольным камнем политики управления ИКТ. Подготовку статистических данных можно систематизировать в рамках простой модели, показывающей основные процессы и виды данных при формировании статистики, от этапа ввода данных до доведения до пользователей. В этой модели все обследования на основе микроданных составляют статистический "реестр", содержащий все наблюдения за определенный период. Все статистические данные, предназначенные для публикации, основываются на извлечении и агрегировании данных из этого статистического "реестра". Каждый статистический реестр определяется как независимая единица. Каждый статистический реестр хранится стандартизированным образом в соответствии с общим сводом правил. Должен быть разработан общий каталог данных, хранящихся в статистических реестрах. Необходимо предусматривать установление тесных связей между данными и метаданными в статистических реестрах. Таблицы агрегирования, получаемые из статистических реестров и предназначенные для публикации, включаются в базу данных выходных результатов. Существует потребность в удобном для пользователей и гибком средстве агрегирования как для ввода данных в базу данных выходных результатов, так и для ответов на задаваемые вопросы. Агрегированные статистические данные в базе данных выходных результатов могут быть весьма детализированы. Должны быть предоставлены стандартизированные и эффективные возможности для извлечения данных из базы данных выходных результатов. В принципе, доступ к базе данных выходных результатов предоставляется всем работникам, но не внешним пользователям. Однако, работники должны иметь разрешение на доступ к базе данных выходных результатов, что предполагает наличие доступа к конкретным матрицам для всех работников. Наконец, имеется база данных с более агрегированной статистикой, которая доступна пользователям через веб-сайт НСС и содержит все публикуемые статистические данные. Общая база метаданных является другим основообразующим элементом модели подготовки статистических данных. Метаданные не ограничиваются теми метаданными, которые хранятся вместе с микроданными. Они также включают в себя чисто описательные данные. Существенно важна взаимосвязь между разными формами презентации метаданных, так, чтобы метаданные в принципе необходимо было вводить только один раз.

Каждый из широко используемых способов сбора данных, то есть личные опросы, саморегистрация и телефонные опросы, имеет свои "ручные" и соответствующие им электронные методы: автоматизированный личный опрос, автоматизированный самостоятельный опрос, включающий в себя веб- и электронные почтовые формы, и автоматизированный телефонный опрос. Другой метод сбора данных состоит в использовании существующих источников, таких как файлы административного учета. Успех обследования зависит в значительной степени от устойчивости выбранного метода сбора данных. Для обследований предприятий саморегистрация является единственным реалистичным вариантом, на основе бумажной анкеты или, в возрастающей мере в настоящее время, путем автоматизированного самостоятельного опроса. В некоторых странах, особенно в скандинавских, первичные данные теперь главным образом собираются из реестров, ведущихся государственными органами власти. В ходе обследований, в которых данные поступают напрямую от респондентов, традиционные анкеты в настоящее время остаются наиболее часто используемым методом сбора информации. Тем не менее, ряд НСС сосредоточены на предоставлении дополнительных возможностей для предприятий подавать информацию в электронном виде (электронная отчетность), пользуясь тем, что сегодняшние респонденты хранят информацию на электронных носителях и имеют доступ к Интернету. Для использования в общих целях в государственном секторе предназначен пакет статистического программного обеспечения CSPro (сокращение от англоязычного названия Системы обработки информации переписей и обследований), разработанный Бюро переписей США, компаниями "Макро Интернэшнл" и "Серпро С.А.". Основное финансирование его разработки было выделено Агентством международного развития США (сокращенно – USAID). Данное программное обеспечение может быть использовано для ввода, редактирования, сведения в таблицы и преобразования данных переписей и обследований. Этот статистический пакет широко используется статистическими ведомствами в развивающихся странах. Другой пакет – Blaise, разработанный Статистической службой Нидерландов. Он широко используется во всем мире национальными статистическими институтами и научно-исследовательскими организациями для подготовки официальной статистики. Blaise сформирован так, чтобы облегчить составление анкет различного объема и уровня сложности для автоматизированных опросов. Он позволяет создавать небольшие и простые анкеты, но Вы также имеете возможность строить большие, сложные модели анкет с иерархической структурой и привязывать их к имеющимся внешним файлам с данными. Модель сбора данных может иметь сложную структуру блоков, таблиц и рядов. Могут быть определены поля для заполнения разных типов. Они могут быть легко подготовлены для включения в анкету; при этом имеются средства ввода данных для различных методов опроса (автоматизированный личный опрос, автоматизированный самостоятельный опрос, автоматизированный телефонный опрос и проч.). Эти методы, от личного интервью до веб-интервью, могут также комбинироваться.

Blaise для Windows является мощной и гибкой системой для автоматизированного проведения обследований.

Blaise может выполнять автоматизированный телефонный опрос, автоматизированный личный опрос, автоматизированный самостоятельный опрос, интерактивное редактирование, высокоскоростной ввод данных, операции с данными и обладает полной функциональностью для управления обследованиями. Таким образом, Blaise предназначена не только для разработки обследований, но также предоставляет средства ввода данных. Достоверность данных, согласно определению в модели сбора данных, может проверяться на каждом этапе обследования. Проверка области значений может осуществляться автоматически. Можно определить условия для проверки правдоподобия и предотвращения ошибок ввода данных. Система диалога при обнаружении постоянной ошибки может предлагать скорректировать данные, если определенные условия не выполняются. Непостоянные ошибки могут быть определены так, чтобы программа предлагала отвергнуть или принять данные с менее значительной ошибкой. Значения в полях для заполнения могут вычисляться в режиме онлайн, например, значение возраста может быть вычислено сразу после того, как сообщается дата рождения. Время начала и окончания опроса может быть зафиксировано и сохранено вместе с данными. Как и в других языках программирования, многие функции доступны для вычислений в режиме онлайн. Для классификаций Blaise поддерживает три метода кодирования: алфавитный, иерархический и с помощью триграмм. Можно определить или установить связь между системами классификации для кодирования в режиме онлайн при вводе данных. Доступны процедуры передачи данных для связи с различными внешними форматами данных. Например, в ходе работы программы ввода данных Blaise введенные и отредактированные формы обследования можно сохранять в базе данных сервера Oracle или SQL. Эти и другие приложения могут запускаться в ходе сессии ввода данных, но могут быть выполнены и впоследствии. Во многих организациях приложения, созданные пользователями на языке "Манипула", используются для автоматического кодирования, проверки достоверности и надежности или очистки данных, или просто для подготовки файлов с данными для анализа. Специальным приложением является утилита для установления аудиторского "следа". Она может, помимо прочего, генерировать файл журнала регистрации событий для сессии ввода данных автоматизированного личного опроса или автоматизированного телефонного опроса, а также измерять время для отслеживания того, что происходило во время опроса, или для тестирования результатов анкетирования. В случае автоматизированного телефонного опроса файлы журнала регистрации событий сохраняются автоматически, включая подробные результаты набора телефонных номеров по каждой форме анкеты.

Помимо бесплатных или почти бесплатных продуктов, как CSPro и Blaise, существуют разнообразные коммерческие программные продукты для статистического анализа. К числу наиболее широко используемых относятся SPSS и SAS. SPSS (английская аббревиатура исходного наименования "статистический пакет для общественных наук") был впервые выпушен в 1968 году. SPSS – одна из наиболее широко используемых программ для статистического анализа. Она используется исследователями рынков, исследователями проблем здравоохранения и образования, специализирующимися на обследованиях компаниями, государственными учреждениями и многими другими. Кроме статистического анализа, функциональность базового программного пакета включает в себя управление данными (выбор наблюдений, преобразование файлов, извлечение данных) и документация по работе с данными (словарь метаданных сохраняется в файле с данными). Статистика, предусмотренная в базовом пакете, включает в себя описательную статистику (например, создание табличных форм), двумерный статистический анализ (например, средние значения, t-тест и корреляция), регрессионный, факторный и кластерный анализ. Расширенные опции предоставляют множество дополнительных функциональных возможностей. SAS (аббревиатура от наименования "система статистического анализа") представляет собой комплексную систему программных продуктов, которая позволяет программистам осуществлять ввод данных и извлечение данных, использовать средства подготовки отчетов, статистического анализа, разработки приложений, хранения данных и множество других функций.