Управление статистическим процессом

При планировании статистического проекта необходимо сначала решить некоторые принципиально важные вопросы. В основном они связаны с распределением обязанностей. Кто определяет цели проекта? Кто определяет рабочие процессы? Кто определяет выходные результаты и их качество? Кто осуществляет мониторинг? Кто производит оценку после завершения проекта? Кто отвечает за распространение результатов? Когда ответы на эти вопросы согласованы, следует приступать к следующим шагам: общее планирование проекта, определение области применения и используемой терминологии, подготовка пошагового плана процесса и связанного с ним графика работ, учет затрат и составление бюджета, определение механизмов контроля качества, планирование организации проекта, людских и других необходимых ресурсов, включая закупку требующегося оборудования, организацию коммуникаций и оценку рисков.

Если проект является совершенно новым или связан с существенными изменениями по отношению к текущим процедурам, может быть разумным сначала запустить прототип или пилотный проект; это дает возможность извлечь знания из практического опыта. Иногда может быть необходимо работать со старыми системами параллельно новым проектам, особенно, если невозможно предсказать успех нового проекта. Даже если для этого требуется дополнительная рабочая сила и, следовательно, дополнительные затраты, это уменьшает риски в случае неуспеха нового проекта. Поскольку проект состоит из серии шагов, каждый шаг должен быть определен в индивидуальном порядке. Управление проектом требует, чтобы были определены сотрудники, ответственные за каждый шаг. Должен быть назначен менеджер проекта, и, если проект достаточно крупный, также должны быть образованы руководящий комитет и проектный офис. Требуется оценка наличия у сотрудников квалификации для выполнения проекта; в случае необходимости следует организовать повышение квалификации или принять на работу новых сотрудников. С целью улучшения мониторинга проекта должны быть определены этапные рубежи реализации. Для содействия широкому пониманию проекта и закрепления прав собственности непосредственно перед стартом проекта полезно проводить вводный семинар о проекте. Должен быть составлен график регулярных заседаний руководящего комитета. Необходимо обсуждение рисков и мер для их уменьшения. В ходе реализации проекта полезно организовывать учебные семинары, и на основе обратной связи следует корректировать планы. Рекомендуется использование программного обеспечения для управления проектом. Наконец, должны действовать хорошие системы документации и администрирования.

Статистическая информация является конечным продуктом процессов и мероприятий более или менее высокой степени сложности. Для каждого типа процессов можно определить последовательность работ с целью обеспечить управляемость и повторяемость. В этом отношении статистика существенно не отличается от производства материальных продуктов или предоставления иных видов информационной продукции или услуг, таких как производство печенья или газет. Хотя формирование статистической информации может включать в себя различные процессы, большинство из них можно назвать обследованиями. В самом общем смысле обследование представляет собой опрос с целью сбора данных для анализа некоторых показателей группы или отрасли. Большинство обследований могут быть организованы в виде проектов. Первый этап обследования – предварительный: изучение спроса и наличия данных в интересующей области. Второй этап – это изучение того, как должны быть реализованы цели обследования. Если первый этап ориентирован на результат и на пользователя, то второй этап ориентирован на процесс, и в нем участвуют НСС и респонденты. Третий этап – фактическое осуществление обследования. Он включает в себя: составление выборки, последующий сбор данных и, наконец, ввод данных в файл микроданных. На четвертом этапе набор "сырых" микроданных используется для обработки и анализа, включая их редактирование, предположительные вычисления, оценку, объединение и анализ. Хранилища данных, образующиеся в результате четвертого этапа, являются источником таблиц, то есть конечных продуктов статистического процесса, а также основой для распространения данных.

Теоретически существует много различных методов обследования. Однако, в официальной статистике выборочные обследования, а иногда и переписи, являются на сегодняшний день наиболее важными методами в дополнение к сбору данных из административных источников. Тем не менее, необходимо кратко упомянуть и о других методах сбора данных. Перепись – это обследование, которое получает данные от каждой единицы генеральной совокупности. В большинстве случаев переписи не практичны ввиду стоимости и/или необходимого времени. Выборочное обследование получает данные из подмножества генеральной совокупности с целью оценки ее свойств. Другими хорошо известными методами сбора данных являются эксперименты и наблюдения, в частности, используемые для установления причинно-следственных связей. Они крайне редко используются в официальной статистике, но часто применяются, например, в медицине и психологии. Подход к разработке структуры обследований, представленный дальше, относится в основном к обследованиям предприятий. Однако, за явным исключением инструментария выборочного обследования и интеграции данных в национальных счетах, большинство элементов разработки структуры обследования применимы также и к обследованиям домашних хозяйств.

Первый сегмент цикла обследования охватывает все мероприятия, направленные на определение предполагаемого конечного продукта, т.е. набор табличных форматов и вспомогательные метаданные. Работа начинается с систематического изучения и инвентаризации потребностей пользователей. Затем они переводятся в статистические понятия, и предусматриваются соответствующие табличные форматы. Этап изучения завершается подробным описанием необходимой информации и целей, которым данная информация должны удовлетворять. Это описание должно быть переведено на соответствующий статистический язык, который включает в себя концепции, переменные, термины и определения. Итогом данного процесса является детальная спецификация предполагаемых статистических результатов. Определение статистических результатов конкретного обследования не является обособленным видом деятельности, основанном исключительно на интерпретации потребностей пользователей в рассматриваемой области. Существуют ограничения, которые следует принимать во внимание, например, в отношении доступности данных и нагрузки на респондентов. Более того, при выборе понятий, терминологии, определений, классификаций и т.д. должны приниматься во внимание желательные или требуемые взаимосвязи с другими разделами статистики. В данной связи следует особо упомянуть о потребностях национальных счетов. Но, более того, должны в принципе учитываться все разделы статистики, предусматривающие связь друг с другом. Вся экономическая статистика может рассматриваться с точки зрения всеобъемлющей структуры, которой, насколько это возможно, должны соответствовать разрабатываемые или дорабатываемые концепции обследования. Сопоставимость и согласованность – действительно необходимые основные характеристики качества статистических данных. Разумеется, что сопоставимость и совместимость не являются достаточными требованиями на уровне национальной статистики. Пользователям также требуется международная сопоставимость.

Интересы пользователей, как правило, не ограничиваются данными, полученными в результате одного конкретного обследования. Часто у пользователей возникает желание сравнить или иным образом соотнести данные из различных источников обследования. Эта тенденция усиливается растущей доступностью баз данных в режиме онлайн, в которых хранятся данные, полученные из большого количества обследований. Пользователи больше не ограничены физическими барьерами бумажных публикаций. Существует несколько видов очевидных связей между данными различных обследований. Во-первых, существует необходимость дополняемости данных, относящихся к различным группам населения, например, занятых в торговле и в обрабатывающей промышленности и т.д. Это важно для пользователей, заинтересованных в определенном аспекте состояния экономики, в данном примере – состоянии рынка труда. Во-вторых, необходима сопоставимость данных по различным аспектам определенной области экономики, например, данных о занятости, полученных из обследований рабочей силы, и данных об обороте из статистики производства в текстильной промышленности. В-третьих, обязательным требованием является согласованность результатов краткосрочных статистических наблюдений с данными годовой статистики. Данные об обороте в определенной отрасли, измеряемые ежемесячно, должны в сумме соответствовать данным об обороте, полученным из ежегодных обследований. В-четвертых, необходима согласованность результатов региональной статистики с данными национальной статистики. В-пятых, должна присутствовать преемственность результатов за период t с теми же данными за период t+1. Например, разница между значениями оборота в текстильной промышленности в декабре 2008 и январе 2009 года должны отражать реальное развитие отрасли. Наконец, данные должны вписываться в концепции и результаты статистики предприятий в системе национальных счетов.

Целевые генеральные совокупности для определенных обследований представляют область интереса для этого обследования. Соответствующими средствами выделения этой области являются статистические единицы и применяемые классификации. Вместе с временным измерением они позволяют точно определить предполагаемую генеральную совокупность. Пример: обсуждение НСС с пользователями может выявить потребность пользователей в получении структурных годовых данных по туристической отрасли на ежегодной основе. Они хотят получить, насколько возможно, более однородные и всеобъемлющие данные, и, следовательно, предпочитают, чтобы они были основаны на однородных статистических единицах и чтобы охватывали также и неформальной сектор. Так описывается идеальная целевая генеральная совокупность, которая полностью отвечает требованиям пользователей. Однако, имеются причины и обстоятельства, которые заставляют отклоняться от этой идеальной генеральной совокупности. Важно помнить, что выборка в конечном счете может не вполне отражать генеральную совокупность. Еще одним важным вопросом является использование стандартных статистических единиц. Они являются составными элементами для агрегации микроданных в данные по отраслям и прочим агрегатам, таким как институциональные секторы и географические районы. К хорошо известным примерам статистических единиц относятся группа предприятий, предприятие, местная производственная единица, единица одного вида деятельности и другие. Все эти единицы перечислены и определены в Системе национальных счетов, или СНС. Это технический вопрос, который не требует обсуждения в рамках данной лекции. Для обследований домашних хозяйств выбор статистических единиц, как правило, не настолько сложен. Также важны стандартные классификации для определения единиц и границ генеральной совокупности, как и классификация секторов в СНС и стандартные классификации товаров и услуг – для статистики предприятий. Наконец, принципиально важное значение имеет использование соответствующих переменных и соблюдение согласованных на международном уровне определений этих переменных.

Предварительный этап обследования завершается подробным описанием предполагаемого статистического продукта. На следующих этапах акцент делается на статистическом процессе. Этапы реализации включают в себя два подготовительных мероприятия, связанных с вводными данными: разработку стратегии получения выборки и разработку анкеты. Эти два мероприятия на самом деле устанавливают связь инструментария обследования с двумя основными характеристиками статистических результатов, то есть целевой генеральной совокупностью и наблюдаемыми переменными. В идеально мире без каких-либо бюджетных ограничений, где существует идеальный реестр предприятий и образцовые респонденты, которые полностью готовы и могут сообщать всю желаемую информацию, этот этап был бы простым. Однако, на практике ни одно из этих условий никогда не выполняется. Таким образом, необходимо дальнейшее преобразование итоговых спецификаций. Реестры предприятий не дают идеальное представление о целевой генеральной совокупности. Должны быть приняты соответствующие меры для того, чтобы исправить эти недостатки. В большинстве случаев проведение сплошного обследования (переписи) невозможно и неоправданно не только по финансовым соображениям, но и по соображениям своевременности и нагрузки на респондентов. Это указывает на необходимость выработки стратегии получения выборки, нацеленной на максимизацию надежности результатов при минимальном размере выборки. Если понятия и определения итоговых результатов в первую очередь ориентированы на пользователя, анкета служит средством общения с респондентами и, таким образом, должна быть ориентирована на респондентов. Это означает, что концепции должны быть переведены в термины и определения в соответствии со стандартами бухгалтерских и управленческих информационных систем. При условии, что это не представляется возможным, статистик должен искать альтернативы, такие как предположительные расчеты или досчеты, прежде чем принимать решения об обременении респондентов причиняющими беспокойство вопросами и обременить себя сомнительными ответами. Вышесказанное основано на предположении, что потребности в информации удовлетворяются за счет обследований. Однако, не следует проводить обследований, пока тщательный анализ существующих административных источников не показал, что они не представляют собой приемлемой альтернативы. Таким образом, далее будет рассмотрено использование административных реестров.

Статистический реестр предприятий (СРП) – основной источник для формирования выборки, является системой, в которой статистические единицы создаются из административных единиц. Встречаются дефекты, связанные с требованиями к целевой генеральной совокупности. Для разработчика обследования важно знать об этих дефектах и, по возможности, принимать компенсирующие меры. Идеальная ситуация – существование совершенного инструментария выборочного обследования, являющегося актуальным сочетанием всех элементов целевой генеральной совокупности. Однако, формирование и обновление инструментария выборочного обследования – трудный и сложный процесс. Действительно, характеристики, а также состав генеральной совокупности постоянно меняются с течением времени, в то время как источники информации для таких изменений, как правило, несовершенны. Во-первых, для большинства обследований будет актуальна только часть всех элементов, зафиксированных в СРП. Во-вторых, нужно учитывать, что СРП неизбежно содержит ряд ошибок, пропусков и задержек. Учитывая, что статистика предприятий должна наблюдать и описывать общую производственную деятельность в стране, выходные данные идеального СРП могут быть определены как актуализированная картотека всех статистических единиц, действующих на территории страны и создающих добавленную стоимость, а также соответствующих им статистических и административных признаков. Другие характеристики охватывают события экономического и демографического характера, такие как рождение, смерть, слияние, разделение, удаление и т.п. Кроме того, принято фиксировать иерархические связи между единицами, такие как родительские, сестринские и дочерние отношения, а также горизонтальные связи между ними. Последние позволяют отслеживать единицы с течением времени, а также когда они меняют свою структуру. Поскольку обновления СРП часто отстают от реальных событий, полезно удвоить фиксацию временных отметок посредством записи и даты регистрации, и даты события. Наконец, для рассылки необходима информация о фамилиях, адресах и номерах телефонов.

После определения целевой генеральной совокупности и выборочной совокупности, следующим шагом является выбор структуры выборки и процедуры оценки. Теория формирования выборок предлагает разнообразные методы, согласно которым могут быть произведены выборки и получены оценки. Первый вопрос состоит в том, производить ли выборочное или сплошное обследование. Если выборка считается достаточной, то необходимо принять решение о размере выборки. Перед формированием выборки важно сосредоточить внимание на данных, которые будут опубликованы. Таблицы в окончательной публикации содержат оценки параметров целевой генеральной совокупности. Примерами параметров являются общая численность генеральной совокупности, средние значения совокупности, пропорции, соотношение и разность двух совокупных значений. В большинстве обследований оценки производятся не только для всей генеральной совокупности, но и для ряда подмножеств, на которые делится генеральная совокупность. На этапе разработки обследования должны выбираться методы для получения оценок, находящихся как можно ближе к значениям параметров. В обследованиях предприятий часто случается, что крупные предприятия имеют относительно высокие значения параметров, представляющих интерес. Если при разработке обследования не предусмотрены действия в таких случаях, не исключено, что результаты обследования будут неточными. Схема формирования выборки описывает механический отбор выборки в соответствии с разработанной структурой. Если выборочная совокупность не охватывает всю генеральную совокупность, другими словами, если существуют указанные выше структурные недостатки, схема формирования выборки работает на основе выборочной совокупности, которая подразумевает, что следует проявлять осторожность в отношении определения оцениваемых параметров генеральной совокупности. Какая структура наиболее подходит для конкретного обследования, зависит от вспомогательной информации, представленной в инструментарии выборочного обследования. Чем больше информации доступно перед формированием выборки, тем лучше структура выборки может быть приспособлена к целям обследования.

Разработка обследования в первую очередь учитывает простые эффекты получения выборки, игнорируя любые недостатки инструментария выборочного обследования или другие возможные ошибки, такие как ошибки в следствие отсутствии ответа от респондента. Структура выборки представляет собой набор спецификаций, которые определяют целевую генеральную совокупность, единицы выборки, а также вероятности, характерные для возможных выборок. Когда размер предприятия фиксируется в реестре предприятий, эта информация может быть использована для измерения переменных, связанных с размером. Такими переменными являются затраты труда и оборот. Информация о размере может быть использована для выбора вероятностей, пропорциональных размеру; высокая вероятность быть выбранными характерна для крупных фирм. Функция оценивания – это математическая функция, с помощью которой вычисляется оценка определенного параметра. Комбинация структуры и функции оценивания называется стратегией формирования выборки. Понятие смещения требует осмысления с точки зрения всех возможных результатов выборочного обследования. Смещение не связано с одной конкретной оценкой, а относится ко всем оценкам определенного параметра, которые могут быть получены в результате выборочного обследования. Идея смещения построена вокруг представления об ожидаемом значении. Ожидание оценки можно рассматривать как среднее значение всех оценок, полученных "в долгосрочной перспективе" путем осуществления повторных выборок и наблюдения характеристик, представляющих интерес. Когда структура обследования плохо сочетается с функцией оценивания, совмещение структуры выборки и функции оценивания может приводить к неточным оценкам, далеким от значений рассматриваемых параметров. Смещение есть разница между ожиданием и полученным значением параметра выборки. Например, смещение может наблюдаться, когда исследуемая выборка и выборочная совокупность не полностью сответствуют друг другу. Другой причиной смещения может быть неудачно выбранная комбинация структуры выборки и функции оценивания. Отсутствие ответа также может приводить к смещению.

После принятия решения о комбинации структуры выборки и функции оценивания может быть определен объем выборки. Имеют значение два аспекта: стоимость и точность. Обычно при увеличении объема выборки увеличивается точность. Однако, чем больше выборка, тем более дорогим и трудоемким становится опрос. Часто объем выборки определяется общим бюджетом. В обследованиях предприятий широко используется метод стратифицированной выборки. Перед проведением выборочного обследования выборка делится на непересекающиеся подвыборки, называемые слоями. Слои можно рассматривать как отдельные выборки, для которых могут быть выбраны подходящие стратегии. Выборки в каждом из слоев формируются независимо. Для повышения точности оценки общего оборота фирмы можно стратифицировать выборку на классы размера, что часто производится на основе числа работников на предприятии: например, 9 или менее работников, от 10 до 99 и от 100 и более. Выборка делается из этих слоев, и для каждого слоя структура выборки определяется до проведения обследования. Первым этапом получения стратифицированной выборки является выбор характеристик, по которым должны быть сформированы слои. Этот выбор зависит от целей, для которых применяется метод стратифицированной выборки. Если основанием для стратификации является увеличение точности, следует формировать слои из более или менее однородных в отношении целевых переменных групп. В обследованиях предприятий класс размера, как правило, выбирается в качестве переменной стратификации, так как размер часто тесно связан с большинством переменных, представляющих интерес. Другая проблема заключается в том, как общий объем выборки распределен по каждому слою. В обследованиях предприятий такое распределение обычно выбирается непропорционально классов размера. Однако, оптимальное распределение для одной целевой переменной, скорее всего, будет неоптимальным для другой. Определение оптимального распределения часто представляет собой повторяющийся процесс.

При использовании основательных методов можно сократить количество источников ошибок обследования. Это касается как ошибки выборки, возникающей в результате формирования выборки вместо использования информации всей генеральной совокупности, так и не связанных с выборкой ошибок, являющихся, например, следствием недостатков инструментария выборочного обследования, неточной постановки целей, плохой структуры анкеты и отказа от ответов. Величины, описывающие разброс значений – дисперсия и среднеквадратичная ошибка оцененного значения. Дисперсию можно рассматривать как среднее в "долгосрочной перспективе" всех квадратов разностей между оценками и ожиданием значения функции оценивания. Таким же образом, среднеквадратичная ошибка в среднем равна квадрату разности между оценками и параметром. Дисперсия показывает, насколько близки оценки к своему математическому ожиданию, тогда как среднеквадратичная ошибка измеряет близость к параметру. Понятие достоверности обычно относится к дисперсии, а точности – к среднеквадратичной ошибке. Оценка называется достоверной, если дисперсия невелика, и точной, если среднеквадратичная ошибка мала. Во многих обследованиях невозможно извлечь все возможные выборки для расчета дисперсии, но в большинстве случаев значение может быть оценено на основе одной выборки. Для несмещенной (или почти несмещенной) оценки достоверность часто выражается через коэффициент вариации, который определяется как квадратный корень из дисперсии оценки, разделенный на оценку параметра.

Принятие решений о наилучших методах сбора данных для обследования является одним из важных мероприятий в процессе планирования обследования. Существует ряд методов сбора данных. Распространенные методы сбора данных можно разделить на три основных типа: личный опрос, саморегистрация и телефонный опрос. Эти три типа получения данных "вручную" имеют соответствующие электронные методы: автоматизированный личный опрос, автоматизированная саморегистрация, включая веб-формы и электронные почтовые формы, автоматизированные телефонные опросы. Другие методы сбора данных заключаются в использовании существующих источников, таких как административные файлы. Успех обследования в большой степени зависит от пригодности выбранного метода сбора данных. Однако для обследований предприятий единственным реалистичным вариантом является саморегистация, построенная на основе бумажной анкеты, или, в возрастающей степени в настоящее время, в форме автоматизированной саморегистрации. Другим аспектом является то, что обследования предприятий часто повторяются. Возможны несколько способов организации повторных обследований предприятий и домашних хозяйств. Один из них – повторяющиеся перекрестные обследования с новой выборкой для каждого случая. Другой способ – панельное обследование с одинаковой выборкой во всех случаях. Существуют компромиссы между этими двумя способами, например, повторяющиеся панельные обследования – серии панельных исследований, пересекающиеся или непересекающиеся, или ротация панельных обследований – повторяющиеся панельные данные с перекрестным охватом. Выбор наиболее подходящего типа обследования зависит от его цели.

При обследованиях предприятий, как правило, используют методы саморегистрации. Три наиболее распространенных из них: опрос по почте, обратные письма или письма до востребования, электронные формы или автоматизированная саморегистрация. При проведении опроса по почте вместе с анкетой респондентам рассылаются оплаченные конверты, чтобы респондент мог отправить по почте обратно заполненную форму. Этот метод имеет несколько преимуществ. Респонденты могут заполнять анкету в удобное для них время. Кроме того, респондент может проверить записи. Могут быть приложены более подробные инструкции и разъяснения. Могут быть покрыты более широкие географические области при более низкой стоимости, чем путем личного опроса. И, наконец, опросы по почте предоставляют возможность опросить труднодоступных для контакта респондентов, например, тех, кто предоставляет только почтовые адреса или находится вдали от дома долгое время. Основным недостатком опроса по почте является более низкий уровень участия респондентов. Более того, по причине таких опросов данные могут быть доступны медленне. Существует также ограничение на сложность анкеты, по сравнению со счетчиками, подготовленными для использования анкет. Почтовый метод не подходит для потенциальных респондентов с ограниченными возможностями к чтению и письму на определенном языке, если только анкеты не предусматривают возможности заполнения на соответствующем языке. Обратные письма и письма до востребования – два тесно связанных метода саморегистрации, обеспечивающих более высокий процент ответивших, чем опросы по почте. В обоих случаях анкета доставляется респонденту счетчиком, который объясняет цели обследования и правила заполнения анкеты. Анкета остается у респондента для заполнения и последующего отправления респондентом обратно по почте, либо для возвращения счетчику позднее. Расходы, связанные с работой интервьюеров, делают этот метод более дорогостоящим, чем опрос по почте. Электронная форма представляет собой электронную версию анкеты. Использование электронных анкет позволяет получить более быстрый отклик, чем другие методы саморегистрации. Недостатки: увеличенные расходы на разработку форм, обслуживание соответствующих систем и обеспечение безопасности. Кроме того, этот метод требует наличия у респондентов совместимого компьютерного программного обеспечения и службы технической поддержки, необходимой для оказания содействия в использовании форм. Также иногда в обследованиях с возвращением анкет по почте или лично счетчику вместо бумажных форм используются электронные формы на диске или CD-ROM.

Фактический сбор данных от предприятий может показаться обычной деятельностью, но его практическая значимость огромна. Как только становятся известны единицы выборки, начинается подготовка к рассылке анкеты, а также созданию файла, содержащего пункты анкеты по каждой из единиц, подлежащих обследованию. Последующие операции происходят в целях повышения отклика и качества данных. Большинство операций может поддерживаться современными средствами автоматизации. После отправки анкеты главным предметом озабоченности для тех, кто проводит обследование, становится стимулирование и оказание помощи респондентам. Здесь центральное место занимает отчетная единица. Данные анкетирования относятся к единицам наблюдения, но отчетная единица является контактом НСС. Очень важно четко указать в анкете предполагаемые части организации, отчетность по которым должен предоставить респондент. На этом этапе статистического процесса существенную помощь оказывают средства автоматизации. Начиная с бумажной анкеты и файла с данными респондентов, средства автоматизации применяются для следующих операций: адреса и идентификационные данные могут быть впечатаны непосредственно в анкету либо на отдельной прикрепляющейся закладке, которая должна прилагаться к анкете. Идентификационные коды могут быть напечатаны как штрих-коды и отсканированы из собранных форм. Большинство программ баз данных предоставляют отличные возможности для печати формы. Список единиц выборки и вопросы анкеты обеспечивают составляющие для создания файла микроданных, в который будут записаны данные опроса. Как было отмечено ранее, выборки неизбежно имеют ряд недостатков. Некоторые из них могут быть легко исправлены. Среди них наиболее важными являются устранение очевидного дублирования и обновление последних сообщений об изменении адреса. Стоит потратить некоторое время и усилия на проверку и последние обновления перед отправкой анкеты. Это позволит предотвратить раздражение респондентов, поможет уменьшить нагрузку на них и снизить процент отсутствия ответов, а также сэкономить время на более поздних этапах процесса сбора. Респонденты должны быть проинформированы заранее о новых обследованиях, а также о существенном изменении анкет. Это позволит им адаптировать свои информационные системы. Предварительное объявление может сопровождаться рекомендацией профессиональной организации или другими учреждениями, представляющими респондентов. Кроме того, НСС может способствовать опросам, предоставляя сведения для СМИ. Респондентам должно быть предложено обращаться в НСС в случае возникновения проблем. Проблемы, обычно сообщаемые по телефону, касаются идентификации единиц, запросов о задержке или освобождении от обязательств и запросов о помощи оперативной службы.

Существует пять основных типов ввода данных. Одним из них является электронный обмен данными. Этот инструмент позволяет респонденту частично выполнять редактирование. Другая высокотехнологичная альтернатива – сканирование. Соответствующие компоненты входящих бумажных форм переводятся электронными средствами в точечную графическую информацию. Чуть менее высокотехнологичными являются системы оптического распознавания текста, которые позволяют осуществлять простую редакционную проверку, как, например, проверку достоверности значений и их диапазонов. Метод особенно подходит для больших объемов данных. Очевидно, что возможность прочтения является решающим фактором. Цифры более легко читаемы, чем обычный текст. Современные пакеты оптического распознавания текста используют словарь при распознавании слов, но каждая комбинация цифр приводит к действительному числу. Рукописный материал гораздо сложнее распознавать, чем набранные данные. При использовании оптического распознавания текста основное предостережение состоит в том, что система требует очень точного планирования анкеты и стандартов печати для обеспечения верного считывания сенсорами ответов респондентов. Третий метод ввода данных называется "heads-up" и означает, что компьютерная программа дает мгновенную обратную связь с машинистом, вводящим данные из анкеты. Наконец, метод ввода данных "heads-down" означает, что данные вводятся с высокой скоростью и без обратной связи с компьютером. Этот метод также применяется, когда поступающей информации обладает высоким качеством. Метод ввода данных "heads-down" может выполняться сторонней организацией. В целом, ввод данных требует специального оборудования и программного обеспечения. В этих системах могут быть применены некоторые действительные проверки значения, а также проверки диапазона изменения данных, в результате которых могут быть обнаружены опечатки. Проверки не носят глубокий характер, поскольку единственное возможное действие машиниста – сравнение введенных данных с данными в форме. На персональном компьютере могут быть использованы базы данных и специализированное программное оборудование как для метода ввода данных "heads-up", так и для метода "heads-down". Программы электронных таблиц менее подходят для ввода данных вследствие проблем с предотвращением последствий неправильного нажатия машинистом клавиш. Эта проблема уменьшается только в случае хорошего владения машинистом электронными таблицами.

Отправная точка этапа обработки – информация, полученная от респондентов. По многим причинам процесс обработки данных включает в себя больше, чем просто агрегирование вопросов анкеты. Одной из причин является то, что часть респондентов совершают ошибки при заполнении анкеты. То же относится и к машинистам при вводе данных. Во-вторых, и на микро-, и на агрегированном уровне неизбежно возникают несоответствия со связанными элементами, полученными в ходе других обследований. В-третьих, некоторые респонденты заполняют анкеты лишь частично. Кроме того, не все вопросы анкеты являются идеальным отображением результатов, предусмотренных концепцией обследования. В дополнение, обследуется только часть элементов выборочной совокупности. Также существует проблема отказа от ответа. Более того, инструментарий выборочного обследования, посредством которого осуществлялось получение выборки для обследования, не является идеальным представлением генеральной совокупности объекта обследования. Обработка включает в себя спектр операций, в дальнейшем устраняющих все этих недостатки. Применяются следующие меры. После ввода данных ошибки и несоответствия выявляются и исправляются во время редактирования. Впоследствии пункты, оставленные без ответа, а также расхождения между понятиями в анкетах и понятиями применительно к выходным результатам обрабатываются методом предположительных расчетов. Далее, полученный набор чистых и полных микроданных служит основой для взвешивания и повторного взвешивания. На этом этапе также устраняются ошибки. Агрегированные данные затем сопоставляются и интегрируются с соответствующими данными из других источников. Наконец, в случае необходимости, производятся подбор данных и статистический анализ, в результате чего происходит формирование окончательных таблиц. Следует отметить, что различие между различными этапами не всегда столь ярко выражено, как представлено здесь. Это касается, в частности, границы между редактированием и предположительными расчетами, а также между предположительными расчетами и переоценкой.

Редактирование представляет собой проверку данных с целью обнаружения ошибок. Как и любой респондент, респондент, предоставляющий данные по статистике предприятий, склонен делать ошибки при заполнении статистической анкеты. Только часть из этих ошибок можно отследить; многие ошибки остаются не отслеживаемыми. Поэтому даже исчерпывающее редактирование данных никогда не приведет к получению безошибочного файла данных. Самым важным является отслеживание и устранение серьезных ошибок. Редактирование данных происходит во время или после ввода данных. Проверка маршрутизации данных устанавливает, на все ли заданные вопросы был получен ответ. Проверка достоверности данных рассматривает допустимость ответов. В обследованиях предприятий диапазон значений должен быть достаточно широким из-за различий в размерах предприятий. В этом случае могут быть проведены проверки на отношения. Многие проверки принимают форму отношения соответствия между двумя переменными, которые проводятся в определенных границах. Другой тип проверок на отношения – арифметические проверки, например, расчет суммы всех переменных и сравнение ее с совокупным значением. Некоторые правила редактирования носят стохастический характер, т.е. они просто мягко предупреждают о наличии возможных ошибок. Не все применяемые стратегии редактирования эффективны. Возрастает значение автоматизированного редактирования. В процессе автоматизированного редактирования можно выделить три этапа: первый – обнаружение ошибок или несоответствий; далее, в случае несоответствия, определения поля, в котором присутствует ошибка; и, наконец, исправление или предположительный расчет. Селективное редактирование сводится к обнаружению нетипичных значений (выбросов). Это носит название макроредактирования. Редактирование во время ввода данных (или редактирования входных данных) имеет преимущество своевременности, поскольку может начаться, как только поступает первая заполненная форма; но входное редактирование не должно применяться слишком широко ввиду своей дороговизны. Для снижения стоимости необходима избирательность, например, путем распределения форм на основные и второстепенные потоки, обработка которых производится автоматическими процедурами.

Согласованность статистических данных является важным вопросом и может быть повышена за счет интеграции. Как уже говорилось ранее, интересы пользователей, как правило, не ограничиваются данными, полученными из одного конкретного обследования. Достижение согласованности является сложным процессом. Понятие интеграции тесно связано с практикой составления национальных счетов. Интеграция в любом случае приводит к улучшению согласованности между результатами различных обследований. Первый вопрос – сделать созвучными понятия, относящиеся к переменным, статистическим единицам и основным статистическим классификациям. Для случая обследований рынка труда и производства с их различающимися определениями стоимости рабочей силы и отрасли, по существу возможны два теоретических решения. Одним из них является корректирование наименований понятий, таким образом, чтобы подчеркнуть, что оба обследования наблюдают разные объекты. Вторым решением является согласование определения понятия одного обследования с тем же понятием в других обследованиях. Однако, это не всегда представляется возможным. Например, основные статистические показатели, таблицы ресурсов и использования товаров и услуг в национальных счетах должны использовать одинаковое определение стоимости рабочей силы. Но проблема состоит в том, что основная статистика не включает теневой труд, потому что он является ненаблюдаемым при обычном сборе данных. Третьим решением является устранение дублирования. После выяснения концептуальных различий между обследованиями рынка рабочей силы и сферы производства, оказывается, что одно из обследований может опустить вопрос стоимости рабочей силы и извлечь сведения из другого обследования. Это решение требует строгого выполнения, и его часто бывает трудно применять на практике. Если предположить, что невозможно избавиться от всех случаев дублирования и расхождения, другим решением является принятие НСС "политики одного исчисления". Централизованное хранилище данных является мощным инструментом в этом отношении.

Существует почти бесконечное разнообразие видов анализа в зависимости от характера и целей исследования. По этой причине будут упомянуты только несколько примеров, представляющих особое значение для пользователей: сезонные корректировки временных рядов и статистический контроль раскрытия табличных данных. Что касается сезонной корректировки, многие экономические временные ряды показывают циклические колебания. Это наиболее очевидно для рядов, публикуемых с периодом менее года, таких как котировки акций и безработица. Но и ряды с годовым периодом могут обнаруживать циклы, например, материально-производственные запасы часто имеют цикл несколько лет. Если период ряда составляет менее года, колебания в течение годового цикла называют сезонными колебаниями. Основными причинами таких сезонных колебаний являются календарные эффекты (количество рабочих дней в месяце), институциональные эффекты (молодые люди заканчивают школу в июне, поэтому в июне, июле и августе часто наблюдается более высокий уровень безработицы, чем в мае и сентябре), а также погодные условия (из-за плохой погоды в зимний период наблюдается рост безработицы среди строителей). Если ряд имеет сезонные колебания, может возникнуть необходимость вычислить новый ряд, скорректированный в соответствии с поправкой на эти сезонные колебания. Основная причина такой необходимости связана с государственной политикой: при резком росте безработицы в определенном месяце лица, ответственные за принятие политических решений, должны знать, является ли это увеличение постоянным или вызванным сезонным фактором. Данные с сезонной корректировкой являются также исходным условием для оценки состояния цикла деловой активности. Существуют различные методы для сезонной корректировки. Что касается скрытия ячеек таблиц, содержащих чувствительную информацию, обычно в таблицах не содержатся сведения от отдельных респондентов, а только агрегированная информация, относящаяся ко всем опрошенным лицам. Тем не менее, может возникнуть ситуация, когда возможно отследить информацию, соответствующую определенному респонденту из агрегированного множества, в случае когда вклад одного из респондентов доминирует в этом множестве. В таком случае должен применяться контроль раскрытия статистической информации. Для этого существуют три метода: внесение изменений в схему классификации, скрытие ячеек, содержащих значимую информацию, и округление значений ячеек.

Для того, чтобы статистику могла потребляться пользователями, необходимо разрабатывать и поддерживать системы распространения информации. Распространение информации является одним из трех основных процессов НСС и включает в себя множество мероприятий. Статистика по своей сути является информацией, нематериальным товаром – услугой. Распространение статистических данных, хотя включает в себя и предоставление продукции, в первую очередь состоит в предоставлении услуг. Набор данных, полученный в результате этапов обработки и анализа, можно рассматривать как хранилище данных, содержащее показатели на минимально возможном уровне агрегации, которые могут быть опубликованы. Эти элементарные показатели являются конструкционными элементами таблиц в публикациях любого типа. На завершающей стадии уже не предпринимаются действия, направленные на добавление новой информации или улучшение надежности. Часть из этих действий, то есть меры контроля за раскрытием информации, даже могут привести к противоположным результатам, поскольку направлены на скрытие информации. Сутью окончательного этапа является структурирование, представление и распространение данных таким образом, чтобы максимальное количество пользователей получало данные в соответствии со своими потребностями. Понятие корпоративных публикаций и стратегии распространения, направленной на максимальное удовлетворение пользователя, предполагают, что группы пользователи не обязательно могут быть разграничены в соответствии с охватом отдельных обследований. Группы пользователей разнообразны и, следовательно, существует широкий спектр частично перекрывающих друг друга областей, представляющих интерес. Это означает, что публикации должны содержать данные, полученные из различных обследований. Это также предполагает широкий спектр публикаций, частично накладывающихся друг на друга по информационному содержанию. Современные информационные технологии позволяют НСС удовлетворять различные потребности пользователей путем гибкого реагирования. Но как бы ни было важно бумажное и электронное распространение данных, на практике большая часть полученной информации начинается с письма или телефонного звонка потенциального пользователя. Обычно НСС получает большое количество случайных запросов по телефону или по факсу. То же самое касается запросов о предоставлении информации со ссылкой на данные из различных источников обследования. Для того, чтобы избегать переадресации клиентов от одного отдела к другому и предоставлять последовательную информацию, полезно сосредоточить первую линию службы информационной поддержки в центральном справочном бюро. Сотрудники этого бюро могут отвечать на запросы быстро с помощью упомянутой ранее центральной базы данных.

Значение административных реестров при составлении статистики стремительно растет под давлением трех основных факторов: необходимости снижения нагрузки на респондентов и сокращения бюджета, определяемой национальными правительствами, с одной стороны, и увеличение спроса, с другой стороны. Роль таких реестров в разработке или доработках обследований предприятий можно охарактеризовать кратко, сказав, что, с учетом конкретных потребностей пользователей, прямой сбор данных от предприятий оправдан только в том случае, когда по итогам детального исследования сделано заключение, что ни один из имеющихся реестров не может удовлетворить данные потребности. В контексте статистики предприятий административные реестры можно определить как систематический сбор данных, которые могут быть связаны с отдельными предприятиями с возможностью обновления. В зависимости от целей использования административные реестры можно разделить на базовые и специализированные. Базовые реестры ведутся в качестве источника данных для государственного управления в целом или для некоторых администраций. Такие реестры обычно ведут учет совокупности предприятий и ее динамики. Важным условием является то, что такие реестры сохраняют идентификационные признаки, используемые также другими администрациями. Кроме того, они должны содержать определенные базовые данные, представляющие общий интерес для ряда администраций. Специализированные реестры служат какой-либо одной цели или явно заданной ограниченной группе целей. Эти реестры ведутся органом, который также является и пользователем. Базовые реестры часто предоставляют компоненты вводных данных, таких как имя, адрес, правовая форма, код вида деятельности и размера класса юридических и местных единиц. Примерами специализированных реестров служат реестр плательщиков налога на добавленную стоимость и статистические реестры предприятий.

Собирать ли данные непосредственно от предприятий или полагаться на административные реестры? Этот вопрос является предметом балансирования относительных преимуществ и недостатков. Основными преимуществами административных реестров являются: снижение нагрузки на респондентов; более низкая стоимость, особенно когда бремя отчетности выражается в дополнительных расходах для общества; отсутствие или незначительное число отказов от ответа; отсутствие ошибки выборки; представленные данные могут быть более точными вследствие интенсивных проверок данных административными органами. Основными недостатками административных реестров являются: несоответствие между административными и статистическими понятиями; недостаточная степень интеграции с другими данными статистической системы; риски стабильности – власти могут изменить административную практику или правовую основу регистрации, не принимая по внимание статистические потребности. В некоторых случаях представленные данные могут быть менее точными. Например, когда используются налоговые данные, ответчик имеет прямую заинтересованность в данных, которые он предоставляет – это может привести к систематическому смещению оценок. Кроме того, административные данные могут быть доступны с неприемлемой задержкой. Наконец, возможны юридические ограничения в отношении доступа и конфиденциальности. Существует три типа использования административных реестров. Прямая обработка данных является оправданной, когда прописанные концепции достаточно хорошо подходят для статистической системы, и предоставленные данные обладают достаточно высоким качеством. Для строго контролируемой деятельности, такой как банковская и страховая деятельность, часто применяется метод прямой обработки. Совмещение с административными или статистическими источниками является еще одной формой использования. Здесь возможен акцент на дополнении признаков одного реестра признаками другого реестра или проверка достоверности этих данных. Другой формой использования является отслеживание изменений в накопленной совокупности единиц или в их признаках при помощи сравнения реестров в два разных момента времени.

Упражнения: