Управление статистическим процессом

При обследованиях предприятий, как правило, используют методы саморегистрации. Три наиболее распространенных из них: опрос по почте, обратные письма или письма до востребования, электронные формы или автоматизированная саморегистрация. При проведении опроса по почте вместе с анкетой респондентам рассылаются оплаченные конверты, чтобы респондент мог отправить по почте обратно заполненную форму. Этот метод имеет несколько преимуществ. Респонденты могут заполнять анкету в удобное для них время. Кроме того, респондент может проверить записи. Могут быть приложены более подробные инструкции и разъяснения. Могут быть покрыты более широкие географические области при более низкой стоимости, чем путем личного опроса. И, наконец, опросы по почте предоставляют возможность опросить труднодоступных для контакта респондентов, например, тех, кто предоставляет только почтовые адреса или находится вдали от дома долгое время. Основным недостатком опроса по почте является более низкий уровень участия респондентов. Более того, по причине таких опросов данные могут быть доступны медленне. Существует также ограничение на сложность анкеты, по сравнению со счетчиками, подготовленными для использования анкет. Почтовый метод не подходит для потенциальных респондентов с ограниченными возможностями к чтению и письму на определенном языке, если только анкеты не предусматривают возможности заполнения на соответствующем языке. Обратные письма и письма до востребования – два тесно связанных метода саморегистрации, обеспечивающих более высокий процент ответивших, чем опросы по почте. В обоих случаях анкета доставляется респонденту счетчиком, который объясняет цели обследования и правила заполнения анкеты. Анкета остается у респондента для заполнения и последующего отправления респондентом обратно по почте, либо для возвращения счетчику позднее. Расходы, связанные с работой интервьюеров, делают этот метод более дорогостоящим, чем опрос по почте. Электронная форма представляет собой электронную версию анкеты. Использование электронных анкет позволяет получить более быстрый отклик, чем другие методы саморегистрации. Недостатки: увеличенные расходы на разработку форм, обслуживание соответствующих систем и обеспечение безопасности. Кроме того, этот метод требует наличия у респондентов совместимого компьютерного программного обеспечения и службы технической поддержки, необходимой для оказания содействия в использовании форм. Также иногда в обследованиях с возвращением анкет по почте или лично счетчику вместо бумажных форм используются электронные формы на диске или CD-ROM.

Фактический сбор данных от предприятий может показаться обычной деятельностью, но его практическая значимость огромна. Как только становятся известны единицы выборки, начинается подготовка к рассылке анкеты, а также созданию файла, содержащего пункты анкеты по каждой из единиц, подлежащих обследованию. Последующие операции происходят в целях повышения отклика и качества данных. Большинство операций может поддерживаться современными средствами автоматизации. После отправки анкеты главным предметом озабоченности для тех, кто проводит обследование, становится стимулирование и оказание помощи респондентам. Здесь центральное место занимает отчетная единица. Данные анкетирования относятся к единицам наблюдения, но отчетная единица является контактом НСС. Очень важно четко указать в анкете предполагаемые части организации, отчетность по которым должен предоставить респондент. На этом этапе статистического процесса существенную помощь оказывают средства автоматизации. Начиная с бумажной анкеты и файла с данными респондентов, средства автоматизации применяются для следующих операций: адреса и идентификационные данные могут быть впечатаны непосредственно в анкету либо на отдельной прикрепляющейся закладке, которая должна прилагаться к анкете. Идентификационные коды могут быть напечатаны как штрих-коды и отсканированы из собранных форм. Большинство программ баз данных предоставляют отличные возможности для печати формы. Список единиц выборки и вопросы анкеты обеспечивают составляющие для создания файла микроданных, в который будут записаны данные опроса. Как было отмечено ранее, выборки неизбежно имеют ряд недостатков. Некоторые из них могут быть легко исправлены. Среди них наиболее важными являются устранение очевидного дублирования и обновление последних сообщений об изменении адреса. Стоит потратить некоторое время и усилия на проверку и последние обновления перед отправкой анкеты. Это позволит предотвратить раздражение респондентов, поможет уменьшить нагрузку на них и снизить процент отсутствия ответов, а также сэкономить время на более поздних этапах процесса сбора. Респонденты должны быть проинформированы заранее о новых обследованиях, а также о существенном изменении анкет. Это позволит им адаптировать свои информационные системы. Предварительное объявление может сопровождаться рекомендацией профессиональной организации или другими учреждениями, представляющими респондентов. Кроме того, НСС может способствовать опросам, предоставляя сведения для СМИ. Респондентам должно быть предложено обращаться в НСС в случае возникновения проблем. Проблемы, обычно сообщаемые по телефону, касаются идентификации единиц, запросов о задержке или освобождении от обязательств и запросов о помощи оперативной службы.

Существует пять основных типов ввода данных. Одним из них является электронный обмен данными. Этот инструмент позволяет респонденту частично выполнять редактирование. Другая высокотехнологичная альтернатива – сканирование. Соответствующие компоненты входящих бумажных форм переводятся электронными средствами в точечную графическую информацию. Чуть менее высокотехнологичными являются системы оптического распознавания текста, которые позволяют осуществлять простую редакционную проверку, как, например, проверку достоверности значений и их диапазонов. Метод особенно подходит для больших объемов данных. Очевидно, что возможность прочтения является решающим фактором. Цифры более легко читаемы, чем обычный текст. Современные пакеты оптического распознавания текста используют словарь при распознавании слов, но каждая комбинация цифр приводит к действительному числу. Рукописный материал гораздо сложнее распознавать, чем набранные данные. При использовании оптического распознавания текста основное предостережение состоит в том, что система требует очень точного планирования анкеты и стандартов печати для обеспечения верного считывания сенсорами ответов респондентов. Третий метод ввода данных называется "heads-up" и означает, что компьютерная программа дает мгновенную обратную связь с машинистом, вводящим данные из анкеты. Наконец, метод ввода данных "heads-down" означает, что данные вводятся с высокой скоростью и без обратной связи с компьютером. Этот метод также применяется, когда поступающей информации обладает высоким качеством. Метод ввода данных "heads-down" может выполняться сторонней организацией. В целом, ввод данных требует специального оборудования и программного обеспечения. В этих системах могут быть применены некоторые действительные проверки значения, а также проверки диапазона изменения данных, в результате которых могут быть обнаружены опечатки. Проверки не носят глубокий характер, поскольку единственное возможное действие машиниста – сравнение введенных данных с данными в форме. На персональном компьютере могут быть использованы базы данных и специализированное программное оборудование как для метода ввода данных "heads-up", так и для метода "heads-down". Программы электронных таблиц менее подходят для ввода данных вследствие проблем с предотвращением последствий неправильного нажатия машинистом клавиш. Эта проблема уменьшается только в случае хорошего владения машинистом электронными таблицами.

Отправная точка этапа обработки – информация, полученная от респондентов. По многим причинам процесс обработки данных включает в себя больше, чем просто агрегирование вопросов анкеты. Одной из причин является то, что часть респондентов совершают ошибки при заполнении анкеты. То же относится и к машинистам при вводе данных. Во-вторых, и на микро-, и на агрегированном уровне неизбежно возникают несоответствия со связанными элементами, полученными в ходе других обследований. В-третьих, некоторые респонденты заполняют анкеты лишь частично. Кроме того, не все вопросы анкеты являются идеальным отображением результатов, предусмотренных концепцией обследования. В дополнение, обследуется только часть элементов выборочной совокупности. Также существует проблема отказа от ответа. Более того, инструментарий выборочного обследования, посредством которого осуществлялось получение выборки для обследования, не является идеальным представлением генеральной совокупности объекта обследования. Обработка включает в себя спектр операций, в дальнейшем устраняющих все этих недостатки. Применяются следующие меры. После ввода данных ошибки и несоответствия выявляются и исправляются во время редактирования. Впоследствии пункты, оставленные без ответа, а также расхождения между понятиями в анкетах и понятиями применительно к выходным результатам обрабатываются методом предположительных расчетов. Далее, полученный набор чистых и полных микроданных служит основой для взвешивания и повторного взвешивания. На этом этапе также устраняются ошибки. Агрегированные данные затем сопоставляются и интегрируются с соответствующими данными из других источников. Наконец, в случае необходимости, производятся подбор данных и статистический анализ, в результате чего происходит формирование окончательных таблиц. Следует отметить, что различие между различными этапами не всегда столь ярко выражено, как представлено здесь. Это касается, в частности, границы между редактированием и предположительными расчетами, а также между предположительными расчетами и переоценкой.

Редактирование представляет собой проверку данных с целью обнаружения ошибок. Как и любой респондент, респондент, предоставляющий данные по статистике предприятий, склонен делать ошибки при заполнении статистической анкеты. Только часть из этих ошибок можно отследить; многие ошибки остаются не отслеживаемыми. Поэтому даже исчерпывающее редактирование данных никогда не приведет к получению безошибочного файла данных. Самым важным является отслеживание и устранение серьезных ошибок. Редактирование данных происходит во время или после ввода данных. Проверка маршрутизации данных устанавливает, на все ли заданные вопросы был получен ответ. Проверка достоверности данных рассматривает допустимость ответов. В обследованиях предприятий диапазон значений должен быть достаточно широким из-за различий в размерах предприятий. В этом случае могут быть проведены проверки на отношения. Многие проверки принимают форму отношения соответствия между двумя переменными, которые проводятся в определенных границах. Другой тип проверок на отношения – арифметические проверки, например, расчет суммы всех переменных и сравнение ее с совокупным значением. Некоторые правила редактирования носят стохастический характер, т.е. они просто мягко предупреждают о наличии возможных ошибок. Не все применяемые стратегии редактирования эффективны. Возрастает значение автоматизированного редактирования. В процессе автоматизированного редактирования можно выделить три этапа: первый – обнаружение ошибок или несоответствий; далее, в случае несоответствия, определения поля, в котором присутствует ошибка; и, наконец, исправление или предположительный расчет. Селективное редактирование сводится к обнаружению нетипичных значений (выбросов). Это носит название макроредактирования. Редактирование во время ввода данных (или редактирования входных данных) имеет преимущество своевременности, поскольку может начаться, как только поступает первая заполненная форма; но входное редактирование не должно применяться слишком широко ввиду своей дороговизны. Для снижения стоимости необходима избирательность, например, путем распределения форм на основные и второстепенные потоки, обработка которых производится автоматическими процедурами.