Описание данных

5.4. Вероятностные модели порождения нечисловых данных

Рассмотрим основные вероятностные модели порождения нечисловых данных. А именно, дихотомических данных, результатов парных сравнений, бинарных отношений, рангов, объектов общей природы. Обсудим различные варианты вероятностных моделей и их практическое использование (см. также обзор [ [ 5.20 ] ]).

Дихотомические данные. Рассмотрим базовую вероятностную модель дихотомических данных - бернуллиевский вектор (в терминологии энциклопедии [ [ 5.2 ] ] - люсиан ), т.е. конечную последовательность независимых испытаний Бернулли , для которых и причем вероятности могут быть различны.

Бернуллиевские векторы часто применяются при практическом использовании эконометрических методов. Так, они использованы в монографии [ [ 1.15 ] ] для описания равномерно распределенных случайных толерантностей. Как известно, толерантность на множестве из элементов можно задать симметричной матрицей из 0 и 1, на главной диагонали которой стоят 1. Тогда случайная толерантность описывается распределением дихотомических случайных величин , а для равномерно распределенной (на множестве всех толерантностей) толерантности эти случайные величины, как можно доказать, оказываются независимыми и принимают значения 0 и 1 с равными вероятностями 1/2. Записав элементы задающей такую толерантность матрицы в строку, получим бернуллиевский вектор с и .

В связи с оцениванием по статистическим данным функции принадлежности нечеткой толерантности в 1970-е годы была построена теория случайных толерантностей с такими независимыми , что вероятности произвольны [ [ 1.15 ] ]. Случайные множества с независимыми элементами использовались как общий язык для описания парных сравнений и случайных толерантностей. В некоторых публикациях термин "люсиан" применялся как сокращение для выражения "случайные множества с независимыми элементами".

Был выявлен ряд областей, в которых полезен математический аппарат решения различных статистических задач, связанных с бернуллиевскими векторами. Перечислим эти области, включая ранее названные: анализ случайных толерантностей; случайные множества с независимыми элементами; обработка результатов независимых парных сравнений; статистические методы анализа точности и стабильности технологического процесса, а также анализ и синтез планов статистического приемочного контроля (по альтернативным, т.е. дихотомическим, признакам); обработка маркетинговых и социологических анкет (с закрытыми вопросами типа "да" - "нет"); обработка социально-психологических и медицинских данных, в частности, ответов на психологические тесты типа MMPI (используемых в задачах управления персоналом), топографических карт (применяемых для анализа и прогноза зон поражения при заболеваниях, технологических авариях, распространении коррозии, распространении экологически вредных загрязнений в других ситуациях) и т.д.

Теорию бернуллиевских векторов можно выразить в терминах любой из этих теоретических и прикладных областей. Однако терминология одной из этих областей "режет слух" и приводит к недоразумениям в другой из них. Поэтому целесообразно использовать термин "бернуллиевский вектор" в указанном выше значении, не связанном ни с какой из перечисленных областей приложения этой теории (в ряде публикаций в том же значении использовался термин "люсиан").

Распределение бернуллиевского вектора полностью описывается вектором , т.е. нечетким подмножеством множества . Действительно, для любого детерминированного вектора из 0 и 1 имеем

где при и при .

Теперь можно уточнить способы использования люсианов в прикладной статистике. Бернуллиевскими векторами можно моделировать: результаты статистического контроля (0 - годное изделие, 1 - дефектное); результаты маркетинговых и социологических опросов (0 - опрашиваемый выбрал первую из двух подсказок, 1 - вторую); распределение посторонних включений в материале (0 - нет включения в определенном объеме материала, 1 - есть); результаты испытаний и анализов (0 - нет нарушений требований нормативно-технической документации, 1 - есть такие нарушения); процессы распространения, например, пожаров (0 - нет загорания, 1 - есть; подробнее см. [ [ 1.15 ] , с.215-223]); технологические процессы (0 - процесс находится в границах допуска, 1 - вышел из них); ответы экспертов (опрашиваемых) о сходстве объектов (проектов, образцов) и т.д.

Парные сравнения. Общую модель парных сравнений опишем согласно монографии Г. Дэвида [ , с.9]. Предположим, что объектов сравниваются попарно каждым из экспертов. Всего возможных пар для сравнения имеется . Эксперт с номером делает повторных сравнений для каждой из возможностей. Пусть , - случайная величина, принимающая значение 1 или 0 в зависимости от того, предпочитает ли эксперт объект или объект в -м сравнении двух объектов. Предполагается, что все сравнения проводятся независимо друг от друга, так что случайные величины независимы в совокупности, если не считать того, что . Положим

Ясно, что описанная модель парных сравнений представляет собой частный случай бернуллиевского вектора. В этой модели число наблюдений равно числу неизвестных параметров, поэтому для получения статистических выводов необходимо наложить априорные условия на , например [ [ 1.5 ] , c.9]:

(нет эффекта от повторений);

(нет эффекта от повторений и от экспертов).

Теорию независимых парных сравнений целесообразно разделить на две части - непараметрическую, в которой статистические задачи ставятся непосредственно в терминах , и параметрическую, в которой вероятности выражаются через меньшее число иных параметров. Ряд результатов непараметрической теории парных сравнений непосредственно вытекает из теории бернуллиевских векторов.

В параметрической теории парных сравнений наиболее популярна так называемая линейная модель [ [ 1.5 ] , c.11], в которой предполагается, что каждому объекту можно сопоставить некоторую "ценность" так, что вероятность предпочтения (т.е. предполагается дополнительно, что эффект от повторений и от экспертов отсутствует) выражается следующим образом:

где - функция распределения, симметричная относительно 0, т.е. при всех .

Широко применяются модели Терстоуна-Мостеллера и Бредли-Терри, в которых - соответственно функции нормального и логистического распределений. Поскольку функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1 и функция

стандартного логистического распределения удовлетворяют (см., например, [ [ 5.17 ] ]) соотношению то для обоснованного выбора по статистическим данным между моделями Терстоуна-Мостеллера и Бредли-Терри необходимо не менее тысячи наблюдений.

Соотношение (1) вытекает из следующей модели поведения эксперта: он измерят "ценность" и объектов и , но с ошибками и соответственно, а затем сравнивает свои оценки ценности объектов и . Если то он предпочитает , в противном случае - . Тогда

Обычно предполагают, что субъективные ошибки эксперта и независимы и имеют одно и то же непрерывное распределение. Тогда функция распределения из соотношения (3) непрерывна и удовлетворяет функциональному уравнению (2).

Существует много разновидностей моделей парных сравнений, постоянно предполагаются новые. В качестве примера опишем модель парных сравнений, основанную не на процедуре упорядочения, а на определении сходства объектов. Пусть каждому объекту соответствует точка в -мерном евклидовом пространстве . Эксперт "измеряет" и с ошибками и соответственно и в случае, если евклидово расстояние между и меньше 1, заявляет о сходстве объектов и , в противном случае - об их различии. Предполагается, что ошибки и независимы и имеют одно и то же распределение, например, круговое нормальное распределение с нулевым математическим ожиданием и дисперсией координат . Целью статистической обработки является определение по результатам парных сравнений оценок параметров , и , а также проверка согласия опытных данных с моделью.

Рассмотренные модели парных сравнений могут быть обобщены в различных направлениях. Так, можно ввести понятие "ничья" - ситуации, когда эксперт оценивает объекты одинаково. Модели с учетом "ничьих" предполагают, что эксперт может отказаться от выбора одного из объектов и заявить об их эквивалентности, т. е. число возможных ответов увеличивается с 2 до 3. В моделях множественных сравнений эксперту представляется не два объекта , а три или большее число.

Модели, учитывающие "ничьи", строятся обычно с помощью используемых в психофизике "порогов чувствительности": если (где - порог чувствительности), то объекты и эксперт объявляет неразличимыми. Приведем пример модели с "ничьими", основанной на другом принципе. Пусть каждому объекту соответствует точка в -мерном линейном пространстве. Как и прежде, эксперт "измеряет" объектные точки и с ошибками и соответственно, т.е. принимает решение на основе и . Если все координаты больше соответствующих координат , то предпочитается . Соответственно, если каждая координата меньше координаты с тем же номером, то эксперт считает наилучшим объект . Во всех остальных случаях эксперт объявляет о ничейной ситуации. Эта модель при переходит в описанную выше линейную модель. Она связана с принципом Парето в теории группового выбора и предусматривает выбор оптимального по Парето объекта, если он существует (роль согласуемых критериев играют процедуры сравнения значений отдельных координат), и отказ от выбора, если такого объекта нет.

Можно строить модели, учитывающие порядок предъявления объектов при сравнении, зависимость результата сравнения от результатов предшествующих сравнений. Опишем одну из подобных моделей.

Пусть эксперт сравнивает три объекта - , причем сначала сравниваются и , потом - и и, наконец, и . Для определенности пусть будет означать, что более предпочтителен, чем . Пусть при предъявлении двух объектов

Теперь пусть пара предъявляется после пары . Естественно предположить, что высокая оценка в первом сравнении повышает вероятность предпочтения и во втором, и, наоборот, отрицательное мнение о в первом сравнении сохраняется и при проведении второго сравнения. Это предположение проще всего учесть в модели следующим образом:

где - некоторое положительное число, показывающее степень влияния первого сравнения на второе. По аналогичным причинам вероятности исхода третьего сравнения в зависимости от результатов первых двух можно описать так:

Статистическая задача состоит в определении параметров и по результатам сравнений, проведенных n экспертами, и в проверке адекватности модели.

Ясно, что можно рассматривать и другие модели, в частности, учитывающие тягу экспертов к транзитивности ответов. Очевидно, что проблемы построения моделей парных сравнений относятся не к прикладной статистике, а к тем прикладным областям, для решения задач которых развиваются методы парных сравнений, например, к экономике предприятия, стратегическому менеджменту, производственной психологии, изучению поведения потребителей, экспертным оценкам и т. д.

Метод парных сравнений был введен в 1860 г. Г.Т. Фехнером для решения задач психофизики. Расскажем об этом несколько подробнее. Как известно, основателем психофизики по праву считается Густав Теодор Фехнер (1801-1887), а год выхода в свет его фундаментальной работы "Элементы психофизики" (1860) - датой рождения новой науки. В этой работе широко применялся предложенный Г.Т. Фехнером метод парных сравнений (обсуждение событий тех лет с современных позиций дано в монографии [ [ 1.5 ] , c.14-16]).

С точки зрения математической статистики приведенные выше модели не представляют большого теоретического интереса: оценки параметров находятся обычно методом максимального правдоподобия, а проверка согласия проводится по критерию отношения правдоподобия или асимптотически эквивалентными ему критериями типа хи-квадрат [ [ 1.5 ] ]. Вычислительные процедуры обычно сложны и плохо исследованы; их можно упростить и одновременно повысить обоснованность, перейдя от оценок максимального правдоподобия к одношаговым оценкам (см. "Оценивание" ).

Отметим некоторые сложности при обосновании возможности использовании линейных моделей типа (1) - (3). Вероятностно-статистическая теория достаточно проста, когда предполагается, что каждому отдельному сравнению двух объектов соответствуют свои собственные ошибки экспертов, причем все ошибки независимы в совокупности. Однако это предположение отнюдь не очевидно с содержательной точки зрения. В качестве примера рассмотрим три объекта и , которые сравнивают попарно: и , и , и . В соответствии со сказанным, в рассмотрение вводят 6 ошибок одного и того же эксперта: и - в первом сравнении, и - во втором, и - в третьем, причем все эти 6 случайных величин независимы в совокупности. Между тем естественно думать, что мнения эксперта об одном и том же объекте связаны между собой, т. е. и зависимы, равно как и , а также и . Более того, если принять, что точка зрения эксперта полностью определена для него самого, то следует положить и соответственно и . При этом напомним, что случайные величины и др. интерпретируются как отклонения мнений отдельных экспертов от истины. Видимо, ошибку эксперта целесообразно считать состоящей из двух слагаемых, а именно: отклонения от истины, вызванного внутренними особенностями эксперта (систематическая погрешность) и колебания мнения эксперта в связи с очередным парным сравнением (случайная погрешность). Игнорирование систематической погрешности облегчает развитие математико-статистической теории, а ее учет приводит к необходимости изучения зависимых парных сравнений.

При обработке результатов парных сравнений первый этап - проверка согласованности. Понятие согласованности уточняется различными способами, но все они имеют один и тот же смысл проверки однородности обрабатываемого материала, т.е. того, что целесообразно агрегировать мнения отдельных экспертов, объединить данные и совместно их обрабатывать. При отсутствии однородности данные разбиваются на группы (классы, кластеры, таксоны) с целью обеспечения однородности внутри отдельных групп. Естественно, согласованность целесообразно проверять, вводя возможно меньше гипотез о структуре данных. Следовательно, целесообразно пользоваться для этого непараметрической теорией парных сравнений, основанной на теории бернуллиевских векторов.

Хорошо известно, что модели парных сравнений с успехом применяются в экспертных и экспериментальных процедурах упорядочивания и выбора. В частности, для анализа голосований, турниров, выбора наилучшего объекта (проекта, образца, кандидатуры); в планировании и анализе сравнительных экспериментов и испытаний; в органолептической экспертизе (в частности, дегустации); при изучении поведения потребителей; визуальной колоритмии, определении индивидуальных рейтингов и вообще изучении предпочтений при выборе и т. д. (подробнее см. [ [ 1.5 ] , [ 1.15 ] ]).