Статистика нечисловых данных

Проверка согласованности люсианов. Пусть $$\alpha$$ - нормально распределенный случайный вектор размерности $$s(s - 1)/2$$ с нулевым математическим ожиданием и ковариационной матрицей, определенной формулой (14). Согласно результатам лекции 4 для любой действительнозначной функции $$f$$, интегрируемой по Риману по любому гиперкубу, распределения случайных величин $$f(\xi)$$ и $$f(\alpha)$$ сближаются при $$k\rightarrow\infty$$. Это означает, что вместо распределения $$f(\xi)$$ для построения критериев проверки гипотез можно использовать распределение $$f(\alpha)$$. Более того, аналогичный результат верен при замене $$f$$ на $$f_n$$ (при слабых внутриматематических условиях регулярности, наложенных на последовательность функций $$f_n$$ ). Следовательно, для проверки гипотезы согласованности люсианов можно пользоваться любой статистикой $$f_n(\xi)$$, для которой могут быть вычислены на ЭВМ или заранее табулированы процентные точки распределения $$f_n(\alpha)$$, аппроксимирующего распределение $$f_n(\xi)$$.

В частности, можно использовать линейные статистики, представляющие собой скалярное произведение случайного вектора $$\xi$$ и некоторого заданного детерминированного вектора коэффициентов $$a$$, т.е.$$(\xi,a)=\sum_{i=1}^k\left(\mu_i\sum_{1\le j<t\le s}a_{jt}(|X_{ij}-X_{it}|-\beta_i)\right).$$

Линейные статистики имеют нулевое математическое ожидание и дисперсию, очевидным образом выражающуюся через матрицу коэффициентов $$||a_{ij}||$$ и числа $$D, C_1$$ и $$C_2$$, а потому несмещенно и состоятельно оцениваемую с помощью с помощью выписанных выше оценок для $$D, C_1$$ и $$C_2$$.

Отметим, что $$(\xi, а) = 0$$ при $$a_{ij} \equiv 1, 1 \le j < t \le s$$. Это следует как из непосредственного вычисления дисперсии $$(\xi, а)$$, так и из того, что $$(\xi, а)$$ в рассматриваемом случае выражается через достаточную статистику $$(\gamma_1, \gamma_2, ..., \gamma_k)$$ и является несмещенной оценкой ноля, а семейство биномиальных распределений полно, т.е. существует только одна несмещенная оценка ноля - тождественный ноль. Таким образом, сумма координат вектора $$\xi$$, т.е. непосредственный аналог коэффициента ранговой конкордации Кендалла-Смита из теории ранговой корреляции, тождественно равна 0.

Распределение статистики (16) при альтернативах изучено в работе [].

Рассмотрим два частных случая.

Первый частный случай. Проверка согласованности двух определенных люсианов (ответов двух экспертов), $$j$$ -го и $$t$$ -го, может осуществляться с помощью статистики (16), в которой отличен от 0 только член с $$a_{jt} = 1$$. Оценкой дисперсии является $$D^*$$.

Второй частный случай. Пусть необходимо проверить согласованность люсианов с одним из них, скажем, с $$j$$ -м (например, люсианы отражают мнения экспертов, а $$j$$ -й из них является наиболее компетентным - по априорной оценке, или "лицом, принимающим решения", или его мнение сильно отличается от мнений остальных). Это можно сделать с помощью статистики (16), в которой$$\begin{gathered} a_{jt} = 1, t = j + 1, j + 2, ..., s; a_{tj} = 1, t = 1, 2, ..., j - 1; \\ a_{qt} =0, q \ne j, t \ne j, 1 \le q < t \le s. \end{gathered}$$

Другими словами, она имеет вид$$W=\sum_{t=1}^s d(A_j, A_t)-(s-1)\sum_{i=1}^k\mu_i\beta_i,$$ где расстояние $$d$$ между люсианами определено в (10), а $$\beta_i$$ - в (13) с заменой $$m$$ на $$s$$ и $$\gamma$$ на $$\gamma_i$$. Используя полученные ранее несмещенные оценки элементов ковариационной матрицы, нетрудно показать, что несмещенная и состоятельная (в смысле формулы (7) выше) оценка дисперсии $$W$$ имеет вид$$D^*(W)=\sum_{i=1}^k\mu_i^2\frac{\gamma_i(s-\gamma_i)}{s^2} \{(s-2)^2-4(\gamma_i-1)(s-\gamma_i-1)\}.$$

Тогда при выполнении некоторых внутриматематических условий регулярности, например, условий (15), распределение статистики$$\frac{1}{\sqrt{D^*(W)}}W$$ сходится при $$k\rightarrow\infty, s = \text{const}$$ к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1 (при справедливости гипотезы (1) согласованности люсианов).

Статистика (17) наряду со статистикой, предназначенной для проверки гипотезы однородности люсианов, включена в "Методические рекомендации" АМН СССР и УМС Минздрава СССР []. Последнюю статистику не расписываем здесь, поскольку для этого не требуются новые идеи.

Различные подходы к понятию согласованности. Обсудим условия, при выполнении которых люсианы естественно считать согласованными (а экспертов, чьи мнения отражают люсианы, имеющими единое мнение, искаженное случайными ошибками), т.е. обсудим различные методы проверки гипотезы (1).

, с.36-39], выход дается дисперсионным анализом. Можно брать не все попарные проверки, а только для $$[s/2]$$ пар люсианов, причем разбиение на пары проводить независимо от принятых люсианами значений, как это делает Т.Н. Дылько []. Тогда для проверки гипотезы (1) на уровне значимости $$\beta$$ надо брать для проверки в каждой паре уровень значимости $$\beta$$, где $$\beta$$ рассчитывается понятным образом, приближенно $$\beta = \alpha / [s/2]$$.

Полное согласие в целом означает, что для любого эксперта мнения всех остальных оказываются с ним согласованными при использовании статистики (17) (второй частный случай). Отсутствие подобного согласия для одного или нескольких экспертов не означает отклонения гипотезы согласованности люсианов (1) - по тем же причинам, что и в предыдущем случае.

Минимальное согласие имеют мнения экспертов, когда хотя бы для одного из них гипотеза согласованности не отвергается с помощью статистики (17). В этом случае групповое мнение целесообразно строить, выделяя "ядро", о чем подробнее сказано ниже.

Расстояние $$d$$ между люсианами (см. формулу (10)) введено аксиоматически в 1.6 (напомним, что реализацию люсиана можно рассматривать как подмножество конечного множества). Там же из иной системы аксиом выведено другое расстояние - $$D$$ -метрика. Рассмотрим проверку согласованности люсианов с использованием $$D$$ -метрики. В этом случае расстояние между люсианами $$A_1$$ и $$A_2$$ имеет вид$$D(A_1,A_2)=\left\{ \begin{gathered} \frac{d(A_1,A_2)}{t(A_1,A_2)}, T(A_1,A_2)\ne 0, \\ 0,\quad T(A_1,A_2)= 0, \end{gathered} \right.$$ где$$T(A_1,A_2)=\sum_{i=1}^k\mu_i\max(X_{i1},X_{i2}).$$

Ясно, что теория, основанная на $$D$$ -метрике, существенно сложнее теории, основанной на метрике $$d$$. Ясно, что описанный выше метод проверки гипотез о люсианах в асимптотике растущей размерности применить не удается. Чтобы продемонстрировать существенное усложнение ситуации, опишем лишь асимптотическое поведение расстояния $$D(A_1, A_2)$$ между двумя люсианами.

]. Пусть $$p_{1i}$$ и $$p_{2i}$$ отделены от 0 и 1, а $$\mu_i$$ отделены от 0 и $$+\infty$$. Тогда расстояние $$D(A_1, A_2)$$ между люсианами $$A_1$$ и $$A_2$$ асимптотически нормально при $$k\rightarrow\infty$$ с параметрами$$t_k=\frac{N_1}{N_2},\;q_k=\frac{N_1}{N_2}\sqrt{\frac{N_3}{N_1^2}+\frac{N_4}{N_2^2}-2\frac{N_5}{N_1N_2}},$$ т.е. для любого числа $$x$$ справедливо предельное соотношение$$\lim_{k\rightarrow\infty}P \left\{ \frac{D(A_1,A_2)-t_k}{q_k}\le x \right\} =\Phi(x),$$ где \Phi(х) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1.

Величины $$N_j, j = 1, 2, 2, 4, 5$$, выражаются через $$\mu_i$$ и величины$$p_{3i} = p_{1i} + p_{2i} - 2p_{1i} p_{2i}, p_{4i} = p_{1i} + p_{2i} - p_{1i} p_{2i}$$ следующим образом:$$\begin{gathered} N_1=\sum_{i=1}^k\mu_i p_{3i}, \;N_2=\sum_{i=1}^k\mu_ip_{4i},\;N_3=\sum_{i=1}^k\mu_i^2p_{3i}(1-p_{3i}), \\ N_4=\sum_{i=1}^k\mu_i^2 p_{4i}(1-p_{4i}), N_5=\sum_{i=1}^k\mu_i^2 p_{3i}(2-p_{4i}). \end{gathered}$$

Следствие 1. Пусть $$p_{1i} = p_1$$ и $$p_{2i} = p_2$$ при всех $$i, k$$, причем $$p_1$$ и $$p_2$$ лежат внутри отрезка (0; 1). Пусть $$\mu_i$$ отделены от 0 и $$+\infty$$. Тогда расстояние $$D(A_1, A_2)$$ между люсианами $$A_1$$ и $$A_2$$ асимптотически нормально при $$k\rightarrow\infty$$ с параметрами$$t_k=\frac{p_3}{p_4},\;q_k^2=\frac{p_1p_2p_3}{p_4^3} \frac{\sum\limits_{i=1}^k \mu_i^2}{\left(\sum\limits_{i=1}^k\mu_i\right)^2},$$ где$$p_3 = p_1 + p_2 - 2p_1p_2, p_4 = p_1 + p_2 - p_1p_2.$$

Следствие 2. Пусть в предположениях следствия 1 $$p_1 = p_2 = p$$ и $$\mu_i = 1$$ при всех $$i, k$$. Тогда$$t_k=\frac{2(1-p)}{2-p},\;q_k=\frac{2(1-p)}{k(2-p)^3}.$$

Замечание. Пусть в следствии 2 $$p = 1/2$$. Тогда $$A_1$$ и $$A_2$$ - люсианы, равномерно распределенные на множестве всех последовательностей из 0 и 1 длины $$k$$. В частности, эти люсианы могут соответствовать независимым случайным множествам, равномерно распределенным на совокупности всех подмножеств конечного множества из $$k$$ элементов, или независимым толерантностям, равномерно распределенным на множестве всех толерантностей, определенных на множества из $$m$$ элементов, где $$m(m - 1)/2 = k$$. По следствию 2 расстояние между люсианами $$D(A_1, A_2)$$ асимптотически нормально с математическим ожиданием 0,667 и дисперсией 0,296 $$k^{-1}$$. Напомним, что распределения коэффициентов ранговой корреляции Кендалла и Спирмена изучены (в основном) лишь при условии равномерности распределения случайных ранжировок на множестве всех возможных ранжировок фиксированного числа объектов. Для теории люсианов случай равномерности распределения - весьма частный, а для теории ранжировок - основной. Как уже говорилось, отказ от равномерности - привлекательная черта теории люсианов.

Классификация люсианов. Отсутствие согласованности в одном из перечисленных выше смыслов позволяет сделать заключение о целесообразности разбиения всех люсианов (например, если они выражают мнения экспертов) на группы близких между собой, т.е. о целесообразности классификации люсианов, точнее, их кластер-анализа. Поскольку введена мера близости между люсианами $$d(A_1, A_2)$$ или $$D(A_1, A_2)$$, то напрашивается следующий способ действий: провести разбиение на кластеры с помощью одного из алгоритмов, основанных на использовании меры близости, а затем проверить мнения в каждом классе на согласованность. Однако применение того или иного алгоритма кластер-анализа, вообще говоря, может нарушить предпосылки описанных выше способов проверки согласованности (ср. обсуждение похожей проблемы, связанной с применением регрессионного анализа после кластер-анализа, в 7.5). Поэтому опишем методы классификации, опирающиеся на результаты проверки согласованности.

Разбиение на кластеры, внутри каждого из которых имеет место "полное индивидуальное согласие", может быть проведено с помощью агломеративного иерархического алгоритма "дальнего соседа", дополненного ограничением сверху на диаметр кластера. Это ограничение строится из статистических соображений, в отличие от методов, описанных в лекции 9. При этом в качестве меры близости между люсианами используют не расстояния $$d$$ или $$D$$, а модуль статистики, применяемой для проверки согласованности двух люсианов, т.е. статистики (16), в которой только одно из чисел $$a_{ij}$$ отлично от 0. Упомянутое ограничение таково: диаметр кластера не должен превосходить процентной точки предельного распределения, соответствующей используемому при анализе рассматриваемых данных уровню значимости (можно порекомендовать 5%-й уровень значимости). В результате работы алгоритма получим кластеры, в которых имеется "полное индивидуальное согласие", причем объединение любых двух кластеров приведет к исчезновению этого свойства у объединения. Поскольку способ выделения итогового разбиения из иерархического дерева разбиений имеет вероятностно-статистическое обоснование, изложенное выше, то описанный метод классификации люсианов следует считать - в терминологии [] - не методом анализа данных (т.е. эвристическим), а вероятностно-статистическим (т.е. научно обоснованным) методом.

Кластеры "с полным согласием в целом" могут быть получены с помощью агломеративного иерархического алгоритма, в котором мерой близости двух кластеров является максимальное значение модуля статистики (17), когда $$j$$ пробегает номера мнений (люсианов), вошедших в объединение рассматриваемых кластеров, а суммирование в (17) проводится по всем люсианам в этом объединении. Ограничение сверху на меру близости кластеров определяется процентной точкой предельного распределения статистики $$W$$, заданной формулой (17).

Кластеры "с минимальным согласием" можно получить, при фиксированном $$j$$ выделяя совокупность люсианов, согласованных с $$A_j$$ в смысле статистики $$W$$ з (17).

На основе двух рассмотренных выше частных случаев линейной статистики (16) можно строить и другие способы классификации. Например, для каждого люсиана $$A_m$$ можно выделить кластер "типа шара" (см. лекцию 9) из люсианов, попарно согласованных с $$A_m$$. Все такие способы имеют вероятностно-статистическое обоснование, и потому к ним относится сказанное выше относительно выделения кластеров "с полным индивидуальным согласием".

, ].

Нахождение среднего. В результате классификации получаем согласованные (в одном из указанных выше смыслов) группы люсианов. Для каждой из них полезно рассмотреть среднее. В зависимости от конкретных приложений в прикладных исследованиях применяют либо среднее в виде последовательностей 0 и 1, т.е. в виде реализации люсиана, либо среднее в виде последовательности оценок вероятностей $$(p_1, p_2, ..., p_k)$$. Кроме того, оно может находиться либо с помощью методов, подавляющих "засорения" ("выбросы"), либо без учета возможности засорения. Рассмотрим все четыре возможности.

В соответствии с подходом в 5.5 при отсутствии засорения эмпирическое среднее ищется как решение задачи$$\sum_{j=1}^m (A_j,A)\rightarrow\min_{A\in X},$$ где $$A_1, A_2, ..., A_m$$ - люсианы, входящие в рассматриваемый кластер, $$X$$ - множество, которому принадлежит среднее.

Если $$X$$ - совокупность последовательностей из 0 и 1, то правило (18) дает решение по правилу большинства (подробнее см. 5.5).

Если $$X$$ - пространство последовательностей вероятностей, то решением задачи (18) является та же последовательность 0 и 1, что и в первом случае. Поэтому в качестве среднего вместо решения задачи (18) целесообразно рассматривать просто последовательность частот.

Асимптотическое поведение средних при $$m\rightarrow\infty$$ вытекает из законов больших чисел (5.5), теорем, описывающих асимптотику решений экстремальных статистических задач (см. 6.3), и теоремы Муавра-Лапласа соответственно.

В работе [] при анализе результатов эксперимента показано, что ответы реальных экспертов разбиваются на многочисленное "ядро", расположенное вокруг истинного мнения, и отдельных "диссидентов", разбросанных по периферии. Причем оценка истинного мнения по "ядру" является более точной, чем по всей совокупности, поскольку мнения "диссидентов" не отражают истинного мнения. Поэтому для построения группового мнения, в том числе среднего для совокупности люсианов, отражающих мнения экспертов, естественно применять методы, подавляющие мнения "диссидентов", что соответствует методологии робастности.

"Ядро" может быть построено следующим образом. Решается задача (18) с конечным множеством $$X$$, состоящим из всех исходных люсианов: $$X = \{A_1, A_2, ..., A_m\}$$, т.е. из результатов наблюдений выбирается тот, что находится "в центре" совокупности результатов наблюдений. Пусть $$A_j$$ является решением этой задачи. В качестве ядра предлагается рассматривать совокупность всех люсианов, которые попарно согласованы с $$A_j$$. Другой вариант: рассматривается кластер с "полным внутренним согласием", куда входит $$A_j$$. (При этом, очевидно, должно быть изменено (уменьшено) критическое значение критерия по сравнению с процедурой, приведшей к выделению группы, нахождением группового мнения которой мы занимаемся.) Затем групповое мнение ищется лишь для элементов "ядра". Описанная процедура особенно необходима в случае, когда не было предварительного разбиения совокупности люсианов на группы согласованных друг с другом. Новым по сравнению с [] является придание вероятностного смысла порогу, выделяющему "ядро".

Обобщая идею выделения "ядра", приходим к "взвешенным итеративным методам оценивания среднего" (ВИМОП - оценкам среднего), введенным и изученным в работе []. Их применение для люсианов не требует специальных рассмотрений.

Таким образом, в настоящем параграфе представлен ряд методов обработки специального вида объектов нечисловой природы - люсианов. При этом для решения одной и той же задачи, например, задачи классификации, предлагается ряд методов, точно так же, как для решения классической задачи проверки однородности двух независимых выборок имеется большое число методов (см. лекцию 8).

11.4. Метод парных сравнений

Пример практического применения метода парных сравнений. Деятельность предприятия по реализации услуг всегда сопряжена с рядом проблем, от качества решения которых зависит его будущее. Руководителю службы маркетинга необходимо знать факторы, сдерживающие продажи, и оценить степень важности каждого из них. При кажущейся очевидности и простоте решения далеко не вся управленческая команда дает однозначный ответ: какая из проблем на текущий момент является наиболее важной. Необходим экспертный опрос на эту тему.

Целью исследования факторов, влияющих на объемы продаж, является их ранжирование по степени важности. Для этого среди 25 сотрудников отдела сбыта, а также 10 руководителей завода ГАРО (Великий Новгород) А.А. Пивнем был проведен опрос, в котором предлагалось сравнить попарно факторы, определив более важный среди двух. Итог определялся как среднее арифметическое сумм баллов, набранных каждым фактором у всех опрашиваемых.

Были проанализированы следующие 15 факторов:

В результате анализа результатов парных сравнений построена структурная схема, показывающая степень влияния факторов на объемы продаж (рис 11.1).

Наибольшую значимость на сегодняшний день имеет срок поставки продукции и квалификация персонала. Меняются подходы к продвижению товаров на рынке. Ранее успешно применяемые способы продаж (почтовая рассылка рекламы, участие в специализированных выставках, публикации в газетах и специализированных изданиях, конференции и т.д.) сегодня требуют иного качественного подхода. Срок поставки продукции, как правило, связан с производственно-технологическим циклом изготовления и настройки изделий. Мотивация труда, равно как и уровень гарантийного и сервисного обслуживания, имеют также большое значение. Разрабатывается и утверждается новая система оплаты труда, которая позволяет устранить возникающие противоречия. Отдел сервисного обслуживания гаражного оборудования должен разработать концепцию развития сервисной сети с целью наиболее полного удовлетворения потребителя, а значит и завоевания преимуществ в конкурентной борьбе.

Среди проблем более низкого уровня значимости необходимо отметить место корпоративной культуры. Понимание и осознание себя, как части сплоченного коллектива - сложный процесс. Достижение синергетического эффекта возможно только в коллективе, в котором отдельный сотрудник понимает и делает свою работу через понимание целей и задач всей компании. Формированию корпоративной культуры следует уделить особое внимание.

Проведенный анализ дает возможность компании сосредоточить свои усилия на наиболее важных на данный момент обозначенных проблемах. Выбор пути решения каждой из них определяется возможностями компании и опытом руководителей.

Вероятностное моделирование парных сравнений. Напомним общую модель парных сравнений, введенную в 5.4.

Пусть $$t$$ объектов $$A_1,A_2,...,A_t$$ сравниваются попарно каждым из $$n$$ экспертов. Следовательно, возможных пар для сравнения имеется $$s=t(t-1)/2$$. Эксперт с номером $$\gamma$$ делает $$r_{\gamma}$$ повторных сравнений для каждой из $$s $$ возможностей. Пусть $$X(i,j,\gamma,\delta),\; i,j=1, 2, ..., t, i\ne j,\gamma=1,2,...,n; \delta=1,2,..., r_{\gamma}$$, - случайная величина, принимающая значения 1 или 0 в зависимости от того, предпочитает ли эксперт $$\gamma$$ объект $$A_i$$ или объект $$A_j$$ в $$\delta$$ -м сравнении двух объектов. Обычно принимают, что все сравнения проводятся независимо друг от друга, так что случайные величины $$X(i,j,\gamma,\delta)$$ независимы в совокупности, если не считать того, что $$X(i,j, \gamma, \delta)+X(i,j, \gamma, \delta)=1$$. Положим$$P(X(i,j,\gamma,\delta)=1)=\pi(i,j,\gamma,\delta).$$

Ясно, что описанная модель парных сравнений представляет собой частный случай люсиана (в другой терминологии - бернуллиевского вектора). В этой модели число наблюдений равно числу неизвестных параметров, поэтому для получения статистических выводов необходимо наложить те или иные априорные условия на $$\pi(i,j,\gamma,\delta)$$, например:

$$\pi(i,j,\gamma,\delta)=\pi(i,j,\gamma)$$ (нет эффекта от повторений);

$$\pi(i,j,\gamma,\delta)=\pi(i,j)$$ (нет эффекта от повторений и от экспертов).

Теорию независимых парных сравнений целесообразно разделить на две части - непараметрическую, в которой статистические задачи ставятся непосредственно в терминах $$\pi(i,j,\gamma,\delta)$$, и параметрическую, в которой вероятности $$\pi(i,j,\gamma,\delta)$$ выражаются через меньшее число иных параметров. Ряд результатов непараметрической теории парных сравнений непосредственно вытекает из теории люсианов.

В параметрической теории парных сравнений наиболее популярна линейная модель, в которой предполагается, что каждому объекту $$A_i$$ можно приписать некоторую "ценность" $$V_i$$ так, что вероятность предпочтения $$\pi(i,j)$$ (т.е. предполагается дополнительно, что эффект от повторений и от экспертов отсутствует) будет выражаться следующим образом:$$=H(V_i-V_j),$$ где $$H(x)$$ - функция распределения, симметричная относительно 0, т.е.$$H(-x)=1-H(x)$$ при всех $$x$$.

Широко применяются модели Терстоуна-Мостеллера и Брэдли-Терри, в которых $$H(x)$$ - соответственно функции нормального и логистического распределений. С прикладной точки зрения эти две модели практически совпадают. Действительно, поскольку функция $$\Phi(x)$$ стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1 и функция$$\Psi(x)=e^x(1+e^x)^{-1}$$ стандартного логистического распределения удовлетворяют соотношению (см. 5.4)$$\sup_{x\in R^1}|\Phi(x)-\Psi(1,7x)|<0,01,$$ то для обоснованного выбора по статистическим данным между моделями Терстоуна-Мостеллера и Брэдли-Терри необходимо не менее тысячи наблюдений. Ясно, что при реальном проведении экспертного опроса число наблюдений по крайней мере на порядок меньше.

Соотношение (1) вытекает из следующей модели поведения эксперта: он измеряет "ценность" $$V_i$$ и $$V_j$$ объектов $$A_i$$ и $$A_j$$, но с ошибками $$\varepsilon_i$$ и $$\varepsilon_j$$ соответственно, а затем сравнивает свои оценки ценности объектов $$y_i=V_i+\varepsilon_i$$ и $$y_j=V_j+\varepsilon_j$$. Если $$y_i>y_j$$ то он предпочитает $$A_i$$, в противном случае - $$A_j$$. Тогда$$\pi(i,j)=P(\varepsilon_i-\varepsilon_j<V_i-V_j)=H(V_i-V_j).$$

Обычно предполагают, что субъективные ошибки эксперта и независимы и имеют одно и то же непрерывное распределение. Тогда функция распределения $$H(x)$$ из соотношения (3) непрерывна и удовлетворяет функциональному уравнению (2).

Пример. При опросе экспертов (август 2001 г.) попарно сравнивались четыре компании ТНК, Лукойл, Юкос, Татнефть, продающие автомобильное топливо. Сравнение проводилось по качеству бензина. При $$t = 4$$ пар для сравнения имеется $$s=t(t-1)/2 = 6$$.

Результаты парных сравнений приведены в табл.1. По ним необходимо определить взаимное положение четырех компаний на оси "качество бензина", т.е. найти их "ценности" $$V_1, V_2, V_3, V_4$$.

Применим модель Терстоуна-Мостеллера, согласно которой погрешности мнений экспертов $$\varepsilon_i$$ являются независимыми нормально распределенными случайными величинами с нулевым математическим ожиданием и дисперсией $$\sigma^2$$.

Легко видеть, что "ценности" $$V_1, V_2, V_3, V_4$$ измерены в шкале интервалов. Начало координат можно выбрать произвольно, поскольку вероятности результатов сравнения зависят только от попарных разностей "ценностей" $$V_1, V_2, V_3, V_4$$. Например, можно положить $$V_4=0$$. Единицу измерения также можно выбрать произвольно. При изменении единицы измерения меняется $$\sigma^2$$, точнее, единица измерения однозначно связана с величиной $$\sigma$$. Дисперсия разности $$\varepsilon_i$$ - $$\varepsilon_j$$ равна $$2\sigma^2$$. В соответствии с формулой (3) удобно выбрать единицу измерения так, чтобы $$2\sigma^2 = 1$$, т.е. $$\sigma=1/\sqrt{2}$$. Тогда $$Н$$ в формуле (3) - это функция $$\Phi$$ стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1.

В соответствии с (3) имеем систему шести уравнений с тремя неизвестными:$$\begin{aligned} \Phi (V_1 - V_2) = \pi (1, 2) = 0,508,\\ \Phi (V_1 - V_3) = \pi (1, 3) = 0,331, \\ \Phi (V_1) = \pi (1, 4) = 0,990,\\ \Phi (V_2 - V_3) = \pi (2, 3) = 0,338,\\ \Phi (V_2) = \pi (2, 4) = 0,990,\\ \Phi (V_3) = \pi (3, 4) = 0,997. \end{aligned}$$

Применяя к каждому их этих уравнений преобразование $$\Phi^{-1}$$, получаем систему шести линейных уравнений с тремя неизвестными:$$\begin{aligned} V_1 - V_2 = a_1 = \Phi^{-1}(0,508) = 0,020054,\\ V_1 - V_3 = a_2 = \Phi^{-1}(0,331) = - 0,437154, \\ V_1 = a_3 = \Phi^{-1}(0,990) = 2,326348,\\ V_2 - V_3 = a_4 = \Phi^{-1}(0,338) = - 0,417928,\\ V_2 = a_5 = \Phi^{-1}(0,990) = 2,326348,\\ V_3 = a_6 = \Phi^{-1}(0,997) = 2,747781.\\ \end{aligned}$$

(Значения $$\Phi^{-1}$$ взяты из таблицы 1.3 сборника [].)

В полученной системе число уравнений больше числа неизвестных, т.е. система переопределена. Дальнейшие расчеты могут проводиться разными способами. Простейший из них состоит в том, чтобы выбрать три уравнения, а именно, третье, пятое и шестое, которые и дают искомые значения:$$V_1=V_2=2,326348,\; V_3=2,747781.$$

Таким образом, качество бензина лучше всего у Юкоса, оно несколько хуже у ТНК и Лукойла, одинаковых по этому показателю, а у Татнефти - значительно хуже тройки лидеров. Можно показать, что если модель Терстоуна-Мостеллера верна и число экспертов достаточно велико, то отбрасывание "лишних" уравнений является корректным способом обработки экспертных данных, поскольку дает состоятельные оценки "ценностей" $$V_1, V_2, ..., V_n$$.

Однако ясно, что при отбрасывании трех уравнений из шести часть информации теряется. Например, первое уравнение показывает, что по мнению экспертов качество бензина у ТНК несколько лучше, чем у Лукойла. Поэтому целесообразно применить метод наименьших квадратов для оценивания $$V_1, V_2, V_3, V_4$$. А именно, рассмотрим функцию трех переменных$$\begin{gathered} f(V_1, V_2, V_3) = (V_1 - V_2 - a_1)^2 + (V_1 - V_3 - a_2)^2 + (V_1 - a_3)^2 + +(V_2 - V_3 - a_4)^2 +(V_2 - a_5)^2 +(V_3 - a_6)^2 . \end{gathered}$$

Оценки по методу наименьших квадратов - это результат минимизации функции $$f(V_1, V_2, V_3)$$ по совокупности переменных $$V_1, V_2, V_3$$. Как и в лекции 9, для минимизации этой функции достаточно приравнять 0 частные производные этой функции по $$V_1, V_2, V_3$$. Имеем:$$\begin{gathered} \frac{\partial f}{\partial V_1}=2(V_1-V_2-a_1)+2(V_1-V_3-a_2)+2(V_1-a_3),\\ \frac{\partial f}{\partial V_2}=-2(V_1-V_2-a_1)+2(V_2-V_3-a_4)+2(V_2-a_5),\\ \frac{\partial f}{\partial V_3}=-2(V_1-V_3-a_2)-2(V_2-V_3-a_4)+2(V_3-a_6). \end{gathered}$$

Приравнивая частные производные 0, деля на 2, раскрывая скобки и перенося свободные члены в правую часть, получаем систему трех линейных уравнений с тремя неизвестными$$\begin{aligned} 3V_1-V_2-V_3=a_1+a_2+a_3,\\ -V_1+3V_2-V_3=-a_1+a_4+a_5,\\ -V_1-V_2+3V_3=-a_2-a_4+a_6. \end{aligned}$$

Решение этой системы не представляет трудностей.

Вообще говоря, не всегда сравниваемые объекты можно представить точками на прямой, т.е. не всегда их можно линейно упорядочить. Возможно, более соответствует данным опроса экспертов представление объектов точками на плоскости или в пространстве большей размерности. В статистике парных сравнений [] разработаны методы проверки адекватности модели Терстоуна-Мостеллера и других параметрических моделей. Для этого обычно используются статистики типа хи-квадрат.

11.5. Статистика нечетких множеств

Нечеткие множества - частный вид объектов нечисловой природы. Поэтому при обработке выборки, элементами которой являются нечеткие множества, могут быть использованы различные методы анализа статистических данных произвольной природы - расчет средних, непараметрических оценок плотности, построение диагностических правил и т.д.

Среднее значение нечеткого множества. Однако иногда используются методы, учитывающие специфику нечетких множеств. Например, пусть носителем нечеткого множества является конечная совокупность действительных чисел $$\{x_1, x_2, ..., x_n}$$. Тогда под средним значением нечеткого множества иногда понимают число. А именно, среднее значение нечеткого множества определяют по формуле:$$M(A)=\frac{\sum\limits_{i=1}^nx_i\mu_A(x_i)}{\sum\limits_{i=1}^n\mu_A(x_i)},$$ где $$\mu_A(x_i)$$ - функция принадлежности нечеткого множества $$A$$. Если знаменатель равен 1, то эта формула определяет математическое ожидание случайной величины, для которой вероятность попасть в точку $$x_i$$ равна $$\mu_A(x_i)$$. Такое определение наиболее естественно, когда нечеткое множество $$A$$ интерпретируется как нечеткое число.

Очевидно, наряду с $$M(A)$$ может оказаться полезным использование эмпирических средних, определяемых (согласно статистике в пространствах общей природы) путем решения соответствующих оптимизационных задач. Для конкретных расчетов необходимо ввести то или иное расстояние между нечеткими множествами.

Расстояния в пространствах нечетких множеств. Как известно, многие методы статистики нечисловых данных базируются на использовании расстояний (или показателей различия) в соответствующих пространствах нечисловой природы. Расстояние между нечеткими подмножествами $$A$$ и $$B$$ множества $$X = \{x_1, x_2, ..., x_k}$$ можно определить как$$d(A,B)=\sum_{j=1}^k|\mu_A(x_j)-\mu_B(x_j)|,$$ где $$\mu_A(x_j)$$ - функция принадлежности нечеткого множества $$A$$, а $$\mu_B(x_j)$$ - функция принадлежности нечеткого множества $$B$$. Может использоваться и другое расстояние:$$D(A,B)=\frac{\sum\limits_{j=1}^k|\mu_A(x_j)-\mu_B(x_j)|}{\sum\limits_{j=1}^k(\mu_A(x_j)+\mu_B(x_j))}.$$

(Примем это расстояние равным 0, если функции принадлежности тождественно равны 0.)

В соответствии с аксиоматическим подходом к выбору расстояний (метрик) в пространствах нечисловой природы разработан обширный набор систем аксиом, из которых выводится тот или иной вид расстояний (метрик) в конкретных пространствах, в том числе в пространствах нечетких множеств (см. ].

Проверка гипотез о нечетких множествах. Пусть ответ эксперта - нечеткое множество. Естественно считать, что его ответ, как показание любого средства измерения, содержит погрешности. Если есть несколько экспертов, то в качестве единой оценки (группового мнения) естественно взять эмпирическое среднее их ответов. Но возникает естественный вопрос: действительно ли все эксперты измеряют одно и то же? Может быть, глядя на реальный объект, они оценивают его с разных сторон? Например, на научную статью можно смотреть как с теоретической точки зрения, так и с прикладной, и соответствующие оценки будут скорее всего различны (если они совпадают, то работа либо никуда не годится, либо является выдающейся).

Итак, возник вопрос: как проверить согласованность мнений экспертов? Надо сначала определить понятие согласованности. Пусть $$A$$ - нечеткий ответ эксперта. Будем считать, что соответствующая функция принадлежности есть сумма двух слагаемых:$$\mu_A(u)-\mu_{N(A)}(u)+\xi_A(u),$$ где $$N(A)$$ - "истинное" нечеткое множество, а $$\xi_A(u)$$ - "погрешность" эксперта как прибора. Естественно рассмотреть две постановки.

Мнения экспертов $$A(1), A(2), ..., A(m)$$ будем считать согласованными, если$$N(A(1)) = N(A(2)) = ..., N(A(m)).$$

Рассмотрим две группы экспертов. В первой у всех "истинное" мнение $$N(A)$$, а во второй у всех - $$N(B)$$. Две группы будем считать согласованными по мнениям, если$$N(A)=N(B).$$

Согласованность определена. Как же ее проверить? Если экспертов достаточно много, то эти гипотезы можно проверять отдельно для каждого элемента множества - общего носителя нечетких ответов. Проверка последней гипотезы переходит в проверку однородности двух независимых выборок (лекция 8). Здесь ограничимся постановками основных гипотез (ср. с аналогичными гипотезами, рассмотренными выше для люсианов).

Восстановление зависимости между нечеткими переменными. Рассмотрим две нечеткие переменные $$A$$ и $$B$$. Пусть каждый из $$n$$ испытуемых выдает в ответ на вопрос два нечетких множества $$A_i$$ и $$B_i, i = 1, 2, ..., n$$. Необходимо восстановить зависимость $$B$$ от $$A$$, другими словами, наилучшим образом приблизить $$B$$ с помощью $$A$$.

Для иллюстрации основной идеи ограничимся парной линейной регрессией нечетких множеств. Нечеткое множество $$C$$ назовем линейной функцией от нечеткого множества $$A$$, если для любого $$x$$ из носителя $$A$$ функции принадлежности множеств $$A$$ и $$C$$ таковы, что $$\mu_C(x) = \mu A(y)$$ при $$x = \alpha y + \beta$$. Другими словами,$$\mu_C(x)=\mu_A((x-\beta)/\alpha)$$ для любого $$x$$ из носителя $$A$$. В таком случае естественно писать$$C=\alpha A + \beta.$$

Однако нечеткие переменные, как и привычные статистикам числовые переменные, обычно несколько отклоняются от линейной связи. Наилучшее линейное приближение нечеткой переменной $$B$$ с помощью линейной функции от нечеткой переменной $$A$$ естественно искать, решая задачу минимизации по $$\alpha, \beta$$ расстояния от $$B$$ до $$C$$. Пусть$$\rho(B,\alpha_0 A+\beta_0)=\min\rho(B,\alpha A+\beta),$$ где $$\rho$$ - некоторое расстояние между нечеткими множествами, а минимизация проводится по всем возможным значениям $$\alpha$$ и $$\beta$$. Тогда наилучшей линейной аппроксимацией $$B$$ является $$\alpha_0 A + \beta_0$$. Если рассматриваемый минимум равен 0, то имеет место точная линейная зависимость.

Для восстановления зависимости по выборочным парам нечетких переменных естественно воспользоваться подходом, развитым в статистике в пространствах произвольной природы для параметрической регрессии (аппроксимации). В соответствии с 6.3 в качестве наилучших оценок параметров линейной зависимости следует рассматривать$$\left(\alpha^*,\beta^*\right)=Arg\min_{\alpha,\beta}\sum_{k=1}^n\rho(B_i,\alpha A_i+\beta).$$

Тогда наилучшим линейным приближением $$B$$ является $$C^* = \alpha^*A + \beta^*$$.

Вероятностно-статистическая теория регрессионного анализа нечетких переменных строится как частный случай аналогичной теории для переменных произвольной природы (см.6.3). В частности, при обычных предположениях оценки $$\alpha^*, \beta^*$$ являются состоятельными, т.е. $$\alpha^* \rightarrow \alpha_0$$ и $$\beta^* \rightarrow \beta_0$$ при $$n\rightarrow\infty$$.

Кластер-анализ нечетких переменных. Строить группы сходных между собой нечетких переменных (кластеры) можно многими способами. Опишем два семейства алгоритмов.

Пусть на пространстве, в котором лежат результаты наблюдений, т.е. на пространстве нечетких множеств, заданы две меры близости $$\rho$$ и $$\tau$$ (например, это могут быть введенные выше расстояния $$d$$ и $$D$$ ). Берется один из результатов наблюдений (нечеткое множество) и вокруг него описывается шар радиуса $$R$$, определяемый мерой близости $$\rho$$. (Напомним, что шаром с центром в $$x$$ относительно $$\rho$$ называется множество всех элементов $$y$$ рассматриваемого пространства таких, что $$\rho(x, y) \le R$$.) Берутся результаты наблюдений (элементы выборки), попавшие в этот шар, и находится их эмпирическое среднее относительно второй меры близости $$\tau$$. Оно берется за новый центр, вокруг которого снова описывается шар радиуса $$R$$ относительно $$\rho$$, и процедура повторяется. (Чтобы алгоритм был полностью определен, необходимо сформулировать правило выбора элемента эмпирического среднего в качестве нового центра, если эмпирическое среднее состоит более чем из одного элемента.)

Когда центр шара зафиксируется (перестанет меняться), попавшие в этот шар элементы объявляются первым кластером и исключаются из дальнейшего рассмотрения. Алгоритм применяется к совокупности оставшихся результатов наблюдений, выделяет из нее второй кластер и т.д.

Всегда ли центр шара остановится? При реальных расчетах в течение многих лет так было всегда. Соответствующая теория была построена в 1977 г. [ $$19$$ ]. Было доказано, что описанный выше процесс всегда остановится через конечное число шагов. Причем число шагов до остановки оценивается через максимально возможное число результатов наблюдений в шаре радиуса $$R$$ относительно $$\rho$$.

Обширное семейство образуют алгоритмы кластер-анализа типа "Дендрограмма", известные также под названием "агломеративные иерархические алгоритмы средней связи". На первом шагу алгоритма из этого семейства каждый результат наблюдения рассматривается как отдельный кластер. Далее на каждом шагу происходит объединение двух самых близких кластеров. Название "Дендрограмма" объясняется тем, что результат работы алгоритма обычно представляется в виде дерева. Каждая его ветвь соответствует кластеру, появляющемуся на каком-либо шагу работы алгоритма. Слияние ветвей соответствует объединению кластеров, а ствол - заключительному шагу, когда все наблюдения оказываются объединенными в один кластер.

Для работы алгоритмов кластер-анализа типа "Дендрограмма" необходимо определить расстояние между кластерами. Естественно использовать ассоциативные средние, которыми, как известно, являются обобщенные средние по Колмогорову всевозможных попарных расстояний между элементами двух рассматриваемых кластеров. Итак, расстояние между кластерами $$K$$ и $$L$$, состоящими из $$n_1$$ и $$n_2$$ элементов соответственно, определяется по формуле:$$\tau(K,L)=F^{-1}\left(\frac{1}{n_1n_2}\sum_{i\in K}\sum_{j\in L}F(\rho(X_i,X_j))\right),$$ где $$\rho$$ - некоторое расстояние между нечеткими множествами, $$F$$ - строго монотонная функция (строго возрастающая или строго убывающая).

Соображения теории измерений позволяют ограничить круг возможных алгоритмов типа "Дендрограмма". Естественно принять, что единица измерения расстояния выбрана произвольно. Тогда согласно результатам $$\S$$ 5.3 из всех обобщенных средних по Колмогорову годятся только степенные средние, т.е. $$F(z) = z^{\lambda}$$ при $$\lambda\ne 0$$ или $$F(z) = \ln z$$. Чтобы получить разбиение на кластеры, надо "разрезать" дерево на определенной высоте, т.е. объединять кластеры лишь до тех пор, пока расстояние между ними меньше заранее выбранной константы. При альтернативном подходе заранее фиксируется число кластеров. Рассматривают и двухкритериальную постановку, когда минимизируют сумму (или максимум) внутрикластерных разбросов и число кластеров. Для решения задачи двухкритериальной минимизации либо один из критериев заменяют на ограничение, либо два критерия "свертывают" в один, либо применяют иные подходы (последовательная оптимизация, построение поверхности Парето и др.).

При классификации нечетких множеств полезны многие подходы, рассмотренные в лекции 9, а именно, все подходы, основанные только на использовании расстояний.

Сбор и описание нечетких данных. Разработано большое количество процедур описания нечеткости. Так, согласно Э.Борелю понятие "куча" описывается с помощью функции распределения - при каждом конкретном $$x$$ значение функции принадлежности - это доля людей, считающих совокупность $$x$$ зерен кучей. Результат подобного опроса может дать и кривую иного вида, например, по поводу понятия "молодой" (слева будут отделены "дети", а справа - "люди зрелого и пожилого возраста"). Нечеткая толерантность может оцениваться с помощью случайных толерантностей (см. выше).

Целесообразно попытаться выделить наиболее практически полезные простые формы функций принадлежности. Видимо, наиболее простой является "ступенька" - внутри некоторого интервала функция принадлежности равна 1, а вне этого интервала равна 0. Это - простейший способ "размывания" числа путем замены его интервалом. Нечеткое множество описывается двумя числами - концами интервала. Оценки этих чисел можно получить с помощью экспертов. Статистическая теория подобных нечетких множеств рассмотрена в лекции 12.

Тремя числами $$a < b < c$$ описывается функция принадлежности типа треугольника. При этом левее $$a$$ и правее с функция принадлежности равна 0. В точке $$b$$ функция принадлежности принимает значение 1. На отрезке $$[a; b]$$ функция принадлежности линейно растет от 0 до 1, а на отрезке $$[b;c]$$ - линейно убывает от 1 до 0. Оценки трех чисел $$a < b < c$$ получают при опросе экспертов.

Следующий по сложности вид функции принадлежности - типа трапеции - описывается четырьмя числами $$a < b < c < d$$. Левее $$a$$ и правее $$d$$ функция принадлежности равна 0. На отрезке $$[a; b]$$ она линейно возрастает от 0 до 1, на отрезке $$[b; c]$$ во всех точках равна 1, а на отрезке $$[c; d]$$ линейно убывает от 1 до 0. Для оценивания четверки чисел $$a < b < c < d$$ используют экспертов.

Ряд результатов статистики нечетких данных приведен в первой монографии российского автора по нечетким множествам [] и во многих дальнейших публикациях.

11.6. Статистика нечисловых данных в экспертных оценках

Развитие статистики нечисловых данных во многом стимулировалось запросами теории и практики экспертных оценок. Рассмотрим взаимоотношение этих двух областей подробнее.

Современная теория измерений и экспертные оценки. Как проводить анализ собранных рабочей группой ответов экспертов? Для более углубленного рассмотрения проблем экспертных оценок понадобятся некоторые понятия репрезентативной теории измерений, служащей основой теории экспертных оценок, прежде всего той ее части, которая связана с анализом заключений экспертов, выраженных в качественном (а не в количественном) виде.

Как уже отмечалось, получаемые от экспертов мнения часто выражены в порядковой шкале. Поэтому экспертов часто просят дать ранжировку (упорядочение) объектов экспертизы.

Рассмотрим в качестве примера применения результатов теории измерений, связанных со средними величинами в порядковой шкале, следующий сюжет.

Методы средних баллов. В настоящее время распространены экспертные, маркетинговые, квалиметрические, социологические и иные опросы, в которых опрашиваемых просят выставить баллы объектам, изделиям, технологическим процессам, предприятиям, проектам, заявкам на выполнение научно-исследовательских работ, идеям, проблемам, программам, политикам и т.п. Затем рассчитывают средние баллы и рассматривают их как интегральные (т.е. обобщенные, итоговые) оценки, выставленные коллективом опрошенных экспертов. Какими формулами пользоваться для вычисления средних величин? Ведь существует очень много разных видов средних величин.

По традиции обычно применяют среднее арифметическое. Однако специалисты по теории измерений уже около 30 лет знают, что такой способ некорректен, поскольку баллы обычно измерены в порядковой шкале (см. 5.3). Обоснованным является использование медиан в качестве средних баллов. Однако полностью игнорировать средние арифметические нецелесообразно из-за их привычности и распространенности. Поэтому представляется рациональным использовать одновременно оба метода - и средних арифметических рангов (баллов), и медианных рангов. Такая рекомендация находится в согласии с общенаучной концепцией устойчивости (см. 4.7), исходя из которой следует применять различные методы для обработки одних и тех же данных с целью выделения выводов, получаемых одновременно при всех методах. Такие выводы, видимо, соответствуют реальной действительности, в то время как заключения, меняющиеся от метода к методу, зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок.

Пример сравнения восьми проектов. Рассмотрим конкретный пример применения только что сформулированного подхода.

По заданию руководства фирмы анализировались восемь проектов, предлагаемых для включения в план стратегического развития фирмы. Они обозначены следующим образом: Д, Л, М-К, Б, Г-Б, Сол, Стеф, К (по фамилиям менеджеров, предложивших их для рассмотрения). Все проекты были направлены 12 экспертам, включенным в экспертную комиссию, организованную по решению Правления фирмы. В табл.11.2 приведены ранги восьми проектов, присвоенные им каждым из 12 экспертов в соответствии с представлением экспертов о целесообразности включения проекта в стратегический план фирмы. При этом эксперт присваивает ранг 1 самому лучшему проекту, который обязательно надо реализовать. Ранг 2 получает от эксперта второй по привлекательности проект, ... , наконец, ранг 8 - наиболее сомнительный проект, который реализовывать стоит лишь в последнюю очередь.

Примечание. Эксперт № 4 считает, что проекты М-К и Б равноценны, но уступают лишь одному проекту - проекту Сол. Поэтому проекты М-К и Б должны были бы стоять на втором и третьем местах и получить баллы 2 и 3. Поскольку они равноценны, то получают средний балл (2+3)/ 2 = 5/ 2 = 2,5.

Анализируя результаты работы экспертов (т.е. упомянутую таблицу), члены аналитической подразделения Рабочей группы, анализировавшие ответы экспертов по заданию Правления фирмы, были вынуждены констатировать, что полного согласия между экспертами нет, а потому данные, приведенные в таблице, следует подвергнуть тщательному математическому анализу.

Метод средних арифметических рангов. Сначала для получения группового мнения экспертов был применен метод средних арифметических рангов. Прежде всего была подсчитана сумма рангов, присвоенных проектам (см. табл.11.2). Затем эта сумма была разделена на число экспертов, в результате - рассчитан средний арифметический ранг (именно эта операция дала название методу). По средним рангам строится итоговая ранжировка (в другой терминологии - упорядочение), исходя из принципа - чем меньше средний ранг, чем лучше проект. Наименьший средний ранг, равный 2,625, у проекта Б - следовательно, в итоговой ранжировке он получает ранг 1. Следующая по величине сумма, равная 3,125, у проекта М-К - и он получает итоговый ранг 2. Проекты Л и Сол имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов они равноценны (при рассматриваемом способе сведения вместе мнений экспертов), а потому должны стоять на 3 и 4 местах и получают средний балл (3+4)/2 = 3,5. Дальнейшие результаты приведены в табл.11.3.

Итак, ранжировка по суммам рангов (или, что в данном случае то же самое, по средним арифметическим рангам) имеет вид:$$\text{Б} < \text{М-К} < \{\text{Л}, \text{Сол}\} < \text{Д} < \text{Стеф} < \text{Г-Б} < \text{К}.$$

Здесь запись типа "А<Б" означает, что проект А предшествует проекту Б (т.е. проект А лучше проекта Б). Поскольку проекты Л и Сол получили одинаковую сумму баллов, то по рассматриваемому методу они эквивалентны, а потому объединены в группу (в фигурных скобках). В терминологии математической статистики ранжировка (1) имеет одну связь.

Метод медиан рангов. Значит, наука сказала свое слово, итог расчетов - ранжировка (1), и на ее основе предстоит принимать решение? Так был поставлен вопрос при обсуждении полученных результатов на заседании Правления фирмы. Но тут наиболее знакомый с современной эконометрикой член Правления вспомнил, что ответы экспертов измерены в порядковой шкале, а потому для них неправомерно проводить усреднение методом средних арифметических. Надо использовать метод медиан.

Что это значит? Надо взять ответы экспертов, соответствующие одному из проектов, например, проекту Д. Это ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Затем их надо расположить в порядке неубывания (проще было бы сказать - "в порядке возрастания", но поскольку некоторые ответы совпадают, то приходится использовать непривычный термин "неубывание"). Получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральных местах - шестом и седьмом - стоят 5 и 5. Следовательно, медиана равна 5.

Медианы совокупностей из 12 рангов, соответствующих определенным проектам, приведены в предпоследней строке табл.11.3. (При этом медианы вычислены по обычным правилам статистики - как среднее арифметическое центральных членов вариационного ряда.) Итоговое упорядочение комиссии экспертов по методу медиан приведено в последней строке таблицы. Ранжировка (т.е. упорядочение - итоговое мнение комиссии экспертов) по медианам имеет вид:$$\text{Б} < \{\text{М-К, Л}\} < \text{Сол} < \text{Д} < \text{Стеф} < \text{К} < \text{Г-Б}.$$

Поскольку проекты Л и М-К имеют одинаковые медианы баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объединены в группу (кластер), т.е. с точки зрения математической статистики ранжировка (4) имеет одну связь.

Сравнение ранжировок по методу средних арифметических и методу медиан. Сравнение ранжировок (1) и (2) показывает их близость (похожесть). Можно принять, что проекты М-К, Л, Сол упорядочены как М-К < Л < Сол, но из-за погрешностей экспертных оценок в одном методе признаны равноценными проекты Л и Сол (ранжировка (1)), а в другом - проекты М-К и Л (ранжировка (2)). Существенным является только расхождение, касающееся упорядочения проектов К и Г-Б: в ранжировке (1) Г-Б < К, а в ранжировке (2), наоборот, К < Г-Б. Однако эти проекты - наименее привлекательные из восьми рассматриваемых, и при выборе наиболее привлекательных проектов для дальнейшего обсуждения и использования на указанное расхождение можно не обращать внимания.

Рассмотренный пример демонстрирует сходство и различие ранжировок, полученных по методу средних арифметических рангов и по методу медиан, а также пользу от их совместного применения.

Метод согласования кластеризованных ранжировок. Проблема состоит в выделении общего нестрогого порядка из набора кластеризованных ранжировок (в другой терминологии - ранжировок со связями). Этот набор может отражать мнения нескольких экспертов или быть получен при обработке мнений экспертов различными методами. Рассмотрим метод согласования кластеризованных ранжировок, позволяющий "загнать" противоречия внутрь специальным образом построенных кластеров (групп), в то время как упорядочение кластеров соответствует одновременно всем исходным упорядочениям.

В различных прикладных областях возникает необходимость анализа нескольких кластеризованных ранжировок объектов. К таким областям относятся прежде всего инженерный бизнес, менеджмент, экономика, социология, экология, прогнозирование, научные и технические исследования и т.д., особенно те их разделы, что связаны с экспертными оценками (см., например, [, ]). В качестве объектов могут выступать образцы продукции, технологии, математические модели, проекты, кандидаты на должность и др. Кластеризованные ранжировки могут быть получены как с помощью экспертов, так и объективным путем, например, при сопоставлении математических моделей с экспериментальными данными с помощью того или иного критерия качества. Описанный ниже метод был разработан в связи с проблемами химической безопасности биосферы и экологического страхования [].

В настоящем пункте рассматривается метод построения кластеризованной ранжировки, согласованной (в раскрытом ниже смысле) со всеми рассматриваемыми кластеризованными ранжировками. При этом противоречия между отдельными исходными ранжировками оказываются заключенными внутри кластеров согласованной ранжировки. В результате упорядоченность кластеров отражает общее мнение экспертов, точнее, то общее, что содержится в исходных ранжировках.

В кластеры заключены объекты, по поводу которых некоторые из исходных ранжировок противоречат друг другу. Для их упорядочения необходимо провести новые исследования. Эти исследования могут быть как формально-математическими (например, вычисление медианы Кемени, упорядочения по средним рангам или по медианам и т.п.), так и требовать привлечения новой информации из соответствующей прикладной области, возможно, проведения дополнительных научных или прикладных работ.

Введем необходимые понятия, затем сформулируем алгоритм согласования кластеризованных ранжировок в общем виде и рассмотрим его свойства.

Пусть имеется конечное число объектов, которые мы для простоты изложения будем изображать натуральными числами $$1,2,3,...,k$$ и называть их совокупность "носителем". Под кластеризованной ранжировкой, определенной на заданном носителе, понимаем следующую математическую конструкцию. Пусть объекты разбиты на группы, которые будем называть кластерами. В кластере может быть и один элемент. Входящие в один кластер объекты будем заключать в фигурные скобки. Например, объекты 1,2,3,...,10 могут быть разбиты на 7 кластеров: {1}, {2,3}, {4}, {5,6,7}, {8}, {9}, {10}. В этом разбиении один кластер {5,6,7} содержит три элемента, другой - {2,3} - два, остальные пять - по одному элементу. Кластеры не имеют общих элементов, а объединение их (как множеств) есть все рассматриваемое множество объектов (весь носитель).

Вторая составляющая кластеризованной ранжировки - это строгий линейный порядок между кластерами. Задано, какой из них первый, какой второй, и т.д. Будем изображать упорядоченность с помощью знака <. При этом кластеры, состоящие из одного элемента, будем для простоты изображать без фигурных скобок. Тогда кластеризованную ранжировку на основе введенных выше кластеров можно изобразить так:$$A = [1 < \{2,3\} < 4 < \{5,6,7\} < 8 < 9 < 10].$$

Конкретные кластеризованные ранжировки будем заключать в квадратные скобки. Если для простоты речи термин "кластер" применять только к кластеру не менее чем из 2-х элементов, то можно сказать, что в кластеризованную ранжировку $$A$$ входят два кластера {2,3} и {5,6,7} и 5 отдельных элементов.

Введенная описанным образом кластеризованная ранжировка является бинарным отношением на носителе - множестве {1,2,3,...,10}. Его структура такова. Задано отношение эквивалентности с 7-ю классами эквивалентности, а именно, {2,3}, {5,6,7}, а остальные 5 классов состоят из оставшихся 5 отдельных элементов. Затем введен строгий линейный порядок между классами эквивалентности.

Введенный математический объект известен в литературе как "ранжировка со связями" (М. Холлендер, Д. Вулф), "упорядочение" (Дж. Кемени, Дж. Снелл []), "квазисерия" (Б.Г. Миркин), "совершенный квазипорядок" (Ю.А. Шрейдер [, с.127, 130]). Учитывая разнобой в терминологии, было признано полезным ввести собственный термин "кластеризованная ранжировка", поскольку в нем явным образом названы основные элементы изучаемого математического объекта - кластеры, рассматриваемые на этапе согласования ранжировок как классы эквивалентности, и ранжировка - строгий совершенный порядок между ними (в терминологии Ю.А.Шрейдера [, гл.IV]).

Следующее важное понятие - противоречивость. Оно определяется для четверки - две кластеризованные ранжировки на одном и том же носителе и два различных объекта - элементы того же носителя. При этом два элемента из одного кластера будем связывать символом равенства = , как эквивалентные.

Пусть $$A$$ и $$B$$ - две кластеризованные ранжировки. Пару объектов $$(a,b)$$ назовем "противоречивой" относительно кластеризованных ранжировок $$A$$ и $$B$$, если эти два элемента по-разному упорядочены в $$A$$ и $$B$$, т.е. $$a < b$$ в $$A$$ и $$a > b$$ в $$B$$ (первый вариант противоречивости) либо $$a>b$$ в $$A$$ и $$a<b$$ в $$B$$ (второй вариант противоречивости). Отметим, что в соответствии с этим определением пара объектов $$(a ,b)$$, эквивалентная хотя бы в одной кластеризованной ранжировке, не может быть противоречивой: эквивалентность $$a = b$$ не образует "противоречия" ни с $$a<b$$, ни с $$a>b$$. Это свойство оказывается полезным при выделении противоречивых пар.

В качестве примера рассмотрим, кроме $$A$$, еще две кластеризованные ранжировки$$\begin{gathered} B = [\{1,2\} < \{3,4, 5\} < 6 < 7 < 9 < \{8, 10\}], \\ C = [3 < \{1, 4\} < 2 < 6 < \{5, 7, 8\} < \{9, 10\}]. \end{gathered}$$

Совокупность противоречивых пар объектов для двух кластеризованных ранжировок $$A$$ и $$B$$ назовем "ядром противоречий" и обозначим $$S(A,B)$$. Для рассмотренных выше в качестве примеров трех кластеризованных ранжировок $$A, B$$ и $$C$$, определенных на одном и том же носителе {1, 2, 3,..., 10}, имеем$$\begin{gathered} S(A,B) = [(8, 9)], S(A,C) = [(1, 3), (2,4)],\\ S(B,C) = [(1, 3), (2, 3), (2, 4), (5, 6), (8,9)]. \end{gathered}$$

Как при ручном, так и при программном нахождении ядра можно в поисках противоречивых пар просматривать пары $$(1,2), (1,3), (1,4), .... , (1,k)$$, затем $$(2,3), (2,4), ..., (2,k)$$, потом $$(3,4), ..., (3, k)$$, и т.д., вплоть до последней пары $$(k-1, k)$$.

Пользуясь понятиями дискретной математики, "ядро противоречий" можно изобразить графом с вершинами в точках носителя. При этом противоречивые пары задают ребра этого графа. Граф для $$S(A,B)$$ имеет только одно ребро (одна связная компонента более чем из одной точки). Граф для $$S(A,C)$$ - 2 ребра (две связные компоненты более чем из одной точки). Граф для $$S(B,C)$$ - 5 ребер (три связные компоненты более чем из одной точки, а именно, {1, 2 , 3, 4}, {5, 6} и {8, 9}).

Каждую кластеризованную ранжировку, как и любое бинарное отношение, можно задать матрицей $$||x(a,b)||$$ из 0 и 1 порядка $$k \times k$$. При этом $$x(a,b) = 1$$ тогда и только тогда, когда $$a < b$$ либо $$a = b$$. В первом случае $$x(b,a) = 0$$, а во втором $$x(b,a) = 1$$. При этом хотя бы одно из чисел $$x(a,b)$$ и $$x(b,a)$$ равно 1. Из определения противоречивости пары $$(a, b)$$ вытекает, что для нахождения всех таких пар достаточно поэлементно перемножить две матрицы $$||x(a,b)||$$ и $$||y(a,b)||$$, соответствующие двум кластеризованным ранжировкам, и отобрать те и только те пары, для которых $$x(a,b)y(a,b) = x(b,a)y(b,a)=0$$.

Алгоритм согласования некоторого числа (двух или более) кластеризованных ранжировок состоят из трех этапов. На первом выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок. На втором формируются кластеры итоговой кластеризованной ранжировки (т.е. классы эквивалентности - связные компоненты графов, соответствующих объединению попарных ядер противоречий). На третьем этапе эти $$кластеры (классы эквивалентности) упорядочиваются$$. Для установления порядка между кластерами произвольно выбирается один объект из первого кластера и второй - из второго, порядок между кластерами устанавливается такой же, какой имеет быть между выбранными объектами в любой из рассматриваемых кластеризованных ранжировок. (Если в одной из исходных кластеризованных ранжировок имеет быть равенство, а в другой - неравенство, то при построении итоговой кластеризованной ранжировки используется неравенство.)

Корректность подобного упорядочивания, т.е. его независимость от выбора той или иной пары объектов, вытекает из соответствующих теорем, доказанных в работе [].

Два объекта из разных кластеров согласующей кластеризованной ранжировки могут оказаться эквивалентными в одной из исходных кластеризованных ранжировок (т.е. находиться в одном кластере). В таком случае надо рассмотреть упорядоченность этих объектов в какой-либо другой из исходных кластеризованных ранжировок. Если же во всех исходных кластеризованных ранжировках два рассматриваемых объекта находились в одном кластере, то естественно считать (и это является уточнением к этапу 3 алгоритма), что они находятся в одном кластере и в согласующей кластеризованной ранжировке.

Результат согласования кластеризованных ранжировок $$A, B, C,..$$. обозначим $$f(A, B, C,...)$$. Тогда$$\begin{gathered} f(A, B) = [1<2<3<4<5<6<7<\{8, 9\}<10], \\ f(A, C) = [\{1,3\}<\{2, 4\}<6<\{5,7\}<8<9<10], \\ f(B, C) = [\{1,2,3,4\}<\{5,6\}<7<\{8,9\}<10], \\ f(A, B, C) = f(B, C) = [\{1,2,3,4\} <\{5,6\}<7<\{8, 9\}<10]. \end{gathered}$$

Итак, в случае $$f(A, B)$$ дополнительного изучения с целью упорядочения требуют только объекты 8 и 9. В случае $$f(A, C)$$ кластер {5,7} появился не потому, что относительно объектов 5 и 7 имеется противоречие, а потому, что в обеих исходных ранжировках эти объекты не различаются. В случае $$f(B, C)$$ четыре объекта с номерами 1, 2, 3, 4 объединились в один кластер, т.е. кластеризованные ранжировки оказались настолько противоречивыми, что процедура согласования не позволила провести достаточно полную декомпозицию задачи нахождения итогового мнения экспертов.

Обсудим некоторые свойства алгоритмов согласования.

1. Пусть $$D = f(A, B, C,...)$$. Если $$a<b$$ в согласующей кластеризованной ранжировке $$D$$, то $$a<b$$ или $$a=b$$ в каждой из исходных ранжировок $$A, B, C, ..$$., причем хотя бы в одной из них справедливо строгое неравенство.

2. Построение согласующих кластеризованных ранжировок может осуществляться поэтапно. В частности,$$f(A,B,C) = f(f(A,B), f(A,C), f(B,C)).$$

Ясно, что ядро противоречий для набора кластеризованных ранжировок является объединением таких ядер для всех пар рассматриваемых ранжировок.

3. Построение согласующих кластеризованных ранжировок нацелено на выделение общего упорядочения в исходных кластеризованных ранжировках. Однако при этом некоторые общие свойства исходных кластеризованных ранжировок могут теряться. Так, при согласовании ранжировок $$B$$ и $$C$$, рассмотренных выше, противоречия в упорядочении элементов 1 и 2 не было - в ранжировке В эти объекты входили в один кластер, т.е. 1 = 2, в то время как 1<2 в кластеризованной ранжировке $$C$$. Значит, при их отдельном рассмотрении можно принять упорядочение 1<2. Однако в $$f(B,C)$$ они попали в один кластер, т.е. возможность их упорядочения исчезла. Это связано с поведением объекта 3, который "перескочил" в С на первое место и "увлек с собой в противоречие" пару (1, 2), образовав противоречивые пары и с 1, и с 2. Другими словами, связная компонента графа, соответствующего ядру противоречий, сама по себе не всегда является полным графом. Недостающие ребра при этом соответствуют парам типа (1, 2), которые сами по себе не являются противоречивыми, но "увлекаются в противоречие" другими парами.

4. Необходимость согласования кластеризованных ранжировок возникает, в частности, при разработке методики применения экспертных оценок в задачах экологического страхования и химической безопасности биосферы. Как уже говорилось, популярным является метод упорядочения по средним рангам, в котором итоговая ранжировка строится на основе средних арифметических рангов, выставленных отдельными экспертами [, ]. Однако из теории измерений известно (см. лекцию 5), что более обоснованным является использование не средних арифметических, а медиан. Вместе с тем метод средних арифметических рангов весьма известен и широко применяется, так что просто отбросить его нецелесообразно. Поэтому было принято решение об одновременном применении обеих методов. Реализация этого решения потребовала разработки методики согласования двух указанных кластеризованных ранжировок.

5. Область применения рассматриваемого метода не ограничивается экспертными оценками. Он может быть использован, например, для сравнения качества математических моделей процесса испарения жидкости. Имелись данные экспериментов и результаты расчетов по 8 математическим моделям. Сравнивать модели можно по различным критериям качества. Например, по сумме модулей относительных отклонений расчетных и экспериментальных значений. Можно действовать и по другому. В каждой экспериментальной точке упорядочить модели по качеству, а потом получить единые оценки методами средних арифметических и медиан рангов. Использовались и иные методы. Затем применялись методы согласования кластеризованных ранжировок, полученных различными способами. В результате оказалось возможным упорядочить модели по качеству и использовать это упорядочение при разработке банка математических моделей, используемого в задачах химической безопасности биосферы.

6. Рассматриваемый метод согласования кластеризованных ранжировок построен в соответствии с методологией теории устойчивости, согласно которой результат обработки данных, инвариантный относительно метода обработки, соответствует реальности, а результат расчетов, зависящий от метода обработки, отражает субъективизм исследователя, а не объективные соотношения.

Основные математические задачи анализа экспертных оценок. Ясно, что при анализе мнений экспертов можно применять самые разнообразные статистические методы, описывать их - значит описывать практически всю прикладную статистику. Тем не менее можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы.

Поскольку ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики нечисловых данных.

]).

Эксперт может сравнить два объекта, сказать, какой из двух лучше (метод парных сравнений), дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале или являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физико-технических измерений. В случае произвольности "оцифровки" выводы, полученные в результате подобной обработки данных, могут не иметь отношения к реальности. В связи с "оцифровкой" уместно вспомнить классическую притчу о человеке, который ищет потерянные ключи под фонарем, хотя потерял их в кустах. На вопрос, почему он так делает, отвечает: "Под фонарем светлее". Это, конечно, верно. Но, к сожалению, весьма малы шансы найти потерянные ключи под фонарем. Так и с "оцифровкой" нечисловых данных. Она дает возможность имитации научной деятельности, но не возможность найти истину.

Проверка согласованности мнений экспертов и классификация экспертных мнений. Ясно, что мнения разных экспертов различаются. Важно понять, насколько велико это различие. Если мало - усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону. Если велико - усреднение является чисто формальной процедурой. Так, если представить себе, что ответы экспертов равномерно покрывают поверхность бублика, то формальное усреднение укажет на центр дырки от бублика, а такого мнения не придерживается ни один эксперт. Из сказанного ясна важность проблемы проверки согласованности мнений экспертов.

Разработан ряд методов такой проверки. Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты независимых парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь сразу получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться в анализе подобных данных.

Например, рекомендуют проверять согласованность ранжировок с помощью коэффициента ранговой конкордации Кендалла-Смита. Но давайте вспомним, какая статистическая модель при этом используется. Проверяется нулевая гипотеза, согласно которой ранжировки независимы и равномерно распределены на множестве всех ранжировок. Если эта гипотеза принимается, то конечно, ни о какой согласованности мнений экспертов говорить нельзя. А если отклоняется? Тоже нельзя. Например, может быть два (или больше) центра, около которых группируются ответы экспертов. Нулевая гипотеза отклоняется. Но разве можно говорить о согласованности?

Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т.е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.

При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластер-анализу, предварительно введя метрику в пространство мнений экспертов. Идея американского математика Джона Кемени об аксиоматическом введении метрик нашла многочисленных продолжателей. Однако методы кластер-анализа обычно являются эвристическими. В частности, обычно невозможно с позиций статистической теории строго обосновать "законность" объединения двух кластеров в один. Имеется важное исключение - для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу. Это - еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок.

Нахождение итогового мнения комиссии экспертов. Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же ее итоговое (среднее, общее) мнение? Согласно идее Джона Кемени следует найти среднее мнение как решение оптимизационной задачи. А именно, надо минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. Найденное таким способом среднее мнение называют "медианой Кемени".

Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Общая теория подобного усреднения рассмотрена выше (см. 5.5). В частности, показано, что в силу закона больших чисел (в пространствах произвольной природы) среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который, как известно, является математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов).

В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом. Кроме свойств пространства, велика роль конкретных метрик. Так, в пространстве ранжировок при использовании метрики, связанной с коэффициентом ранговой корреляции Кендалла, необходимо проводить достаточно сложные расчеты, в то время как применение показателя различия на основе коэффициента ранговой корреляции Спирмена приводит к упорядочению по средним арифметическим рангам.

Бинарные отношения и расстояние Кемени. Как известно, бинарное отношение $$A$$ на конечном множестве $$Q = \{q_1, q_2,..., q_k\}$$ - это подмножество декартова квадрата $$Q^2 = \{(q_m , q_n), m,n = 1, 2, ..., k\}$$. При этом пара $$(q_m , q_n)$$ входит в $$A$$ тогда и только тогда, когда между $$q_m$$ и $$q_n$$ имеется рассматриваемое отношение.

Напомним, что каждую кластеризованную ранжировку, как и любое бинарное отношение, можно задать квадратной матрицей $$||x(a,b)||$$ из 0 и 1 порядка $$k\times k$$. При этом $$x(a, b) = 1$$ тогда и только тогда, когда $$a < b$$ либо $$a = b$$. В первом случае $$x(b, a) = 0$$, а во втором $$x(b, a) = 1$$. При этом хотя бы одно из чисел $$x(a, b))$$ и $$x(b, a)$$ равно 1.

В экспертных методах используют, в частности, такие бинарные отношения, как ранжировки (упорядочения, или разбиения на группы, между которыми имеется строгий порядок), отношения эквивалентности, толерантности (отношения сходства). Как следует из сказанного выше, каждое бинарное отношение $$A$$ можно описать матрицей $$|| a(i ,j) ||$$ из 0 и 1, причем $$a(i ,j) = 1$$ тогда и только тогда, когда $$q_i$$ и $$q_j$$ находятся в отношении $$A$$, и $$a(i ,j) = 0$$ - в противном случае.

Определение. Расстоянием Кемени между бинарными отношениями $$A$$ и $$B$$, описываемыми матрицами $$|| a(i ,j) ||$$ и $$|| b(i ,j) ||$$ соответственно, называется число$$d(A, B) = \Sigma |a(i ,j) - b(i ,j)|,$$ где суммирование производится по всем $$i, j$$ от 1 до $$k$$, т.е. расстояние Кемени между бинарными отношениями равно сумме модулей разностей элементов, стоящих на одних и тех же местах в соответствующих им матрицах.

Легко видеть, что расстояние Кемени - это число несовпадающих элементов в матрицах $$||a(i,j)||$$ и $$||b(i,j)||$$.

Расстояние Кемени основано на некоторой системе аксиом. Эта система аксиом и вывод из нее формулы для расстояния Кемени между упорядочениями содержится в книге []. Она сыграла большую роль в развитии в нашей стране такого научного направления, как анализ нечисловой информации (см. историю вопроса в монографиях [, ]). В дальнейшем под влиянием работ Дж. Кемени были предложены различные системы аксиом для получения расстояний в тех или иных нужных для социально-экономических, технических, медицинских и иных исследований пространствах (см. 1.6).

Медиана Кемени и законы больших чисел. С помощью расстояния Кемени находят итоговое мнение комиссии экспертов. Пусть $$A_1 , A_2 , A_3 ,..., A_p$$ - ответы $$p$$ экспертов, представленные в виде бинарных отношений. Для их усреднения используют медиану Кемени$$Arg\min_A\sum_{i=1}^pd(A_i,A),$$ где $$Arg\min$$ - то или те значения $$A$$, при которых достигает минимума указанная сумма расстояний Кемени от ответов экспертов до текущей переменной $$A$$, по которой и проводится минимизация. Таким образом,$$\sum_{i=1}^p d(A_i,A)=d(A_1,A)+d(A_2,A)+d(A_3,A)+...+d(A_p,A).$$

Кроме медианы Кемени, используют среднее по Кемени, в котором вместо $$d(A_i, A)$$ стоит $$d^2(A_i, A)$$.

Медиана Кемени - частный случай определения эмпирического среднего в пространствах нечисловой природы. Для нее справедлив закон больших чисел, т.е. эмпирическое среднее приближается при росте числа составляющих (т.е. $$p$$ - числа слагаемых в сумме) к теоретическому среднему:$$Arg\min\sum d(A_i,A)\rightarrow Arg\min M d(A_1,A).$$

Здесь $$M$$ - символ математического ожидания. Предполагается, что ответы $$p$$ экспертов $$A_1, A_2, A_3,..., A_p$$ есть основания рассматривать как независимые одинаково распределенные случайные элементы (т.е. как случайную выборку) в соответствующем пространстве произвольной природы, например, в пространстве упорядочений или отношений эквивалентности. Систематически эмпирические и теоретические средние и соответствующие различные варианты законов больших чисел рассмотрены выше (см. 5.5.).

Законы больших чисел показывают, во-первых, что медиана Кемени обладает устойчивостью по отношению к незначительному изменению состава экспертной комиссии; во-вторых, при увеличении числа экспертов она приближается к некоторому пределу. Его естественно рассматривать как истинное мнение экспертов, от которого каждый из них несколько отклонялся по случайным причинам.

Вычисление медианы Кемени - задача целочисленного программирования. Для ее нахождения используются различные алгоритмы дискретной математики, в частности, основанные на методе ветвей и границ. Применяют также алгоритмы, основанные на идее случайного поиска, поскольку для каждого бинарного отношения нетрудно найти множество его соседей.

Рассмотрим упрощенный пример вычисления медианы Кемени. Пусть дана квадратная матрица (порядка 9) попарных расстояний для множества бинарных отношений из 9 элементов $$A_1 , A_2 , A_3 ,..., A_9$$ (см. табл.11.4). Пусть требуется найти в этом множестве медиану для множества из 5 элементов $$\{A_2 , A_4 , A_5 , A_8, A_9\}$$.

В соответствии с определением медианы Кемени следует ввести в рассмотрение функцию$$C(A)=\sum d(A_i,A)=d(A_2,A)+d(A_4,A)+d(A_5,A)+d(A_8,A)+d(A_9,A),$$ рассчитать ее значения для всех $$A_1, A_2, A_3, ..., A_9$$ и выбрать наименьшее. Проведем расчеты:$$C(A_1)=d(A_2,A_1)+d(A_4,A_1)+d(A_5,A_1)+d(A_8,A_1)+d(A_9,A_1)= \\ = 2+1+7+3+11=24, \\ C(A_2)=d(A_2,A_2)+d(A_4,A_2)+d(A_5,A_2)+d(A_8,A_2)+d(A_9,A_2)= \\ = 0+6+1+5+1=13, \\ C(A_3)=d(A_2,A_3)+d(A_4,A_3)+d(A_5,A_3)+d(A_8,A_3)+d(A_9,A_3)= \\ = 5+2+2+5+7=21, \\ C(A_4)=d(A_2,A_4)+d(A_4,A_4)+d(A_5,A_4)+d(A_8,A_4)+d(A_9,A_4)= \\ = 6+0+5+8+8=27, \\ C(A_5)=d(A_2,A_5)+d(A_4,A_5)+d(A_5,A_5)+d(A_8,A_5)+d(A_9,A_5)= \\ = 1+5+0+3+7=16, \\ C(A_6)=d(A_2,A_6)+d(A_4,A_6)+d(A_5,A_6)+d(A_8,A_6)+d(A_9,A_6)= \\ = 3+4+10+1+5=23, \\ C(A_7)=d(A_2,A_7)+d(A_4,A_7)+d(A_5,A_7)+d(A_8,A_7)+d(A_9,A_7)= \\ = 2+3+1+6+3=15, \\ C(A_8)=d(A_2,A_8)+d(A_4,A_8)+d(A_5,A_8)+d(A_8,A_8)+d(A_9,A_8)= \\ = 5+8+3+0+9=25, \\ C(A_9)=d(A_2,A_9)+d(A_4,A_9)+d(A_5,A_9)+d(A_8,A_9)+d(A_9,A_9)= \\ = 1+8+7+9+0=25.$$

Из всех вычисленных сумм наименьшая равна 13, и достигается она при $$A=A_2$$, следовательно, медиана Кемени - это множество $$\{A_2\}$$, состоящее из одного элемента $$A_2$$.

Контрольные вопросы и задачи

Темы докладов и рефератов