Статистика нечисловых данных

Проверка согласованности люсианов. Пусть - нормально распределенный случайный вектор размерности с нулевым математическим ожиданием и ковариационной матрицей, определенной формулой (14). Согласно результатам "Теоретическая база прикладной статистики" для любой действительнозначной функции , интегрируемой по Риману по любому гиперкубу, распределения случайных величин и сближаются при . Это означает, что вместо распределения для построения критериев проверки гипотез можно использовать распределение . Более того, аналогичный результат верен при замене на (при слабых внутриматематических условиях регулярности, наложенных на последовательность функций ). Следовательно, для проверки гипотезы согласованности люсианов можно пользоваться любой статистикой , для которой могут быть вычислены на ЭВМ или заранее табулированы процентные точки распределения , аппроксимирующего распределение .

В частности, можно использовать линейные статистики, представляющие собой скалярное произведение случайного вектора и некоторого заданного детерминированного вектора коэффициентов , т.е.

Линейные статистики имеют нулевое математическое ожидание и дисперсию, очевидным образом выражающуюся через матрицу коэффициентов и числа и , а потому несмещенно и состоятельно оцениваемую с помощью с помощью выписанных выше оценок для и .

Отметим, что при . Это следует как из непосредственного вычисления дисперсии , так и из того, что в рассматриваемом случае выражается через достаточную статистику и является несмещенной оценкой ноля, а семейство биномиальных распределений полно, т.е. существует только одна несмещенная оценка ноля - тождественный ноль. Таким образом, сумма координат вектора , т.е. непосредственный аналог коэффициента ранговой конкордации Кендалла-Смита из теории ранговой корреляции, тождественно равна 0.

Распределение статистики (16) при альтернативах изучено в работе [ [ 11.34 ] ].

Рассмотрим два частных случая.

Первый частный случай. Проверка согласованности двух определенных люсианов (ответов двух экспертов), -го и -го, может осуществляться с помощью статистики (16), в которой отличен от 0 только член с . Оценкой дисперсии является .

Второй частный случай. Пусть необходимо проверить согласованность люсианов с одним из них, скажем, с -м (например, люсианы отражают мнения экспертов, а -й из них является наиболее компетентным - по априорной оценке, или "лицом, принимающим решения", или его мнение сильно отличается от мнений остальных). Это можно сделать с помощью статистики (16), в которой

Другими словами, она имеет вид

где расстояние между люсианами определено в (10), а - в (13) с заменой на и на . Используя полученные ранее несмещенные оценки элементов ковариационной матрицы, нетрудно показать, что несмещенная и состоятельная (в смысле формулы (7) выше) оценка дисперсии имеет вид

Тогда при выполнении некоторых внутриматематических условий регулярности, например, условий (15), распределение статистики

сходится при к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1 (при справедливости гипотезы (1) согласованности люсианов).

Статистика (17) наряду со статистикой, предназначенной для проверки гипотезы однородности люсианов, включена в "Методические рекомендации" АМН СССР и УМС Минздрава СССР [ [ 11.18 ] ]. Последнюю статистику не расписываем здесь, поскольку для этого не требуются новые идеи.

Различные подходы к понятию согласованности. Обсудим условия, при выполнении которых люсианы естественно считать согласованными (а экспертов, чьи мнения отражают люсианы, имеющими единое мнение, искаженное случайными ошибками), т.е. обсудим различные методы проверки гипотезы (1).

Полное индивидуальное согласие имеет место, если никакие два эксперта не являются "несогласованными". Уровень значимости определяется описанным выше способом (первый частный случай). Однако наличие одной или нескольких пар экспертов, чьи мнения нельзя считать согласованными, не свидетельствует о необходимости отклонения гипотезы (1), поскольку парных проверок проводится много, а именно, , а способы установления уровня значимости при множественных проверках, зависимых между собой, к настоящему времени плохо разработаны (см. 7.5). Проблема множественных проверок для количественных признаков обсуждается А.А. Любищевым [ [ 11.15 ] , с.36-39], выход дается дисперсионным анализом. Можно брать не все попарные проверки, а только для пар люсианов, причем разбиение на пары проводить независимо от принятых люсианами значений, как это делает Т.Н. Дылько [ [ 11.7 ] ]. Тогда для проверки гипотезы (1) на уровне значимости надо брать для проверки в каждой паре уровень значимости , где рассчитывается понятным образом, приближенно .

Полное согласие в целом означает, что для любого эксперта мнения всех остальных оказываются с ним согласованными при использовании статистики (17) (второй частный случай). Отсутствие подобного согласия для одного или нескольких экспертов не означает отклонения гипотезы согласованности люсианов (1) - по тем же причинам, что и в предыдущем случае.

Минимальное согласие имеют мнения экспертов, когда хотя бы для одного из них гипотеза согласованности не отвергается с помощью статистики (17). В этом случае групповое мнение целесообразно строить, выделяя "ядро", о чем подробнее сказано ниже.

Расстояние между люсианами (см. формулу (10)) введено аксиоматически в 1.6 (напомним, что реализацию люсиана можно рассматривать как подмножество конечного множества). Там же из иной системы аксиом выведено другое расстояние - -метрика. Рассмотрим проверку согласованности люсианов с использованием -метрики. В этом случае расстояние между люсианами и имеет вид

где

Ясно, что теория, основанная на -метрике, существенно сложнее теории, основанной на метрике . Ясно, что описанный выше метод проверки гипотез о люсианах в асимптотике растущей размерности применить не удается. Чтобы продемонстрировать существенное усложнение ситуации, опишем лишь асимптотическое поведение расстояния между двумя люсианами.

Теорема [ [ 1.18 ] ]. Пусть и отделены от 0 и 1, а отделены от 0 и . Тогда расстояние между люсианами и асимптотически нормально при с параметрами

т.е. для любого числа справедливо предельное соотношение где \Phi(х) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1.

Величины , выражаются через и величины

следующим образом:

Следствие 1. Пусть и при всех , причем и лежат внутри отрезка (0; 1). Пусть отделены от 0 и . Тогда расстояние между люсианами и асимптотически нормально при с параметрами

где

Следствие 2. Пусть в предположениях следствия 1 и при всех . Тогда

Замечание. Пусть в следствии 2 . Тогда и - люсианы, равномерно распределенные на множестве всех последовательностей из 0 и 1 длины . В частности, эти люсианы могут соответствовать независимым случайным множествам, равномерно распределенным на совокупности всех подмножеств конечного множества из элементов, или независимым толерантностям, равномерно распределенным на множестве всех толерантностей, определенных на множества из элементов, где . По следствию 2 расстояние между люсианами асимптотически нормально с математическим ожиданием 0,667 и дисперсией 0,296 . Напомним, что распределения коэффициентов ранговой корреляции Кендалла и Спирмена изучены (в основном) лишь при условии равномерности распределения случайных ранжировок на множестве всех возможных ранжировок фиксированного числа объектов. Для теории люсианов случай равномерности распределения - весьма частный, а для теории ранжировок - основной. Как уже говорилось, отказ от равномерности - привлекательная черта теории люсианов.

Классификация люсианов. Отсутствие согласованности в одном из перечисленных выше смыслов позволяет сделать заключение о целесообразности разбиения всех люсианов (например, если они выражают мнения экспертов) на группы близких между собой, т.е. о целесообразности классификации люсианов, точнее, их кластер-анализа. Поскольку введена мера близости между люсианами или , то напрашивается следующий способ действий: провести разбиение на кластеры с помощью одного из алгоритмов, основанных на использовании меры близости, а затем проверить мнения в каждом классе на согласованность. Однако применение того или иного алгоритма кластер-анализа, вообще говоря, может нарушить предпосылки описанных выше способов проверки согласованности (ср. обсуждение похожей проблемы, связанной с применением регрессионного анализа после кластер-анализа, в 7.5). Поэтому опишем методы классификации, опирающиеся на результаты проверки согласованности.

Разбиение на кластеры, внутри каждого из которых имеет место "полное индивидуальное согласие", может быть проведено с помощью агломеративного иерархического алгоритма "дальнего соседа", дополненного ограничением сверху на диаметр кластера. Это ограничение строится из статистических соображений, в отличие от методов, описанных в "Многомерный статистический анализ" . При этом в качестве меры близости между люсианами используют не расстояния или , а модуль статистики, применяемой для проверки согласованности двух люсианов, т.е. статистики (16), в которой только одно из чисел отлично от 0. Упомянутое ограничение таково: диаметр кластера не должен превосходить процентной точки предельного распределения, соответствующей используемому при анализе рассматриваемых данных уровню значимости (можно порекомендовать 5%-й уровень значимости). В результате работы алгоритма получим кластеры, в которых имеется "полное индивидуальное согласие", причем объединение любых двух кластеров приведет к исчезновению этого свойства у объединения. Поскольку способ выделения итогового разбиения из иерархического дерева разбиений имеет вероятностно-статистическое обоснование, изложенное выше, то описанный метод классификации люсианов следует считать - в терминологии [ [ 2.18 ] ] - не методом анализа данных (т.е. эвристическим), а вероятностно-статистическим (т.е. научно обоснованным) методом.

Кластеры "с полным согласием в целом" могут быть получены с помощью агломеративного иерархического алгоритма, в котором мерой близости двух кластеров является максимальное значение модуля статистики (17), когда пробегает номера мнений (люсианов), вошедших в объединение рассматриваемых кластеров, а суммирование в (17) проводится по всем люсианам в этом объединении. Ограничение сверху на меру близости кластеров определяется процентной точкой предельного распределения статистики , заданной формулой (17).

Кластеры "с минимальным согласием" можно получить, при фиксированном выделяя совокупность люсианов, согласованных с в смысле статистики з (17).

На основе двух рассмотренных выше частных случаев линейной статистики (16) можно строить и другие способы классификации. Например, для каждого люсиана можно выделить кластер "типа шара" (см. "Многомерный статистический анализ" ) из люсианов, попарно согласованных с . Все такие способы имеют вероятностно-статистическое обоснование, и потому к ним относится сказанное выше относительно выделения кластеров "с полным индивидуальным согласием".

Замечание. Проверка согласованности приведенными выше критериями может привести к отрицательному результату двумя способами - либо значение статистики окажется слишком большим, либо слишком малым. Первое означает, что гипотеза согласованности люсианов (1) неверна, вторая - что неверна вероятностная модель реального явления или процесса, основанная на люсианах. С необходимостью учета второй возможности мы столкнулись при применении теории люсианов для анализа данных топокарт, полученных при проведении кинетокардиографии у больных инфарктом миокарда [ [ 11.1 ] , [ 11.32 ] ].

Нахождение среднего. В результате классификации получаем согласованные (в одном из указанных выше смыслов) группы люсианов. Для каждой из них полезно рассмотреть среднее. В зависимости от конкретных приложений в прикладных исследованиях применяют либо среднее в виде последовательностей 0 и 1, т.е. в виде реализации люсиана, либо среднее в виде последовательности оценок вероятностей . Кроме того, оно может находиться либо с помощью методов, подавляющих "засорения" ("выбросы"), либо без учета возможности засорения. Рассмотрим все четыре возможности.

В соответствии с подходом в 5.5 при отсутствии засорения эмпирическое среднее ищется как решение задачи

где - люсианы, входящие в рассматриваемый кластер, - множество, которому принадлежит среднее.

Если - совокупность последовательностей из 0 и 1, то правило (18) дает решение по правилу большинства (подробнее см. 5.5).

Если - пространство последовательностей вероятностей, то решением задачи (18) является та же последовательность 0 и 1, что и в первом случае. Поэтому в качестве среднего вместо решения задачи (18) целесообразно рассматривать просто последовательность частот.

Асимптотическое поведение средних при вытекает из законов больших чисел (5.5), теорем, описывающих асимптотику решений экстремальных статистических задач (см. 6.3), и теоремы Муавра-Лапласа соответственно.

В работе [ [ 11.36 ] ] при анализе результатов эксперимента показано, что ответы реальных экспертов разбиваются на многочисленное "ядро", расположенное вокруг истинного мнения, и отдельных "диссидентов", разбросанных по периферии. Причем оценка истинного мнения по "ядру" является более точной, чем по всей совокупности, поскольку мнения "диссидентов" не отражают истинного мнения. Поэтому для построения группового мнения, в том числе среднего для совокупности люсианов, отражающих мнения экспертов, естественно применять методы, подавляющие мнения "диссидентов", что соответствует методологии робастности.

"Ядро" может быть построено следующим образом. Решается задача (18) с конечным множеством , состоящим из всех исходных люсианов: , т.е. из результатов наблюдений выбирается тот, что находится "в центре" совокупности результатов наблюдений. Пусть является решением этой задачи. В качестве ядра предлагается рассматривать совокупность всех люсианов, которые попарно согласованы с . Другой вариант: рассматривается кластер с "полным внутренним согласием", куда входит . (При этом, очевидно, должно быть изменено (уменьшено) критическое значение критерия по сравнению с процедурой, приведшей к выделению группы, нахождением группового мнения которой мы занимаемся.) Затем групповое мнение ищется лишь для элементов "ядра". Описанная процедура особенно необходима в случае, когда не было предварительного разбиения совокупности люсианов на группы согласованных друг с другом. Новым по сравнению с [ [ 11.36 ] ] является придание вероятностного смысла порогу, выделяющему "ядро".

Обобщая идею выделения "ядра", приходим к "взвешенным итеративным методам оценивания среднего" (ВИМОП - оценкам среднего), введенным и изученным в работе [ [ 11.26 ] ]. Их применение для люсианов не требует специальных рассмотрений.

Таким образом, в настоящем параграфе представлен ряд методов обработки специального вида объектов нечисловой природы - люсианов. При этом для решения одной и той же задачи, например, задачи классификации, предлагается ряд методов, точно так же, как для решения классической задачи проверки однородности двух независимых выборок имеется большое число методов (см. "Статистический анализ числовых величин" ).