Методика сравнительного анализа родственных эконометрических моделей

П3-5. Методы согласования ранжировок

П3-6. Методы проверки согласованности, кластеризации и усреднения ранжировок

П3-7. Пример сравнения родственных эконометрических моделей на основе эмпирических единичных показателей качества

При решении задач экологического страхования необходимо проанализировать последствия возможных аварий на химических производствах. Другими словами, в экологическом страховании экономические проблемы переплетаются с проблемами химической безопасности биосферы. Поэтому нет ничего удивительного в том, что в качестве примера рассматриваются 8 родственных эконометрических (если угодно - математических) моделей стационарных процессов испарения жидкости с открытых поверхностей. Модели будем различать по фамилиям предложивших и изучавших их специалистов. Это модели Лебузера (в дальнейшем кратко Л), Мак-Кея (М-К), Гусева-Баранаева (Г-Б), Клячко (К), Стефана (Стеф), Братсерта (Б), Дикона (Д), Соломона (Сол). Имеются данные о 12 конкретных экспериментах. Для соответствующих 12 наборов входных переменных получены расчетные значения по упомянутым 8 моделям. В табл.1 приведены значения относительных погрешностей (в процентах и без учета знака) расчетных значений относительно реальных.

В последней строке табл.1 в соответствии с п.4.4 методики приведены суммы относительных отклонений результатов измерений от расчетных значений. Упорядочение (ранжировка) по сумме относительных погрешностей (отклонений) имеет вид:

В табл.2 приведены ранги 8 моделей по точности приближения в отдельных экспериментальных точках (ранг 1 - самая точная модель, ранг 2 - вторая по точности,\dots, ранг 8 - самая далекая от истинного экспериментального значения модель). Они получены путем сравнения относительных погрешностей из табл.1.

В соответствии с п.4.5 ранги складываются по всем экспериментальным точкам (суммы приведены в предпоследней строке табл.2) и модели ранжируются в порядке возрастания суммы рангов. Итоговый ранг приведен в последней строке табл.2. Ранжировка по суммам рангов (или, что то же, по средним арифметическим рангов) имеет вид:

Поскольку модели $$Л$$ и $$Сол$$ получили одинаковую сумму баллов, то по этому показателю они эквивалентны, а потому объединены в группу (кластер), т.е. ранжировка (2) имеет одну связь.

Сравнивая ранжировки (1) и (2), видим, что они весьма похожи. Они отличаются только по двум позициям:

В соответствии с п.5.3. на первом этапе согласования ранжировок следует выделить противоречивые пары моделей. При сравнении ранжировок (1) и (2) только пара моделей $$К$$ и $$Г-Б$$ признается противоречивой. Следовательно, для ранжировок (1) и (2) согласующей является кластеризованная ранжировка

в которой модели упорядочены от лучшей к худшей.

Рассмотрим теперь дополнительные методы ранжирования, предусмотренные п. 4.6 настоящей методики. Вариантом метода ранжировки по числу экспериментальных точек, в которых модель оказалась наилучшей (без учета знака отклонения), является метод разбиения рассматриваемой совокупности родственных моделей на два класса - тех, которые оказались наилучшими хотя бы для одной экспериментальной точки (т.е. оптимальных по Парето), и остальных, никогда не бывших наилучшими. В первое множество входят модели $$Б, М-К, Л, Сол, Д$$, являющиеся оптимальными по Парето на рассматриваемом множестве экспериментальных точек, во второе - остальные модели, т.е. $$Стеф, К, Г-Б$$, и соответствующая ранжировка со связями имеет вид

Ранжировка (4) не имеет противоречивых пар с ранжировкой (3), поэтому можно считать, что ранжировка (3) является согласующей для всех трех ранжировок (1), (2), (4).

Другой вариант, предусмотренный п.4.6, предполагается учет числа точек, в которых та или иная из рассматриваемой совокупности родственных моделей оказалась наилучшей (наиболее точной). Чем в большем числе точек модель оказалась точнее, тем выше она оценивается. Модель Л является наилучшей в 5 экспериментах (№№ 5, 7, 8, 9, 11), модель Б - в 2 экспериментах (№№ 2, 10), как и модели Д (эксперименты №№ 3, 12) и Сол (эксперименты №№ 4, 6), модель М-К - в одном (№ 1), остальные - ни разу. Ранжировка имеет вид:

Сопоставим ранжировки (3) и (5). Имеем следующие четыре противоречивые пары: $$Л$$ и $$Б, Л$$ и $$М-К, Д$$ и $$М-К$$, $$Сол$$ и $$М-К$$. Значит, в один кластер с $$М-К$$ надо включить $$Л$$, $$Д$$ и $$Сол$$, а раз модель $$Л$$ связана противоречием в $$Б$$, то и $$Б $$ надо включить в этот кластер, состоящий в итоге из 5 моделей - $$Л$$, $$Б, Д, Сол, М-К$$. Итоговая ранжировка имеет вид:

Она является согласующей для четырех ранжировок (1), (2), (4), (5). (Напомним, что кластер $$\{К, Г-Б\}$$ появился как следствие противоречия в упорядочении моделей $$К$$ и $$Г-Б$$ в ранжировках (1) и (2).)

Выше приведены результаты формального анализа семейства 8 родственных моделей по 4 критериям. Общее заключение должно быть сделано экспертным путем.

В данной ситуации по мнению экспертов итогом сравнения моделей должна быть признана ранжировка (3), являющаяся согласующей для 3 из 4 критериев:

Ранжировка (6), согласующая для всех четырех критериев, объявляет эквивалентными 5 наиболее интересных моделей, поскольку оставшиеся 3 модели по результатам анализа экспериментальных данных можно вообще исключить из дальнейшего рассмотрения. Согласно п. 5.5 в случае необходимости упорядочения моделей, попавших в один кластер, привлекается дополнительная информация. В рассматриваемом случае дополнительная информация дает основания исключить один из четырех критериев.

В лекции 12 текущего курса 12 процедура согласования ранжировок использовалась при анализе мнений экспертов. Однако в настоящем приложении 3 речь идет не о мнениях экспертов, а о сравнении эконометрических моделей. Исходные данные - табл.1 - результаты измерений, а не субъективные оценки.

П3-8. Математические основы методов согласования ранжировок и классификаций

При использовании нескольких обобщенных показателей получаются, как правило, различающиеся ранжировки объектов. Как их согласовать с целью дальнейшего использования при классификации? В настоящем пункте формулируются и обосновываются методы решения этой задачи. В отличие от лекции 12 текущего курса дается строгое математическое изложение с доказательствами основных утверждений.

Взвешенные агрегированные показатели. Пусть $$Х_1, Х_2, \dots , Х_К$$ - частные (или групповые) числовые показатели. Пусть каждому из них приписан вес - $$А_1, А_2,\dots , А_К$$ соответственно, отражающий их относительную важность (оцененную экспертами или иным способом). Весовые коэффициенты неотрицательны и в сумме составляют 1.

Взвешенные агрегированные показатели можно определить следующим единообразным способом.

Введем (чисто формально) распределение вероятностей, приписывающее каждому значению $$Х_М, М=1,2, \dots ,К$$, вероятность $$А_М$$. Для этого распределения обычным образом определим такие характеристики, как математическое ожидание, медиана, начальные моменты, мода и т.д., которые и будем использовать в качестве взвешенных агрегированных показателей или при их расчете.

При этом математическое ожидание дает взвешенное среднее арифметическое, медиана - взвешенную медиану (в частном случае, когда одна из ступенек функции распределения приходится на высоту 0,5, целесообразно ввести понятия левой и правой медиан - т.е. левого и правого концов указанной ступеньки соответственно).

Начальный момент $$р$$ -го порядка после извлечения корня $$р$$ -ой степени дает взвешенное степенное. Аналогичным образом получаем обобщенное среднее по Колмогорову общего вида.

Мода указывает на значение наиболее важного показателя.

В соответствии с методологией устойчивости (см. лекцию 10 текущего курсавыше) при анализе конкретной ситуации целесообразно одновременно использовать несколько обобщенных показателей, например, взвешенную медиане и взвешенное среднее арифметическое. Такая процедура предусмотрена в настоящей методике. Хотя согласно теории измерений (см. лекцию 3 текущего курса) использование среднего арифметического некорректно, но приходится учитывать традиции (проблема учета традиций подробно обсуждалась в лекции 12 текущего курса).

Согласование упорядочений по агрегированным показателям. Сопоставим упорядочения объектов по двум видам агрегированных оценок, например, по взвешенной медиане и по взвешенному среднему арифметическому. Для этого построим "квазитолерантность расхождений (КТР)", т.е. некоторое бинарное отношение (о теории бинарных отношений см., например, книгу [2]) на множестве объектов. (Как известно, бинарное отношение на данном множестве объектов можно отождествить с подмножеством множества пар объектов, т.е. с подмножеством декартова квадрата исходного множества объектов.)

По определению два объекта связаны отношением КТР (т.е. пара объектов входит в рассматриваемое подмножество) тогда и только тогда, когда два упорядочения - по взвешенной медиане и по взвешенному среднему арифметическому - для них противоречивы. Это возможно в двух случаях. Первый - средний взвешенный арифметический показателей для первого (из двух рассматриваемых) объектов больше (или равен) такового для второго объекта, а взвешенная медиана для первого, наоборот, меньше, чем для второго. Второй - средний взвешенный арифметический показателей для первого (из двух рассматриваемых) объектов меньше такового для второго вида, а взвешенная медиана для первого, наоборот, больше (или равна), чем для второго.

Отношение КТР является симметричным (если пара (А,В) входит в него, то входит и пара (В,А)) и антирефлексивным (ни одна пара (А,А) не входит в КТР). Свойством транзитивности это бинарное отношение, вообще говоря, не обладает (если пары (А,В) и (В,С) входят в него, то пара (А,С) может входить в КТР, а может и не входить).

Формально присоединим к КТР все пары вида (А,А). Получим рефлексивное симметричное отношение, т.е. толерантность (о толерантностях много написано в монографии [2]). Будем называть ее "толерантностью расхождений (ТР)".

Построим новое бинарное отношение Зам(ТР) путем транзитивного замыкания (в смысле теории бинарных отношений, см., например, монографию [2,с.27]) "толерантности расхождений". Это означает, что подмножество пар объектов, входящих в толерантность ТР, пополняется некоторыми новыми парами. А именно, если А, В и С - три объекта такие, что пара (А,В) и пара (В,С) входят в "толерантность расхождений", то пару (А,С) включаем в замыкание этой толерантности. Для полученного множества пар повторяем описанную операцию. Продолжаем так до тех пор, пока новые пары не перестанут добавляться (процесс не может продолжаться бесконечно, поскольку общее число пар конечно).

Бинарное отношение Зам(ТР) можно описать и по-другому: пара (А,В) входит в Зам(ТР) тогда и только тогда, когда либо она входит в ТР, либо существует конечная последовательность объектов С, D, E, \dots, Q такая, что пары (A,C), (C,D), (D,E), \dots, (Q,B) входят в ТР, т.е. от А к В можно пройти за несколько шагов, каждый из которых - переход от первого элемента пары, входящей в ТР, ко второму.

Последнее замечание подсказывает наглядную геометрическую интерпретацию операции замыкания. Представим себе объекты точками на плоскости. Пара (А,В) входит в ТР тогда и только тогда, когда от А до В можно добраться по дороге. Тогда ясно, что пара (А,С) входит в Зам(ТР) в том и только в том случае, когда от А до С можно добраться по дороге, возможно. через несколько промежуточных пунктов (объектов).

Теорема о структуре замыкания. Описание структуры Зам(ТР) дает следующая теорема.

Теорема 1. Замыкание "толерантности расхождений" - отношение эквивалентности (рефлексивное симметричное транзитивное отношение), задающее разбиение объектов на кластеры (группы эквивалентных в рассматриваемом смысле объектов). Кластеры между собой упорядочены: все объекты одного кластера одновременно лучше (или одновременно хуже) всех объектов другого кластера одновременно по обоим используемым агрегированным показателям. Внутри же кластеров, состоящих более чем из одного элемента, имеются противоречия: для какого-то объекта есть другой из того же кластера такой, что упорядочение по одному агрегированному показателю противоречит упорядочению по другому агрегированному показателю.

Доказательство. Рефлексивность $$Зам(ТР) $$ вытекает из рефлексивности $$ТР$$ - поскольку любая пара (А,А) входит в $$ТР$$, то она входит и в $$Зам(Т,Р) $$. Симметричность вытекает из симметричности $$ТР$$: если из $$А$$ в $$В$$ можно добраться по цепочке $$С, D, E, \dots , Q$$, то из $$В$$ в $$А$$ - по обратной цепочке $$Q, \dots ,E, D,С$$, каждые два соседних элемента которой образуют пару, входящую в $$ТР$$ наряду с "симметричной" парой из прямой цепочки. Транзитивность вытекает из процедуры построения $$Зам(ТР) $$. В теории бинарных отношений рефлексивное симметричное и транзитивное отношение, как известно, называется эквивалентностью (см., например, [2, с.54]).

Хорошо известно (см., например, теорему 2.1 в монографии [2, с.55-56]), что отношение эквивалентности задает разбиение множества объектов на кластеры (классы, группы, подмножества) такое, что пара $$(А,В) $$ входит в $$Зам(ТР) $$ тогда и только тогда, когда объекты $$А$$ и $$В$$ включены в один и тот же кластер.

Теперь введем упорядоченность кластеров.

Лемма. Пусть $$X = \{A, B, \dots\}$$ и $$Y = \{C,D, \dots \}$$ - два кластера. Пусть $$А$$ меньше $$С$$ при использовании одного из двух рассматриваемых видов агрегированных оценок (например, по взвешенной медиане или по взвешенному среднему арифметическому). Тогда $$А$$ меньше $$С$$ и при сравнении по второй агрегированной оценке. Более того, любой объект из первого кластера меньше любого объекта из второго кластера в смысле любой из двух агрегированных оценок.

Докажем лемму. Если бы $$А$$ было больше или равно $$С$$ по второй оценке, то пара $$(А,С) $$ входила бы в $$КТР$$ и $$ТР$$, а потому объекты $$А$$ и $$С$$ входили бы в один класс разбиения, соответствующего $$Зам(ТР) $$, что противоречит исходному предположению. Это рассуждение показывает также, что для любых двух объектов $$В$$ и $$D$$ из разных кластеров упорядоченности по двум агрегированным оценкам совпадают.

Однако совпадает ли упорядоченность $$В$$ и $$D$$ (или даже $$В$$ и $$С$$ ) с упорядоченностью $$А$$ и $$С$$?

Одну из упорядоченностей обозначим знаком < (т.е. "меньше"; знак > означает здесь "больше или равно"). Может ли быть так, что А<С, но В>С ? Тогда А<С<В. Вторую упорядоченность обозначим знаком //. Тогда в соответствии с рассуждениями предыдущего абзаца А//С//В, следовательно, пара $$(А,В) $$ не может входить в КТР, а потому и в ТР.

Поскольку $$А$$ и $$В$$ лежат в одном кластере, то существует цепочка $$А(1)=А, А(2), А(3), \dots , А(К) = В$$ такая, что пары $$(А(Р), А(Р+1)) $$ входят в $$КТР, Р = 1, 2, 3, \dots , К-1$$. Рассмотрим минимальное $$М$$ такое, что $$А(М)<С, А(М+1)>С$$ (такое $$М$$ существует, поскольку $$А1<С$$, а $$АК>С$$ ). Тогда в рассуждениях предыдущего абзаца можно положить $$А=А(М), В=А(М+1) $$. Получаем, что пара $$(А(М), А(М+1)) $$ не входит в $$КТР$$, что противоречит определению $$Зам(ТР) $$.

Итак, доказано, что из $$А<С$$ вытекает $$В<С$$ для любого $$В$$ из кластера, включающего $$А$$. Аналогичным образом устанавливается, что $$В<D$$ для любого $$D$$ из кластера, включающего $$С$$. Лемма доказана.

Каждый из кластеров, порожденных $$Зам(ТР)$$, может состоять из одного или нескольких элементов. Внутри кластера из одного элемента противоречий быть не может. Если в кластере несколько элементов, то хотя бы одна пара объектов из этого кластера входит в $$КТР$$. Однако некоторые пары могут и не содержать противоречий. Например, если упорядочения имеют вид $$А<В<С$$ и $$С//А//В$$, то пары $$(В,С)$$ и $$(А,С) $$ входят в $$КТР$$, а пара $$(А,В) $$ - нет. Если же второе упорядочение имеет вид $$С//В//А$$, то все три пары входят в квазитолерантность расхождений.

Теорема 1 доказана.

Развитие методики агрегирования. В результате описанной выше процедуры получаем ранжировку (упорядоченный ряд), элементами которой являются, вообще говоря, не отдельные объекты, а кластеры, состоящие из некоторого числа объектов (некоторые из кластеров могут состоять из одиночных объектов, для которых не оказалось рассматриваемых выше противоречий). Если построенное согласно описанной процедуре разбиение объектов на кластеры и полученный на его основе ранжировочный ряд удовлетворяет заказчика, то они и определяют итоговую ранжировку и итоговый агрегированный показатель (выражающийся, например, в номере кластера, в который входит рассматриваемый объект, в итоговой ранжировке). Если же нет (например, получился всего один класс), то требуется дополнительный анализ с привлечением экспертов. Он должен быть нацелен на уточнение предпочтений экспертов. Например, им могут быть предъявлены для сравнения пары объектов, входящих в "квазитолерантность расхождений". Это исследование может описаться на различные методики выявления предпочтений (в экономических терминах - функций полезности).

По ранжировке строится классификация путем разбиения области значений итогового агрегированного показателя на упорядоченные зоны. Границы между зонами задаются с помощью опроса экспертов с учетом процедуры дальнейшего использования этих зон.

Заметим, что описанная выше методика может применяться в различных вариантах. В облегченном варианте весовые коэффициенты не оцениваются. Например, они априори предполагаются равными или же задаются исследовательской группой, строящей агрегированный показатель.

В соответствии с общей схемой устойчивости (лекция 10 текущего курса) целесообразно численно изучить устойчивость значений агрегированного показателя к малым отклонениям значений весовых коэффициентов, а также ответов экспертов. Развитие этой идеи ведет к разработке методики численного эксперимента, а также к применению и изучению интервальных экспертных оценок, когда ответ эксперта - интервал действительных чисел или интервал в порядковой шкале (несколько соседних градаций), и т.д. (см. лекцию 11 текущего курса и лекцию 12 текущего курса).

Могут быть использованы и иные виды средних величин, кроме среднего арифметического и медианы, в частности, среднее геометрическое и другие виды средних по Колмогорову.

О согласовании классификаций. Пусть имеются две классификации $$Н1$$ и $$Н2$$, разбивающие множества объектов на кластеры $$А1, А2,\dots, АК$$ и $$В1, В2,\dots, ВМ$$ соответственно. Рассмотрим новую классификацию $$Н$$, построенную на основе пересечений множеств $$А1хВ1, А2хВ1,\dots, АКхВ1, А1хВ2, А2хВ2,\dots, АКхВ2,\dots, А1хВМ, А2хВМ,\dots, АКхВМ$$ (здесь $$х$$ - знак пересечения). Число кластеров в $$Н$$ - не более $$КхМ$$, поскольку некоторые из выписанных пересечений могут оказаться пустыми. Классификация $$Н$$ обладает тем свойством, что любые два элемента, входящие в один из ее кластеров, входят также в один кластер и в $$Н1$$, и в $$Н2$$. Если же два элемента входят в разные кластеры $$Н$$, то либо в $$Н1$$, либо в $$Н2$$, либо одновременно и в $$Н1$$, и в $$Н2$$ они входят в разные кластеры. Поэтому можно сказать, что классификация $$Н$$ согласует классификации $$Н1$$ и $$Н2$$.

Для классификаций с неупорядоченными кластерами сказанное в предыдущем абзаце решает проблему согласования. Для классификаций, кластеры которых строго линейно (или совершенно) упорядочены [2, с.119-120], т.е. порожденных склейкой одинаковых значений некоторого агрегирующего показателя на множестве объектов (существование такого показателя вытекает из теоремы 4.2 в [2, с.121-122]), можно продвинуться дальше.

Описанная выше процедура согласования классификаций, полученных различными способами на основе двух ранжировок, является общей. Она может быть применена для согласования любых двух классификаций, использующих строго линейно упорядоченные кластеры.

Сначала необходимо построить "квазитолерантность расхождений $$(КТР)$$ ", включающую те и только те пары объектов, упорядоченность которых в двух классификациях различна. Затем строим "толерантность расхождений (ТР)", добавляя к $$КТР$$ все пары вида $$(А,А)$$. Затем строим $$Зам(ТР)$$, транзитивно замыкая $$ТР$$ по правилам теории бинарных отношений [2, с.27]. Корректность этой процедуры обеспечивает следующая теорема.

Теорема 2. Замыкание толерантности расхождений Зам(ТР) задает классификацию на упорядоченные кластеры. При этом все объекты одного кластера одновременно лучше (или одновременно хуже) всех объектов другого кластера одновременно по обоим используемым агрегированным показателям. Внутри же кластеров, состоящих более чем из одного элемента, имеются противоречия: для какого-то объекта есть другой из того же кластера такой, что упорядочение по одному агрегированному показателю противоречит упорядочению по другому агрегированному показателю.

Доказательство. Как показано при доказательстве теоремы 1, $$Зам(ТР)$$ является отношением эквивалентности, а потому задает некоторое разбиение множества объектов, т.е. классификацию.

Просматривая доказательство теоремы 1, нетрудно заметить, что в нем не используются какие-либо конкретные свойства взвешенной медианы или взвешенного среднего арифметического, а потому проведенные рассуждения верны для любых строгих совершенных (линейных) порядков. Это замечание и заканчивает доказательство теоремы 2.

Замечание. Расчет согласующей классификации как $$Зам (ТР) $$ не всегда дает приемлемые с практической точки зрения результаты. Пусть например, имеется 4 объекта, описываемые точками на плоскости $$А = (0,0), В = (0,1), С = (1, 0), Н = (1,1) $$, первое упорядочение - по первой координате, второе - по второй (каждое из упорядочений имеет два варианта соответственно тому, как интерпретировать равенство, т.е. использовать отношение "меньше" или "меньше или равно"). Нетрудно проверить, что $$Зам(ТР) $$ дает вырожденную классификацию - состоит из одного кластера. Между тем другие способы построения результирующего упорядочения, например, по сумме координат, могут оказаться более практически приемлемы.

Практический интерес представляет также задача расширения классификации по упорядоченным классам, заданной на части естественного множества определения, на все это множество. Решений, как правило, имеется несколько, и возникают проблемы описания всех возможных расширений и выбора из них наиболее адекватного с точки зрения рассматриваемой прикладной области, например, токсикологии как части экологического страхования.

Об алгоритмах нахождения согласующей кластеризованной ранжировки. Пусть дана конечная совокупность ранжировок моделей (возможно, со связями). Требуется построить согласующую ранжировку, возможно, кластеризованную (т.е. со связями).

Шаг 1. Находим все пары моделей, упорядочение которых хотя бы в двух исходных ранжировках противоречиво (в одной ранжировке первая модель строго лучше второй, а в другой ранжировке - наоборот, вторая модель строго лучше первой).

Шаг 2. Рассмотрим граф, вершины которого - модели из рассматриваемого семейства родственных моделей. Две вершины соединены ребром тогда и только тогда, когда они выделены на шаге 1. Выделяем связные компоненты этого графа.

Шаг 3. Устанавливаем строгий порядок между связными компонентами графа, выделенными на шаге 2 (кластерами). Получаем искомую согласующую ранжировку.

Программная реализация описанной схемы может быть осуществлена различными способами.

П3-8. Теоретические основы методов проверки согласованности, кластеризации и усреднения ранжировок

Как указано в п.6.1 настоящей методики, при необходимости упорядочения по качеству моделей, входящих в один класс согласующей кластеризованной ранжировки, применяют методы проверки (статистической) согласованности, при необходимости - кластерного анализа, а затем - усреднения ранжировок, разработанные в статистике объектов нечисловой природы. Эти методы предполагают использование того или иного расстояния (меры различия) в пространстве ранжировок (со связями). В соответствии с методологией настоящей методики используется расстояние Кемени-Снелла (см. лекцию 8 текущего курса, а также монографию [3]), связанное с коэффициентом ранговой корреляции Кендалла, при проверке (статистической) согласованности и - при необходимости - проведении кластерного анализа. При усреднения ранжировок часто используется мера различия, основанная на коэффициенте ранговой корреляции Спирмена (см. [4]). Допускается использование иных расстояний и мер близости (различия) в том числе:

При использовании одновременно нескольких расстояний (мер различия или близости) в пространстве ранжировок (со связями) в соответствии с методологией теории устойчивости (лекция 10 текущего курса) необходимо использовать выводы, устойчивые относительно выбора того или иного расстояния (меры различия) в пространстве ранжировок (со связями).

Сначала проверяется согласованность набора ранжировок с помощью коэффициента ранговой конкордации Кендалла и Бебингтона Смита (при небольшом числе связей) согласно лекции 13 текущего курса). Согласованность экспертов может также оцениваться с помощью другой группы экспертов.

В случае недостаточной согласованности набора ранжировок, т.е. отклонения гипотезы согласованности на уровне значимости 5 % или более низком, проводится их разбиение на группы схожих между собой тем или иным методом кластерного анализа (см. лекцию 5 текущего курса). Согласно методологии устойчивости (см. лекцию 10 текущего курса) результат разбиения должен быть достаточно устойчив относительно выбора метода кластер-анализа. Рекомендуется одновременно использовать метод ближнего соседа и метод дальнего соседа, используя в дальнейшем устойчивые ядра кластеров, выделяющиеся при одновременном применении указанных двух методов.

Деление показателей качества на группы, по которым модели оцениваются схожим образом, или экспертов на группы с близкими мнениями используется участниками проекта и пользователями банка эконометрических моделей. Это деление учитывается также и неформально при дальнейшем применении или сравнении родственных эконометрических моделей.

При положительном ответе на вопрос о согласованности ранжировок результирующая (итоговая) ранжировка находится как эмпирическое среднее, т.е. медиана Кемени, согласно методам и алгоритмам статистики объектов нечисловой природы. При отрицательном ответе на вопрос о согласованности ранжировок результирующие (итоговые) ранжировки находятся отдельно для каждого кластера. При этом, например, констатируется принципиальное различие научных школ, к которым принадлежат эксперты.