Различные виды статистических данных

1.6. Аксиоматическое введение расстояний

В прикладной статистике используют большое количество метрик и показателей различия (см. примеры в предыдущем пункте). Как обоснованно выбрать то или иное расстояние для использования в конкретной задаче? В 1959 г. американский статистик Джон Кемени предложил использовать аксиоматический подход, согласно которому следует сформулировать естественные для конкретной задачи аксиомы и вывести из них вид метрики. Этот подход получил большую популярность в нашей стране после выхода в 1972 г. переведенной на русский язык книги Дж. Кемени и Дж. Снелла [ [ 1.6 ] ], в которой дана система аксиом для расстояния Кемени между упорядочениями. (Упорядочения, как и иные бинарные отношения, естественно представить в виде квадратных матриц из 0 и 1; тогда расстояние Кемени - это расстояние из примера 7 предыдущего пункта.) Последовала большая серия работ, в которых из тех или иных систем аксиом выводился вид метрики или показателя различия для различных видов данных, прежде всего для объектов нечисловой природы. Многие полученные результаты описаны в обзоре [ [ 1.21 ] ], содержащем 161 ссылку, в том числе 69 на русском языке. Рассмотрим некоторые из наших результатов.

Аксиоматическое введение расстояния между толерантностями. Толерантность - это бинарное отношение, являющееся рефлексивным и симметричным. Его обычно используют для описания отношения сходства между реальными объектами, отношений знакомства или дружбы между людьми. От отношения эквивалентности отличается тем, что свойство транзитивности не предполагается обязательно выполненным. Действительно, Иванов может быть знаком с Петровым, Петров - с Сидоровым, но при этом ничего необычного нет в том, что Иванов и Сидоров не знакомы между собой.

Пусть множество , на котором определено отношение толерантности, состоит из конечного числа элементов: . Тогда толерантность описывается квадратной матрицей , такой, что , если и связаны отношением толерантности, и в противном случае. Матрица симметрична: , на главной диагонали стоят единицы: . Любая матрица, удовлетворяющая приведенным в предыдущей фразе условиям, является матрицей, соответствующей некоторому отношению толерантности. Матрице можно сопоставить неориентированный граф с вершинами в точках : вершины и соединены ребром тогда и только тогда, когда . Толерантности используются, в частности, при проведении экспертных исследований (см. 11.6).

Будем говорить, что толерантность лежит между толерантностями и , если при всех число лежит между числами и , т.е. выполнены либо неравенства , либо неравенства .

Теорема 1 [ [ 1.15 ] ]. Пусть

(I) - метрика в пространстве толерантностей, определенных на конечном множестве ;

(II) тогда и только тогда, когда лежит между и ;

(III) если отношения толерантности и отличаются только на одной паре элементов, т.е. при , и , то .

Тогда

Таким образом, расстояние только постоянным множителем 1/2 отличается от расстояния Кемени, введенного в пространстве всех бинарных отношений как расстояние Хемминга между описывающими отношения матрицами из 0 и 1 (см. пример 7 предыдущего пункта). Теорема 1 дает аксиоматическое введение расстояния в пространстве толерантностей. Оказалось, что оно является сужением расстояния Кемени на это пространство. Сам Дж. Кемени дал аналогичную систему аксиом для сужения на пространство упорядочений. Доказательство теоремы 1 вытекает из рассмотрений, связанных с аксиоматическим введением расстояний между множествами, и приводится ниже.

Мера симметрической разности как расстояние между множествами. Как известно, бинарное отношение можно рассматривать как подмножество декартова квадрата того множества , на котором оно определено. Поэтому теорему 1 можно рассматривать как аксиоматическое введение расстояния между множествами специального вида. Укажем систему аксиом для расстояния между множествами общего вида, описанного в примере 9 предыдущего пункта.

Определение 1. Множество находится между множествами и , если

С помощью определения 1 в совокупности множеств вводятся геометрические соотношения, использование которых полезно для восприятия рассматриваемых ситуаций.

Расстояние между двумя точками в евклидовом пространстве не изменится, если обе точки сдвинуть на один и тот же вектор. Аналогичное свойство расстояния между множествами сформулируем в виде аксиомы 1. Оно соответствует аксиоме 3 Кемени и Снелла [ [ 1.6 ] , с.22] для расстояний между упорядочениями.

Аксиома 1. Если , то .

Определение 2. Непустая система множеств называется кольцом, если для любых двух входящих в нее множеств в эту систему входят их объединение, пересечение и разность. Множество называется единицей системы множеств, если оно входит в эту систему, а все остальные множества системы являются подмножествами . Кольцо множеств, содержащее единицу, называется алгеброй множеств [ [ 1.9 ] , с.38].

Теорема 2. Пусть - алгебра множеств, . Тогда аксиома 1 эквивалентна следующему условию: для любых .

Доказательство. Поскольку

то равенство следует из аксиомы 1. Обратное утверждение вытекает из того, что в условиях аксиомы 1

Теорема 2 доказана.

С целью внести в алгебру множеств W отношение "находиться между", аналогичное используемому при аксиоматическом введении расстояний в пространствах бинарных отношений (см. условие (II) в теореме 1), примем следующую аксиому.

Аксиома 2. Если лежит между и , то .

Определение 3. Неотрицательная функция , определенная на алгебре множеств , называется мерой, если для любых двух непересекающихся множеств и из справедливо соотношение

Понятие меры - это обобщение понятий длины линии, площади фигуры, объема тела.

Теорема 3. Пусть - алгебра множеств, аксиомы 1 и 2 выполнены для функции . Функция симметрична: для любых и из . Тогда существует, и притом единственная, мера на такая, что

( 1)

при всех и из , где - симметрическая разность множеств и , т.е. .

Доказательство. Положим

( 2)

Покажем, что определенная формулой (2) функция множества является мерой. Неотрицательность следует из неотрицательности . Остается доказать аддитивность, т.е. что из следует, что

( 3)

Поскольку всегда лежит между и , то по аксиоме 2

( 4)

Если , то по аксиоме 1 , откуда с учетом (4) и следует (3).

Докажем соотношение (1). Поскольку и имеют пустое пересечение, то согласно определению 1 пустое множество лежит между и . Поэтому по аксиоме 2

Из симметричности и соотношения (2) следует, что

откуда . Из соотношения (3) следует, что . С другой стороны, по аксиоме 1 . Из трех последних равенств вытекает справедливость равенства (1). Остается доказать единственность меры в соотношении (1). Поскольку при то из (1) следует (2), т.е. однозначность определения меры по расстоянию . Теорема 3 доказана.

Теорема 4 (обратная). Пусть - мера, определенная на алгебре множеств . Тогда функция является псевдометрикой, для нее выполнены аксиомы 1 и 2.

Доказательство. То, что функция из (1) задает псевдометрику, хорошо известно (см., например, [ [ 1.13 ] , с.79]). Доказательство аксиомы 2 содержится в [ [ 1.11 ] , c.181-183]. Аксиома 1 следует из того, что условия обеспечивают справедливость соотношений

Замечание. Полагая в аксиоме 2 , получаем, что , т.е. . Согласно теоремам 3 и 4, из условий теоремы 3 следует неравенство треугольника. Таким образом, в теореме 3 действительно приведена система аксиом, определяющая семейство псевдометрик в пространстве множеств.

Обсудим независимость (друг от друга) условий теоремы 3. Отбрасывание неотрицательности функции приводит к тому, что слово "мера" в теоремах 3 и 4 необходимо заменить на "заряд" [ [ 1.9 ] , с.328]. Этот термин обозначает аддитивную функцию множеств, не обладающую свойством неотрицательности. Заряд можно представить как разность двух мер.

Функция является псевдометрикой, для нее выполнена аксиома 1, но не выполнена аксиома 2, следовательно, ее нельзя представить в виде (1).

Приведем пример системы множеств и метрики в ней, для которых верна аксиома 2, но не верна аксиома 1, а потому эту метрику нельзя представить в виде (1). Пусть состоит из множеств , причем , а расстояния таковы:

Если единица алгебры множеств конечна, т.е. , то расстояние (1) принимает вид

( 5)

где - индикатор (индикаторная функция) множества , т.е. , если , и в противном случае. Как следует из теоремы 3, неотрицательный коэффициент - это мера одноэлементного множества , а также расстояние этого множества от пустого множества, т.е.

Если все коэффициенты положительны, то формула (5) определяет метрику, если хотя бы один равен 0, то - псевдометрику, поскольку в таком случае найдутся два различающиеся между собой множества и , такие, что .

Расстояние определяется однозначно, если априори известны коэффициенты . В частности, равноправность объектов (элементов единицы алгебры множеств ) приводит к . Требование равноправности содержится в аксиомах 2 и 4 Кемени [ [ 1.6 ] , с.21–22].

Применим полученные результаты к толерантностям и докажем теорему 1. Совокупность всех толерантностей, определенных на конечном множестве , естественным образом ассоциируется с совокупностью всех подмножеств множества . А именно, пара входит в подмножество тогда и только тогда, когда и связаны отношением толерантности. Указанная совокупность подмножеств является алгеброй множеств с единицей . Определение 1 понятия "находиться между" для множеств полностью соответствует ранее данному определению понятия "находиться между" для толерантностей.

. Пусть выполнены условия (I) и (II) теоремы 1 и аксиома 1. Тогда существуют числа такие, что

( 6)

Для доказательства достаточно сослаться на теорему 3. Поскольку в условии (I) требуется, чтобы функция являлась метрикой, то необходимо .

. Пусть выполнены условия теоремы 1 и, кроме того, аксиома 1. Тогда верно заключение теоремы 1.

Доказательство. Рассмотрим толерантность , для которой при в противном случае. Согласно условию (III) теоремы 1 , а согласно (6) имеем . Следовательно, коэффициент , что и требовалось доказать.

Для окончательного доказательства теоремы 1 осталось избавиться от требования справедливости аксиомы 1.

Доказательство теоремы 1. Рассмотрим две толерантности и такие, что при представлении их в виде множеств . Это означает, что при всех . Поскольку - конечное множество, то существует конечная последовательность толерантностей такая, что , причем получается из заменой ровно одного значения на , для , при этом . Тогда находится между и , следовательно, по условию (II)

По условию (III) при всех , а потому заключение теоремы 1 верно для любых и таких, что .

Поскольку лежит между и , то по условию (II)

При этом и . Применяя результат предыдущего абзаца, получаем – заключение теоремы 1 верно всегда.

Замечание 1. Таким образом, условие (III) не только дает нормировку, но и заменяет аксиому 1.

Замечание 2. Условие (I) теоремы 1 не использовалось в доказательстве, но было приведено в первоначальной публикации [ [ 1.14 ] ], чтобы подчеркнуть цель рассуждения. По той же причине оно сохранено в формулировке теоремы 1, хотя в доказательстве удалось без него обойтись. Понадобилась только симметричность функции .