Опубликован: 16.12.2009 | Уровень: для всех | Доступ: платный
Лекция 8:

Статистика нечисловых данных

Теорема 2. Пусть Х - топологическое пространство, непрерывная (в топологии произведения) функция f:X^2 \to R^1 неотрицательна, симметрична (т.е. f(x,y) = f (y,x) для любых x и y из X ), существует число D > 0 такое, что при всех x,y,z из X

f(x,y) \le D\{f(x,z) + f(z,y)\}. ( 5)

Пусть в Х существует точка x_0 такая, что при любом положительном R множество \{x: f(x, x_0)\le R\} является бикомпактным. Пусть для случайного элемента x(\omega), согласованного с топологией в рассмотренном выше смысле, существует g(x_0) = Ef(x(\omega), x_0 ) .

Тогда существуют (т.е. непусты) математическое ожидание E(x,f) и эмпирические средние En(f) .

Замечание. Условие (5) - некоторое обобщение неравенства треугольника. Например, если g - метрика в X, а f = gp при некотором натуральном p, то для f выполнено соотношение (5) с D = 2p.

Доказательство. Рассмотрим функцию g(y) , определенную формулой (4). Имеем

f(x(\omega),y)\le  D\ {f(x(\omega), x_0) + f(x_0,y)\}. ( 6)

Поскольку по условию теоремы g(x_0) существует, а потому конечно, то из оценки (6) следует существование и конечность g(y) при всех y из Х. Докажем непрерывность этой функции.

Рассмотрим шар (в смысле меры различия f ) радиуса R с центром в x_0:

K(R) =\{x : f(x, x_0)\le R\},  R > 0.

В соответствии с условием теоремы K(R) как подпространство топологического пространства Х является бикомпактным. Рассмотрим произвольную точку х из Х. Справедливо разложение

f(x(\omega),y)=f(x(\omega),y) \chi(x(\omega) \in K(R))+f(x(\omega),y) \chi(x(\omega) \notin K(R))

где \chi(C) - индикатор множества С. Следовательно,

g(y)= Ef(x(\omega),y) \chi(x(\omega) \in K(R))+Ef(x(\omega),y) \chi(x(\omega) \notin K(R)) ( 7)

Рассмотрим второе слагаемое в (7). В силу (5)

f(x(\omega),y) \chi(x(\omega) \notin K(R)) \le D\{f(x(\omega),x_0) \chi(x(\omega) \notin K(R))+f(x_0,y) \chi(x(\omega) \notin K(R))\} ( 8)

Возьмем математическое ожидание от обеих частей (8):

Ef(x(\omega),y) \chi(x(\omega) \notin K(R)) \le D \int_{R}^{+\infty} tdP\{f(x(\omega),x_0) \le t\}+Df(x_0,x)P(x(\omega) \notin K(R)) ( 9)

В правой части (9) оба слагаемых стремятся к 0 при безграничном возрастании R: первое - в силу того, что

g(x_0)=Ef(x(\omega), x_0)=\int_0^{+\infty} tdP(f(x(\omega), x_0) \le t) < \infty

второе - в силу того, что распределение случайного элемента x(\omega) сосредоточено на Х и

\frac{X}{\bigcup_{R > 0}K(R)}= \oslash

Пусть U(x) - такая окрестность х (т.е. открытое множество, содержащее х ), для которой

sup \{f(y, x),  y \inU(x)\} < +\infty

Имеем

f(y, x_0) \le D(f(x_0, x)+f(x,y)) ( 10)

В силу (9) и (10) при безграничном возрастании R

Ef(x(\omega),y) \chi (x(\omega) \notin K(R)) \to 0 ( 11)

равномерно по y \in U(x) . Пусть R(0) таково, что левая часть (11) меньше \epsilon > 0 при R>R(0) и, кроме того, y \in U(x)\subseteq K(R(0)) . Тогда при R>R(0)

|g(y)-g(x)| \le |Ef(x(\omega),y) \chi(x(\omega), \in K(R))-Ef(x(\omega)mx)\chi(x(\omega) \in K(R))|+2 \epsilon ( 12)

Нас интересует поведение выражения в правой части формулы (12) при y \inU(x) . Рассмотрим f_1 - сужение функции f на замыкание декартова произведения множеств U(x) х K(R) , и случайный элемент x_1(\omega)=x(\omega) \chi(x(\omega) \in K(R)) Тогда

Ef(x(\omega),y) \chi(x(\omega) \in K(R))=Ef_1(x_1(\omega), y)

при y \in U(x) , а непрерывность функции g_1(y)=Ef_1(x_1(\omega),y) была доказана в теореме 1. Последнее означает, что существует окрестность U_1(x) точки х такая, что

|Ef_1(x_1(\omega),y)-Ef_1(x_1(\omega,x)| < \epsilon ( 13)

при y\inU_1(x) . Из (12) и (13) вытекает, что при y \in U(x) \bigcap U_1(x)

|g(y)-g(x)| < 3 \epsilon

что и доказывает непрерывность функции g(x) .

Докажем существование математического ожидания E(x,f) . Пусть R(0) таково, что

P(x(\omega) \in K(R(0))) > 1/2 ( 14)

Пусть H - некоторая константа, значение которой будет выбрано позже. Рассмотрим точку х из множества K(HR(0))^С - дополнения K(HR(0)) , т.е. из внешности шара радиуса HR(0) с центром в х_0. Пусть x(\omega) \in K(R(0)) Тогда имеем

f(x_0,x) \le D\{f(x_0,x(\omega))+f(x(\omega),x)\}

откуда

f(x(\omega), x) \ge \frac 1D f(x_0,x)-f(x_0, x(\omega)) \ge \frac{HR(0)}{D}-R(0) ( 15)

Выбирая H достаточно большим, получим с учетом условия (14), что при x\inK(HR(0))^С справедливо неравенство

Ef(x(\omega),x) \ge \frac 12 \left(\frac{HR(0)}{D}-R(0) \right) ( 16)

Можно выбрать H так, чтобы правая часть (16) превосходила g(x_0)=Ef(x(\omega), x_0)

Сказанное означает, что Argmin g(x) достаточно искать внутри бикомпактного множества K(HR(0)) . Из непрерывности функции g вытекает, что ее минимум достигается на указанном бикомпактном множестве, а потому - и на всем Х. Существование (непустота) теоретического среднего E(x,f) доказана.

Докажем существование эмпирического среднего E_n(f) . Есть искушение проводить его дословно так же, как и доказательство существования математического ожидания E(x,f) , лишь с заменой 1/2 в формуле (16) на частоту попадания элементов выборки x_i в шар K(R(0)) , каковая, очевидно, стремится к вероятности попадания случайного элемента ч=x(\omega) в K(R(0)) , большей 1/2 в соответствии с (14). Однако это рассуждение показывает лишь, что вероятность непустоты E_n(f) стремится к 1 при безграничном росте объема выборки. Точнее, оно показывает, что

\lim_{n \to \infty}P\{E_n(f) \ne \oslash \wedge E_n(f) \subseteq K(HR(0))\}=1

Поэтому пойдем другим путем, не опирающимся к тому же на вероятностную модель выборки. Положим

R(1)=\max\{f(x_i, x_0), i=1,2,\dots, n\} ( 17)

Если х входит в дополнение шара K(HR(1)) , то аналогично (15) имеем

f(x_i, x_0) \ge \frac{HR(1)}{D}-R(1) ( 18)

При достаточно большом H из (17) и (18) следует, что

\sum_{i=1}^n f(x_i, x_0) \le nR(1) < \sum_{i=1}^n f(x_i, x), x \in \{K(HR(1))\}^C

Следовательно, Argmin достаточно искать на K(HR(1)) . Заключение теоремы 2 следует из того, что на бикомпактном пространстве K(HR(1)) минимизируется непрерывная функция.

Теорема 2 полностью доказана.

Михаил Агапитов
Михаил Агапитов
ВКР
Подобед Александр
Подобед Александр
Как оплатить обучение?
Александр Юрков
Александр Юрков
Россия
Дмитрий Савостьянов
Дмитрий Савостьянов
Россия