НОУ ИНТУИТ | Прикладная статистика. Лекция 5: Описание данных

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 09.11.2009 | Доступ: свободный | Студентов: 4079 / 1033 | Оценка: 4.66 / 4.45 | Длительность: 54:13:00

Темы: Математика, Экономика

Специальности: Экономист

|

Вам нравится? Нравится 61 студенту

| Поделиться |

Поддержать курс

| Скачать электронную книгу

О формулировках законов больших чисел. Пусть x, x_1, x_2, ..., x_n - независимые одинаково распределенные случайные элементы со значениями в . Закон больших чисел - это утверждение о сходимости эмпирических средних к теоретическому среднему (математическому ожиданию) при росте объема выборки , т.е. утверждение о том, что

$E_n(f)=E_n(x_1,x_2,x_3,...,x_n;f)\rightarrow E(x,f)$

( 19)

при $n\rightarrow\infty$ . Однако и слева, и справа в формуле (19) стоят, вообще говоря, множества. Поэтому понятие сходимости в (19) требует обсуждения и определения.

В силу классического закона больших чисел при $n\rightarrow\infty$

$\frac{1}{n}\sum_{i=1}^n f(x_i,y)\rightarrow Mf(x,y)$

( 20)

в смысле сходимости по вероятности, если правая часть существует (теорема А.Я. Хинчина, 1923 г.).

Если пространство состоит из конечного числа элементов, то из соотношения (20) легко вытекает (см., например, [ [ 1.15 ] , с.192-193]), что

$\lim_{n\rightarrow\infty}P\{E_n(f)\subseteq E(x,f)\}=1.$

( 21)

Другими словами, E_n(f) является состоятельной оценкой E(x, f) .

Если E(x, f) состоит из одного элемента, $E(x,f)={x_0}$ , то соотношение (21) переходит в следующее:

$\lim_{n\rightarrow\infty}P\{E_n(f)=\{x_0\}\}=1.$

( 22)

Однако с прикладной точки зрения доказательство соотношений (21) - (22) не дает достаточной уверенности в возможности использования E_n(f) в качестве оценки E(x,f) . Причина в том, что в процессе доказательства объем выборки предполагается настолько большим, что при всех $y\in X$ одновременно левые части соотношений (20) сосредотачиваются в непересекающихся окрестностях правых частей.

Замечание. Если в соотношении (20) рассмотреть сходимость с вероятностью 1, то аналогично (21) получим так называемый усиленный закон больших чисел [ [ 1.15 ] , с.193-194]. Согласно этой теореме с вероятностью 1 эмпирическое среднее E_n(f) входит в теоретическое среднее E(x,f) , начиная с некоторого объема выборки , вообще говоря, случайного, $n=n(\omega)$ . Мы не будем останавливаться на сходимости с вероятностью 1, поскольку в соответствующих постановках, подробно разобранных в монографии [ [ 1.15 ] ], нет принципиальных отличий от случая сходимости по вероятности.

Если не является конечным, например, X = R^1, то соотношения (21) и (22) неверны. Поэтому необходимо искать иные формулировки закона больших чисел. В классическом случае сходимости выборочного среднего арифметического к математическому ожиданию, т.е. $\overline{x}\rightarrow M(x)$ , можно записать закон больших чисел так: для любого $\varepsilon>0$ справедливо предельное соотношение

$\lim_{n\rightarrow\infty}P\{\overline{x}\in(M(x)-\varepsilon;M(x)+\varepsilon)\}=1.$

( 23)

В этом соотношении в отличие от (21) речь идет о попадании эмпирического среднего $E_n(f)=\overline{x}$ не непосредственно внутрь теоретического среднего E(x,f) , а в некоторую окрестность теоретического среднего.

Обобщим эту формулировку. Как задать окрестность теоретического среднего в пространстве произвольной природы? Естественно взять его окрестность, определенную с помощью какой-либо метрики. Однако полезно обеспечить на ее дополнении до отделенность множества значений $Мf(x(\omega),y)$ как функции от минимума этой функции на всем .

Поэтому мы сочли целесообразным определить такую окрестность с помощью самой функции $Мf(x(\omega),y)$ .

Определение 3. Для любого $\varepsilon>0$ назовем $\varepsilon$ -пяткой функции g(x) множество

$K_{\varepsilon}(g)=\{x:g(x)<\inf\{d(y),y\in X\}+\varepsilon,x\in X\}.$

Таким образом, в $\varepsilon$ -пятку входят все те , для которых значение g(x) либо минимально, либо отличается от минимального (или от инфимума - точной нижней грани) не более чем на $\varepsilon$ . Так, для X = R^1 и функции g(x) = х^2 минимум равен 0, а $\varepsilon$ -пятка имеет вид интервала $(-\sqrt{\varepsilon};\sqrt{\varepsilon})$ . В формулировке (23) классического закона больших чисел утверждается, что при любом $\varepsilon>0$ вероятность попадания среднего арифметического в $\sqrt{\varepsilon}$ -пятку математического ожидания стремится к 1. Поскольку $\varepsilon>0$ произвольно, то вместо $\sqrt{\varepsilon}$ -пятки можно говорить о $\varepsilon$ -пятке, т.е. перейти от (23) к эквивалентной записи

$\lim_{n\rightarrow\infty}P\{\overline(x)\in K_{\varepsilon}(M(x(\omega)-x)^2)\}=1.$

( 24)

Соотношение (24) допускает непосредственное обобщение на общий случай пространств произвольной природы.

Схема закона больших чисел. Пусть x,x_1,x_2,x_3,...,x_n - независимые одинаково распределенные случайные элементы со значениями в пространстве произвольной природы с показателем различия $f: X^2\rightarrow R^1$ . Пусть выполнены некоторые математические условия регулярности. Тогда для любого $\varepsilon>0$ справедливо предельное соотношение

$\lim_{n\rightarrow\infty}P\{E_n(f)\subseteq K_{\varepsilon}(E(x,f))\}=1.$

( 25)

Аналогичным образом может быть сформулирована и общая идея усиленного закона больших чисел. Ниже приведены две конкретные формулировки "условий регулярности".

Законы больших чисел. Начнем с рассмотрения естественного обобщения конечного множества - бикомпактного пространства .

Теорема 3. В условиях теоремы 1 справедливо соотношение (25).

Доказательство. Воспользуемся построенным при доказательстве теоремы 1 конечным открытым покрытием ${Z_1, Z_2, ..., Z_k}$ пространства таким, что для него выполнено соотношение (3). Построим на его основе разбиение на непересекающиеся множества W_1, W_2, ..., W_m (объединение элементов разбиения составляет ). Это можно сделать итеративно. На первом шаге из Z_1 следует вычесть Z_2, ..., Z_k - это и будет W_1 . Затем в качестве нового пространства надо рассмотреть разность и W_1 , а покрытием его будет $\{Z_2, ..., Z_k}$ . И так до -го шага, когда последнее из рассмотренных покрытий будет состоять из единственного открытого множества Z_k . Остается из построенной последовательности W_1, W_2, ..., W_k вычеркнуть пустые множества, которые могли быть получены при осуществлении описанной процедуры (поэтому, вообще говоря, может быть меньше ).

В каждом из элементов разбиения W_1, W_2, ..., W_m выберем по одной точке, которые назовем центрами разбиения и соответственно обозначим . Это и есть то конечное множество, которым можно аппроксимировать бикомпактное пространство . Пусть входит в W_j . Тогда из соотношения (3) вытекает, что

$\left| \frac{1}{n}\sum_{i=1}^n f(x_i,y)-\frac{1}{n}\sum_{i=1}^n f(x_i,w_y) \right| <\varepsilon.$

( 26)

Перейдем к доказательству соотношения (25). Возьмем произвольное $\delta>0$ . Рассмотрим некоторую точку из E(x,f) . Доказательство будет основано на том, что с вероятностью, стремящейся к 1, для любого вне $K_{\delta}(E(x,f))$ выполнено неравенство

$\frac{1}{n}\sum_{i=1}^n f(x_i,y)>\frac{1}{n}\sum_{i=1}^n f(x_i,b).$

( 27)

Для обоснования этого неравенства рассмотрим все элементы разбиения W_1, W_2, ..., W_m , имеющие непустое пересечение с внешностью $\delta$ -пятки $K_{\delta}(E(x,f))$ . Из неравенства (26) следует, что для любого вне $K_{\delta}(E(x,f))$ левая часть неравенства (27) не меньше

$\min_j \left( \frac(1)(n)\sum_{i=1}^n f(x_i,w_j) \right) -\varepsilon,$

( 28)

где минимум берется по центрам всех элементов разбиения, имеющим непустое пересечение с внешностью $\delta$ -пятки. Возьмем теперь в каждом таком разбиении точку v_i , лежащую вне $\delta$ -пятки $K_{\delta}(E(x,f))$ . Тогда из неравенств (3) и (28) следует, что левая часть неравенства (27) не меньше

$\min_j \left( \frac(1)(n)\sum_{i=1}^n f(x_i,w_j) \right) -2\varepsilon,$

( 29)

В силу закона больших чисел для действительнозначных случайных величин каждая из участвующих в соотношениях (27) и (29) средних арифметических имеет своими пределами соответствующие математические ожидания, причем в соотношении (29) эти пределы не менее

$Mf(x(\omega),b)+\delta-2\varepsilon,$

поскольку точки v_i

лежат вне $\delta$ -пятки $K_{\delta}(E(x,f))$ . Следовательно, при

$\delta-2\varepsilon>0$

и достаточно большом , обеспечивающем необходимую близость рассматриваемого конечного числа средних арифметических к их математическим ожиданиям, справедливо неравенство (27).

Из неравенства (27) следует, что пересечение E_n(f) с внешностью $K_{\delta}(E(x,f))$ пусто. При этом точка может входить в E_n(f) , а может и не входить. Во втором случае E_n(f) состоит из иных точек, входящих в $K_{\delta}(E(x,f))$ . Теорема 3 доказана.

Если не является бикомпактным пространством, то необходимо суметь оценить рассматриваемые суммы "на периферии", вне бикомпактного ядра, которое обычно выделяется естественным путем. Один из возможных комплексов условий сформулирован выше в теореме 2.

Теорема 4. В условиях теоремы 2 справедлив закон больших чисел, т.е. соотношение (25).

Доказательство. Будем использовать обозначения, введенные в теореме 2 и при ее доказательстве. Пусть и , r<R - положительные числа. Рассмотрим точку в шаре K(r) и точку вне шара K(R) . Поскольку

$f(x_0,y)\le D\{f(x_0,x)+f(x,y)\},$

то

$f(x,y)\ge\frac{1}{D}f(x_0,y)-f(x_0,x)\ge\frac{R}{D}-r.$

( 30)

Положим

$g_n(x)=g_n(x,\omega)=\frac{1}{n}\sum_{i=1}^n f(x_i,x).$

Сравним g_n(x_0) и g_n(y) . Выборку x_1,x_2,...,x_n разобьем на две части. В первую часть включим те элементы выборки, которые входят в K(r) , во вторую - все остальные (т.е. лежащие вне K(r) ). Множество индексов элементов первой части обозначим I = I(n,r) . Тогда в силу неотрицательности имеем

$g_n(y)\ge\frac{1}{n}\sum_{i\in I} f(x_i,y),$

а в силу неравенства (30)

$\sum_{i\in I}f(x_i,y)\ge\left(\frac{R}{D}-r\right)CardI(n,r),$

где

- число элементов в множестве индексов I(n,r)

. Следовательно,

$g_n(y)\ge\frac{1}{n}\left(\frac{R}{D}-r\right)J,$

( 31)

где

- биномиальная случайная величина B(n,p)

с вероятностью успеха $p=P\{x_i(\omega)\in K(r)\}$ . По теореме Хинчина для

справедлив классический закон больших чисел. Пусть $\varepsilon>0$ . Выберем $n_1=n_1(\varepsilon)$ так, чтобы при n>n_1

было выполнено сооxтношение

$P\{g_n(x_0)-g(x_0)>\varepsilon\}<\varepsilon,$

( 32)

где

. Выберем

так, чтобы вероятность успеха p>0,6

. По теореме Бернулли можно выбрать $n_2=n_2(\varepsilon)$ так, чтобы при n>n_2

$P\{J>0,5n\}>1-\varepsilon.$

( 33)

Выберем так, чтобы

$\frac12\left(\frac{R}{D}-r\right)>g(x_0)+\varepsilon.$

Тогда

$K_{\varepsilon}(g)\subseteq k(R)$

( 34)

и согласно (31), (32) и (33) при $n>n_3=\max(n_1,n_2)$ с вероятностью не менее $1-\varepsilon$ имеем

( 35)

для любого

вне

. Из (34) следует, что минимизировать g_n

достаточно внутри бикомпактного шара K(R)

, при этом E_n(f)

не пусто и

$E_n(f)\subseteq K(R)$

( 36)

с вероятностью не менее $1-2\varepsilon$ .

Пусть g'_n и - сужения g_n и $g(x)=Mf(x(\omega),x)$ соответственно на K(R) как функций от . В силу (34) справедливо равенство $K_{\varepsilon}(g')=K_{\varepsilon}(f)$ . Согласно доказанной выше теореме 3 найдется $n_4=n_4(\omega)$ такое, что

$P(K_0(g'_n)\subseteq K_{\varepsilon}(g))>1-\varepsilon.$

Согласно (36) с вероятностью не менее $1-2\varepsilon$

при

. Следовательно, при $n>n_5(\varepsilon)=\max(n_3,n_4)$ имеем

$P(E_n(f)\subseteq K_{\varepsilon}(g))>1-3\varepsilon,$

что и завершает доказательство теоремы 4.

Справедливы и иные варианты законов больших чисел, полученные, в частности, в статье [ [ 1.17 ] ].

Медиана Кемени и экспертные оценки. Рассмотрим на основе развитой выше теории частный случай пространств нечисловой природы - пространство бинарных отношений на конечном множестве $Q=\{q_1,q_2,...,q_k\}$ и его подпространства. Как известно, каждое бинарное отношение можно описать матрицей ||a(i,j)|| из 0 и 1, причем a(i,j) = 1 тогда и только тогда q_i и q_j находятся в отношении , и a(i,j) = 0 в противном случае.

Определение 4. Расстоянием Кемени между бинарными отношениями и , описываемыми матрицами ||a(i,j)|| и ||b(i,j)|| соответственно, называется

$d(A,B)=\sum_{i,j=1}^k|a(i,j)-b(i,j)|.$

Замечание. Иногда в определение расстояния Кемени вводят множитель, зависящий от .

Определение 5. Медианой Кемени для выборки, состоящей из бинарных отношений, называется эмпирическое среднее, построенное с помощью расстояния Кемени.

Поскольку число бинарных отношений на конечном множестве конечно, то эмпирические и теоретические средние для произвольных показателей различия существуют и справедливы законы больших чисел, описанные формулами (21) и (22) выше.

Бинарные отношения (в частности, упорядочения) часто используются для описания мнений экспертов. Тогда расстояние Кемени измеряет близость мнений экспертов, а медиана Кемени позволяет находить итоговое усредненное мнение комиссии экспертов. Расчет медианы Кемени обычно включают в информационное обеспечение систем принятия решений с использованием оценок экспертов. Речь идет, например, о математическом обеспечении автоматизированного рабочего места "Математика в экспертизе" (АРМ "МАТЭК"), предназначенного, в частности, для использования при проведении экспертиз в задачах экологического страхования. Поэтому представляет большой практический интерес численное изучение свойств медианы Кемени при конечном объеме выборки. Такое изучение дополняет описанную выше асимптотическую теорию, в которой объем выборки предполагается безгранично возрастающим $(n\rightarrow\infty)$ .

Компьютерное изучение свойств медианы Кемени при конечных объемах выборок. С помощью специально разработанной программной системы В.Н. Жихаревым был проведен ряд серий численных экспериментов по изучению свойств выборочных медиан Кемени. Полученные результаты приводится в табл.5, взятой из статьи [ [ 5.5 ] ]. В каждой серии методом статистических испытаний определенное число раз моделировался случайный и независимый выбор экспертных ранжировок, а затем находились все медианы Кемени для смоделированного набора мнений экспертов. При этом в сериях 1-5 распределение ответа эксперта предполагалось равномерным на множестве всех ранжировок. В серии 6 это распределение являлось монотонным относительно расстояния Кемени с некоторым центром (о понятии монотонности см. выше), т.е. вероятность выбора определенной ранжировки убывала с увеличением расстояния Кемени этой ранжировки от центра. Таким образом, серии 1-5 соответствуют ситуации, когда у экспертов нет почвы для согласия, нет группировки их мнений относительно некоторого единого среднего группового мнения, в то время как в серии 6 есть единое мнение - описанный выше центр, к которому тяготеют ответы экспертов.

Результаты, приведенные в табл.5.5, можно комментировать разными способами. Неожиданным явилось большое число элементов в выборочной медиане Кемени - как среднее, так и особенно максимальное. Одновременно обращает на себя внимание убывание этих чисел при росте числа экспертов и особенно при переходе к ситуации реального существования группового мнения (серия 6). Достаточно часто один из ответов экспертов входит в медиану Кемени (т.е. пересечение множества ответов экспертов и медианы Кемени непусто), а диаметр медианы как множества в пространстве ранжировок заметно меньше диаметра множества ответов экспертов. По этим показателям - наилучшее положение в серии 6. Грубо говоря, всяческие "патологии" в поведении медианы Кемени наиболее резко проявляются в ситуации, когда ее применение не имеет содержательного обоснования, т.е. когда у экспертов нет основы для согласия, их ответы равномерно распределены на множестве ранжировок.

Таблица 5.5. Вычислительный эксперимент по изучению свойств медианы Кемени
Номер серии	1	2	3	4	5	6
Число испытаний	100	1000	50	50	1000	1000
Количество объектов	5	5	7	7	5	5
Количество экспертов	10	30	10	30	10	10
Частота непустого пересечения	0,85	0,58	0,52	0,2	0,786	0,911
Среднее отношение диаметров	0,283	0,124	0,191	0,0892	0,202	0,0437
Средняя мощность медианы	5,04	2,41	6,4	2,88	3,51	1,35
Максимальная мощность медианы	30	14	19	11	40	12

Увеличение числа испытаний в 10 раз при переходе от серии 1 к серии 5 не очень сильно повлияло на приведенные в таблице характеристики, поэтому представляется, что суть дела выявляется при числе испытаний (в методе Монте-Карло), равном 100 или даже 50. Увеличение числа объектов или экспертов увеличивает число элементов в рассматриваемом пространстве ранжировок, а потому уменьшается частота попадания какого-либо из мнений экспертов внутрь медианы Кемени, а также отношение диаметра медианы к диаметру множества экспертов и число элементов медианы Кемени (среднее и максимальное). Можно сказать, что увеличение числа объектов или экспертов уменьшает степень дискретности задачи, приближает ее к непрерывному случаю, а потому уменьшает выраженность различных "патологий".

Есть много интересных результатов, которые здесь не рассматриваются. Они связаны, в частности, со сравнением медианы Кемени с другими методами усреднения мнений экспертов, например, с нахождением итогового упорядочения по методу средних рангов [ [ 2.15 ] ], а также с использованием малых окрестностей ответов экспертов для поиска входящих в медиану ранжировок, с теоретической и численной оценкой скорости сходимости в законах больших чисел.

Дальше >>

Авторизоваться

Прикладная статистика

Описание данных

Вопросы и ответы