НОУ ИНТУИТ | Прикладная статистика. Лекция 7: Проверка гипотез

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 09.11.2009 | Уровень: для всех | Доступ: платный

|

Вам нравится? Нравится 61 студенту

| Поделиться |

Поддержать программу

Пример 2. Пусть f(x) = 1/x при x > 0 и f(0)=0 . Пусть F(0,5) = 0 , т.е. предельное распределение сосредоточено на [1/2; 1]. Пусть распределение F_n на [0; 1/2) имеет единственный атом в точке x = 1/n величиной $n^{-1/2}$ , а на [1/2; 1] справедливо (10). Тогда по причинам, изложенным при доказательстве теоремы 1,

$\lim_{n\rightarrow\infty}\int\limits_{1/2}^1 f(x)dF_n(x)=\int\limits_{1/2}^1 f(x)dF(x),$

однако

$\int\limits_0^{1/2}f(x)dF_n(x)=\sqrt{n},\; \int\limits_0^{1/2}f(x)dF(x)=0,$

т.е. соотношение (11) не выполнено.

Условие ограниченности подынтегральной функции можно заменить, как это сделано, например, в [13], на условие строгого возрастания функции распределения .

Лемма. Пусть функции распределения всюду строго возрастает, т.е. из x_1 < x_2 вытекает F(x_1) < F(x_2) . Пусть функция интегрируема по Риману-Стилтьесу по , т.е. выполнено (14). Тогда функция ограничена.

Доказательство. Рассмотрим точки $0 = y_0 < y_1 < y_2 < ... < y_{2m} = 1$ и два разбиения

$T_1\{[0;y_1),[y_1;y_3)[y_3;y_5),...,[y_{2m-1};1]\}, T_2\{[0;y_2),[y_2;y_4)[y_4;y_6),...,[y_{2m-2};1]\},$

Тогда для любых двух точек и можно указать конечную последовательность точек $x_1 = x, x_2, x_3, ..., x_s, x_{s+1} = x'$ такую, что любые две соседние точки $x_i, x_{i+1}, i = 1, 2, ..., s$ , одновременно принадлежат некоторому элементу C_i разбиения T_1 или разбиения T_2 , причем $С_i \ne С_j$ при $i \ne j$ . Действительно, пусть $x\in [y_p;y_{p+1}),x'\in [y_q;y_{q+1})$ . Пусть для определенности q > p . Тогда можно положить $x_2 = y_{p+1}, x_3 = y_{p+2}, ..., x_s = y_q$ . Поскольку среди элементов разбиений T_1 и T_2 есть $C_1 = [y_p; y_{p+2})$ , то $x=x_1\in C_1, x_2=y_{p+1}\in C_1$ . Далее, $x_2\in [y_{p+1},y_{p+3}=C_2, x_3\in C_2$ , и т.д.

Из указанных выше свойств последовательности $x1 = x, x_2, x_3, ..., x_s, x_{s+1} = x'$ следует, что

$|f(x)-f(x')|\le\sum_{i=1}^S|f(x_{i+1})-f(x_i)|\le\sum_{C\in T_1}\delta(f,C)+\sum_{C\in T_2}\delta(f,C).$

Пусть теперь число $\max(y_i - y_{i-2)}$ настолько мало, что согласно (14)

$\sum_{C\in T_1}\delta(f,C)F(C)<1,\; \sum_{C\in T_2}\delta(f,C)F(C)<1.$

Тогда согласно двум последним соотношениям

$|f(x)-f(x')|\le 2[\min\{F(C):C\in T_1\cup T_2\}]^{-1},$

что и доказывает лемму.

Доказательство теоремы 2. Пусть условие (14) не выполнено, т.е. существуют число $\gamma> 0$ и последовательность разбиений T_n, n = 1, 2, .. ., такие, что $\max(y_i - y_{i-1}) \rightarrow 0$ при $n\rightarrow\infty$ и при всех

$\sum_{C\in T_n}\delta(f,C)F(C)\ge\gamma.$

( 20)

Для доказательства теоремы построим две последовательности функций распределения $F_{1n}$ и $F_{2n}, n = 1, 2, ..$ ., для которых выполнено (10), но последовательность

$\delta_n=\int\limits_0^1 f(x)dF_{1n}(x)-\int\limits_0^1 f(x)dF_{2n}(x)$

не стремится к 0 при $n\rightarrow\infty$ . Тогда (11) не выполнено хотя бы для одной из последовательностей $F_{1n}$ и $F_{2n}$ .

Для любого - элемента некоторого разбиения - можно указать, как вытекает из определения $\delta(f,C)$ , точки x_1(C) и x_2(C) такие, что

$f(x_1(C))-f(x_2(C)) > 1/2 \delta(f, C).$

( 21)

Построим $F_{1n}$ и $F_{2n}$ следующим образом. Пусть $F_{1n}(C) = F_{2n}(C) = F(C)$ для любого из T_n . При этом $F_{1n}$ имеет в один атом в точке x_1(C) величиной F(C) , а $F_{2n}$ имеет в также один атом в точке x_2(C) той же величины F(C) . Другими словами, распределение $F_{1n}$ в сосредоточено в одной точке, а именно, в x_1(C) , а распределение $F_{2n}$ сосредоточено в x2(C) . Тогда

$\delta_n=\sum_{C\in T_n}(f(x_1(C))-f(x_2(C)))F(C).$

( 22)

Из (20), (21) и (22) следует, что

$\delta_n\ge\frac12 \sum_{C\in T_n}\delta(f,C)F(C)\ge\frac{\gamma}{2}.$

Остается показать, что для последовательностей функций распределения $F_{1n}$ и $F_{2n}$ выполнено (10). Пусть - точка непрерывности . Пусть

$y_1(x,T)=\max\{y_{kn}:y_{kn}< x\},\;y_2(x,T)=\min\{y_{kn}:y_{kn}> x\},$

где $y_{kn}$ - точки, определяющие разбиения T_n

согласно (12). В соответствии с определением $F_{in}$

$F_{in}(y_j(x, T_n))= F(y_j(x, T_n)), i = 1, 2, j = 1, 2,$

а потому

$|F_{in}(x)-F(x)|\le F(y_2(x,T_n))-F(y_1(x,T_n)), i=1,2.$

В силу условия $\max(y_kn - y_{(k-1)n}) \rightarrow 0$ и непрерывности в точке правая часть последнего соотношения стремится к 0 при $n\rightarrow\infty$ , что и заканчивает доказательство теоремы 2.

Теоремы 1 и 2 демонстрируют основные идеи предельной теории статистик интегрального типа и непараметрических критериев в целом. Как показывают эти теоремы, основную роль в рассматриваемой теории играет предельное соотношение (14). Отметим, что если $\delta(f, T_n) \rightarrow 0$ при $n\rightarrow\infty$ , то (14) справедливо, но, вообще говоря, не наоборот. Естественно возникает еще ряд постановок. Пусть (14) выполнено для f_1 и f_2 . При каких функциях это соотношение выполнено для h(x, f_1(x), f_2(x)) ? В прикладной статистике вместо f(x) рассматривают $f_{\alpha}(x,\omega)$ и $f(x, \omega)$ , а вместо интегрирования по функциям распределения F_n(x) - интегрирование по случайным мерам $F_{\alpha}(\omega)$ . Как меняются формулировки в связи с такой заменой? В связи со слабой сходимостью (т.е. сходимостью по распределению) $A_T f_{\alpha}$ к A_T и переходом от $f_{\alpha}(x,\omega)$ к $h_{\alpha}(x, f_{1\alpha}(x, \omega), f_{2\alpha}(x,\omega))$ возникает следующая постановка. Пусть $\kappa_{\alpha}$ слабо сходится к $\kappa$ при $\alpha\rightarrow\infty$ . Когда распределения $g_{\alpha}(\kappa_{\alpha})$ сближаются с распределениями $g_{\alpha}(\kappa)$ ? Полным ответом на последний вопрос являются необходимые и достаточные условия наследования сходимости. Они приведены в "Теоретическая база прикладной статистики" .

Основные результаты. Наиболее общая теорема типа теоремы 1 выглядит так [ [ 4.19 ] ].

Теорема 3. Пусть существует последовательность разбиений T_n, n = 1, 2, .. ., такая, что при $n\rightarrow\infty$ и $\alpha\rightarrow\infty$ (сходимость по вероятности)

$\Delta(f_{alpha},T_n)=\sum_{C\in T_n} \delta(f_{\alpha},C)F(C)\rightarrow 0.$

( 23)

Пусть для любого , входящего хотя бы в одно из разбиений T_n ,

$F_{\alpha}(C,\omega)\rightarrow F(C)$

( 24)

при $\alpha\rightarrow\infty$ (сходимость по вероятности). Пусть $f_{\alpha}$ асимптотически ограничены по вероятности при $\alpha\rightarrow\infty$ . Тогда

$\xi(f_{\alpha},F_{\alpha})-\xi(f_{\alpha},F)\rightarrow 0$

( 25)

при $\alpha\rightarrow\infty$ (сходимость по вероятности).

Как известно, полное сепарабельное метрическое пространство называется польским. Это понятие понадобится для формулировки аналога теоремы 2.

Теорема 4. Пусть - польское пространство, конечномерно, существует измельчающаяся последовательность T_n разбиений, для которой соотношение (23) не выполнено. Тогда существует удовлетворяющая (24) последовательность $F_{\alpha}$ , для которой соотношение (25) неверно, хотя $F_{\alpha}$ слабо сходится к при $\alpha\rightarrow\infty$ .

Условие (23) естественно назвать условием римановости, поскольку в случае, рассмотренном в теореме 1, оно является условием интегрируемости по Риману-Стилтьесу. Рассмотрим наследуемость римановости при переходе от $f_{1\alpha}(x,\omega)$ со значениями в Y_1 и $f_{2\alpha}(x,\omega)$ со значениями в Y_2 , удовлетворяющих (23), к $h_{\alpha}(x, f_{1\alpha}(x,\omega), f_{2\alpha}(x,\omega))$ со значениями в Y_3 .

Положим

$Y_k(a,\omega)=\{(y,y'):y\in Y_k,y'\in Y_k,||y||_k<a,||y'||<a,||y-y'||<\omega\},k=1,2,$

где $||\cdot||_k$ - норма (т.е. длина вектора) в пространстве Y_k, k = 1, 2

. Рассмотрим также множества

$A(C,a,\omega)=\{(x,x',y_1,y_1^*,y_2,y_2^*):x,x'\in C,(y_k,y_k^*)\in Y_k(a,\omega),k=1,2\}$

и функции

$q_{\alpha}(x,x',y_1,y_1^*,y_2,y_2^*)=h_{\alpha}(x,y_1,y_2)-h_{\alpha}(x',y_1^*,y_2^*).$

Наконец, понадобится измеритель колеблемости

$c(h_{\alpha},T,a,\omega)=\sum_{C\in T}\sup_{A(C,a,\omega)}||q_{\alpha}||_3 F(C)$

и множество

$Z(a)=X\times\{y_1:||y_1||<a\}\times\{y_2:||y_2||<a\}.$

Теорема 5. Пусть $h_{\alpha}$ асимптотически (при $\alpha\rightarrow \infty$ ) ограничены на Z(a) при любом положительном , функции $f_{1\alpha}$ и $f_{2\alpha}$ асимптотически ограничены по вероятности и удовлетворяют условию (23). Пусть для участвующей в (23) последовательности T_n

$c(h_{\alpha},T_n,a,\omega)\rightarrow 0$

( 26)

при $\alpha\rightarrow\infty, n\rightarrow\infty, \omega\rightarrow 0$ и любом положительном

. Тогда $f_{3\alpha}(x,\omega) = h\alpha(x, f_{1\alpha}(x,\omega), f_{2\alpha}(x,\omega))$ удовлетворяют условию (23) и асимптотически ограничены по вероятности.

Теорема 6. Пусть условие (26) не выполнено для $h_\alpha$ . Тогда существуют детерминированные ограниченные функции $f_{1\alpha}$ и $f_{2\alpha}$ такие, что соотношение (23) выполнено для $f_{1\alpha}$ и $f_{2\alpha}$ и не выполнено для $f_{3\alpha}$ .

Пример 3. Пусть X = [0; 1]^k , пространства Y_1 и Y_2 конечномерны, функция $h_{\alpha}\equiv h(x, y_1, y_2)$ непрерывна. Тогда условие (26) выполнено.

С помощью теорем 3 и 5 и результатов о наследовании сходимости можно изучить асимптотическое поведение статистик интегрального типа

$\xi_{\alpha}\int\limits_X h_{\alpha}(x,f_{1\alpha}(x,\omega),f_{2\alpha}(x,\omega))F_{\alpha}(dx,\omega)$

со значениями в банаховом пространстве

.

Теорема 7. Пусть для некоторой последовательности T_n разбиений справедливы соотношения (23) для $f_{1\alpha}$ и $f_{2\alpha}$ и (24) для $F_{\alpha}$ . Пусть последовательность функций $h_{\alpha}$ удовлетворяет условию в теореме 5, конечномерные распределения $(f_{1\alpha}(x,\omega),f_{2\alpha}(x,\omega))$ слабо сходятся к конечномерным распределениям $(f_1(x,\omega),f_2(x,\omega))$ , причем для f_1 и f_2 справедливо соотношение (23). Тогда

$\lim_{\alpha\rightarrow\infty}L(\xi_{\alpha},\eta_{\alpha})=0,$

где

- расстояние Прохорова (см. 4.3),

$\eta_{\alpha}=\int\limits_X h_{\alpha}(x,f_1,(x,\omega),f_2(x,\omega))F(dx).$

Теорема 7 дает общий метод получения асимптотических распределений статистик интегрального типа. Важно, что соотношение (23) выполнено для эмпирического процесса и для процессов, связанных с оцениванием параметров при проверке согласия [ [ 4.19 ] ].

Один из выводов общей теории состоит в том, что в качестве $F_{\alpha}$ можно использовать практически любую состоятельную оценку истинной функции распределения. Этот вывод использовался при построении критерия типа омега-квадрат для проверки симметрии распределения относительно 0 и обнаружения различий в связанных выборках ( "Статистический анализ числовых величин" ).

Асимптотическое поведение критериев типа Колмогорова может быть получено с помощью описанного выше метода аппроксимации ступенчатыми функциями. Этот метод не требует обращения к теории сходимости вероятностных мер в функциональных пространствах. Для критериев Колмогорова и Смирнова достаточно использовать лишь свойства эмпирического процесса и броуновского моста. В случае проверки согласия добавляется необходимость изучения еще одного случайного процесса. Он является разностью между двумя функциями распределения. Одна - функция распределения элементов выборки. Вторая - случайный член параметрического семейства распределений, полученный путем подстановки оценок параметров вместо их истинных значений.

Дальше >>

Прикладная статистика

Прикладная статистика

Проверка гипотез

Вопросы и ответы

Студенты

Авторизоваться

Прикладная статистика

Прикладная статистика

Проверка гипотез

Вопросы и ответы

Студенты