НОУ ИНТУИТ | Эконометрика. Лекция 4: Статистический анализ числовых величин (непараметрическая статистика)

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 16.12.2009 | Уровень: для всех | Доступ: платный

|

Вам нравится? Нравится 55 студентам

| Поделиться |

Поддержать программу

Критерий Крамера-Уэлча равенства математических ожиданий. Вместо критерия Стьюдента предлагаем для проверки H'₀ использовать критерий Крамера-Уэлча [12], основанный на статистике

$T=\frac{\sqrt{mn}(\bar x - \bar y)}{\sqrt{ns_x^2+ms_y^2}}$

( 6)

Критерий Крамера-Уэлча имеет прозрачный смысл - разность выборочных средних арифметических для двух выборок делится на естественную оценку среднего квадратического отклонения этой разности. Естественность указанной оценки состоит в том, что неизвестные статистику дисперсии заменены их выборочными оценками. Из многомерной центральной предельной теоремы и из теорем о наследовании сходимости [11] вытекает, что при росте объемов выборок распределение статистики Т Крамера-Уэлча сходится к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Итак, при справедливости H'_0 и больших объемах выборок распределение статистики приближается с помощью стандартного нормального распределения Ф(х) , из таблиц которого следует брать критические значения.

При т=п , как следует из формул (1) и (6), t=T . При $т \ne п$ этого равенства нет. В частности, при s_x^2 в (1) стоит множитель (m-1) , а в (6)- множитель .

Если $M(X) \ne M(Y)$ , то при больших объемах выборок

$P(T \le X) \approx Ф(x-c_{mn})$

( 7)

где

$c_{mn}=\frac{\sqrt{mn}[M(X)-M(Y)]}{\sqrt{nD(X)+mD(Y)}}$

( 8)

При т=п или D(X)=D(Y) , согласно формулам (3) и (8), $a_{mn}=c_{mn},$ в остальных случаях равенства нет.

Из асимптотической нормальности статистики , формул (7) и (8) следует, что правило принятия решения для критерия Крамера-Уэлча выглядит так:

если $|T| \le Ф^{-1} \left( 1-\frac{\alpha}{2} \right)$ то гипотеза однородности (равенства) математических ожиданий принимается на уровне значимости $\alpha$
если же $|T| > Ф^{-1} \left( 1-\frac{\alpha}{2} \right)$ то гипотеза однородности (равенства) математических ожиданий отклоняется на уровне значимости $\alpha$ .

В эконометрике наиболее часто применяется уровень значимости $\alpha=0.05$ Тогда значение модуля статистики Крамера-Уэлча надо сравнивать с граничным значением $Ф^{-1} \left( 1- \frac{\alpha}{2}\right)=1.96$ .

Из сказанного выше следует, что применение критерия Крамера-Уэлча не менее обосновано, чем применение критерия Стьюдента. Дополнительное преимущество - не требуется равенства дисперсий D(X)=D(Y) . Распределение статистики Т не является распределением Стьюдента, однако и распределение статистики , как показано выше, не является таковым в реальных ситуациях.

Распределение статистики при объемах выборок т=п=6, 8, 10, 12 и различных функциях распределений выборок F(x) и G(x) изучено нами совместно с Ю.Э. Камнем и Я.Э. Камнем методом статистических испытаний (Монте-Карло). Рассмотрены различные варианты функций распределения F(x) и G(x) . Результаты показывают, что даже при таких небольших объемах выборок точность аппроксимации предельным стандартным нормальным распределением вполне удовлетворительна. Поэтому представляется целесообразным во всех тех случаях, когда в настоящее время используется критерий Стьюдента, заменить его на критерий Крамера-Уэлча. Конечно, такая замена потребует переделки ряда нормативно-технических и методических документов, исправления учебников и учебных пособий для вузов.

Пример. Пусть объем первой выборки $m=120. \bar x=13.7, s_x=5.3$ Для второй выборки $n=541, \bar y=14.1, s_y=8.4$ Вычислим величину статистики Крамера-Уэлча

$T=\frac{\sqrt{mn}(\bar x-\bar y)}{\sqrt{ns_x^2+ms_y^2}}=\frac{\sqrt{120*541}(13.7-14.1)}{\sqrt{541*5.3^2+120*8.4^2}}=\frac{\sqrt{64920}(-0.4)}{\sqrt{541*28.09+120*70.56}}=\frac{254.79*(-0.4)}{\sqrt{15196.69+8467.2}}=\frac{-101.916}{\sqrt{23633.89}}=\frac{-101.916}{153.83}=-0.66$

Поскольку полученное значение по абсолютной величине меньше 1,96, то гипотеза однородности математических ожиданий принимается на уровне значимости 0,05.

Непараметрические методы проверки однородности. В большинстве экономических и технико-экономических задач представляет интерес не проверка равенства математических ожиданий или иных характеристик распределения, а обнаружение различия генеральных совокупностей, из которых извлечены выборки, т.е. проверка гипотезы H_0 . Методы проверки гипотезы H_0 позволяют обнаружить не только изменение математического ожидания, но и любые иные изменения функции распределения результатов наблюдений при переходе от одной выборки к другой (увеличение разброса, появление асимметрии и т. д.). Как установлено выше, методы, основанные на использовании статистик Стьюдента и Т Крамера-Уэлча, не позволяют проверять гипотезу H_0. Априорное предположение о принадлежности функций распределения F(x) и G(x) к какому-либо определенному параметрическому семейству (например, семействам нормальных, логарифмически нормальных, распределений Вейбулла-Гнеденко, гамма-распределений и др.), как показано выше, обычно нельзя достаточно надежно обосновать. Поэтому для проверки H_0 следует использовать методы, пригодные при любом виде F(x) и G(x) , т.е. непараметрические методы. (Термин "непараметрический метод" означает, что при использовании этого метода нет необходимости предполагать, что функции распределения результатов наблюдений принадлежат какому-либо определенному параметрическому семейству.)

Для проверки гипотезы H_0 разработано много непараметрических методов - критерии Смирнова, типа омега-квадрат (Лемана-Розенблатта), Вилкоксона (Манна-Уитни), Ван-дер-Вардена, Сэвиджа, хи-квадрат и др.. Распределения статистик всех этих критериев при справедливости H_0 не зависят от конкретного вида совпадающих функций распределения F(x) G(x) . Следовательно, таблицами точных и предельных (при больших объемах выборок) распределений статистик этих критериев и их процентных точек можно пользоваться при любых непрерывных функциях распределения результатов наблюдений.

Каким из непараметрических критериев пользоваться? Как известно [10], для выбора одного из нескольких критериев необходимо сравнить их мощности, определяемые видом альтернативных гипотез. Сравнению мощностей критериев посвящена обширная литература.

Хорошо изучены свойства критериев при альтернативной гипотезе сдвига

$H_{1c} : G(x)=F(x-d), d \ne 0.$

Критерии Вилкоксона, Ван-дер-Вардена и ряд других ориентированы для применения именно в этой ситуации. Если раз измеряют характеристику одного объекта и раз - другого, а функция распределения погрешностей измерения произвольна, но не меняется при переходе от объекта к объекту (это более жесткое требование, чем условие равенства дисперсий), то рассмотрение гипотезы $H_{1c}$ оправдано. Однако в большинстве экономических и технико-экономических исследований нет оснований считать, что функции распределения, соответствующие выборкам, различаются только сдвигом.

Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона?

Покажем (и это - основной результат настоящего пункта), что двухвыборочный критерий Вилкоксона (в литературе его называют также критерием Манна-Уитни) предназначен для проверки гипотезы

где - случайная величина, распределенная как элементы первой выборки, а - второй.

В описанной выше вероятностной модели двух независимых выборок без ограничения общности можно считать, что объем первой из них не превосходит объема второй, $m \le n$ , в противном случае выборки можно поменять местами. Обычно предполагается, что функции F(x) и G(x) непрерывны и строго возрастают. Из непрерывности этих функций следует, что с вероятностью 1 все m + n результатов наблюдений различны. В реальных эконометрических данных иногда встречаются совпадения, но сам факт их наличия - свидетельство нарушений предпосылок только что описанной базовой математической модели.

Статистика двухвыборочного критерия Вилкоксона определяется следующим образом. Все элементы объединенной выборки $X_1, X_2,\dots., X_m, Y_1, Y_2,\dots, Y_n$ упорядочиваются в порядке возрастания. Элементы первой выборки $X_1, X_2, \dots, X_m$ занимают в общем вариационном ряду места с номерами $R_1, R_2, \dots, R_m$ , другими словами, имеют ранги $R_1, R_2,\dots, R_m.$ Тогда статистика Вилкоксона - это сумма рангов элементов первой выборки

$S = R_1 + R_2 +\dots + R_m.$

Статистика Манна-Уитни определяется как число пар (X_i, Y_j) таких, что X_i < Y_j, среди всех пар, в которых первый элемент - из первой выборки, а второй - из второй. Как известно [13, с.160],

Поскольку и линейно связаны, то часто говорят не о двух критериях - Вилкоксона и Манна-Уитни, а об одном - критерии Вилкоксона (Манна-Уитни).

Критерий Вилкоксона - один из самых известных инструментов непараметрической статистики (наряду со статистиками типа Колмогорова-Смирнова и коэффициентами ранговой корреляции). Свойствам этого критерия и таблицам его критических значений уделяется место во многих монографиях по математической и прикладной статистике.

Однако в литературе имеются и неточные утверждения относительно возможностей критерия Вилкоксона. Так, одни полагают, что с его помощью можно обнаружить любое различие между функциями распределения F(x) и G(x) . По мнению других, этот критерий нацелен на проверку равенства медиан распределений, соответствующих выборкам. И то, и другое, строго говоря, неверно. Это будет ясно из дальнейшего изложения.

Введем некоторые обозначения. Пусть $F^{-1}(t)$ - функция, обратная к функции распределения F(x) . Она определена на отрезке [0;1] . Положим $L(t) = G(F^{-1}(t))$ . Поскольку F(x) непрерывна и строго возрастает, то $F^{-1}(t)$ и L(t) обладают теми же свойствами. Важную роль в дальнейшем изложении будет играть величина a = P(X< Y) . Как нетрудно показать,

$a=P(X<Y)=\int_0^1 \td L(t)$

Введем также параметры

$b^2=\int_0^1 L^2(t)dt-(1-a)^2,\\ G^2=\int_0^1t^2dL(t)-a^2$

Тогда математические ожидания и дисперсии статистик Вилкоксона и Манна-Уитни согласно [13, с.160] выражаются через введенные величины:

$М(U) = mna , М(S) = mn + m(m+1)/2 - М(U) = mn(1- a) + m(m+1)/2,\\ D(S) = D(U) = mn [ (n - 1) b^2 + (m - 1) g^2 + a(1 -a) ]$

( 1)

Когда объемы обеих выборок безгранично растут, распределения статистик Вилкоксона и Манна-Уитни являются асимптотически нормальными (см., например, [13, гл.5 и 6]) с параметрами, задаваемыми формулами (1) .

Если выборки полностью однородны, т.е. их функции распределения совпадают, справедлива гипотеза

( 2)

при всех

,

то L(t) = t и a= 1/2 . Подставляя в формулы (1), получаем, что

( 3)

Следовательно, распределение нормированной и центрированной статистики Вилкоксона

$T = ( S - m(m+n+1)/2) (mn(m+n+1)/ 12)^{-1/2}$

( 4)

при росте объемов выборок приближается к стандартному нормальному распределению (с математическим ожиданием 0 и дисперсией 1).

Из асимптотической нормальности статистики следует, что правило принятия решения для критерия Вилкоксона выглядит так:

если $|T| \le Ф^{-1} \left(1-\frac{\alpha}{2} \right)$ то гипотеза (2) однородности (тождества) функций распределений принимается на уровне значимости $\alpha$
если же $|T| >Ф^{-1} \left( 1-\frac{\alpha}{2}$ то гипотеза (2) однородности (тождества) функций распределений отклоняется на уровне значимости $\alpha$ .

В эконометрике наиболее часто применяется уровень значимости $\alpha=0.05$ Тогда значение модуля статистики Т Вилкоксона надо сравнивать с граничным значением $Ф^{-1}\left(1-\frac{\alpha}{2}\right)=1.96$ .

Пример 1. Пусть даны две выборки. Первая содержит m= 12 элементов 17; 22; 3; 5; 15; 2; 0; 7; 13; 97; 66; 14 . Вторая содержит n=14 элементов 47; 30; 2; 15; 1; 21; 25; 7; 44; 29; 33; 11; 6; 15 . Проведем проверку однородности функций распределения двух выборок с помощью только что сформулированного правила принятия решений на основе критерия Вилкоксона.