НОУ ИНТУИТ | Прикладная статистика. Лекция 8: Статистический анализ числовых величин

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 09.11.2009 | Доступ: свободный | Студентов: 4085 / 1036 | Оценка: 4.66 / 4.45 | Длительность: 54:13:00

Темы: Математика, Экономика

Специальности: Экономист

|

Вам нравится? Нравится 61 студенту

| Поделиться |

Поддержать курс

| Скачать электронную книгу

Приведем пример двух функций распределения F(x) и G(x) таких, что гипотеза (6) выполнена, а гипотеза (2) - нет. Поскольку

$a=P(X<Y)=\int\limits_{-\infty}^{+\infty} F(x)dG(x),\; 1-a=P(Y<X)=\int\limits_{-\infty}^{+\infty} G(x)dF(x)$

( 10)

и

в случае справедливости гипотезы (2), то для выполнения условия (6) необходимо и достаточно, чтобы

$\int\limits_{-\infty}^{+\infty} (F(x)-G(x))dF(x)=0,$

( 11)

а потому естественно в качестве F(x)

рассмотреть функцию равномерного распределения на интервале (-1; 1). Тогда формула (11) переходит в условие

$\int\limits_{-\infty}^{+\infty} (F(x)-G(x))dF(x)=-\frac12 \int\limits_{-1}^{+1}\left(G(x)-\frac{(x+1)}{2}\right)dx=0.$

Это условие выполняется, если функция (G(x) - (x + 1)/2) является нечетной.

Пример 2. Пусть функции распределения F(x) и G(x) сосредоточены на интервале (-1; 1), на котором

$F(x)=(x+1)/2,\; G(x)=(x+1+1/\pi \sin \pi x)/2.$

Тогда

$x=F^{-1}(t)=2t-1, L(t)=G(F^{-1}(t))=(2t+1/\pi\sin\pi(2t-1))/2=t+1/2\pi\sin\pi(2t-1).$

Условие (11) выполнено, поскольку функция (G(x)-(x+1)/2) является нечетной. Следовательно, a = 1/2 . Начнем с вычисления

$g^2=\int\limits_0^1 t^2 dL(t)=\frac14=\int\limits_0^1 t^2 d(t+\frac{1}{2\pi}\sin\pi(2t-1))=\frac14 .$

Поскольку

$d\left(t+\frac{1}{2\pi}\sin\pi(2t-1)\right)=(1+\cos\pi(2t-1))dt,$

то $g^2=\int\limits_0^1 t^2(1+\cos\pi(2t-1))dt-\frac14 =\frac{1}{12}+\int\limits_0^1 t^2\cos\pi(2t-1)dt$ .

С помощью замены переменных t = (x+1)/2 получаем, что

$\int\limits_0^1 t^2\cos\pi(2t-1)dt=\frac18 \left( \int\limits_{-1}^1 x^2\cos\pi xdx+ 2\int\limits_{-1}^1 x\cos\pi xdx+ \int\limits_{-1}^1 \cos\pi xdx \right).$

В правой части последнего равенства стоят табличные интегралы (см., например, справочник [ [ 8.10 ] , с.71]). Проведя соответствующие вычисления, получаем, что в правой части стоит $1/8 (-4/\pi^2) = -1/(2\pi^2 )$ . Следовательно,

$g^2=1/12-1/(2\pi^2)-0,032672733...$

Перейдем к вычислению b^2 . Поскольку

$b^2=\int\limits_0^1 L^2(t)dt-frac14=\int\limits_0^1 \left(t+\frac12\pi\sin\pi(2t-1)\right)^2-frac14,$

то

$b^2=frac{1}{12}+\frac{1}{\pi}\int\limits_0^1(t\sin\pi(2t-1))dt+ \left(\frac{\pi}{2}\right)^2\int\limits_0^1\sin^2\pi(2t-1)dt.$

С помощью замены переменных t = (x+1)/2 переходим к табличным интегралам (см., например, справочник [ [ 8.10 ] , с.65]): b^2=\frac{1}{12}+\frac{1}{4\pi}\int\limits_{-1}^1 x\sin\pi xdx+ \frac{1}{4\pi}\int\limits_{-1}^1 \sin\pi xdx+ \frca{1}{8\pi^2}\int\limits_{-1}^1 \sin^2\pi xdx.

Проведя необходимые вычисления, получим, что

$b^2=\frac{1}{12}+\frac{1}{4\pi}\left(-\frac{2}{\pi}\right) +0+\frac{1}{8\pi^2}=\frac{1}{12}-\frac{3}{8\pi^2}=0,045337893...$

Следовательно, для рассматриваемых функций распределения нормированная и центрированная статистика Вилкоксона (см. формулу (4)) асимптотически нормальна с математическим ожиданием 0 и дисперсией (см. формулу (9))

$D(T)=(0,544n+0,392m+2,064)(m+n+1)^{-1}.$

Как легко видеть, дисперсия всегда меньше 1. Это значит, что в рассматриваемом случае гипотеза полной однородности (2) при проверке с помощью критерия Вилкоксона будет приниматься чаще, чем если она на самом деле верна.

На наш взгляд, это означает, что критерий Вилкоксона нельзя считать критерием для проверки гипотезы (2) при альтернативе общего вида. Он не всегда позволяет проверить однородность - не при всех альтернативах. Точно так же критерии типа хи-квадрат нельзя считать критериями проверки гипотез согласия и однородности - они позволяют обнаружить не все различия, поскольку некоторые из них "скрадывает" группировка.

Обсудим теперь, действительно ли критерий Вилкоксона нацелен на проверку равенства медиан распределений, соответствующих выборкам.

Пример 3. Построим семейство пар функций распределения F(x) и G(x) таких, что их медианы различны, но для F(x) и G(x) выполнена гипотеза (6). Пусть распределения сосредоточены на интервале (0 ; 1), и на нем G(x) = x , а F(x) имеет кусочно-линейный график с вершинами в точках $(0 ; 0), (\lambda, 1/2 ), (\delta, 3/4), (1 ; 1)$ . Следовательно,

$\begin{gathered} F(x)=0 \text{ при } x< 0; \\ F(x)=x/(2\lambda)\text{ на } [0;\lambda); \\ F(x)=1/2+(x-\lambda)/(4\delta-4\lambda)\text{ на } [\lambda;\delta); \\ F(x)=3/4+(x-\delta)/(4-4\delta)\text{ на } [\delta;1] ; \\ F(x)=1\text{ при } x> 1. \end{gathered}$

Очевидно, что медиана F(x) равна $\lambda$ , а медиана G(x) равна 1/2.

Согласно соотношению (9) для выполнения гипотезы (6) достаточно определить $\delta$ как функцию $\lambda, \delta =\delta(\lambda)$ , из условия

$\int\limits_0^1 F(x)dx=\frac12 .$

Вычисления дают

$\delta=\delta(\lambda)=3(1-\lambda)/2.$

Учитывая, что $\delta$ лежит между $\lambda$ и 1, не совпадая ни с тем, ни с другим, получаем ограничения на $\lambda$ , а именно, $1/3 < \lambda < 3/5.$ Итак, построено искомое семейство пар функций распределения.

Пример 4. Пусть, как и в примере 3, распределения сосредоточены на интервале (0; 1), и на нем F(x)=x . А G(x) - функция распределения, сосредоточенного в двух точках - $\beta$ и 1. Т.е. G(x) = 0 при , не превосходящем $\beta$ ; G(x) = h на $(\beta; 1]; G(x)=1$ при x > 1 . С такой функцией G(x) легко проводить расчеты. Однако она не удовлетворяет принятым выше условиям непрерывности и строгого возрастания. Вместе с тем легко видеть, что она является предельной (сходимость в каждой точке отрезка [0; 1]) для последовательности функций распределения, удовлетворяющих этим условиям. А распределение статистики Вилкоксона для пары функций распределения примера 4 является предельным для последовательности соответствующих распределений статистики Вилкоксона, полученных в рассматриваемых условиях непрерывности и строгого возрастания.

Условие P(X < Y) = 1/4 выполнено, если $h=(1-\beta)^{-1}/2$ (при $\beta$ из отрезка [0; 1/2]). Поскольку h > 1/2 при положительном $\beta$ , то очевидно, что медиана G(x) равна $\beta$ , в то время как медиана F(x) равна 1/2 . Значит, при $\beta = 1/2$ медианы совпадают, при всех иных положительных $\beta$ - различны. При $\beta = 0$ медианой G(x) является любая точка из отрезка [0; 1].

Легко подсчитать, что в условиях примера 4 параметры предельного распределения имеют вид

$b^2=\beta(1-\beta)^{-1}/4, g^2=(1-2\beta)/4.$

Следовательно, распределение нормированной и центрированной статистики Вилкоксона будет асимптотически нормальным с математическим ожиданием 0 и дисперсией

$D(T)=3[(n-1)\beta(1-\beta)^{-1}+(m-1)(1-2\beta)+1](m+n+1)^{-1}.$

Проанализируем величину D(T) в зависимости от параметра $\beta$ и объемов выборок и . При достаточно больших и

$D(T)=3w\beta(1-\beta)^{-1}+3(1-w)(1-2\beta),$

с точностью до величин порядка $(m+n)^{-1}$ , где w= n/(m+n)

. Значит,

- линейная функция от

, а потому достигает экстремальных значений на границах интервала изменения

, т.е. при w = 0

и

. Легко видеть, что при $\beta(1-\beta)^{-1}<1-2\beta$ минимум - $3\beta(1-\beta)^{-1}$ (при w=1

), а максимум - $3(1-2\beta)$ (при w = 0)

. В случае $\beta(1-\beta)^{-1}>1-2\beta$ максимум равен $3\beta(1-\beta)^{-1}$ (при w = 1

), а минимум - $3(1-2\beta)$ (при w=0

). Если же $\beta(1-\beta)^{-1}=1-2\beta$ (это равенство справедливо при $\beta=\beta_0=1-2^{-1/2}=0,293)$ , то $D(T)=3(2^{1/2}-1)=1,2426..$ . при всех

из отрезка [0; 1].

Первый из описанных выше случаев имеет место при $\beta<\beta_0$ , при этом минимум D(T) возрастает от 0 (при $\beta=0, w=1$ - предельный случай) до $3(2^{1/2}-1)$ (при $\beta=\beta_0, w$ - любом), а максимум уменьшается от 3 (при $\beta=0, w=0$ - предельный случай) до $3(2^{1/2}-1)$ (при $\beta=\beta_0, w$ - любом). Второй случай относится к $\beta$ из интервала $(\beta;1/2]$ . При этом минимум убывает от приведенного выше значения для $\beta=\beta_0$ до 0 (при $\beta=1/2, w=0$ - предельный случай), а максимум возрастает от того же значения при $\beta=\beta_0$ до 3 (при $\beta=1/2, w=0$ ).

Таким образом, D(T) может принимать все значения из интервала (0; 3) в зависимости от значений $\beta$ и . Если D(T)< 1 , то при применении критерия Вилкоксона к выборкам с рассматриваемыми функциями распределения гипотеза однородности (2) будет приниматься чаще (при соответствующих значениях $\beta$ и - с вероятностью, сколь угодно близкой к 1), чем если бы она самом деле была верна. Если 1<D(T)<3 , то гипотеза (2) также принимается достаточно часто. Так, если уровень значимости критерия Вилкоксона равен 0,05, то (асимптотическая) критическая область этого критерия, как показано выше, имеет вид $\{T:|T| \ge 1,96\}$ . Если - самый плохой случай - D(T)=3 , то гипотеза (2) принимается с вероятностью 0,7422.

Гипотеза сдвига. При проверке гипотезы однородности мы рассмотрели различные виды нулевых и альтернативных гипотез - гипотезу (2) и ее отрицание в качестве альтернативы, гипотезу (6) и ее отрицание, гипотезы о равенстве или различии медиан. В теоретических работах по математической статистике часто рассматривают гипотезу сдвига, в которой альтернативой гипотезе (2) является гипотеза

( 12)

при всех

и некотором сдвиге

, отличным от 0. Если верна альтернативная гипотеза H_1

, то вероятность P(X < Y)

отлична от 1/2, а потому при альтернативе (12) критерий Вилкоксона является состоятельным.

В некоторых прикладных постановках гипотеза (12) представляется естественной. Например, если одним и тем же прибором проводятся две серии измерений двух значений некоторой величины (физической, химической и т.п.). При этом функция распределения G(x) описывает погрешности измерения одного значения, а G(x+r) - другого. Вопреки распространенному заблуждению, хорошо известно, что распределение погрешностей измерений, как правило, не является нормальным (см. об этом "Описание данных" ). Однако при анализе конкретных статистических данных, как правило, нет никаких оснований считать, что отсутствие однородности всегда выражается столь однозначным образом, как следует из формулы (12). Поэтому эконометрику для проверки однородности необходимо использовать статистические критерии, состоятельные против любого отклонения от гипотезы однородности (2).

Почему же математики так любят гипотезу сдвига (12)? Да потому, что она дает возможность доказывать глубокие математические результаты, например, об асимптотической оптимальности критериев. К сожалению, с точки зрения эконометрики это напоминает поиск ключей под фонарем, где светло, а не там, где они потеряны.

Отметим еще одно обстоятельство. Часто говорят (в соответствии с классическим подходом математической статистики), что нельзя проверять нулевые гипотезы без рассмотрения альтернативных. Однако при анализе данных технических, экономических, медицинских или иных исследований зачастую полностью ясна формулировка той гипотезы, которую желательно проверить (например, гипотезы полной однородности - см. формулу (2)), в то время как формулировка альтернативной гипотезы не очевидна (то ли это гипотеза о неверности равенства (2) хотя бы для одного значения x, то ли это альтернатива (8), то ли - альтернатива сдвига (12), и т. д.). В таких случаях целесообразно "обернуть" задачу - исходя из статистического критерия найти альтернативы, относительно которых он состоятелен. Именно это и проделано в настоящем параграфе для критерия Вилкоксона.

Подведем итоги рассмотрения критерия Вилкоксона.

Критерий Вилкоксона (Манна-Уитни) является одним из самых распространенных непараметрических ранговых критериев, используемых для проверки однородности двух выборок. Его значение не меняется при любом монотонном преобразовании шкалы измерения (т.е. он пригоден для статистического анализа данных, измеренных в порядковой шкале).
Распределение статистики критерия Вилкоксона определяется функциями распределения и и объемами и двух выборок. При больших объемах выборок распределение статистики Вилкоксона является асимптотически нормальным с параметрами, выписанными выше (см. формулы (1), (3) и (5)).
При альтернативной гипотезе, когда функции распределения выборок и не совпадают, распределение статистики Вилкоксона зависит от величины . Если отличается от 1/2, то мощность критерия Вилкоксона стремится к 1, и отличает нулевую гипотезу от альтернативной. Если же , то это не всегда имеет место. В примере 2 приведены две различные функции распределения выборок и такие, что гипотеза однородности при проверке с помощью критерия Вилкоксона будет приниматься чаще, чем если она на самом деле верна.
Следовательно, в случае общей альтернативы критерий Вилкоксона не является состоятельным, т.е. не всегда позволяет обнаружить различие функций распределения. Однако это не лишает его практической ценности, точно так же, как несостоятельность критериев типа хи-квадрат при проверке согласия, независимости или однородности не мешает отклонять нулевую гипотезу во многих практически важных случаях. Однако принятие нулевой гипотезы с помощью критерия Вилкоксона может означать не совпадение и , а лишь выполнение равенства .
Иногда утверждают, что с помощью критерия Вилкоксона можно проверять равенство медиан функций распределения и . Это не так. В примерах 3 и 4 указаны и с , но с различными медианами. Во многих случаях это различие нельзя обнаружить с помощью критерия Вилкоксона, как это показано при численном анализе асимптотической дисперсии в примере 4.
Указанные выше недостатки критерия Вилкоксона исчезают для специального вида альтернативы - так называемой "альтернативы сдвига" . В этом частном случае при справедливости альтернативной гипотезы мощность стремится к 1, различие медиан также всегда обнаруживается. Однако альтернатива сдвига не всегда естественна. Ее целесообразно принять, если одним и тем же прибором проводятся две серии измерений двух значений некоторой величины (физической, химической и т.п.). При этом функция распределения описывает результаты измерений с погрешностями одного значения, а - другого. Другими словами, меняется лишь измеряемое значение, а собственно распределение погрешностей - одно и то же, присущее используемому средству измерения (и обычно описанное в его техническом паспорте). Однако в большинстве статистических исследований нет никаких оснований считать, что при альтернативе функция распределения второй выборки лишь сдвигается, но не меняется каким-либо иным образом.
При всех своих недостатках критерий Вилкоксона прост в применении и часто позволяет обнаруживать различие групп (поскольку оно часто сводится к отличию от 1/2). Приведенные здесь критические замечания не следует понимать как призыв к полному отказу от использования критерия Вилкоксона. Однако для проверки гипотезы однородности в случае альтернативы общего вида можно порекомендовать состоятельные критерии, в частности, рассматриваемые в следующем пункте критерии Смирнова и типа омега-квадрат (Лемана-Розенблатта).
В литературе по прикладным статистическим методам соседствуют два стиля изложения. Один из них исходит из формулировок нулевой и альтернативных гипотез (или описания набора гипотез, из которого надо выбрать наиболее адекватную), для проверки которых строятся те или иные критерии. При другом стиле изложения упор делается на алгоритмическое описание критериев для проверки тех или иных гипотез, а об альтернативах даже не упоминается.

Например, в литературе по математической статистике часто говорится, что для проверки нормальности используются критерии асимметрии и эксцесса (они описаны, например, в "Проверка гипотез" и в лучшем справочнике 1960-1980-х гг. [ [ 2.1 ] , табл.4.7]). Однако они позволяют проверять некоторые соотношения между моментами распределения, но отнюдь не являются состоятельными критериями нормальности (не все отклонения от нормальности обнаруживают). Впрочем, для прикладной статистики эти критерии большого практического значения не имеют, поскольку заранее известно, что распределения конкретных технических, экономических, медицинских и иных данных скорее всего отличны от нормальных.

Так что недостатки критерия Вилкоксона не являются исключением, мощность ряда иных популярных в математической статистике критериев заслуживает тщательного изучения, при этом заранее можно сказать, что зачастую они не позволяют проверять те гипотезы, с которыми традиционно связаны. При применении подобных критериев к анализу реальных данных необходимо тщательно взвешивать их достоинства и недостатки.

Дальше >>

Авторизоваться

Прикладная статистика

Статистический анализ числовых величин

Вопросы и ответы