Проверка гипотез

Пример 2. Пусть $$f(x) = 1/x$$ при $$x > 0$$ и $$f(0)=0$$. Пусть $$F(0,5) = 0$$, т.е. предельное распределение сосредоточено на [1/2; 1]. Пусть распределение $$F_n$$ на [0; 1/2) имеет единственный атом в точке $$x = 1/n$$ величиной $$n^{-1/2}$$, а на [1/2; 1] справедливо (10). Тогда по причинам, изложенным при доказательстве теоремы 1,$$\lim_{n\rightarrow\infty}\int\limits_{1/2}^1 f(x)dF_n(x)=\int\limits_{1/2}^1 f(x)dF(x),$$ однако$$\int\limits_0^{1/2}f(x)dF_n(x)=\sqrt{n},\; \int\limits_0^{1/2}f(x)dF(x)=0,$$ т.е. соотношение (11) не выполнено.

Условие ограниченности подынтегральной функции $$f$$ можно заменить, как это сделано, например, в [13], на условие строгого возрастания функции распределения $$F$$.

Лемма. Пусть функции распределения $$F$$ всюду строго возрастает, т.е. из $$x_1 < x_2$$ вытекает $$F(x_1) < F(x_2)$$. Пусть функция $$f$$ интегрируема по Риману-Стилтьесу по $$F$$, т.е. выполнено (14). Тогда функция $$f$$ ограничена.

Доказательство. Рассмотрим точки $$0 = y_0 < y_1 < y_2 < ... < y_{2m} = 1$$ и два разбиения$$T_1\{[0;y_1),[y_1;y_3)[y_3;y_5),...,[y_{2m-1};1]\}, T_2\{[0;y_2),[y_2;y_4)[y_4;y_6),...,[y_{2m-2};1]\},$$

Тогда для любых двух точек $$x$$ и $$х'$$ можно указать конечную последовательность точек $$x_1 = x, x_2, x_3, ..., x_s, x_{s+1} = x'$$ такую, что любые две соседние точки $$x_i, x_{i+1}, i = 1, 2, ..., s$$, одновременно принадлежат некоторому элементу $$C_i$$ разбиения $$T_1$$ или разбиения $$T_2$$, причем $$С_i \ne С_j$$ при $$i \ne j$$. Действительно, пусть $$x\in [y_p;y_{p+1}),x'\in [y_q;y_{q+1})$$. Пусть для определенности $$q > p$$. Тогда можно положить $$x_2 = y_{p+1}, x_3 = y_{p+2}, ..., x_s = y_q$$. Поскольку среди элементов разбиений $$T_1$$ и $$T_2$$ есть $$C_1 = [y_p; y_{p+2})$$, то $$x=x_1\in C_1, x_2=y_{p+1}\in C_1$$. Далее, $$x_2\in [y_{p+1},y_{p+3}=C_2, x_3\in C_2$$, и т.д.

Из указанных выше свойств последовательности $$x1 = x, x_2, x_3, ..., x_s, x_{s+1} = x'$$ следует, что$$|f(x)-f(x')|\le\sum_{i=1}^S|f(x_{i+1})-f(x_i)|\le\sum_{C\in T_1}\delta(f,C)+\sum_{C\in T_2}\delta(f,C).$$

Пусть теперь число $$\max(y_i - y_{i-2)}$$ настолько мало, что согласно (14)$$\sum_{C\in T_1}\delta(f,C)F(C)<1,\; \sum_{C\in T_2}\delta(f,C)F(C)<1.$$

Тогда согласно двум последним соотношениям$$|f(x)-f(x')|\le 2[\min\{F(C):C\in T_1\cup T_2\}]^{-1},$$ что и доказывает лемму.

Доказательство теоремы 2. Пусть условие (14) не выполнено, т.е. существуют число $$\gamma> 0$$ и последовательность разбиений $$T_n, n = 1, 2, ..$$., такие, что $$\max(y_i - y_{i-1}) \rightarrow 0$$ при $$n\rightarrow\infty$$ и при всех $$n$$$$\sum_{C\in T_n}\delta(f,C)F(C)\ge\gamma.$$

Для доказательства теоремы построим две последовательности функций распределения $$F_{1n}$$ и $$F_{2n}, n = 1, 2, ..$$., для которых выполнено (10), но последовательность$$\delta_n=\int\limits_0^1 f(x)dF_{1n}(x)-\int\limits_0^1 f(x)dF_{2n}(x)$$ не стремится к 0 при $$n\rightarrow\infty$$. Тогда (11) не выполнено хотя бы для одной из последовательностей $$F_{1n}$$ и $$F_{2n}$$.

Для любого $$C$$ - элемента некоторого разбиения $$T$$ - можно указать, как вытекает из определения $$\delta(f,C)$$, точки $$x_1(C)$$ и $$x_2(C)$$ такие, что$$f(x_1(C))-f(x_2(C)) > 1/2 \delta(f, C).$$

Построим $$F_{1n}$$ и $$F_{2n}$$ следующим образом. Пусть $$F_{1n}(C) = F_{2n}(C) = F(C)$$ для любого $$C$$ из $$T_n$$. При этом $$F_{1n}$$ имеет в $$C$$ один атом в точке $$x_1(C)$$ величиной $$F(C)$$, а $$F_{2n}$$ имеет в $$C$$ также один атом в точке $$x_2(C)$$ той же величины $$F(C)$$. Другими словами, распределение $$F_{1n}$$ в $$C$$ сосредоточено в одной точке, а именно, в $$x_1(C)$$, а распределение $$F_{2n}$$ сосредоточено в $$x2(C)$$. Тогда$$\delta_n=\sum_{C\in T_n}(f(x_1(C))-f(x_2(C)))F(C).$$

Из (20), (21) и (22) следует, что$$\delta_n\ge\frac12 \sum_{C\in T_n}\delta(f,C)F(C)\ge\frac{\gamma}{2}.$$

Остается показать, что для последовательностей функций распределения $$F_{1n}$$ и $$F_{2n}$$ выполнено (10). Пусть $$x$$ - точка непрерывности $$F$$. Пусть$$y_1(x,T)=\max\{y_{kn}:y_{kn}< x\},\;y_2(x,T)=\min\{y_{kn}:y_{kn}> x\},$$ где $$y_{kn}$$ - точки, определяющие разбиения $$T_n$$ согласно (12). В соответствии с определением $$F_{in}$$$$F_{in}(y_j(x, T_n))= F(y_j(x, T_n)), i = 1, 2, j = 1, 2,$$ а потому$$|F_{in}(x)-F(x)|\le F(y_2(x,T_n))-F(y_1(x,T_n)), i=1,2.$$

В силу условия $$\max(y_kn - y_{(k-1)n}) \rightarrow 0$$ и непрерывности $$F$$ в точке $$x$$ правая часть последнего соотношения стремится к 0 при $$n\rightarrow\infty$$, что и заканчивает доказательство теоремы 2.

Теоремы 1 и 2 демонстрируют основные идеи предельной теории статистик интегрального типа и непараметрических критериев в целом. Как показывают эти теоремы, основную роль в рассматриваемой теории играет предельное соотношение (14). Отметим, что если $$\delta(f, T_n) \rightarrow 0$$ при $$n\rightarrow\infty$$, то (14) справедливо, но, вообще говоря, не наоборот. Естественно возникает еще ряд постановок. Пусть (14) выполнено для $$f_1$$ и $$f_2$$. При каких функциях $$h$$ это соотношение выполнено для $$h(x, f_1(x), f_2(x))$$? В прикладной статистике вместо $$f(x)$$ рассматривают $$f_{\alpha}(x,\omega)$$ и $$f(x, \omega)$$, а вместо интегрирования по функциям распределения $$F_n(x)$$ - интегрирование по случайным мерам $$F_{\alpha}(\omega)$$. Как меняются формулировки в связи с такой заменой? В связи со слабой сходимостью (т.е. сходимостью по распределению) $$A_T f_{\alpha}$$ к $$A_T$$ и переходом от $$f_{\alpha}(x,\omega)$$ к $$h_{\alpha}(x, f_{1\alpha}(x, \omega), f_{2\alpha}(x,\omega))$$ возникает следующая постановка. Пусть $$\kappa_{\alpha}$$ слабо сходится к $$\kappa$$ при $$\alpha\rightarrow\infty$$. Когда распределения $$g_{\alpha}(\kappa_{\alpha})$$ сближаются с распределениями $$g_{\alpha}(\kappa)$$? Полным ответом на последний вопрос являются необходимые и достаточные условия наследования сходимости. Они приведены в лекции 4.

].

Теорема 3. Пусть существует последовательность разбиений $$T_n, n = 1, 2, ..$$., такая, что при $$n\rightarrow\infty$$ и $$\alpha\rightarrow\infty$$ (сходимость по вероятности)$$\Delta(f_{alpha},T_n)=\sum_{C\in T_n} \delta(f_{\alpha},C)F(C)\rightarrow 0.$$

Пусть для любого $$C$$, входящего хотя бы в одно из разбиений $$T_n$$,$$F_{\alpha}(C,\omega)\rightarrow F(C)$$ при $$\alpha\rightarrow\infty$$ (сходимость по вероятности). Пусть $$f_{\alpha}$$ асимптотически ограничены по вероятности при $$\alpha\rightarrow\infty$$. Тогда$$\xi(f_{\alpha},F_{\alpha})-\xi(f_{\alpha},F)\rightarrow 0$$ при $$\alpha\rightarrow\infty$$ (сходимость по вероятности).

Как известно, полное сепарабельное метрическое пространство называется польским. Это понятие понадобится для формулировки аналога теоремы 2.

Теорема 4. Пусть $$X$$ - польское пространство, $$Y$$ конечномерно, существует измельчающаяся последовательность $$T_n$$ разбиений, для которой соотношение (23) не выполнено. Тогда существует удовлетворяющая (24) последовательность $$F_{\alpha}$$, для которой соотношение (25) неверно, хотя $$F_{\alpha}$$ слабо сходится к $$F$$ при $$\alpha\rightarrow\infty$$.

Условие (23) естественно назвать условием римановости, поскольку в случае, рассмотренном в теореме 1, оно является условием интегрируемости по Риману-Стилтьесу. Рассмотрим наследуемость римановости при переходе от $$f_{1\alpha}(x,\omega)$$ со значениями в $$Y_1$$ и $$f_{2\alpha}(x,\omega)$$ со значениями в $$Y_2$$, удовлетворяющих (23), к $$h_{\alpha}(x, f_{1\alpha}(x,\omega), f_{2\alpha}(x,\omega))$$ со значениями в $$Y_3$$.

Положим$$Y_k(a,\omega)=\{(y,y'):y\in Y_k,y'\in Y_k,||y||_k<a,||y'||<a,||y-y'||<\omega\},k=1,2,$$ где $$||\cdot||_k$$ - норма (т.е. длина вектора) в пространстве $$Y_k, k = 1, 2$$. Рассмотрим также множества$$A(C,a,\omega)=\{(x,x',y_1,y_1^*,y_2,y_2^*):x,x'\in C,(y_k,y_k^*)\in Y_k(a,\omega),k=1,2\}$$ и функции$$q_{\alpha}(x,x',y_1,y_1^*,y_2,y_2^*)=h_{\alpha}(x,y_1,y_2)-h_{\alpha}(x',y_1^*,y_2^*).$$

Наконец, понадобится измеритель колеблемости$$c(h_{\alpha},T,a,\omega)=\sum_{C\in T}\sup_{A(C,a,\omega)}||q_{\alpha}||_3 F(C)$$ и множество$$Z(a)=X\times\{y_1:||y_1||<a\}\times\{y_2:||y_2||<a\}.$$

Теорема 5. Пусть $$h_{\alpha}$$ асимптотически (при $$\alpha\rightarrow \infty$$ ) ограничены на $$Z(a)$$ при любом положительном $$a$$, функции $$f_{1\alpha}$$ и $$f_{2\alpha}$$ асимптотически ограничены по вероятности и удовлетворяют условию (23). Пусть для участвующей в (23) последовательности $$T_n$$$$c(h_{\alpha},T_n,a,\omega)\rightarrow 0$$ при $$\alpha\rightarrow\infty, n\rightarrow\infty, \omega\rightarrow 0$$ и любом положительном $$a$$. Тогда $$f_{3\alpha}(x,\omega) = h\alpha(x, f_{1\alpha}(x,\omega), f_{2\alpha}(x,\omega))$$ удовлетворяют условию (23) и асимптотически ограничены по вероятности.

Теорема 6. Пусть условие (26) не выполнено для $$h_\alpha$$. Тогда существуют детерминированные ограниченные функции $$f_{1\alpha}$$ и $$f_{2\alpha}$$ такие, что соотношение (23) выполнено для $$f_{1\alpha}$$ и $$f_{2\alpha}$$ и не выполнено для $$f_{3\alpha}$$.

Пример 3. Пусть $$X = [0; 1]^k$$, пространства $$Y_1$$ и $$Y_2$$ конечномерны, функция $$h_{\alpha}\equiv h(x, y_1, y_2)$$ непрерывна. Тогда условие (26) выполнено.

С помощью теорем 3 и 5 и результатов о наследовании сходимости можно изучить асимптотическое поведение статистик интегрального типа$$\xi_{\alpha}\int\limits_X h_{\alpha}(x,f_{1\alpha}(x,\omega),f_{2\alpha}(x,\omega))F_{\alpha}(dx,\omega)$$ со значениями в банаховом пространстве $$Y$$.

Теорема 7. Пусть для некоторой последовательности $$T_n$$ разбиений $$X$$ справедливы соотношения (23) для $$f_{1\alpha}$$ и $$f_{2\alpha}$$ и (24) для $$F_{\alpha}$$. Пусть последовательность функций $$h_{\alpha}$$ удовлетворяет условию в теореме 5, конечномерные распределения $$(f_{1\alpha}(x,\omega),f_{2\alpha}(x,\omega))$$ слабо сходятся к конечномерным распределениям $$(f_1(x,\omega),f_2(x,\omega))$$, причем для $$f_1$$ и $$f_2$$ справедливо соотношение (23). Тогда$$\lim_{\alpha\rightarrow\infty}L(\xi_{\alpha},\eta_{\alpha})=0,$$ где $$L$$ - расстояние Прохорова (см. 4.3),$$\eta_{\alpha}=\int\limits_X h_{\alpha}(x,f_1,(x,\omega),f_2(x,\omega))F(dx).$$

Теорема 7 дает общий метод получения асимптотических распределений статистик интегрального типа. Важно, что соотношение (23) выполнено для эмпирического процесса и для процессов, связанных с оцениванием параметров при проверке согласия [].

Один из выводов общей теории состоит в том, что в качестве $$F_{\alpha}$$ можно использовать практически любую состоятельную оценку истинной функции распределения. Этот вывод использовался при построении критерия типа омега-квадрат для проверки симметрии распределения относительно 0 и обнаружения различий в связанных выборках (лекция 8).

Асимптотическое поведение критериев типа Колмогорова может быть получено с помощью описанного выше метода аппроксимации ступенчатыми функциями. Этот метод не требует обращения к теории сходимости вероятностных мер в функциональных пространствах. Для критериев Колмогорова и Смирнова достаточно использовать лишь свойства эмпирического процесса и броуновского моста. В случае проверки согласия добавляется необходимость изучения еще одного случайного процесса. Он является разностью между двумя функциями распределения. Одна - функция распределения элементов выборки. Вторая - случайный член параметрического семейства распределений, полученный путем подстановки оценок параметров вместо их истинных значений.

7.4. Метод проверки гипотез по совокупности малых выборок

Одна из областей применения прикладной статистики - статистические методы управления качеством продукции [, гл.13]. К ним относится статистический приемочный контроль, в котором по результатам испытаний элементов выборки делается вывод о качестве партии продукции. В простейшем варианте проводится контроль по альтернативному признаку, при котором возможны лишь два результата контроля конкретной единицы продукции - "соответствует требованиям" или "не соответствует требованиям", короче - "да" или "нет".

Рассмотрим статистический приемочный контроль по двум альтернативным признакам одновременно. На основе теории люсианов обсудим проблему проверки независимости двух альтернативных признаков. Ее приходится проводить по совокупности малых выборок, т.е. в так называемой асимптотике А.Н. Колмогорова, когда число неизвестных параметров распределения не является постоянным, а растет пропорционально объему данных.

Испытания по двум альтернативным признакам. При статистическом контроле качества продукции, в частности, при сертификации, чаще всего используют контроль по альтернативным признакам. При этом устанавливается, соответствует ли контролируемый параметр единицы продукции (изделия, детали) заданным в нормативно-технической документации требованиям или не соответствует. Если соответствует - единица продукции признается годной. Примем для определенности, что в этом случае результат контроля кодируется символом 0. Если же не соответствует - единица продукции признается дефектной, а результат контроля кодируется символом 1.

Таким образом, в рассматриваемой нами математической модели контроля альтернативный признак - это функция $$X = X(w)$$, определенная на множестве единиц продукции $$W = \{w\}$$ и принимающая два значения 0 и 1. Причем $$X(w) = 0$$ означает, что единица продукции $$w$$ является годной, а $$X(w) = 1$$ - дефектной.

Методы статистического контроля, в частности, включенные в государственные стандарты и иную нормативно-техническую документацию (НТД), как правило, используют контроль по одному признаку. В НТД указывают правила выбора планов контроля и расчета различных их характеристик, приводят графики оперативных характеристик и т.п.

Однако на производстве контроль нередко проводится по нескольким альтернативным признакам. Возникает проблема выбора плана контроля и расчета его характеристик.

Рассмотрим сначала контроль по двум альтернативным признакам $$X(w)$$ и $$Y(w)$$. В вероятностной модели $$X(w)$$ и $$Y(w)$$ - случайные величины, принимающие два значения - 0 и 1. Пусть, пользуясь стандартной (для статистических методов управления качеством) терминологией, $$p1 = P(X(w) = 1)$$ - входной уровень дефектности для первого признака, а $$p2 = P(Y(w) = 1)$$ - для второго. Вероятности результатов контроля по двум признакам одновременно описываются четырьмя числами:$$\begin{gathered} P(X(w)=0,Y(w)=0)=p_{00},P(X(w)=1,Y(w)=0)=p_{10}, P(X(w)=0,Y(w)=1)=p_{01},P(X(w)=1,Y(w)=1)=p_{11}. \end{gathered}$$

При этом справедливы соотношения:$$p_{00} + p_{10} + p_{01} + p_{11} = 1, p_{10} + p_{11} = p_1, p_{01} + p_{11} = p_2.$$

С прикладной точки зрения наиболее интересна вероятность $$p_{00}$$ того, что единица продукции является годной (по всем параметрам), и вероятность ее дефектности $$(1-p_{00})$$, т.е. входной уровень дефектности для изделия в целом.

В табл.7.1 сведены вместе введенные выше вероятности.

Есть три важных частных случая - поглощения, несовместности и независимости дефектов. Другими словами, поглощения, несовместности и независимости событий $$\{w: X(w) = 1\}$$ и $$\{w: Y(w) = 1\}$$. В случае поглощения одно из этих событий содержит другое, а потому$$p_{00}=1-\max(p_1,p_2).$$

В случае несовместности$$p_{00} = 1 - p_1 - p_2.$$

В случае независимости$$p_{00} = (1 - p_1)(1 - p_2) = 1 - p_1 - p_2 + p_1p_2.$$

Очевидно, что вероятность годности изделия всегда заключена между значениями, соответствующими случаям поглощения и несовместности. Кроме того, известно, что при большом числе признаков и малой вероятности дефектности по каждому из них случаи поглощения и независимости дают (в асимптотике) крайние значения для вероятности годности изделия, т.е. формулы, соответствующие независимости и несовместности, асимптотически совпадают. Причина этого явления состоит в том, что при малости $$p_1$$ и $$p_2$$ их произведение $$p_1p_2$$ является бесконечно малой более высокого порядка по сравнения с $$p_1$$ и $$p_2$$.

Рассмотрим несколько примеров. Пусть некоторая продукция, скажем, гвозди, контролируются по двум альтернативным признакам, для определенности, по весу и длине. Результаты контроля 1000 единиц продукции представлены в табл.7.2

Судя по данным табл.7.2, дефекты всегда встречаются парами - если есть один, то есть и другой. Входной уровень дефектности как по каждому показателю, так и по обоим вместе - один и тот же, а именно, 0,048. Получив по результатам статистического наблюдения данные, подобные приведенным в табл.7.2, целесообразно перейти к контролю только одного показателя, а не двух. Какого именно? Видимо, того, контроль которого дешевле. Однако совсем иная ситуация возникает в случае несовместности дефектов (табл. 7.3).

Судя по данным табл.7.3, дефекты всегда встречаются поодиночке - если есть один, то другого нет. В результате входной уровень дефектности по каждому признаку по-прежнему равен 0,048, в то время как доля дефектных изделий (т.е. имеющих хотя бы один дефект) вдвое выше, т.е. входной уровень дефектности для изделия в целом равен 0,096.

Случай независимости результатов контроля по двум независимым признакам (табл.7.4) лежит между крайними случаями поглощения и несовместности. Независимость альтернативных признаков обосновывается путем статистической проверки с помощью описанного ниже критерия $$n^{1/2}V$$.

Согласно данным табл.7.4, входной уровень дефектности для каждого из двух альтернативных признаков по-прежнему равен 0,048, в то время как для изделий в целом он равен 0,091, т.е. на 5,2% меньше, чем в случае несовместности, и на 89,6% больше, чем в случае поглощения.

Проблема состоит в том, что таблицы и стандарты по статистическому приемочному контролю относятся обычно к случаю одного контролируемого параметра. А как быть, если контролируемых параметров несколько? Приведенные выше примеры показывают, что входной уровень дефектности изделия в целом не определяется однозначно по входным уровням дефектности отдельных его параметров.

Гипотеза независимости. Как должны соотноситься характеристики планов контроля по отдельным признакам с характеристиками плана контроля по двум (или многим) признакам одновременно? Рассмотрим распространенную рекомендацию - складывать уровни дефектности, т.е. считать, что уровень дефектности изделия в целом равен сумме уровней дефектности по отдельным его параметрам. Она, очевидно, опирается на гипотезу несовместности дефектов, а потому во многих случаях преувеличивает дефектность, следовательно, ведет к использованию излишне жестких планов контроля, что экономически невыгодно.

Зная специфику применяемых технологических процессов, в ряде конкретных случаев можно предположить, что дефекты по различным признакам возникают независимо друг от друга. Это предположение необходимо обосновывать по статистическим данным. Если же оно обосновано, следует рассчитывать входной уровень дефектности по формуле$$1 - p_{00} = p_1 + p_2 - p_1p_2,$$ соответствующей независимости признаков.

Итак, необходимо уметь проверять по статистическим данным гипотезу независимости двух альтернативных признаков. Речь идет о статистической проверке нулевой гипотезы$$H_0: p_{11} = p_1p_2$$ (что эквивалентно проверке равенства $$p_{00} = (1 - p_1)(1 - p_2))$$. Нетрудно проверить, что гипотеза о справедливости равенства (1) эквивалентна гипотезе$$H_0: p_{00} p_{11} - p_{10} p_{01} = 0.$$

В простейшем случае предполагается, что проведено n независимых испытаний $$(X_i, Y_i), i = 1, 2, ..., n$$, в каждом из которых проконтролированы два альтернативных признака, а вероятности результатов контроля не меняются от испытания к испытанию. Общий вид статистических данных приведен в табл.7.5.

В табл.7.5 величина $$a$$ - число испытаний, в которых $$(X_i , Y_i) = (0,0)$$, величина $$b$$ - число испытаний, в которых $$(X_i , Y_i) = (1,0)$$, и т.д.

Случайный вектор $$(a, b, c, d)$$ имеет мультиномиальное распределение с числом испытаний $$n$$ и вектором вероятностей исходов $$(p_{00}, p_{10}, p_{01}, p_{11})$$. Состоятельными оценками этих вероятностей являются дроби $$a/n, b/n, c/n, d/n$$ соответственно. Следовательно, критерий проверки гипотезы (2) может быть основан на статистике$$Z=ad-bc.$$

Как вытекает из известной формулы для ковариаций мультиномиального вектора (см., например, формулу (6.3.5) в учеб. С.Уилкса [] на с.153),$$М(Z) = n (p_{10} p_{01} - p_{00} p_{11}),$$ что равно 0 при справедливости гипотезы независимости (2).

Связь между переменными $$X$$ и $$Y$$ обычно измеряется коэффициентом, отличающимся от $$Z$$ нормирующим множителем:$$V = (ad - bc)\{(a + b)(a + c)(b + d)(c + d)\}^{-1/2}$$ (см. классическую монографию М. Дж. Кендалла и А. Стьюарта [ $$6$$, с.723]). При справедливости гипотезы $$H_0$$ и больших $$n$$ случайная величина $$nV^2$$ имеет хи-квадрат распределение с одной степенью свободы, а $$n^{1/2}V$$ имеет стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1 (см. [, с.736]). Значение $$n^{1/2}V$$ для данных табл.7.4 равно 1,866, т.е. на уровне значимости 0,05 гипотезу независимости следует принять.

Рассмотрим еще один пример. Пусть проведено 100 испытаний, результаты которых описаны в табл.7.6. Тогда$$\begin{gathered} V=(50\cdot 20-10\cdot 20)(60\cdot 70\cdot 30\cdot 40)^{-1/2} \\ =(1000-200)\cdot 5040000^{-1/2}=800/2245=0,35635, \\ n^{1/2}V=3,5635. \end{gathered}$$

Поскольку полученное значение $$n^{1/2}V$$ превышает критическое значение при любом применяемом в статистике уровне значимости, то гипотезу о независимости признаков необходимо отклонить.

Проверка гипотез по совокупности малых выборок. К сожалению, приведенный простой метод годится не всегда. При статистическом анализе реальных данных возникают проблемы, связанные с отсутствием достаточно больших однородных выборок, т.е. выборок, в которых постоянны параметры вероятностных распределений. Реально единицы продукции представляются на контроль партиями, из каждой партии контролируются лишь несколько изделий, т.е. малая выборка. При этом от партии к партии меняются параметры $$p_{00}, p_{10}, p_{01}, p_{11}$$, описывающие уровень дефектности. Поэтому необходимы статистические методы, позволяющие проверять гипотезу независимости признаков по совокупности малых выборок. Построим один из возможных методов.

Рассмотрим вероятностную модель совокупности $$k$$ малых выборок объемов $$n_1 , n_2 ,..., n_k$$ соответственно. Пусть $$j$$ -я выборка $$(X_{jt} , Y_{jt}), t = 1, 2,..., n_j$$, имеет распределение, задаваемое вектором параметров $$(p_{00j}, p_{10j}, p_{01j}, p_{11j})$$ в соответствии с ранее введенными обозначениями, $$j = 1,2,...,k$$. Будем проверять гипотезу$$H_0: p_{11j} = (p_{10j} + p_{11j}) (p_{01j} + p_{11j}), j = 1,2,...,k,$$ или в эквивалентной формулировке$$Н_0: p_{11j} p_{00j} - p_{10j} p_{01j}, j = 1,2,...,k.$$

Основная идея состоит в нахождении асимптотического распределения статистики типа $$n^{1/2}V$$ при росте числа $$k$$ малых выборок, а именно, статистики$$S = g_1 Z_1 + g_2 Z_2 + ... + g_k Z_k ,$$ где $$Z_1, Z_2, ..., Z_k$$ - статистики, рассчитанные по формуле (3) для каждой из $$k$$ выборок, т.е. $$Z_j = a_{jdj} - b_{jcj} , j = 1,2,...,k$$, а $$g_1, g_2, ..., g_k$$ - некоторые весовые коэффициенты, которые, в частности, могут совпадать. Поскольку$$М(S) = g_1 М(Z_1) + g_2 М(Z_2) + ... + g_k М(Z_k),$$ то при справедливости гипотезы независимости (5) - (6) имеем $$М(S) = 0$$ согласно соотношению (4). Поскольку слагаемые в сумме (7) независимы, то при росте $$k$$ случайная величина $$S$$ в силу центральной предельной теоремы является асимптотически нормальной. Дисперсия этой величины равна сумме дисперсий слагаемых:$$D(S)=g_1^2 D(Z_1)+g_2^2 D(Z_2)+...+g_k^2 D(Z_k).$$

Для оценивания дисперсии $$S$$ необходимо использовать несмещенные оценки дисперсий в каждой из $$k$$ выборок (и в этом одна из основных "изюминок" разбираемого метода). Предположим, что построены статистики $$T_j$$ такие, что$$М(T_j) = D(Z_j) , j = 1, 2, ..., k.$$

Тогда при некоторых математических "условиях регулярности", на которых нет необходимости здесь останавливаться, несмещенная оценка дисперсии статистики $$S$$, имеющая согласно формулам (8) и (9) вид$$L=g_1^2 T_1+g_2^2 T_2+...+g_k^2 T_k,$$ в силу закона больших чисел такова, что дробь $$D(S)/L$$ приближается к 1 при росте числа выборок (сходимость по вероятности). Отсюда следует, что распределение случайной величины $$Q = SL^{-1/2}$$ приближается при росте числа выборок к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Следовательно, критерий проверки гипотезы (5) - (6) независимости признаков, состоящий в том, что при $$(-1,96) < Q < 1,96$$ гипотеза принимается, а при $$Q$$, выходящих за пределы интервала (-1,96; 1,96), - отклоняется, имеет уровень значимости, приближающийся к 0,05 при росте числа выборок. Мощность этого критерия зависит от величины $$М(S)D(S)^{-1/2}$$ при альтернативе.

Для реализации намеченного плана осталось научиться несмещенно оценивать $$D(Z_j)$$. К сожалению, в литературе по несмещенному оцениванию не рассматривают случай мультиномиального распределения, поэтому кратко опишем процедуру построения несмещенной оценки $$D(Z_j)$$. Поскольку согласно формулам (3) и (4)$$\begin{aligned} D(Z_j)=M(Z_j^2)-(M(Z_j))^2=M(a_j^2 d_j^2)-2M(a_j,b_j,c_j,d_j)+\\ +M(b_j^2 c_j^2)+n_j^2(p_{00j}p_{11j}-p_{01j}p(10j))^2, \end{aligned}$$ то для вычисления $$D(Z_j)$$ достаточно найти входящие в правую часть формулы (10) начальные смешанные моменты мультиномиального распределения (четвертого порядка). Теоретически это просто - известен вид характеристической функции мультиномиального распределения (см., например, формулу (6.3.4) в монографии [, с.152]), а начальные смешанные моменты равны значениям ее соответствующих производных в 0, деленным на нужную степень мнимой единицы (формула (5.2.3) в монографии [, с.131]). Например, с помощью описанной процедуры после некоторых вычислений получаем, что (для упрощения записи здесь и далее опустим индекс $$j$$ )$$\begin{aligned} M(a^2d^2)=n(n-1)(n-2)(n-3)p_{11}^2p_{00}^2+ \\ +n(n-1)(n-2)(p_{11}^2p_{00}+p_{11}p_{00}^2)+n(n-1)p_{11}p_{00}. \end{aligned}$$

Формула (11) показывает, что начальные смешанные моменты мультиномиального распределения являются многочленами от параметров $$p_{11}, p_{00}, p_{10}, p_{01}$$ этого распределения, однако конкретный вид этих многочленов достаточно громоздок, поэтому не будем их здесь выписывать, ограничившись формулой (11) в качестве образца.

Как вытекает из формул (10) и (11), для построения несмещенной оценки $$D(Z_j)$$ необходимо научиться несмещенно оценивать произведения типа $$p_{11}^r p_{00}^m$$, где целые неотрицательные числа $$r, m$$ не превосходят 2. Эта задача решается, начиная с меньших степеней. Известно, что для ковариации мультиномиального вектора$$М(ad) = - n p_{00} p_{11}$$ (см., например, формулу (6.3.5) в монографии [, с.153]), а потому несмещенной оценкой для $$p_{00}p_{11}$$ является $$(-ad/n)$$. Далее, поскольку справедлива аналогичная (11) формула$$M(a^2 d)=n(n-1)(n-2)p_{11}p_{00}^2+n(n-1)p_{11}p_{00},$$ то с помощью формулы (12) преобразуем формулу (13) к виду$$M(a^2 d+(n-1)ad)=n(n-1)(n-2)p_{11}p_{00}^2$$ т.е. несмещенной оценкой $$p_{11}p_{00}^2$$ является $$ad(a+n-1)\{n(n-1)(n-2)\}^{-1}$$.

Следующий шаг - аналогичным образом с помощью формул (12) и (14) получаем несмещенную оценку для $$p_{11}^2 p_{00}^2$$, а затем и для $$D(Z_j)$$. Промежуточные формулы опущены из-за громоздкости. Окончательный результат таков:$$T_j=(b_j+d_j)(c_j+d_j)(a_j+c_j)(a_j+b_j)(n-1)^{-1}.$$

Как легко видеть,$$\frac{Z_j}{\sqrt{T_j}}=V_j\sqrt{n_j-1},$$ т.е. в случае одной выборки предлагаемый метод совпадает с классическим.

Общая идея рассматриваемого метода проверки гипотез по совокупности малых выборок состоит в том, что подбирается статистика, математическое ожидание которой для каждой малой выборки равно 0 при справедливости проверяемой гипотезы. Затем для каждой выборки строится несмещенная оценка дисперсии этой статистики. Итоговая статистика критерия для проверки гипотезы - это сумма рассматриваемых статистик для всех малых выборок, деленная на квадратный корень из суммы всех несмещенных оценок дисперсий рассматриваемых статистик. При справедливости нулевой гипотезы эта итоговая статистика имеет в асимптотике стандартное нормальное распределение (при выполнении некоторых математических "условий регулярности", которые обычно выполняются при анализе реальных статистических данных).

Впервые такой способ проверки гипотез по совокупности малых выборок был предложен в монографии [, раздел 4.5]. Нестандартность постановки состоит в том, что число неизвестных параметров растет пропорционально объему данных, т.е. имеет место так называемая "асимптотика Колмогорова", или асимптотика растущей размерности. Дальнейшее развитие применительно к данным типа "да" - "нет" (или "годен" - "дефектен") шло в рамках теории люсианов как части статистики объектов нечисловой природы (см. лекцию 11).

7.5. Проблема множественных проверок статистических гипотез

Практика применения методов прикладной статистики часто выходит за границы классической математико-статистической теории. В качестве примера рассмотрим проверку статистических гипотез.

Базовая теоретическая модель касается проверки одной-единственной статистической гипотезы. На практике же при выполнении того или иного прикладного исследования гипотезы зачастую проверяют неоднократно. При этом, как правило, остается неясным, как влияют результаты предыдущих проверок на характеристики (уровень значимости, мощность) последующих проверок. Есть ли вообще влияние? Как его оценить? Как его учесть при формулировке окончательных выводов?

Изучены лишь некоторые схемы множественных проверок, например, схема последовательного анализа А. Вальда или схема оценивания степени полинома в регрессии путем последовательной проверки адекватности модели (см. лекцию 9). В таких исключительных постановках удается рассчитать характеристики статистических процедур, включающих множественные проверки статистических гипотез.

Однако в большинстве важных для практики случаев статистические свойства процедур анализа данных, основанных на множественных проверках, остаются пока неизвестными. Примерами являются процедуры нахождения информативных подмножеств признаков в регрессионном анализе (коэффициенты для таких и только таких признаков отличны от 0) или выявления отклонений параметров в автоматизированных системах управления.

В таких системах происходит слежение за большим числом параметров. Резкое изменение значения параметра свидетельствует об изменении режима работы системы, что, как правило, требует управляющего воздействия. Существует теория для определения границ допустимых колебаний одного или фиксированного числа параметров. Например, можно использовать контрольные карты Шухарта или кумулятивных сумм, а также их многомерные аналоги (см. гл.13 в []). В подавляющем большинстве постановок, согласно обычно используемым вероятностным моделям, для каждого параметра, находящемся в стабильном ("налаженном") состоянии, существует хотя и малая, но положительная вероятность того, что его значение выйдет за заданные границы. Тогда система зафиксирует резкое изменение значения параметра ("ложная разладка"). При достаточно большом числе параметров с вероятностью, близкой к 1, будет обнаружено несколько "случайных сбоев", среди которых могут "затеряться" и реальные отказы подсистем. Можно доказать, что при большом числе параметров имеется два крайних случая - независимых (в совокупности) параметров и функционально связанных параметров, а для всех остальных систем вероятность обнаружения резкого отклонения хотя бы у одного параметра лежит между соответствующими вероятностями для этих двух крайних случаев.

Почему трудно изучать статистические процедуры, использующие множественные проверки гипотез? Причина состоит в том, что результаты последовательно проводящихся проверок, как правило, не являются независимыми (в смысле независимости случайных элементов). Более того, последовательность проверок зачастую задается исследователем произвольно.

Проблема множественных проверок статистических гипотез - часть более общей проблемы "стыковки" (сопряжения, последовательного выполнения) статистических процедур. Дело в том, что каждая процедура может применяться лишь при некоторых условиях, а в результате применения предыдущих процедур эти условия могут нарушаться. Например, часто рекомендуют перед восстановлением зависимости (регрессионным анализом) разбить данные на однородные группы с помощью какого-либо алгоритма классификации, а затем строить зависимости для каждой из выделенных групп отдельно. Здесь идет речь о "стыковке" алгоритмов классификации и регрессии. Как вытекает из рассмотрений статьи [], попадающие в одну однородную группу результаты наблюдений зависимы и их распределение не является нормальным (гауссовым), поскольку они лежат в ограниченной по некоторым направлениям области, причем границы зависят от всей совокупности результатов наблюдений. При этом при росте объема выборки зависимость уменьшается, но ненормальность остается. Распределение результатов наблюдений, попавших в одну группу, приближается не к нормальному, а к усеченному нормальному. Следовательно, алгоритмами регрессионного анализа, основанными на "нормальной теории", пользоваться некорректно. Целесообразно применять непараметрическую или робастную регрессию.

Проблема "стыковки" статистических процедур обсуждается давно. По ней проведен ряд исследований, результаты которых упомянуты выше, но сколько-нибудь окончательных рекомендаций получено не было. По нашему мнению, на скорое решение проблемы "стыковки" рассчитывать нельзя. Возможно, она является столь же "вечной", как и проблема выбора между средним арифметическим и медианой как характеристиками "центра" выборки.

В качестве примера обсудим одно интересное исследование по проблеме повторных проверок статистических гипотез - работу С.Г.Корнилова [].

Как уже отмечалось, теоретическое исследование является весьма сложным, сколько-нибудь интересные результаты удается получить лишь для отдельных постановок. Поэтому вполне естественно, что С.Г. Корнилов применил метод статистического моделирования на ЭВМ. Однако нельзя забывать о проблеме качества псевдослучайных чисел. Достоинства и недостатки различных алгоритмов получения псевдослучайных чисел много лет обсуждаются в различных изданиях (см. гл.11 в []).

В работе С.Г.Корнилова хорошо моделируется мышление статистика-прикладника. Видно, насколько мешает устаревшее представление о том, что для проверки гипотез необходимо задавать определенный уровень значимости. Особенно оно мешает, если в дальнейшем понадобятся дальнейшие проверки. Гораздо удобнее использовать "достигаемый уровень значимости", т.е. вероятность того, что статистика критерия покажет большее отклонение от нулевой гипотезы, чем то отклонение, что соответствует имеющимся экспериментальным данным. Если есть желание, можно сравнивать "достигаемый уровень значимости" с заданными значениями 0,05 или 0,01. Так, если "достигаемый уровень значимости" меньше 0,01, то нулевая гипотеза отвергается на уровне значимости 0,01, в противном случае - принимается. Следует рассчитывать "достигаемый уровень значимости" всегда, когда для этого есть вычислительные возможности.

Переход к "достигаемому уровню значимости" может избавить прикладника от еще одной трудности, связанной с использованием непараметрических критериев. Дело в том, что их распределения, как правило, дискретны, поскольку эти критерии используют только ранги наблюдений. Поэтому обычно невозможно построить критерий с заданным номинальным уровнем значимости - реальный уровень значимости может принимать лишь конечное число значений, среди которых, как правило, нет ни 0,05, ни 0,01, ни других популярных номинальных значений.

Невозможность построения критических областей критериев с заданными уровнями значимости затрудняет сравнение критериев по мощности, как это продемонстрировано в работе []. Есть формальный способ достичь заданного номинального уровня значимости - провести рандомизацию, т.е. при определенном (граничном) значении статистики критерия провести независимый случайный эксперимент, в котором одни исходы (с заданной суммарной вероятностью) приводят к принятию гипотезы, а остальные - к ее отклонению. Однако подобную процедуру рандомизации прикладнику трудно принять - как оправдать то, что одни и те же экспериментальные данные могут быть основанием как для принятия гипотезы, так и для ее отклонения? Вспоминается журнал "Крокодил", на обложке которого был изображен хозяйственник, обращающийся к другому: "Бросим монетку. Упадет гербом - будем строить завод, а упадет решкой - нет". Описанная процедура рандомизации имеет практический смысл лишь при массовой рутинной проверке гипотез, например, при статистическом контроле больших выборок изделий или деталей.

При использовании все еще распространенных критерия Стьюдента и других параметрических статистических критериев существуют свои проблемы. Такие критерии построены исходя из предположения о том, что функции распределения результатов наблюдений входят в определенные параметрические семейства небольшой размерности. Наиболее распространена гипотеза нормальности распределения. Однако давно известно, что подавляющее большинство реальных распределений результатов измерений не являются нормальными. Об этом говорится, например, в классической для инженеров и организаторов производства монографии проф. В.В. Налимова []. Ряд недавно полученных конкретных экспериментальных фактов и теоретических соображений, подтверждающих точку зрения В.В. Налимова, рассмотрен в лекции 5.

Как же быть? Проверять нормальность распределения своих данных? Но это дело непростое, можно допустить те или иные ошибки, в частности, применяя критерии типа Колмогорова или омега-квадрат. Как уже говорилось (в лекции 2), одна из наиболее распространенных ошибок состоит в том, что в статистики вместо неизвестных параметров подставляют их оценки, но при этом пользуются критическими значениями, рассчитанными для случая, когда параметры полностью известны. Кроме того, для сколько-нибудь надежной проверки нормальности нужны тысячи наблюдений (см. 7.2). Поэтому в подавляющем большинстве реальных задач нет оснований принимать гипотезу нормальности. В лучшем случае можно говорить о том, что распределение результатов наблюдений мало отличается от нормального.

Как влияют отклонения от нормальности на свойства статистических процедур? Для различных процедур - разный ответ. Если речь идет об отбраковке выбросов - влияние отклонений от нормальности настолько велико, что делает процедуру отбраковки с практической точки зрения эвристической, а не научно обоснованной. Если же речь идет о проверке однородности двух выборок с помощью критерия Стьюдента (при априорном предположении о равенстве дисперсий) или Крамера-Уэлча (при отсутствии такого предположения), то при росте объемов выборок влияние отклонений от нормальности убывает, как это подробно показано в лекции 8. Это вытекает из Центральной предельной теоремы. Правда, при этом оказывается, что процентные точки распределения Стьюдента не приносят реальной пользы, достаточно использовать процентные точки предельного нормального распределения.

Весьма важна обсуждаемая, в частности, в работе []). Какой из них выбрать для конкретных расчетов?

Некоторые авторы предлагают формировать технологию принятия статистического решения, согласно которой решающее правило формируется на основе комбинации нескольких критериев. Например, технология может предусматривать проведение "голосования": если из 5 критериев большинство "высказывается" за отклонение гипотезы, то итоговое решение - отвергнуть ее, в противном случае - принять. Однако в таком подходе нет ничего принципиально нового, просто к уже имеющимся критериям добавляются их комбинации - очередные варианты критериев, тем или иным образом выделяющие критические области в пространствах возможных значений результатов измерений, т.е. попросту увеличивается число рассматриваемых критериев.

Итак, имеется некоторая совокупность критериев. У каждого - свой набор значений уровней значимости и мощностей на возможных альтернативах. Математическая статистика демонстрирует в этой ситуации виртуозную математическую технику для анализа частных случаев и полную беспомощность при выдаче практических рекомендаций. Так, оказывается, что практически каждый из известных критериев является оптимальным в том или ином смысле для какого-то набора нулевых гипотез и альтернатив. Математики изучают асимптотическую эффективность в разных смыслах - по Питмену, по Бахадуру и т.д., но - для узкого класса альтернативных гипотез, обычно для альтернативы сдвига. При попытке переноса асимптотических результатов на конечные объемы выборок возникают новые нерешенные проблемы, связанные, в частности, с численным оцениванием скорости сходимости (см. 4.7). В целом эта область математической статистики может активно развиваться еще многие десятилетия, выдавая "на гора" превосходные теоремы (которые могут послужить основанием для защиты кандидатских и докторских диссертаций, выборов в академики РАН и т.д.), но не давая ничего практике. Хорошо бы, чтобы этот пессимистический прогноз не вполне оправдался!

С точки зрения прикладной статистики необходимо изучать проблему выбора критерия проверки однородности двух независимых выборок. Такое изучение было проведено, в том числе методом статистических испытаний, и в результате был получен вывод о том, что наиболее целесообразно применять критерий Лемана-Розенблатта типа омега-квадрат (см. лекцию 8).

В литературе по прикладным статистическим методам, как справедливо замечает С.Г. Корнилов в работе [], имеется масса ошибочных рекомендаций. Чего стоят хотя бы принципиально неверные государственные стандарты СССР по статистическим методам, а также соответствующие им стандарты СЭВ и ИСО, т.е. Международной организации по стандартизации (о них см. гл.13 учебника [], а также статью []). Особо выделяются ошибочные рекомендации по применению критерия типа Колмогорова для проверки нормальности. Ошибки есть и в научных статьях, и в нормативных документах (государственных стандартах), и в методических разработках, и даже в вузовских учебниках. К сожалению, нет способа оградить инженера и научного работника, экономиста и менеджера, нуждающихся в применении статистических методов, от литературных источников и нормативно-технических и инструктивно-методических документов с ошибками, неточностями и погрешностями. Единственный способ - либо постоянно поддерживать профессиональные контакты с квалифицированными специалистами по прикладной статистике, либо самому стать таким специалистом.

Как оценить достигаемый уровень значимости конкретного критерия, предусматривающего повторные проверки? Сразу ясно, что в большинстве случаев никакая современная теория математической статистики не поможет. Остается использовать современные компьютеры. Методика статистического моделирования может стать ежедневным рабочим инструментом специалиста, занимающегося применением методов анализа данных. Для этого она должна быть реализована в виде соответствующей диалоговой программной системы. Современные персональные компьютеры позволяют проводить статистическое моделирование весьма быстро (за доли секунд). Можно использовать различные модификации бутстрепа - одного из вариантов применения статистического моделирования (см. [] и лекцию 15).

Проведенное обсуждение показывает, как много нерешенных проблем стоит перед специалистом, занимающимся, казалось бы, рутинным применением стандартных статистических процедур. Прикладная статистика - молодая наука, ее основные проблемы, по нашему мнению, еще не до конца решены. Много работы как в сравнительно новых областях, например, в анализе нечисловых и интервальных данных, так и в классических.

Контрольные вопросы

Темы докладов, рефератов, исследовательских работ