НОУ ИНТУИТ | Прикладная статистика. Лекция 4: Теоретическая база прикладной статистики

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 09.11.2009 | Уровень: для всех | Доступ: свободно

|

Вам нравится? Нравится 61 студенту

| Поделиться |

Поддержать программу

4.2. Центральные предельные теоремы

В "Основы вероятностно-статистических методов описания неопределенностей" уже был приведен простейший вариант центральной предельной теоремы (ЦПТ) теории вероятностей.

Центральная предельная теорема (для одинаково распределенных слагаемых). Пусть X_1,X_2,...,X_n,.. . - независимые одинаково распределенные случайные величины с математическими ожиданиями M(X_i)=m и дисперсиями $D(X_i)=\sigma^2, i=1,2,...,n,..$ .. Тогда для любого действительного числа существует предел

$\lim_{n\rightarrow\infty}P \left( \frac{X_1,X_2,...,X_n - nm}{\sigma\sqrt{n}}<x \right) =\Phi(x),$

где $\Phi(x)$ - функция стандартного нормального распределения.

Эту теорему иногда называют теоремой Линдеберга-Леви [ , с.122].

В ряде прикладных задач не выполнено условие одинаковой распределенности. В таких случаях центральная предельная теорема обычно остается справедливой, однако на последовательность случайных величин приходится накладывать те или иные условия. Суть этих условий состоит в том, что ни одно слагаемое не должно быть доминирующим, вклад каждого слагаемого в среднее арифметическое должен быть пренебрежимо мал по сравнению с итоговой суммой. Наиболее часто используется теорема Ляпунова.

Центральная предельная теорема (для разнораспределенных слагаемых) - теорема Ляпунова. Пусть X_1,X_2,...,X_n,.. . - независимые случайные величины с математическими ожиданиями M(X_i)=m_i и дисперсиями $D(X_i)=\sigma_i^2\ne 0, i=1,2,...,n,..$ .. Пусть при некотором $\delta>0$ у всех рассматриваемых случайных величин существуют центральные моменты порядка $2+\delta$ и безгранично убывает "дробь Ляпунова":

$\lim_{k\rightarrow\infty}\frac{1}{B_n^{2+\delta}} \sum_{k=1}^n M|X_k-m_k|^{2+\delta} =0,$

где

$B_k^2=\sum_{i=1}^k\sigma_i^2=D\left(\sum_{i=1}^k X_i\right).$

Тогда для любого действительного числа существует предел

$\lim_{n\rightarrow\infty}P \left( \frac{X_1+X_2+...+X_n-m_1-m_2-...-m_n}{B_n}< \right) =\Phi(x),$

( 1)

где $\Phi(x)$ - функция стандартного нормального распределения.

В случае одинаково распределенных случайных слагаемых

$m_1=m_2=...=m_n=m,\; B_n=D(X_1+X_2+...+X_n)=\sigma\sqrt{n},$

и теорема Ляпунова переходит в теорему Линдеберга-Леви.

История получения центральных предельных теорем для случайных величин растянулась на два века - от первых работ Муавра в 30-х годах XVIII в. до необходимых и достаточных условий, полученных Линдебергом и Феллером в 30-х годах XX в.

Теорема Линдеберга-Феллера. Пусть X_1,X_2,...,X_n,.. . - независимые случайные величины с математическими ожиданиями M(X_i)=m_i и дисперсиями $D(X_i)=\sigma_i^2\ne, i=1,2,...,n,..$ . Предельное соотношение (1), т.е. центральная предельная теорема, выполнено тогда и только тогда, когда при любом $\tau>0$

$\lim_{n\rightarrow\infty}\frac{1}{B_n^2}\sum_{k=1}^n\int\limits_{|x-m_k|>\tau B_n}(x-m_k)^2 dF_k(x)=0,$

где

обозначает функцию распределения случайной величины X_k

.

Доказательства перечисленных в настоящем подразделе центральных предельных теорем для случайных величин можно найти в классическом курсе теории вероятностей [ [ 2.3 ] ].

Для прикладной статистики большое значение имеет многомерная центральная предельная теорема. В ней речь идет не о сумме случайных величин, а о сумме случайных векторов.

Необходимое и достаточное условие многомерной сходимости [ [ 4.23 ] , с.124]. Пусть F_n обозначает совместную функцию распределения -мерного случайного вектора $(X_n^{(1)},...,X_n^{(k)}), n=1,2,..$ ., и $F_{\lambda n}$ - функция распределения линейной комбинации $\lambda_1X_n^{(1)}+\lambda_2X_n^{(2)}+...+\lambda_k X_n^{(k)}$ . Необходимое и достаточное условие для сходимости F_n к некоторой -мерной функции распределения состоит в том, что $F_{\lambda n}$ имеет предел для любого вектора $\lambda=(\lambda_1,\lambda_2,...\lambda_k)$ .

Приведенная теорема ценна тем, что сходимость векторов сводитcя к сходимости линейных комбинаций их координат, т.е. к сходимости обычных случайных величин, рассмотренных ранее. Однако она не дает возможности непосредственно указать предельное распределение. Это можно сделать с помощью следующей теоремы.

Теорема о многомерной сходимости. Пусть F_n и $F_{\lambda n}$ - те же, что в предыдущей теореме. Пусть - совместная функция распределения -мерного случайного вектора (X_1,...,X_k) . Если функция распределения $F_{\lambda n}$ сходится при росте объема выборки к функции распределения $F_{\lambda}$ для любого вектора $\lambda$ , где $F_{\lambda}$ - функция распределения линейной комбинации $\lambda_1X_1+...+\lambda_kX_k$ , то F_n сходится к .

Здесь сходимость F_n к означает, что для любого -мерного вектора (x_1,...,x_k) такого, что функция распределения непрерывна в , числовая последовательность F_n(x_1,...,x_k) сходится при росте к числу F(x_1,...,x_k) . Другими словами, сходимость функций распределения понимается ровно также, как при обсуждении предельных теорем для случайных величин выше. Приведем многомерный аналог этих теорем.

Многомерная центральная предельная теорема [ [ 4.23 ] ]. Рассмотрим независимые одинаково распределенные -мерные случайные векторы

$U'_n(U_{1n},...,U_{kn}), n=1,2,...,$

где штрих обозначает операцию транспонирования вектора. Предположим, что случайные векторы U_n

имеют моменты первого и второго порядка, т.е.

$M(U_n)=\mu,\; D(U_n)=\Sigma,$

где $\mu$ - вектор математических ожиданий координат случайного вектора, $\Sigma$ - его ковариационная матрица. Введем последовательность средних арифметических случайных векторов:

$\overline{U}_n=(\overline{U}_{1n},...,\overline{U}_{kn}),\; n=1,2,...,\; \overline{U}_{in}=\frac{1}{n}\sum_{j=1}^n U_{ij}.$

Тогда случайный вектор $\sqrt{n}(\overline{U}_n-\mu)$ имеет асимптотическое -мерное нормальное распределение $N_k(0,\Sigma)$ , т.е. он асимптотически распределен так же, как -мерная нормальная величина с нулевым математическим ожиданием, ковариационной $\Sigma$ и плотностью

$N_k(u|0,\Sigma)=(2\pi)^{-k/2}|\Sigma|^{-1/2}\exp\{-\frac12 u'\Sigma^{-1}u\}.$

Здесь $|\Sigma|$ - определитель матрицы $\Sigma$ . Другими словами, распределение случайного вектора $\sqrt{n}(\overline{U}_n-\mu)$ сходится к -мерному нормальному распределению с нулевым математическим ожиданием и ковариационной матрицей $\Sigma$ .

Напомним, что многомерным нормальным распределением с математическим ожиданием $\mu$ и ковариационной матрицей $\Sigma$ называется распределение, имеющее плотность

$N_k(u|\mu,\Sigma)=(2\pi)^{-k/2}|\Sigma|^{-1/2} \exp\{-\frac12[(u-\mu)'\Sigma^{-1}(u-\mu)]\}.$

Многомерная центральная предельная теорема показывает, что распределения сумм независимых одинаково распределенных случайных векторов при большом числе слагаемых хорошо приближаются с помощью нормальных распределений, имеющих такие же первые два момента (вектор математических ожиданий координат случайного вектора и его корреляционную матрицу), как и исходные векторы. От одинаковой распределенности можно отказаться, но это потребует некоторого усложнения символики. В целом из теоремы о многомерной сходимости вытекает, что многомерный случай ничем принципиально не отличается от одномерного.

Пример. Пусть X_1,...,X_n,.. .- независимые одинаково распределенные случайные величины. Рассмотрим -мерные независимые одинаково распределенные случайные векторы

U'_n=(X_n,X_n^2,X_n^3,...,X_n^k), n=1,2,...

Их математическое ожидание - вектор теоретических начальных моментов, а ковариационная матрица составлена из соответствующих центральных моментов. Тогда $\overline{U}_n$ - вектор выборочных начальных моментов. Многомерная центральная предельная теорема утверждает, что $\overline{U}_n$ имеет асимптотически нормальное распределение. Как вытекает из теорем о наследовании сходимости и о линеаризации (см. ниже), из распределения $\overline{U}_n$ можно вывести распределения различных функций от выборочных начальных моментов. А поскольку центральные моменты выражаются через начальные, то аналогичное утверждение верно и для них.

Дальше >>

Авторизоваться

Прикладная статистика

Теоретическая база прикладной статистики

4.2. Центральные предельные теоремы

Вопросы и ответы