Новосибирский Государственный Университет
Опубликован: 07.04.2008 | Доступ: свободный | Студентов: 7228 / 1305 | Оценка: 4.56 / 4.32 | Длительность: 16:54:00
Специальности: Математик

Лекция 12: Сходимость последовательностей случайных величин

< Лекция 11 || Лекция 12: 1234 || Лекция 13 >

Законы больших чисел

Определение 45. Говорят, что последовательность случайных величин \xi_1,\,\xi_2,\,\dots с конечными первыми моментами удовлетворяет закону больших чисел (ЗБЧ), если

\begin{equation} 
\vphantom{\dfrac12}\frac{\xi_1+\ldots+\xi_n}{n} -
\frac{{\mathsf E\,}\xi_1+\ldots+{\mathsf E\,}\xi_n}{n}
{\buildrel {\rm p} \over \longrightarrow} 0  \text{  при  }  n\to\infty.
\end{equation} ( 20)

Законами больших чисел принято называть утверждения о том, при каких условиях последовательность случайных величин удовлетворяет закону больших чисел.

Выясним сначала, когда выполнен ЗБЧ для последовательности независимых и одинаково распределенных случайных величин.

Теорема 36 (ЗБЧ Чебышёва). Для любой последовательности \xi_1,\,\xi_2,\,\dots попарно независимых и одинаково распределенных случайных величин с конечным вторым моментом {\mathsf E\,}\xi_1^2<\infty имеет место сходимость

\begin{equation} 
\vphantom{\dfrac12}\frac{\xi_1+\ldots+\xi_n}{n} {\buildrel {\rm p} \over \longrightarrow} 
{\mathsf E\,}\xi_1.
\end{equation} ( 21)

Заметим, что если величины одинаково распределены, то их математические ожидания одинаковы (и равны, например, {\mathsf E\,}\xi_1 ), поэтому свойство (20) можно записать в виде (21).

ЗБЧ утверждает, что среднее арифметическое большого числа случайных слагаемых "стабилизируется" с ростом этого числа. Как бы сильно каждая случайная величина ни отклонялась от своего среднего значения, при суммировании эти отклонения "взаимно гасятся", так что среднее арифметическое приближается к постоянной величине.

В дальнейшем мы увидим, что требование конечности второго момента (или дисперсии) связано исключительно со способом доказательства, и что утверждение останется верным, если требовать существования только первого момента.

Доказательство. Обозначим через S_n=\xi_1+\ldots+\xi_n сумму первых n случайных величин. Из линейности математического ожидания получим

{\mathsf E\,}\left(\frac{S_n}{n}\right) =
\frac{{\mathsf E\,}\xi_1+\ldots+{\mathsf E\,}\xi_n}{n} =
\frac{n\,{\mathsf E\,}\xi_1}{n}={\mathsf E\,}\xi_1.
Пусть {\varepsilon}>0. Воспользуемся неравенством Чебышёва (следствие 17):
\[
\mathsf P\left(\left|\dfrac{S_n}{n}
- \mathsf E \left(\dfrac{S_n}{n}\right)\right|\ge \varepsilon\right)
\le \dfrac{\mathsf D \left(\dfrac{S_n}{n}\right)}{\varepsilon^2}=
\dfrac{\mathsf D S_n}{n^2\varepsilon^2} =
\dfrac{\mathsf D \xi_1+\ldots+\mathsf D \xi_n}{n^2\varepsilon^2}
= \dfrac{n\, \mathsf D \xi_1}{n^2\varepsilon^2} =
\dfrac{\mathsf D \xi_1}{n \varepsilon^2} \to  0
\]
при $n\to\infty$,
так как {\mathsf D\,}\xi_1<\infty. Дисперсия суммы превратилась в сумму дисперсий в силу попарной независимости слагаемых, из-за которой все ковариации {{\rm cov}}(\xi_i,\,
\xi_j) в свойстве 19) обратились в нуль при i\ne j.

Замечание. Мы не только доказали сходимость, но и получили оценку для вероятности среднему арифметическому любого числа попарно независимых и одинаково распределенных величин отличаться от {\mathsf E\,}\xi_1 более чем на заданное {\varepsilon}:

\begin{equation} 
\Prob\left(\left|\frac{\xi_1+\ldots+\xi_n}{n}-{\mathsf E\,}\xi_1\right|\ge 
{\varepsilon}\right)\le\frac{{\mathsf D\,} \xi_1}{n {\varepsilon}^2}.
\end{equation} ( 23)

Попарную независимость слагаемых в ЗБЧ Чебышёва можно заменить их попарной некоррелированностью, ничего не меняя в доказательстве. ЗБЧ может выполняться и для последовательности зависимых и разнораспределенных слагаемых. Из неравенства Чебышёва сразу вытекает следующее достаточное условие выполнения ЗБЧ для последовательности произвольных случайных величин.

Теорема 37 (ЗБЧ Маркова). Последовательность случайных величин \xi_1,\xi_2,\dots с конечными вторыми моментами удовлетворяет ЗБЧ, если {\mathsf D\,} S_n=o(n^2), т.е. если \frac{{\mathsf D\,} S_n}{n^2} \to  0 при n\to\infty.

Теорема Маркова утверждает, что ЗБЧ выполнен, если дисперсия суммы n слагаемых растет не слишком быстро с ростом n.

Сильная зависимость слагаемых приводит обычно к невыполнению ЗБЧ. Если, например, {\mathsf D\,}\xi_1\ne 0 и \xi_n\equiv\xi_1, то S_n=n\xi_1, и свойство (21) не выполнено. В этом случае не выполнено и достаточное условие для ЗБЧ: {\mathsf D\,} S_n={\mathsf D\,}
(n\xi_1)=cn^2. Для одинаково распределенных слагаемых дисперсия суммы еще быстрее расти уже не может.

Следующее утверждение мы докажем чуть позже. Сравните его условия с условиями ЗБЧ Чебышёва.

Теорема 38 (ЗБЧ Хинчина). Для любой последовательности \xi_1,\,\xi_2,\,\dots независимых в совокупности и одинаково распределенных случайных величин с конечным первым моментом {\mathsf E\,}|\xi_1|<\infty имеет место сходимость:

\vphantom{\dfrac{1^2}{2^2}}\frac{\xi_1+\ldots+\xi_n}{n} {\buildrel {\rm p} \over \longrightarrow} 
{\mathsf E\,}\xi_1.

Итак, чтобы последовательность независимых и одинаково распределенных случайных величин удовлетворяла ЗБЧ, достаточно существования первого момента слагаемых. Более того, в условиях теоремы 38 имеет место и сходимость п.н. последовательности (\xi_1+\ldots+\xi_n)/n к {\mathsf E\,}\xi_1. Это утверждение называется усиленным законом больших чисел (УЗБЧ) Колмогорова, и его мы доказывать не будем.

Получим в качестве следствия из ЗБЧ Чебышёва закон больших чисел Бернулли. В отличие от ЗБЧ Чебышёва, описывающего предельное поведение среднего арифметического случайных величин с произвольными распределениями, ЗБЧ Бернулли - утверждение только для схемы Бернулли.

Теорема 39 (ЗБЧ Бернулли). Пусть событие A может произойти в любом из n независимых испытаний с одной и той же вероятностью p, и пусть \nu_n(A) - число осуществлений события A в n испытаниях. Тогда \frac{\nu_n(A)}{n} {\buildrel {\rm p} \over \longrightarrow}  p. При этом для любого {\varepsilon}>0

\vphantom{\dfrac{1^2}{2^2}}\Prob\left(\left|\frac{\nu_n(A)}{n}
- p\,\right|\ge {\varepsilon}
\right)\le \frac{p\mspace{1mu}(1 - p)}{n{\varepsilon}^2}.

Доказательство. Заметим, что \nu_n(A) есть сумма независимых, одинаково распределенных случайных величин, имеющих распределение Бернулли с параметром p=\Prob(A) (индикаторов того, что в соответствующем испытании произошло A ): \nu_n(A)=\xi_1+\ldots+\xi_n, где

\xi_i=\begin{cases}
1, & \text{ если } A \text{ произошло в }\, i\text{-м испытании}; \\
0, & \text{ если } A \text{ не произошло в }\, i\text{-м испытании};
\end{cases}
и {\mathsf E\,}\xi_1=\Prob(A)=p, {\mathsf D\,}\xi_1=p(1-p). Осталось воспользоваться ЗБЧ в форме Чебышёва и неравенством (23).

Пример 71. Монета подбрасывается 10^4 раз. Оценим вероятность того, что частота выпадения герба отличается от \frac12 на 0{,}01 или более.

Пусть \xi_1,\dots,\xi_n - независимые случайные величины, каждая из которых имеет распределение Бернулли с параметром p=1/2 и равна единице, если при соответствующем подбрасывании выпал герб, и нулю иначе. Нужно оценить \Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|\ge
0{,}01\right), где n={10}^4, а \nu_n=\sum\limits_{i=1}^n\xi_i - число выпадений герба. Поскольку {\mathsf D\,}\xi_1=\frac12\cdot \frac12=\frac14, искомая оценка сверху выглядит так:

\Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|\ge
0{,}01\right)\le
\frac{{\mathsf D\,}\xi_1}{n\cdot{0{,}01}^2}=\frac{1}{4\cdot 10^4\cdot 10^{-4}}=
\frac14.

Итак, неравенство Чебышёва позволяет заключить, что в среднем не более чем в четверти случаев при 10 000 подбрасываниях монеты частота выпадения герба будет отличаться от \frac12 на одну сотую или больше. Мы увидим, насколько это грубая оценка, когда познакомимся с центральной предельной теоремой.

< Лекция 11 || Лекция 12: 1234 || Лекция 13 >
Виктория Монахова
Виктория Монахова
Ulmas Abdullaev
Ulmas Abdullaev

Случайные величины кси1 и кси2 независимы и имеют равномерное распределение на отрезке [0;1]. Найти плотности распределения величин а) кси1-кси2 б) кси1/кси2.