Напомним, что случайная величина есть (измеримая) функция из некоторого непустого множества $$\Omega$$ в множество действительных чисел. Последовательность случайных величин $$\{\xi_n\}_{n=1}^\infty$$ есть тем самым последовательность функций, определенных на одном и том же множестве $$\Omega$$. Существуют разные виды сходимости последовательности функций. Давать определение любой сходимости мы будем, опираясь на сходимость числовых последовательностей, как на уже известное основное понятие.
В частности, при каждом новом $$\omega\in\Omega$$ мы имеем новую числовую последовательность $$\xi_1(\omega),\,\xi_2(\omega),\,\xi_3(\omega),\,\dots$$ Поэтому можно говорить о сходимости последовательности значений функций в данной точке $$\omega$$, а также во всех остальных точках $$\omega\in\Omega$$. В теории вероятностей можно не обращать внимание на неприятности, происходящие с нулевой вероятностью. Поэтому вместо сходимости "всюду" принято рассматривать сходимость "почти всюду", или "почти наверное".
Определение 42. Говорят, что последовательность $$\{\xi_n\}$$ сходится почти наверное к случайной величине $$\xi$$ при $$n\to\infty$$, и пишут: $${\xi_n\to\xi}$$ п.н., если $$\Prob\left\{\omega | \xi_n(\omega)\to\xi(\omega) \text{ при } n\to\infty\right\}=1$$. Иначе говоря, если $$\xi_n(\omega)\to\xi(\omega)$$ при $$n\to\infty$$ для всех $$\omega\in\Omega$$, кроме, возможно, $$\omega\in A$$, где $$A$$ - событие, имеющее нулевую вероятность.
Заметим сразу: определение сходимости "почти наверное" требует знания того, как устроены отображения $$\omega\mapsto\xi_n(\omega)$$. В задачах же теории вероятностей, как правило, известны не сами случайные величины, а лишь их распределения.
Можем ли мы, обладая только информацией о распределениях, говорить о какой-либо сходимости последовательности случайных величин $$\{\xi_n\}$$ к случайной величине $$\xi$$?
Можно, скажем, потребовать, чтобы вероятность тех элементарных исходов $$\omega$$, для которых $$\xi_n(\omega)$$ не попадает в " $${\varepsilon}$$ -окрестность" числа $$\xi(\omega)$$, уменьшалась до нуля с ростом $$n$$. Такая сходимость в функциональном анализе называется сходимостью "по мере", а в теории вероятностей - сходимостью "по вероятности".
Определение 42. Говорят, что последовательность случайных величин $$\{\xi_n\}$$ сходится по вероятности к случайной величине $$\xi$$ при $$n\to\infty$$, и пишут $$\xi_n{uildrel {\rm p} \over \longrightarrow}\xi$$, если для любого $${\varepsilon}>0$$$$\Prob\left(|\xi_n-\xi|\ge{\varepsilon}\right)\to 0\, \text{ при } n\to\infty \; \text{ (или } \Prob\left(|\xi_n-\xi|<{\varepsilon}\right)\to 1\, \text{ при } n\to\infty\text{)}.$$
Пример 70. Рассмотрим последовательность $$\xi_1,\,\xi_2,\,\dots$$, в которой все величины имеют разные распределения: величина $$\xi_n$$ принимает значения $$0$$ и $$n^7$$ с вероятностями $$\Prob\bigl(\xi_n=n^7\bigr)=1/n=1-\Prob(\xi_n=0)$$. Докажем, что эта последовательность сходится по вероятности к нулю.
Зафиксируем произвольное $${\varepsilon}>0$$. Для всех $$n$$ начиная с некоторого $$n_0$$ такого, что $${n\mathstrut}_0^7>{\varepsilon}$$, верно равенство $$\Prob(\xi_n\ge{\varepsilon})=\Prob({\xi_n=n^7})=1\mspace{1mu}/\,n$$. Поэтому$$\Prob\bigl(|\xi_n-0|\ge{\varepsilon}\bigr) = \Prob\bigl(\xi_n\ge{\varepsilon}\bigr) = \Prob\bigl(\xi_n=n^7\bigr) = \frac1n \to 0 \text{ при } n\to\infty.$$ Итак, случайные величины $$\xi_n$$ с ростом $$n$$ могут принимать все большие и большие значения, но со все меньшей и меньшей вероятностью.
Например, последовательность $$\{\xi_n\}$$ можно задать на вероятностном пространстве $$\langle\Omega,\,\mathcal F,\,\Prob\rangle= \langle [0,\,1],\,\mathfrak{B}([0,\,1]),\,\lambda\rangle$$ так: положим $$\xi_n(\omega)=0$$ для $$\omega\in[0,\,1-1\mspace{1mu}/\,n]$$ и $$\xi_n(\omega)=n^7$$ для $$\omega\in(1-1\mspace{1mu}/\,n,\,1]$$.
Заметим, что сходимость по вероятности имеет место совершенно независимо от того, как именно заданы случайные величины на $$\Omega$$, поскольку определяется лишь их распределениями.
Замечание Иное дело - сходимость "почти наверное". Если, скажем, задать случайные величины как указано выше, то сходимость "почти наверное" будет иметь место. Действительно, для всякого $$\omega\in[0,\,1)$$ найдется такое $$n_0$$, что $$\omega \in [0, 1-1/n_0]$$, и поэтому для всех $$n \ge n_0$$ все $$\xi_n(\omega)$$ равны нулю.
Можно попробовать задать случайные величины $$\xi_n$$ на отрезке $$[0,\,1]$$ как-нибудь иначе, чтобы не было сходимости почти наверное. Для этого нужно заставить отрезок длины $$1\,/\,n$$, на котором $$\xi_n(\omega)=n^7$$, "бегать" по отрезку $$[0,\,1]$$, чтобы любая точка $$\omega\in[0,\,1]$$ попадала внутрь этого отрезка бесконечное число раз, и, тем самым, для любого $$\omega$$ существовала подпоследовательность $$\xi_{n_k}(\omega)\to\infty$$.
Сходимость по вероятности не обязательно сопровождается сходимостью математических ожиданий или моментов других порядков: из $$\xi_n {uildrel {\rm p} \over \longrightarrow} \xi$$ не следует, что $${\mathsf E\,}\xi_n\to{\mathsf E\,} \xi$$. Действительно, в примере 70 имеет место сходимость $$\xi_n {uildrel {\rm p} \over \longrightarrow} \xi=0$$, но $${\mathsf E\,}\xi_n=n^6\not\to{\mathsf E\,} \xi=0$$. При этом вообще последовательность $${\mathsf E\,}\xi_n$$ неограниченно возрастает.
А если вместо значения $$n^7$$ взять $$n$$ (с той же вероятностью $$1\mspace{1mu}/\,n$$ ), то получим $${\mathsf E\,}\xi_n=1\not\to {\mathsf E\,}\xi=0$$. Но теперь хотя бы предел у последовательности математических ожиданий конечен.
Если же $$\xi_n$$ принимает значения $$0$$ и $$\sqrt{n}$$ с вероятностями из примера 70, то $${\mathsf E\,}\xi_n=1/\sqrt{n} \to {\mathsf E\,}\xi=0$$, но уже вторые моменты сходиться ко второму моменту $$\xi$$ не будут: $${\mathsf E\,}\xi_n^2=1 \not\to {\mathsf E\,}\xi^2=0$$.
Однако сходимость математических ожиданий и других моментов сходящихся последовательностей бывает чрезвычайно важна в различных задачах статистики. Существуют условия, при выполнении которых сходимость по вероятности $$\xi_n{uildrel {\rm p} \over \longrightarrow}\xi$$ влечет сходимость математических ожиданий $${\mathsf E\,}\xi_n\to{\mathsf E\,}\xi$$.
Сформулируем без доказательства следующее утверждение.
Теорема 34. Пусть $$\xi_n {uildrel {\rm p} \over \longrightarrow} \xi$$ при $$n\to\infty$$. Тогда для сходимости $${\mathsf E\,}\xi_n\to{\mathsf E\,}\xi$$ достаточно выполнения любого из следующих условий:
Самым слабым в этом списке является третье условие, наиболее ограничительным - первое. Ни одно из этих условий не является необходимым для сходимости математических ожиданий.
Сходимость по вероятности, так же как и любая другая сходимость, не портится под действием непрерывной функции.
Свойство 21. Пусть функция $$g$$ действует из $$\mathbb R$$ в $$\mathbb R$$.
Доказательство. Простое доказательство первого утверждения можно предложить в двух случаях, которыми мы и ограничимся: если $$\xi=c=\text{const}$$ (и тогда достаточно, чтобы $$g$$ была непрерывна в точке $$c$$ ) или если функция $$g$$ равномерно непрерывна.
И в том и в другом случае для любого $${\varepsilon}>0$$ найдется такое $${\delta>0,}$$ что для любого $$\omega$$, удовлетворяющего условию $$|\xi_n(\omega)-\xi(\omega)|<\delta$$, выполняется неравенство $$|g(\xi_n(\omega))-g(\xi(\omega))|<{\varepsilon}$$.
Другими словами, событие $$\bigl\{|\xi_n-\xi|<\delta\bigr\}$$ влечет за собой событие $${\bigl\{|g(\xi_n)-g(\xi)|<{\varepsilon}\bigr\}.}$$ Следовательно, вероятность первого не больше вероятности второго. Но, какое бы ни было $$\delta>0$$, вероятность первого события стремится к единице по определению сходимости по вероятности:$$1\longleftarrow\Prob\bigl(|\xi_n-\xi|<\delta\bigr)\le \Prob\bigl(|g(\xi_n)-g(\xi)|<{\varepsilon}\bigr)\le 1.$$ Тогда вероятность второго события также стремится к единице.
То же самое можно утверждать и для непрерывной функции многих переменных, примененной к нескольким сходящимся последовательностям.
Свойство 22. Пусть функция $$g$$ отображает $$\mathbb R^2$$ в $$\mathbb R$$.
Доказательство. Докажем опять только второе свойство. Воспользуемся определением непрерывности функции двух переменных: для любого $${\varepsilon}>0$$ найдется такое $${\delta>0,}$$ что для любого $$\omega$$, принадлежащего одновременно двум событиям$$A_n=\bigl\{|\xi_n(\omega)-c_1|<\delta\bigr\}, \qquad B_n=\bigl\{|\eta_n(\omega)-c_2|<\delta\bigr\},$$ выполняется неравенство$$|g(\xi_n(\omega),\,\eta_n(\omega))-g(c_1,\,c_2)|<{\varepsilon}.$$ Тогда событие $$A_n\cap B_n$$ влечет событие $$C={\bigl\{|g(\xi_n,\,\eta_n)-g(c_1,\,c_2)|<{\varepsilon}\bigr\},}$$ поэтому вероятность первого не больше вероятности второго. Но вероятность пересечения двух событий, вероятности которых стремятся к единице, также стремится к единице:$$\Prob(A_n\cap B_n) = 1-\Prob\bigl(\overline{A_n} \cup \overline{B_n}\bigr) \geq 1-\Prob\bigl(\overline{A_n}\bigr) - \Prob\bigl(\overline{B_n}\bigr) \to 1.$$ Поэтому $$\Prob(C)\geq \Prob(A_n\cap B_n)\to 1$$ при $$n\to\infty$$.
Из свойства 22 вытекают обычные свойства пределов, хорошо знакомые нам по числовым последовательностям. Например, функции $${g(x,\,y)=x+y}$$ и $$g(x,\,y)=xy$$ непрерывны в $$\mathbb R^2$$, поэтому предел суммы (произведения) сходящихся по вероятности последовательностей равен сумме (произведению) пределов.
Свойство 23. Если $$\xi_n{uildrel {\rm p} \over \longrightarrow}\xi$$ и $$\eta_n{uildrel {\rm p} \over \longrightarrow}\eta$$, то $$\xi_n+\eta_n{uildrel {\rm p} \over \longrightarrow}\xi+\eta\mspace{1mu}$$ и $$\xi_n\cdot\eta_n{uildrel {\rm p} \over \longrightarrow}\xi\cdot\eta\mspace{1mu}\vphantom{\int_{b_b}}$$.
Сходимость "почти наверное" сильнее сходимости по вероятности.
Свойство 24. Если $$\xi_n\to\xi$$ п.н., то $$\xi_n{uildrel {\rm p} \over \longrightarrow}\xi$$.
Доказательство. Ограничимся для простоты случаем, когда $$\xi_n(\omega)\to\xi(\omega)$$ для любого $$\omega$$. Зафиксируем $$\omega\in\Omega$$. По определению предела, $$\xi_n(\omega)\to\xi(\omega)$$ при $$n\to\infty$$, если для всякого $${\varepsilon}>0$$ найдется $$N=N(\omega,\,{\varepsilon})\ge 0$$ такое, что для всех $$n> N$$ выполняется неравенство $$|\xi_n(\omega)-\xi(\omega)|<{\varepsilon}$$.
Событие $$A=\{\mspace{2mu}n > N(\omega,\,{\varepsilon})\}$$ влечет событие $$B=\{|\xi_n(\omega)-\xi(\omega)|<{\varepsilon}\}$$. Тогда$$1\ge\Prob(B)\geq\Prob(A) = \Prob\bigl(N(\omega,{\varepsilon}) < n\bigr)=F_{N({\varepsilon},\omega)}(n)\to 1\, \text{ при }\,n\to\infty$$ по свойству (F2) функций распределения. Мы получили, что $$\Prob(B)\to 1$$, т.е. $$\xi_n{uildrel {\rm p} \over \longrightarrow}\xi$$.
Чтобы доказывать сходимость по вероятности, требуется уметь вычислять $$\Prob\left(|\xi_n-\xi|\ge{\varepsilon}\right)$$ при больших $$n$$. Но для этого нужно знать распределение $$\xi_n$$, что не всегда возможно.
Полезно иметь неравенства, позволяющие оценивать вероятность $$\Prob\left(|\xi_n-\xi|\ge{\varepsilon}\right)$$ сверху. Тогда для доказательства сходимости по вероятности было бы достаточно устремить к нулю эту оценку.
Все неравенства в этом параграфе принято относить к одному классу неравенств Чебышёва.
Теорема 35 (неравенство Маркова). Если $${\mathsf E\,}|\xi|<\infty$$, то для любого $$x>0$$$$\Prob\bigl(|\xi|\ge x\bigr)\le\frac{{\mathsf E\,}|\xi|}{x}\,.$$
Доказательство. Нам потребуется следующее понятие.
Определение 44. Назовем индикатором события $$A$$ случайную величину $$I(A)$$, равную единице, если событие $$A$$ произошло, и нулю, если $$A$$ не произошло.
По определению, величина $$I(A)$$ имеет
Следствие 16 (обобщенное неравенство Чебышёва). Пусть функция $$g$$ не убывает и неотрицательна на $$\mathbb R$$. Если $${\mathsf E\,} g(\xi)<\infty$$, то для любого $$x\in \mathbb R$$$$\Prob\bigl(\xi\ge x\bigr)\le\frac{{\mathsf E\,} g(\xi)}{g(x)}.$$
Доказательство. Заметим, что $$\Prob\bigl(\xi\ge x\bigr)\le \Prob\bigl(g(\xi)\ge g(x)\bigr)$$, поскольку функция $$g$$ не убывает. Оценим последнюю вероятность по неравенству Маркова, которое можно применять в силу неотрицательности $$g$$:$$\qquad\Prob\bigl(g(\xi)\ge g(x)\bigr)\le\frac{{\mathsf E\,} g(\xi)}{g(x)}. \qquad$$
Упражнение. Записать предыдущее неравенство для функции $$g(x)=e^x$$ и получить экспоненциальное неравенство Чебышёва.
Следствие 17 (неравенство Чебышёва). Если $${{\mathsf D\,}\xi}$$ существует, то для любого $$x>0$$$$\Prob\bigl(|\xi-{\mathsf E\,}\xi|\ge x\bigr)\le\frac{{\mathsf D\,}\xi}{x^2}.$$
Доказательство. Для $$x>0$$ неравенство $$|\xi-{\mathsf E\,}\xi|\ge x$$ равносильно неравенству $$(\xi-{\mathsf E\,}\xi)^2\ge x^2$$, поэтому$$\Prob\bigl(|\xi-{\mathsf E\,}\xi|\ge x\bigr)= \Prob\bigl((\xi-{\mathsf E\,}\xi)^2\ge x^2\bigr)\le \frac{{\mathsf E\,}{\bigl(\xi-{\mathsf E\,}\xi\bigr)}^2}{x^2} =\frac{{\mathsf D\,}\xi}{x^2}.$$
Неравенство Чебышёва позволяет, помимо всего прочего, получать абсолютные оценки для вероятности того, что стандартизованная случайная величина превзойдет некоторое значение: для любого $$x>0$$$$\Prob\left(\left|\frac{\xi-{\mathsf E\,}\xi}{\sqrt{{\mathsf D\,}\xi}}\right|\ge x\right) = \Prob\left(|\xi-{\mathsf E\,}\xi|\ge x\sqrt{{\mathsf D\,}\xi}\right) \leq \frac{{\mathsf D\,}\xi}{x^2{\mathsf D\,}\xi} = \frac1{x^2}.$$ Например, при $$x=10$$ эта вероятность не превышает $$0{,}01$$.
Определение 45. Говорят, что последовательность случайных величин $$\xi_1,\,\xi_2,\,\dots$$ с конечными первыми моментами удовлетворяет закону больших чисел (ЗБЧ), если$$\begin{equation} \vphantom{\dfrac12}\frac{\xi_1+\ldots+\xi_n}{n} - \frac{{\mathsf E\,}\xi_1+\ldots+{\mathsf E\,}\xi_n}{n} {uildrel {\rm p} \over \longrightarrow} 0 \text{ при } n\to\infty. \end{equation}$$
Законами больших чисел принято называть утверждения о том, при каких условиях последовательность случайных величин удовлетворяет закону больших чисел.
Выясним сначала, когда выполнен ЗБЧ для последовательности независимых и одинаково распределенных случайных величин.
Теорема 36 (ЗБЧ Чебышёва). Для любой последовательности $$\xi_1,\,\xi_2,\,\dots$$ попарно независимых и одинаково распределенных случайных величин с конечным вторым моментом $${\mathsf E\,}\xi_1^2<\infty$$ имеет место сходимость$$\begin{equation} \vphantom{\dfrac12}\frac{\xi_1+\ldots+\xi_n}{n} {uildrel {\rm p} \over \longrightarrow} {\mathsf E\,}\xi_1. \end{equation}$$
Заметим, что если величины одинаково распределены, то их математические ожидания одинаковы (и равны, например, $${\mathsf E\,}\xi_1$$ ), поэтому свойство (20) можно записать в виде (21).
ЗБЧ утверждает, что среднее арифметическое большого числа случайных слагаемых "стабилизируется" с ростом этого числа. Как бы сильно каждая случайная величина ни отклонялась от своего среднего значения, при суммировании эти отклонения "взаимно гасятся", так что среднее арифметическое приближается к постоянной величине.
В дальнейшем мы увидим, что требование конечности второго момента (или дисперсии) связано исключительно со способом доказательства, и что утверждение останется верным, если требовать существования только первого момента.
Доказательство. Обозначим через $$S_n=\xi_1+\ldots+\xi_n$$ сумму первых $$n$$ случайных величин. Из линейности математического ожидания получим$${\mathsf E\,}\left(\frac{S_n}{n}\right) = \frac{{\mathsf E\,}\xi_1+\ldots+{\mathsf E\,}\xi_n}{n} = \frac{n\,{\mathsf E\,}\xi_1}{n}={\mathsf E\,}\xi_1.$$ Пусть $${\varepsilon}>0$$. Воспользуемся неравенством Чебышёва (следствие 17):$$\[ \mathsf P\left(\left|\dfrac{S_n}{n} - \mathsf E \left(\dfrac{S_n}{n}\right)\right|\ge \varepsilon\right) \le \dfrac{\mathsf D \left(\dfrac{S_n}{n}\right)}{\varepsilon^2}= \dfrac{\mathsf D S_n}{n^2\varepsilon^2} = \dfrac{\mathsf D \xi_1+\ldots+\mathsf D \xi_n}{n^2\varepsilon^2} = \dfrac{n\, \mathsf D \xi_1}{n^2\varepsilon^2} = \dfrac{\mathsf D \xi_1}{n \varepsilon^2} \to 0 \] при $n\to\infty$,$$ так как $${\mathsf D\,}\xi_1<\infty$$. Дисперсия суммы превратилась в сумму дисперсий в силу попарной независимости слагаемых, из-за которой все ковариации $${{\rm cov}}(\xi_i,\, \xi_j)$$ в свойстве 19) обратились в нуль при $$i\ne j$$.
Замечание. Мы не только доказали сходимость, но и получили оценку для вероятности среднему арифметическому любого числа попарно независимых и одинаково распределенных величин отличаться от $${\mathsf E\,}\xi_1$$ более чем на заданное $${\varepsilon}$$:$$\begin{equation} \Prob\left(\left|\frac{\xi_1+\ldots+\xi_n}{n}-{\mathsf E\,}\xi_1\right|\ge {\varepsilon}\right)\le\frac{{\mathsf D\,} \xi_1}{n {\varepsilon}^2}. \end{equation}$$
Попарную независимость слагаемых в ЗБЧ Чебышёва можно заменить их попарной некоррелированностью, ничего не меняя в доказательстве. ЗБЧ может выполняться и для последовательности зависимых и разнораспределенных слагаемых. Из неравенства Чебышёва сразу вытекает следующее достаточное условие выполнения ЗБЧ для последовательности произвольных случайных величин.
Теорема 37 (ЗБЧ Маркова). Последовательность случайных величин $$\xi_1,\xi_2,\dots$$ с конечными вторыми моментами удовлетворяет ЗБЧ, если $${\mathsf D\,} S_n=o(n^2)$$, т.е. если $$\frac{{\mathsf D\,} S_n}{n^2} \to 0$$ при $$n\to\infty$$.
Теорема Маркова утверждает, что ЗБЧ выполнен, если дисперсия суммы $$n$$ слагаемых растет не слишком быстро с ростом $$n$$.
Сильная зависимость слагаемых приводит обычно к невыполнению ЗБЧ. Если, например, $${\mathsf D\,}\xi_1\ne 0$$ и $$\xi_n\equiv\xi_1$$, то $$S_n=n\xi_1$$, и свойство (21) не выполнено. В этом случае не выполнено и достаточное условие для ЗБЧ: $${\mathsf D\,} S_n={\mathsf D\,} (n\xi_1)=cn^2$$. Для одинаково распределенных слагаемых дисперсия суммы еще быстрее расти уже не может.
Следующее утверждение мы докажем чуть позже. Сравните его условия с условиями ЗБЧ Чебышёва.
Теорема 38 (ЗБЧ Хинчина). Для любой последовательности $$\xi_1,\,\xi_2,\,\dots$$ независимых в совокупности и одинаково распределенных случайных величин с конечным первым моментом $${\mathsf E\,}|\xi_1|<\infty$$ имеет место сходимость:$$\vphantom{\dfrac{1^2}{2^2}}\frac{\xi_1+\ldots+\xi_n}{n} {uildrel {\rm p} \over \longrightarrow} {\mathsf E\,}\xi_1.$$
Итак, чтобы последовательность независимых и одинаково распределенных случайных величин удовлетворяла ЗБЧ, достаточно существования первого момента слагаемых. Более того, в условиях теоремы 38 имеет место и сходимость п.н. последовательности $$(\xi_1+\ldots+\xi_n)/n$$ к $${\mathsf E\,}\xi_1$$. Это утверждение называется усиленным законом больших чисел (УЗБЧ) Колмогорова, и его мы доказывать не будем.
Получим в качестве следствия из ЗБЧ Чебышёва закон больших чисел Бернулли. В отличие от ЗБЧ Чебышёва, описывающего предельное поведение среднего арифметического случайных величин с произвольными распределениями, ЗБЧ Бернулли - утверждение только для схемы Бернулли.
Теорема 39 (ЗБЧ Бернулли). Пусть событие $$A$$ может произойти в любом из $$n$$ независимых испытаний с одной и той же вероятностью $$p$$, и пусть $$\nu_n(A)$$ - число осуществлений события $$A$$ в $$n$$ испытаниях. Тогда $$\frac{\nu_n(A)}{n} {uildrel {\rm p} \over \longrightarrow} p$$. При этом для любого $${\varepsilon}>0$$$$\vphantom{\dfrac{1^2}{2^2}}\Prob\left(\left|\frac{\nu_n(A)}{n} - p\,\right|\ge {\varepsilon} \right)\le \frac{p\mspace{1mu}(1 - p)}{n{\varepsilon}^2}.$$
Доказательство.
Заметим, что $$\nu_n(A)$$ есть сумма независимых,
одинаково распределенных случайных величин, имеющих
Пример 71. Монета подбрасывается $$10^4$$ раз. Оценим вероятность того, что частота выпадения герба отличается от $$\frac12$$ на $$0{,}01$$ или более.
Пусть $$\xi_1,\dots,\xi_n$$ - независимые случайные величины,
каждая из которых имеет
Итак, неравенство Чебышёва позволяет заключить, что в среднем не более чем в четверти случаев при 10 000 подбрасываниях монеты частота выпадения герба будет отличаться от $$\frac12$$ на одну сотую или больше. Мы увидим, насколько это грубая оценка, когда познакомимся с центральной предельной теоремой.
Напомним, что случайная величина есть (измеримая) функция из некоторого непустого множества $$\Omega$$ в множество действительных чисел. Последовательность случайных величин $$\{\xi_n\}_{n=1}^\infty$$ есть тем самым последовательность функций, определенных на одном и том же множестве $$\Omega$$. Существуют разные виды сходимости последовательности функций. Давать определение любой сходимости мы будем, опираясь на сходимость числовых последовательностей, как на уже известное основное понятие.
В частности, при каждом новом $$\omega\in\Omega$$ мы имеем новую числовую последовательность $$\xi_1(\omega),\,\xi_2(\omega),\,\xi_3(\omega),\,\dots$$ Поэтому можно говорить о сходимости последовательности значений функций в данной точке $$\omega$$, а также во всех остальных точках $$\omega\in\Omega$$. В теории вероятностей можно не обращать внимание на неприятности, происходящие с нулевой вероятностью. Поэтому вместо сходимости "всюду" принято рассматривать сходимость "почти всюду", или "почти наверное".
Определение 42. Говорят, что последовательность $$\{\xi_n\}$$ сходится почти наверное к случайной величине $$\xi$$ при $$n\to\infty$$, и пишут: $${\xi_n\to\xi}$$ п.н., если $$\Prob\left\{\omega | \xi_n(\omega)\to\xi(\omega) \text{ при } n\to\infty\right\}=1$$. Иначе говоря, если $$\xi_n(\omega)\to\xi(\omega)$$ при $$n\to\infty$$ для всех $$\omega\in\Omega$$, кроме, возможно, $$\omega\in A$$, где $$A$$ - событие, имеющее нулевую вероятность.
Заметим сразу: определение сходимости "почти наверное" требует знания того, как устроены отображения $$\omega\mapsto\xi_n(\omega)$$. В задачах же теории вероятностей, как правило, известны не сами случайные величины, а лишь их распределения.
Можем ли мы, обладая только информацией о распределениях, говорить о какой-либо сходимости последовательности случайных величин $$\{\xi_n\}$$ к случайной величине $$\xi$$?
Можно, скажем, потребовать, чтобы вероятность тех элементарных исходов $$\omega$$, для которых $$\xi_n(\omega)$$ не попадает в " $${\varepsilon}$$ -окрестность" числа $$\xi(\omega)$$, уменьшалась до нуля с ростом $$n$$. Такая сходимость в функциональном анализе называется сходимостью "по мере", а в теории вероятностей - сходимостью "по вероятности".
Определение 42. Говорят, что последовательность случайных величин $$\{\xi_n\}$$ сходится по вероятности к случайной величине $$\xi$$ при $$n\to\infty$$, и пишут $$\xi_n{uildrel {\rm p} \over \longrightarrow}\xi$$, если для любого $${\varepsilon}>0$$$$\Prob\left(|\xi_n-\xi|\ge{\varepsilon}\right)\to 0\, \text{ при } n\to\infty \; \text{ (или } \Prob\left(|\xi_n-\xi|<{\varepsilon}\right)\to 1\, \text{ при } n\to\infty\text{)}.$$
Пример 70. Рассмотрим последовательность $$\xi_1,\,\xi_2,\,\dots$$, в которой все величины имеют разные распределения: величина $$\xi_n$$ принимает значения $$0$$ и $$n^7$$ с вероятностями $$\Prob\bigl(\xi_n=n^7\bigr)=1/n=1-\Prob(\xi_n=0)$$. Докажем, что эта последовательность сходится по вероятности к нулю.
Зафиксируем произвольное $${\varepsilon}>0$$. Для всех $$n$$ начиная с некоторого $$n_0$$ такого, что $${n\mathstrut}_0^7>{\varepsilon}$$, верно равенство $$\Prob(\xi_n\ge{\varepsilon})=\Prob({\xi_n=n^7})=1\mspace{1mu}/\,n$$. Поэтому$$\Prob\bigl(|\xi_n-0|\ge{\varepsilon}\bigr) = \Prob\bigl(\xi_n\ge{\varepsilon}\bigr) = \Prob\bigl(\xi_n=n^7\bigr) = \frac1n \to 0 \text{ при } n\to\infty.$$ Итак, случайные величины $$\xi_n$$ с ростом $$n$$ могут принимать все большие и большие значения, но со все меньшей и меньшей вероятностью.
Например, последовательность $$\{\xi_n\}$$ можно задать на вероятностном пространстве $$\langle\Omega,\,\mathcal F,\,\Prob\rangle= \langle [0,\,1],\,\mathfrak{B}([0,\,1]),\,\lambda\rangle$$ так: положим $$\xi_n(\omega)=0$$ для $$\omega\in[0,\,1-1\mspace{1mu}/\,n]$$ и $$\xi_n(\omega)=n^7$$ для $$\omega\in(1-1\mspace{1mu}/\,n,\,1]$$.
Заметим, что сходимость по вероятности имеет место совершенно независимо от того, как именно заданы случайные величины на $$\Omega$$, поскольку определяется лишь их распределениями.
Замечание Иное дело - сходимость "почти наверное". Если, скажем, задать случайные величины как указано выше, то сходимость "почти наверное" будет иметь место. Действительно, для всякого $$\omega\in[0,\,1)$$ найдется такое $$n_0$$, что $$\omega \in [0, 1-1/n_0]$$, и поэтому для всех $$n \ge n_0$$ все $$\xi_n(\omega)$$ равны нулю.
Можно попробовать задать случайные величины $$\xi_n$$ на отрезке $$[0,\,1]$$ как-нибудь иначе, чтобы не было сходимости почти наверное. Для этого нужно заставить отрезок длины $$1\,/\,n$$, на котором $$\xi_n(\omega)=n^7$$, "бегать" по отрезку $$[0,\,1]$$, чтобы любая точка $$\omega\in[0,\,1]$$ попадала внутрь этого отрезка бесконечное число раз, и, тем самым, для любого $$\omega$$ существовала подпоследовательность $$\xi_{n_k}(\omega)\to\infty$$.
Сходимость по вероятности не обязательно сопровождается сходимостью математических ожиданий или моментов других порядков: из $$\xi_n {uildrel {\rm p} \over \longrightarrow} \xi$$ не следует, что $${\mathsf E\,}\xi_n\to{\mathsf E\,} \xi$$. Действительно, в примере 70 имеет место сходимость $$\xi_n {uildrel {\rm p} \over \longrightarrow} \xi=0$$, но $${\mathsf E\,}\xi_n=n^6\not\to{\mathsf E\,} \xi=0$$. При этом вообще последовательность $${\mathsf E\,}\xi_n$$ неограниченно возрастает.
А если вместо значения $$n^7$$ взять $$n$$ (с той же вероятностью $$1\mspace{1mu}/\,n$$ ), то получим $${\mathsf E\,}\xi_n=1\not\to {\mathsf E\,}\xi=0$$. Но теперь хотя бы предел у последовательности математических ожиданий конечен.
Если же $$\xi_n$$ принимает значения $$0$$ и $$\sqrt{n}$$ с вероятностями из примера 70, то $${\mathsf E\,}\xi_n=1/\sqrt{n} \to {\mathsf E\,}\xi=0$$, но уже вторые моменты сходиться ко второму моменту $$\xi$$ не будут: $${\mathsf E\,}\xi_n^2=1 \not\to {\mathsf E\,}\xi^2=0$$.
Однако сходимость математических ожиданий и других моментов сходящихся последовательностей бывает чрезвычайно важна в различных задачах статистики. Существуют условия, при выполнении которых сходимость по вероятности $$\xi_n{uildrel {\rm p} \over \longrightarrow}\xi$$ влечет сходимость математических ожиданий $${\mathsf E\,}\xi_n\to{\mathsf E\,}\xi$$.
Сформулируем без доказательства следующее утверждение.
Теорема 34. Пусть $$\xi_n {uildrel {\rm p} \over \longrightarrow} \xi$$ при $$n\to\infty$$. Тогда для сходимости $${\mathsf E\,}\xi_n\to{\mathsf E\,}\xi$$ достаточно выполнения любого из следующих условий:
Самым слабым в этом списке является третье условие, наиболее ограничительным - первое. Ни одно из этих условий не является необходимым для сходимости математических ожиданий.
Сходимость по вероятности, так же как и любая другая сходимость, не портится под действием непрерывной функции.
Свойство 21. Пусть функция $$g$$ действует из $$\mathbb R$$ в $$\mathbb R$$.
Доказательство. Простое доказательство первого утверждения можно предложить в двух случаях, которыми мы и ограничимся: если $$\xi=c=\text{const}$$ (и тогда достаточно, чтобы $$g$$ была непрерывна в точке $$c$$ ) или если функция $$g$$ равномерно непрерывна.
И в том и в другом случае для любого $${\varepsilon}>0$$ найдется такое $${\delta>0,}$$ что для любого $$\omega$$, удовлетворяющего условию $$|\xi_n(\omega)-\xi(\omega)|<\delta$$, выполняется неравенство $$|g(\xi_n(\omega))-g(\xi(\omega))|<{\varepsilon}$$.
Другими словами, событие $$\bigl\{|\xi_n-\xi|<\delta\bigr\}$$ влечет за собой событие $${\bigl\{|g(\xi_n)-g(\xi)|<{\varepsilon}\bigr\}.}$$ Следовательно, вероятность первого не больше вероятности второго. Но, какое бы ни было $$\delta>0$$, вероятность первого события стремится к единице по определению сходимости по вероятности:$$1\longleftarrow\Prob\bigl(|\xi_n-\xi|<\delta\bigr)\le \Prob\bigl(|g(\xi_n)-g(\xi)|<{\varepsilon}\bigr)\le 1.$$ Тогда вероятность второго события также стремится к единице.
То же самое можно утверждать и для непрерывной функции многих переменных, примененной к нескольким сходящимся последовательностям.
Свойство 22. Пусть функция $$g$$ отображает $$\mathbb R^2$$ в $$\mathbb R$$.
Доказательство. Докажем опять только второе свойство. Воспользуемся определением непрерывности функции двух переменных: для любого $${\varepsilon}>0$$ найдется такое $${\delta>0,}$$ что для любого $$\omega$$, принадлежащего одновременно двум событиям$$A_n=\bigl\{|\xi_n(\omega)-c_1|<\delta\bigr\}, \qquad B_n=\bigl\{|\eta_n(\omega)-c_2|<\delta\bigr\},$$ выполняется неравенство$$|g(\xi_n(\omega),\,\eta_n(\omega))-g(c_1,\,c_2)|<{\varepsilon}.$$ Тогда событие $$A_n\cap B_n$$ влечет событие $$C={\bigl\{|g(\xi_n,\,\eta_n)-g(c_1,\,c_2)|<{\varepsilon}\bigr\},}$$ поэтому вероятность первого не больше вероятности второго. Но вероятность пересечения двух событий, вероятности которых стремятся к единице, также стремится к единице:$$\Prob(A_n\cap B_n) = 1-\Prob\bigl(\overline{A_n} \cup \overline{B_n}\bigr) \geq 1-\Prob\bigl(\overline{A_n}\bigr) - \Prob\bigl(\overline{B_n}\bigr) \to 1.$$ Поэтому $$\Prob(C)\geq \Prob(A_n\cap B_n)\to 1$$ при $$n\to\infty$$.
Из свойства 22 вытекают обычные свойства пределов, хорошо знакомые нам по числовым последовательностям. Например, функции $${g(x,\,y)=x+y}$$ и $$g(x,\,y)=xy$$ непрерывны в $$\mathbb R^2$$, поэтому предел суммы (произведения) сходящихся по вероятности последовательностей равен сумме (произведению) пределов.
Свойство 23. Если $$\xi_n{uildrel {\rm p} \over \longrightarrow}\xi$$ и $$\eta_n{uildrel {\rm p} \over \longrightarrow}\eta$$, то $$\xi_n+\eta_n{uildrel {\rm p} \over \longrightarrow}\xi+\eta\mspace{1mu}$$ и $$\xi_n\cdot\eta_n{uildrel {\rm p} \over \longrightarrow}\xi\cdot\eta\mspace{1mu}\vphantom{\int_{b_b}}$$.
Сходимость "почти наверное" сильнее сходимости по вероятности.
Свойство 24. Если $$\xi_n\to\xi$$ п.н., то $$\xi_n{uildrel {\rm p} \over \longrightarrow}\xi$$.
Доказательство. Ограничимся для простоты случаем, когда $$\xi_n(\omega)\to\xi(\omega)$$ для любого $$\omega$$. Зафиксируем $$\omega\in\Omega$$. По определению предела, $$\xi_n(\omega)\to\xi(\omega)$$ при $$n\to\infty$$, если для всякого $${\varepsilon}>0$$ найдется $$N=N(\omega,\,{\varepsilon})\ge 0$$ такое, что для всех $$n> N$$ выполняется неравенство $$|\xi_n(\omega)-\xi(\omega)|<{\varepsilon}$$.
Событие $$A=\{\mspace{2mu}n > N(\omega,\,{\varepsilon})\}$$ влечет событие $$B=\{|\xi_n(\omega)-\xi(\omega)|<{\varepsilon}\}$$. Тогда$$1\ge\Prob(B)\geq\Prob(A) = \Prob\bigl(N(\omega,{\varepsilon}) < n\bigr)=F_{N({\varepsilon},\omega)}(n)\to 1\, \text{ при }\,n\to\infty$$ по свойству (F2) функций распределения. Мы получили, что $$\Prob(B)\to 1$$, т.е. $$\xi_n{uildrel {\rm p} \over \longrightarrow}\xi$$.
Чтобы доказывать сходимость по вероятности, требуется уметь вычислять $$\Prob\left(|\xi_n-\xi|\ge{\varepsilon}\right)$$ при больших $$n$$. Но для этого нужно знать распределение $$\xi_n$$, что не всегда возможно.
Полезно иметь неравенства, позволяющие оценивать вероятность $$\Prob\left(|\xi_n-\xi|\ge{\varepsilon}\right)$$ сверху. Тогда для доказательства сходимости по вероятности было бы достаточно устремить к нулю эту оценку.
Все неравенства в этом параграфе принято относить к одному классу неравенств Чебышёва.
Теорема 35 (неравенство Маркова). Если $${\mathsf E\,}|\xi|<\infty$$, то для любого $$x>0$$$$\Prob\bigl(|\xi|\ge x\bigr)\le\frac{{\mathsf E\,}|\xi|}{x}\,.$$
Доказательство. Нам потребуется следующее понятие.
Определение 44. Назовем индикатором события $$A$$ случайную величину $$I(A)$$, равную единице, если событие $$A$$ произошло, и нулю, если $$A$$ не произошло.
По определению, величина $$I(A)$$ имеет
Следствие 16 (обобщенное неравенство Чебышёва). Пусть функция $$g$$ не убывает и неотрицательна на $$\mathbb R$$. Если $${\mathsf E\,} g(\xi)<\infty$$, то для любого $$x\in \mathbb R$$$$\Prob\bigl(\xi\ge x\bigr)\le\frac{{\mathsf E\,} g(\xi)}{g(x)}.$$
Доказательство. Заметим, что $$\Prob\bigl(\xi\ge x\bigr)\le \Prob\bigl(g(\xi)\ge g(x)\bigr)$$, поскольку функция $$g$$ не убывает. Оценим последнюю вероятность по неравенству Маркова, которое можно применять в силу неотрицательности $$g$$:$$\qquad\Prob\bigl(g(\xi)\ge g(x)\bigr)\le\frac{{\mathsf E\,} g(\xi)}{g(x)}. \qquad$$
Упражнение. Записать предыдущее неравенство для функции $$g(x)=e^x$$ и получить экспоненциальное неравенство Чебышёва.
Следствие 17 (неравенство Чебышёва). Если $${{\mathsf D\,}\xi}$$ существует, то для любого $$x>0$$$$\Prob\bigl(|\xi-{\mathsf E\,}\xi|\ge x\bigr)\le\frac{{\mathsf D\,}\xi}{x^2}.$$
Доказательство. Для $$x>0$$ неравенство $$|\xi-{\mathsf E\,}\xi|\ge x$$ равносильно неравенству $$(\xi-{\mathsf E\,}\xi)^2\ge x^2$$, поэтому$$\Prob\bigl(|\xi-{\mathsf E\,}\xi|\ge x\bigr)= \Prob\bigl((\xi-{\mathsf E\,}\xi)^2\ge x^2\bigr)\le \frac{{\mathsf E\,}{\bigl(\xi-{\mathsf E\,}\xi\bigr)}^2}{x^2} =\frac{{\mathsf D\,}\xi}{x^2}.$$
Неравенство Чебышёва позволяет, помимо всего прочего, получать абсолютные оценки для вероятности того, что стандартизованная случайная величина превзойдет некоторое значение: для любого $$x>0$$$$\Prob\left(\left|\frac{\xi-{\mathsf E\,}\xi}{\sqrt{{\mathsf D\,}\xi}}\right|\ge x\right) = \Prob\left(|\xi-{\mathsf E\,}\xi|\ge x\sqrt{{\mathsf D\,}\xi}\right) \leq \frac{{\mathsf D\,}\xi}{x^2{\mathsf D\,}\xi} = \frac1{x^2}.$$ Например, при $$x=10$$ эта вероятность не превышает $$0{,}01$$.
Определение 45. Говорят, что последовательность случайных величин $$\xi_1,\,\xi_2,\,\dots$$ с конечными первыми моментами удовлетворяет закону больших чисел (ЗБЧ), если$$\begin{equation} \vphantom{\dfrac12}\frac{\xi_1+\ldots+\xi_n}{n} - \frac{{\mathsf E\,}\xi_1+\ldots+{\mathsf E\,}\xi_n}{n} {uildrel {\rm p} \over \longrightarrow} 0 \text{ при } n\to\infty. \end{equation}$$
Законами больших чисел принято называть утверждения о том, при каких условиях последовательность случайных величин удовлетворяет закону больших чисел.
Выясним сначала, когда выполнен ЗБЧ для последовательности независимых и одинаково распределенных случайных величин.
Теорема 36 (ЗБЧ Чебышёва). Для любой последовательности $$\xi_1,\,\xi_2,\,\dots$$ попарно независимых и одинаково распределенных случайных величин с конечным вторым моментом $${\mathsf E\,}\xi_1^2<\infty$$ имеет место сходимость$$\begin{equation} \vphantom{\dfrac12}\frac{\xi_1+\ldots+\xi_n}{n} {uildrel {\rm p} \over \longrightarrow} {\mathsf E\,}\xi_1. \end{equation}$$
Заметим, что если величины одинаково распределены, то их математические ожидания одинаковы (и равны, например, $${\mathsf E\,}\xi_1$$ ), поэтому свойство (20) можно записать в виде (21).
ЗБЧ утверждает, что среднее арифметическое большого числа случайных слагаемых "стабилизируется" с ростом этого числа. Как бы сильно каждая случайная величина ни отклонялась от своего среднего значения, при суммировании эти отклонения "взаимно гасятся", так что среднее арифметическое приближается к постоянной величине.
В дальнейшем мы увидим, что требование конечности второго момента (или дисперсии) связано исключительно со способом доказательства, и что утверждение останется верным, если требовать существования только первого момента.
Доказательство. Обозначим через $$S_n=\xi_1+\ldots+\xi_n$$ сумму первых $$n$$ случайных величин. Из линейности математического ожидания получим$${\mathsf E\,}\left(\frac{S_n}{n}\right) = \frac{{\mathsf E\,}\xi_1+\ldots+{\mathsf E\,}\xi_n}{n} = \frac{n\,{\mathsf E\,}\xi_1}{n}={\mathsf E\,}\xi_1.$$ Пусть $${\varepsilon}>0$$. Воспользуемся неравенством Чебышёва (следствие 17):$$\[ \mathsf P\left(\left|\dfrac{S_n}{n} - \mathsf E \left(\dfrac{S_n}{n}\right)\right|\ge \varepsilon\right) \le \dfrac{\mathsf D \left(\dfrac{S_n}{n}\right)}{\varepsilon^2}= \dfrac{\mathsf D S_n}{n^2\varepsilon^2} = \dfrac{\mathsf D \xi_1+\ldots+\mathsf D \xi_n}{n^2\varepsilon^2} = \dfrac{n\, \mathsf D \xi_1}{n^2\varepsilon^2} = \dfrac{\mathsf D \xi_1}{n \varepsilon^2} \to 0 \] при $n\to\infty$,$$ так как $${\mathsf D\,}\xi_1<\infty$$. Дисперсия суммы превратилась в сумму дисперсий в силу попарной независимости слагаемых, из-за которой все ковариации $${{\rm cov}}(\xi_i,\, \xi_j)$$ в свойстве 19) обратились в нуль при $$i\ne j$$.
Замечание. Мы не только доказали сходимость, но и получили оценку для вероятности среднему арифметическому любого числа попарно независимых и одинаково распределенных величин отличаться от $${\mathsf E\,}\xi_1$$ более чем на заданное $${\varepsilon}$$:$$\begin{equation} \Prob\left(\left|\frac{\xi_1+\ldots+\xi_n}{n}-{\mathsf E\,}\xi_1\right|\ge {\varepsilon}\right)\le\frac{{\mathsf D\,} \xi_1}{n {\varepsilon}^2}. \end{equation}$$
Попарную независимость слагаемых в ЗБЧ Чебышёва можно заменить их попарной некоррелированностью, ничего не меняя в доказательстве. ЗБЧ может выполняться и для последовательности зависимых и разнораспределенных слагаемых. Из неравенства Чебышёва сразу вытекает следующее достаточное условие выполнения ЗБЧ для последовательности произвольных случайных величин.
Теорема 37 (ЗБЧ Маркова). Последовательность случайных величин $$\xi_1,\xi_2,\dots$$ с конечными вторыми моментами удовлетворяет ЗБЧ, если $${\mathsf D\,} S_n=o(n^2)$$, т.е. если $$\frac{{\mathsf D\,} S_n}{n^2} \to 0$$ при $$n\to\infty$$.
Теорема Маркова утверждает, что ЗБЧ выполнен, если дисперсия суммы $$n$$ слагаемых растет не слишком быстро с ростом $$n$$.
Сильная зависимость слагаемых приводит обычно к невыполнению ЗБЧ. Если, например, $${\mathsf D\,}\xi_1\ne 0$$ и $$\xi_n\equiv\xi_1$$, то $$S_n=n\xi_1$$, и свойство (21) не выполнено. В этом случае не выполнено и достаточное условие для ЗБЧ: $${\mathsf D\,} S_n={\mathsf D\,} (n\xi_1)=cn^2$$. Для одинаково распределенных слагаемых дисперсия суммы еще быстрее расти уже не может.
Следующее утверждение мы докажем чуть позже. Сравните его условия с условиями ЗБЧ Чебышёва.
Теорема 38 (ЗБЧ Хинчина). Для любой последовательности $$\xi_1,\,\xi_2,\,\dots$$ независимых в совокупности и одинаково распределенных случайных величин с конечным первым моментом $${\mathsf E\,}|\xi_1|<\infty$$ имеет место сходимость:$$\vphantom{\dfrac{1^2}{2^2}}\frac{\xi_1+\ldots+\xi_n}{n} {uildrel {\rm p} \over \longrightarrow} {\mathsf E\,}\xi_1.$$
Итак, чтобы последовательность независимых и одинаково распределенных случайных величин удовлетворяла ЗБЧ, достаточно существования первого момента слагаемых. Более того, в условиях теоремы 38 имеет место и сходимость п.н. последовательности $$(\xi_1+\ldots+\xi_n)/n$$ к $${\mathsf E\,}\xi_1$$. Это утверждение называется усиленным законом больших чисел (УЗБЧ) Колмогорова, и его мы доказывать не будем.
Получим в качестве следствия из ЗБЧ Чебышёва закон больших чисел Бернулли. В отличие от ЗБЧ Чебышёва, описывающего предельное поведение среднего арифметического случайных величин с произвольными распределениями, ЗБЧ Бернулли - утверждение только для схемы Бернулли.
Теорема 39 (ЗБЧ Бернулли). Пусть событие $$A$$ может произойти в любом из $$n$$ независимых испытаний с одной и той же вероятностью $$p$$, и пусть $$\nu_n(A)$$ - число осуществлений события $$A$$ в $$n$$ испытаниях. Тогда $$\frac{\nu_n(A)}{n} {uildrel {\rm p} \over \longrightarrow} p$$. При этом для любого $${\varepsilon}>0$$$$\vphantom{\dfrac{1^2}{2^2}}\Prob\left(\left|\frac{\nu_n(A)}{n} - p\,\right|\ge {\varepsilon} \right)\le \frac{p\mspace{1mu}(1 - p)}{n{\varepsilon}^2}.$$
Доказательство.
Заметим, что $$\nu_n(A)$$ есть сумма независимых,
одинаково распределенных случайных величин, имеющих
Пример 71. Монета подбрасывается $$10^4$$ раз. Оценим вероятность того, что частота выпадения герба отличается от $$\frac12$$ на $$0{,}01$$ или более.
Пусть $$\xi_1,\dots,\xi_n$$ - независимые случайные величины,
каждая из которых имеет
Итак, неравенство Чебышёва позволяет заключить, что в среднем не более чем в четверти случаев при 10 000 подбрасываниях монеты частота выпадения герба будет отличаться от $$\frac12$$ на одну сотую или больше. Мы увидим, насколько это грубая оценка, когда познакомимся с центральной предельной теоремой.
Для получения официальных документов о завершении программы дополнительного профессионального образования (удостоверения о повышении квалификации, дипломов о профессиональной переподготовке и MBA) необходимо предоставить:
Внимание! Вы можете не заказывать доставку бумажной версии официального документы, а скачать его в электронном виде и распечатать самостоятельно. Информация о выданном документе в течение 1 месяца загружается в Федеральную информационную систему «Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении» - ФИС ФРДО.
Доступ на новый сайт осуществляется с использованием адреса электронной почты, который был указан вами при регистрации на "старом". Мы постарались перенести все ваши данные с прежнего ресурса, однако не исключена вероятность потери части информации.
При возникновении проблемы со входом, воспользуйтесь функцией сброса пароля
Если вы обнаружите несоответствия, пожалуйста, сообщите нам.