Пусть, как в законе больших чисел Чебышева, $$S_n=\xi_1+\ldots+\xi_n$$ - сумма $$n$$ независимых и одинаково распределенных величин с конечной дисперсией. Тогда по ЗБЧ $$\frac{S_n}{n}{uildrel {\rm p} \over \longrightarrow}{\mathsf E\,}\xi_1$$ с ростом $$n$$. Или, после приведения к общему знаменателю,$$\frac{S_n-n\,{\mathsf E\,}\xi_1}{n}{uildrel {\rm p} \over \longrightarrow} 0.$$ Если при делении на $$n$$ мы получили в пределе нуль (в смысле некоторой, все равно какой, сходимости), резонно задать себе вопрос: а не слишком ли на большую величину мы поделили? Нельзя ли поделить на что-нибудь, растущее к бесконечности медленнее, чем $$n$$, чтобы получить в пределе не нуль (но и не бесконечность)?
Можно поставить тот же вопрос иначе. Есть последовательность, стремящаяся к нулю. Можно ли ее домножить на что-либо растущее, чтобы "погасить" это стремление к нулю и получить, тем самым, что-нибудь конечное и ненулевое в пределе?
Оказывается, что уже последовательность случайных величин$$\frac{S_n-n\,{\mathsf E\,}\xi_1}{\sqrt{n}} = \sqrt{n}\cdot\frac{S_n-n\,{\mathsf E\,}\xi_1}{n}$$ не сходится к нулю. Распределение членов этой последовательности становится все более похожим на нормальное распределение! Можно считать, что такая последовательность сходится к случайной величине, имеющей нормальное распределение, но сходится никак не по вероятности, а только в смысле сходимости распределений, или "слабой сходимости".
Пусть задана последовательность случайных величин $$\xi_1,\,\xi_2,\,\dots$$, задано некоторое распределение $$\mathcal F$$ с функцией распределения $$F_\xi$$ и пусть $$\xi$$ - произвольная случайная величина, имеющая распределение $$\mathcal F$$.
Определение 46. Говорят, что последовательность случайных величин $$\xi_1,\,\xi_2,\,\dots$$ сходится слабо или сходится по распределению к случайной величине $$\xi$$ и пишут: $$\xi_n\Rightarrow\xi$$, если для любого $$x$$ такого, что функция распределения $$F_\xi$$ непрерывна в точке $$x$$, имеет место сходимость $$F_{\xi_n}(x)\to F_\xi(x)$$ при $$n\to\infty$$.
Итак, слабая сходимость - это сходимость функций распределения во всех точках непрерывности предельной функции распределения.
Замечание. Заметим, что сходимость $$\xi_n\Rightarrow\xi$$ есть сходимость распределений, а не случайных величин: если "предельную" величину $$\xi$$ заменить на другую величину $$\eta$$ с тем же распределением, ничего не изменится: в том же смысле $$\xi_n\Rightarrow\eta$$.
Следующее свойство очевидно. Если нет - нужно вернуться к определению и свойствам функций распределения.
Свойство 25. Если $$\xi_n\Rightarrow\xi$$, и функция распределения $$F_\xi$$ непрерывна в точках $$a$$ и $$b$$, то $$\Prob(\xi_n\in(a,\,b))\to \Prob(\xi\in(a,\,b))$$. Если во всех точках $$a$$ и $$b$$ непрерывности функции распределения $$F_\xi$$ имеет место сходимость $$\Prob(\xi_n\in(a,\,b))\to \Prob(\xi\in(a,\,b))$$, то $$\xi_n\Rightarrow\xi$$.
Вместо открытого интервала $$(a,\,b)$$ можно взять полуоткрытый или замкнутый.
Свойство 26.
Итак, сходимость по вероятности влечет слабую сходимость. Обратное утверждение в общем случае смысла не имеет (см. замечание выше). Однако из слабой сходимости к постоянной вытекает сходимость по вероятности.
Доказательство. Первое утверждение мы докажем чуть позже.
Докажем, что слабая сходимость к постояннной влечет сходимость по вероятности. Пусть $$\xi_n\Rightarrow c$$, т.е.$$F_{\xi_n}(x)\to F_c(x)=\begin{cases}0, x\le c; \\ 1, x>c \end{cases}$$ при любом $$x$$, являющемся точкой непрерывности предельной функции $$F_c(x)$$, т.е. при всех $$x\ne c$$.
Возьмем произвольное $${\varepsilon}>0$$ и докажем, что $$\Prob(|\xi_n-c|<{\varepsilon})\to 1$$:$$\Prob(-{\varepsilon}<\xi_n-c<{\varepsilon})= \Prob(c-{\varepsilon}<\xi_n< c+{\varepsilon})\ge \Prob(c-{\varepsilon}/2\le\xi_n<c+{\varepsilon})= \\ =F_{\xi_n}(c+{\varepsilon})-F_{\xi_n}(c-{\varepsilon}/2) \to F_c(c+{\varepsilon})-F_c(c-{\varepsilon}/2)=1-0=1,$$ поскольку в точках $$c+{\varepsilon}$$ и $$c-{\varepsilon}/2$$ функция $$F_c$$ непрерывна, и, следовательно, имеет место сходимость последовательностей $$F_{\xi_n}(c+{\varepsilon})$$ к $$F_c(c+{\varepsilon})=1$$ и $$F_{\xi_n}(c-{\varepsilon}/2)$$ к $$F_c(c-{\varepsilon}/2)=0$$.
Осталось заметить, что $$\Prob(|\xi_n-c|<{\varepsilon})$$ не бывает больше $$1$$, так что по свойству предела зажатой последовательности $$\Prob(|\xi_n-c|<{\varepsilon})\to 1$$.
Следующее свойство приводит пример операций, которые можно применять к слабо сходящимся последовательностям - домножать их на последовательности, сходящиеся по вероятности к постоянным величинам.
Замечание Свойство "предел суммы равен сумме пределов" для слабой сходимости просто бессмысленно: сходимости $$\xi_n\Rightarrow\xi$$, $$\eta_n\Rightarrow\eta$$ означают, что нам известны предельные распределения этих последовательностей. Но предельное распределение их суммы может быть различным в зависимости от совместного распределения $$\xi_n$$ и $$\eta_n$$. Иное дело, когда одно из предельных распределений вырождено. Тогда предельная функция распределения суммы или произведения определена однозначно.
Свойство 27.
Доказательство. Нелюбознательный читатель может пропустить это доказательство, вернувшись к нему при втором прочтении.
Заметим вначале, что если $$\eta_n\Rightarrow\eta$$, то $$c\eta_n\Rightarrow c\eta$$ и $${c+\eta_n\Rightarrow c+\eta}$$ (доказать). Поэтому достаточно доказать первое утверждение свойства 27 при $$c=1$$, а второе утверждение - при $$c=0$$.
Рассмотрим второе утверждение, оставив первое любознательному читателю. Пусть $$\xi_n {uildrel {\rm p} \over \longrightarrow}0$$ и $$\eta_n\Rightarrow\eta$$. Докажем, что тогда $$\xi_n+\eta_n\Rightarrow \eta$$.
Пусть $$x_0$$ - точка непрерывности функции распределения $$F_{\eta}(x)$$. Требуется доказать, что имеет место сходимость $$F_{\xi_n+\eta_n}(x_0)$$ к $$F_{\eta}(x_0)$$. Зафиксируем $${\varepsilon}>0$$ такое, что $$F_{\eta}(x)$$ непрерывна в точках $$x_0\pm{\varepsilon}$$.
Cобытия $$H_1=\{|\xi_n|\ge {\varepsilon}\}$$ и $$H_2=\{|\xi_n|<{\varepsilon}\}$$ образуют
Мы получили оценки снизу и сверху для $$P_1+P_2$$, т.е. для $$F_{\xi_n+\eta_n}(x_0)$$:$$F_{\eta_n}(x_0-{\varepsilon})-\Prob(|\xi_n|\ge {\varepsilon})\le F_{\xi_n+\eta_n}(x_0)\le \Prob(|\xi_n|\ge {\varepsilon})+ F_{\eta_n}(x_0+{\varepsilon}).$$ Устремляя $$n$$ к бесконечности и вспоминая, что $$x_0\pm{\varepsilon}$$ - точки непрерывности функции распределения $$F_\eta$$, получаем$$\begin{equation} F_{\eta}(x_0-{\varepsilon})\le \underline{\lim}\, F_{\xi_n+\eta_n}(x_0)\le \overline{\lim}\, F_{\xi_n+\eta_n}(x_0)\le F_{\eta}(x_0+{\varepsilon}). \end{equation}$$ У любой функции распределения не более чем счетное множество точек разрыва. Поэтому можно выбрать такую уменьшающуюся до нуля последовательность $${\varepsilon}$$, что в точках $$x_0\pm{\varepsilon}$$ функция распределения $$F_\eta$$ будет непрерывной и, следовательно, останутся верны неравенства (24). Переходя к пределу по такой последовательности $${\varepsilon}\to 0$$ и помня, что $$x_0$$ - точка непрерывности функции $$F_\eta$$, получаем, что нижний и верхний пределы $$F_{\xi_n+\eta_n}(x_0)$$ при $$n\to\infty$$ совпадают и равны $$F_{\eta}(x_0)$$.
В качестве простого следствия из только что доказанного второго утверждения свойства 27 покажем, что сходимость $$\xi_n {uildrel {\rm p} \over \longrightarrow}\xi$$ по вероятности влечет слабую сходимость $$\xi_n\Rightarrow\xi$$.
Представим $$\xi_n$$ в виде суммы $$\xi_n=(\xi_n-\xi)+\xi$$. Здесь последовательность $$\xi_n-\xi$$ по вероятности стремится к нулю, а "последовательность" $$\xi$$ слабо сходится к $$\xi$$. Поэтому их сумма слабо сходится к $$\xi$$, что и требовалось доказать.
Основной источник слабо сходящихся последовательностей и необычайно мощное и универсальное средство для асимптотического анализа распределений сумм независимых и одинаково распределенных случайных величин предоставляет нам центральная предельная теорема.
Мы будем называть следующее утверждение "ЦПТ Ляпунова", но сформулируем и докажем теорему Ляпунова только в частном случае - для последовательности независимых и одинаково распределенных случайных величин. Как и ранее, через $$S_n$$ обозначена сумма первых $$n$$ случайных величин в последовательности: $$S_n=\xi_1+\ldots+\xi_n$$.
Теорема 40 (ЦПТ Ляпунова). Пусть $$\xi_1,\,\xi_2,\,\ldots$$ - независимые и одинаково распределенные случайные величины с конечной и ненулевой дисперсией: $$0<{\mathsf D\,}\xi_1\ <\infty$$. Тогда имеет место слабая сходимость$$\frac{S_n-n\,{\mathsf E\,}\xi_1}{\sqrt{\mathstrut n\,{\mathsf D\,}\xi_1}}\Rightarrow {\mathrm N}_{0,1}$$ последовательности центрированных и нормированных сумм случайных величин к стандартному нормальному распределению.
Пользуясь определением и свойствами слабой сходимости и заметив, что функция распределения $$\Phi_{a,\sigma^2}(x)$$ любого нормального закона непрерывна всюду на $$\mathbb R$$ ( почему?), утверждение ЦПТ можно сформулировать любым из следующих способов.
Следствие 18. Пусть $$\xi_1,\xi_2,\ldots$$ - независимые и одинаково распределенные случайные величины с конечной и ненулевой дисперсией. Тогда выполнены утверждения:
Мы докажем центральную предельную теорему и закон больших чисел в форме Хинчина в следующей лекции. Нам потребуется для этого познакомиться с мощным математическим инструментом, который в математике обычно называют преобразованиями Фурье, а в теории вероятностей - характеристическими функциями.
Получим в качестве следствия из ЦПТ Ляпунова предельную теорему Муавра и Лапласа. Подобно ЗБЧ Бернулли, это утверждение годится только для схемы Бернулли.
Теорема 41 (предельная теорема Муавра - Лапласа). Пусть событие $$A$$ может произойти в любом из $$n$$ независимых испытаний с одной и той же вероятностью $$p$$ и пусть $$\nu_n(A)$$ - число осуществлений события $$A$$ в $$n$$ испытаниях. Тогда$$\frac{\nu_n(A)-np}{\sqrt{np\mspace{2mu}(1-p)}}\;\Rightarrow \;{\mathrm N}_{0,1} \text{\; при \;} n\to \infty,$$ т.е. для любых вещественных $$x<y$$ имеет место сходимость$$\Prob \left(x\le\frac{\nu_n(A)-np}{\sqrt{np\mspace{2mu}(1-p)}} \le y\right) \to \Phi_{0,1}(y)-\Phi_{0,1}(x)= \int\limits_x^y \frac{1}{\sqrt{2\pi}} e^{-t^2/2}\,dt;$$
Доказательство.
Величина $$\nu_n(A)$$ есть сумма независимых,
одинаково распределенных случайных величин, имеющих
Пример 72. Задача из примера 71. Требуется найти$$\Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|\ge 0{,}01\right),$$ где $$n=10\,000$$, $$\nu_n$$ - число выпадений герба. Вычислим вероятность дополнительного события. Домножим обе части неравенства под знаком вероятности на $$\sqrt{n}=100$$ и поделим на $$\sqrt{p\mspace{2mu}(1-p)}=1/2$$.$$\begin{multiline*} \Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|< 0{,}01\right) =\Prob\left(\frac{\sqrt{n}}{\sqrt{p\mspace{2mu}(1-p)}} \left|\frac{\nu_n}{n}-p\right|< 0{,}01 \frac{\sqrt{n}}{\sqrt{p\mspace{2mu}(1-p)}}\right) = \\ =\Prob\left(\frac{\sqrt{n}}{\sqrt{p\mspace{2mu}(1-p)}} \left|\frac{\nu_n}{n}-p\right|< 2\right)= \Prob\left(-2< \frac{\nu_n-np}{\sqrt{np\mspace{2mu}(1-p)}} < 2\right) \approx \\ \approx \Phi_{0,1}(2)-\Phi_{0,1}(-2) = 1- 2\Phi_{0,1}(-2) =1- 2\cdot 0{,}0228=1-0{,}0456. \; \end{multiline*}$$ Искомая вероятность примерно равна $$0{,}0456$$:$$\Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|\ge 0{,}01\right)=1- \Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|< 0{,}01\right) \approx 0{,}0456.$$
Центральной предельной теоремой пользуются для приближенного вычисления вероятностей, связанных с суммами большого числа независимых и одинаково распределенных величин. При этом распределение центрированной и нормированной суммы заменяют на стандартное нормальное распределение. Насколько велика ошибка при такой замене (погрешность приближения)?
Упражнение. Какие еще предельные теоремы для схемы Бернулли вы знаете? Что такое теорема Пуассона? Найти ее. Какова погрешность пуассоновского приближения? Вычислить ее. Объяснить, почему теорема Пуассона не применима в задаче из примера 72.
В примере 72 мы вычислили вероятность приближенно. Следующий результат позволяет оценить погрешность приближения в ЦПТ.
Теорема 42 (неравенство Берри - Эссеена). В условиях ЦПТ для любого $$x\in\mathbb R$$ и для любого распределения $$\xi_1$$ с конечным третьим моментом$$\left| \Prob\left(\frac{\displaystyle S_n - n{\mathsf E\,}\xi_1}{\sqrt{\smash[b]{\mathstrut n\,{\mathsf D\,}\xi_1}}} <x\right) - \Phi_{0,1}(x) \right| \le C\cdot \frac{{\mathsf E\,}{\displaystyle |\xi_1-{\mathsf E\,}\xi_1|}^3} {\sqrt{\smash[b]{\mathstrut n}}{\bigl(\sqrt{\smash[b]{\mathstrut {\mathsf D\,}\xi_1}}\,\bigr)}^3}.$$
Замечание. В качестве постоянной $$C$$ можно брать число $$0{,}4$$.
Продолжение примера 72 Проверьте, что для случайной величины $$\xi_1$$ с распределением Бернулли$${\mathsf E\,}{|\xi_1-{\mathsf E\,}\xi_1|}^3={|0-p|}^3 \Prob(\xi_1=0)+ {|1-p\,|}^3 \Prob(\xi_1=1)=p\mspace{2mu}q(p^2+q^2).$$ Поэтому разница между левой и правой частями приближенного равенства " $$\approx$$ " в примере 72 при $$n=10^4$$ и $$p=q=\frac12$$ не превышает величины$$C\cdot \frac{p\mspace{2mu}q(p^2+q^2)}{\sqrt{\smash[b]{npq}}{\left(\sqrt{\smash[b]{pq}}\right)}^3}= C\cdot \frac{p^2+q^2}{\sqrt{\smash[b]{\mathstrut n\vphantom{pq}}}\,\sqrt{\smash[b]{pq}}}\le 0{,}4\cdot \frac{1}{100}=0{,}004,$$ т.е. искомая вероятность $$\Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|>0{,}01\right)$$ не больше, чем $$0{,}0456+0{,}004$$. Уместно сравнить этот ответ с оценкой $$\frac14$$, полученной с помощью ЗБЧ в примере 71.
Пусть, как в законе больших чисел Чебышева, $$S_n=\xi_1+\ldots+\xi_n$$ - сумма $$n$$ независимых и одинаково распределенных величин с конечной дисперсией. Тогда по ЗБЧ $$\frac{S_n}{n}{uildrel {\rm p} \over \longrightarrow}{\mathsf E\,}\xi_1$$ с ростом $$n$$. Или, после приведения к общему знаменателю,$$\frac{S_n-n\,{\mathsf E\,}\xi_1}{n}{uildrel {\rm p} \over \longrightarrow} 0.$$ Если при делении на $$n$$ мы получили в пределе нуль (в смысле некоторой, все равно какой, сходимости), резонно задать себе вопрос: а не слишком ли на большую величину мы поделили? Нельзя ли поделить на что-нибудь, растущее к бесконечности медленнее, чем $$n$$, чтобы получить в пределе не нуль (но и не бесконечность)?
Можно поставить тот же вопрос иначе. Есть последовательность, стремящаяся к нулю. Можно ли ее домножить на что-либо растущее, чтобы "погасить" это стремление к нулю и получить, тем самым, что-нибудь конечное и ненулевое в пределе?
Оказывается, что уже последовательность случайных величин$$\frac{S_n-n\,{\mathsf E\,}\xi_1}{\sqrt{n}} = \sqrt{n}\cdot\frac{S_n-n\,{\mathsf E\,}\xi_1}{n}$$ не сходится к нулю. Распределение членов этой последовательности становится все более похожим на нормальное распределение! Можно считать, что такая последовательность сходится к случайной величине, имеющей нормальное распределение, но сходится никак не по вероятности, а только в смысле сходимости распределений, или "слабой сходимости".
Пусть задана последовательность случайных величин $$\xi_1,\,\xi_2,\,\dots$$, задано некоторое распределение $$\mathcal F$$ с функцией распределения $$F_\xi$$ и пусть $$\xi$$ - произвольная случайная величина, имеющая распределение $$\mathcal F$$.
Определение 46. Говорят, что последовательность случайных величин $$\xi_1,\,\xi_2,\,\dots$$ сходится слабо или сходится по распределению к случайной величине $$\xi$$ и пишут: $$\xi_n\Rightarrow\xi$$, если для любого $$x$$ такого, что функция распределения $$F_\xi$$ непрерывна в точке $$x$$, имеет место сходимость $$F_{\xi_n}(x)\to F_\xi(x)$$ при $$n\to\infty$$.
Итак, слабая сходимость - это сходимость функций распределения во всех точках непрерывности предельной функции распределения.
Замечание. Заметим, что сходимость $$\xi_n\Rightarrow\xi$$ есть сходимость распределений, а не случайных величин: если "предельную" величину $$\xi$$ заменить на другую величину $$\eta$$ с тем же распределением, ничего не изменится: в том же смысле $$\xi_n\Rightarrow\eta$$.
Следующее свойство очевидно. Если нет - нужно вернуться к определению и свойствам функций распределения.
Свойство 25. Если $$\xi_n\Rightarrow\xi$$, и функция распределения $$F_\xi$$ непрерывна в точках $$a$$ и $$b$$, то $$\Prob(\xi_n\in(a,\,b))\to \Prob(\xi\in(a,\,b))$$. Если во всех точках $$a$$ и $$b$$ непрерывности функции распределения $$F_\xi$$ имеет место сходимость $$\Prob(\xi_n\in(a,\,b))\to \Prob(\xi\in(a,\,b))$$, то $$\xi_n\Rightarrow\xi$$.
Вместо открытого интервала $$(a,\,b)$$ можно взять полуоткрытый или замкнутый.
Свойство 26.
Итак, сходимость по вероятности влечет слабую сходимость. Обратное утверждение в общем случае смысла не имеет (см. замечание выше). Однако из слабой сходимости к постоянной вытекает сходимость по вероятности.
Доказательство. Первое утверждение мы докажем чуть позже.
Докажем, что слабая сходимость к постояннной влечет сходимость по вероятности. Пусть $$\xi_n\Rightarrow c$$, т.е.$$F_{\xi_n}(x)\to F_c(x)=\begin{cases}0, x\le c; \\ 1, x>c \end{cases}$$ при любом $$x$$, являющемся точкой непрерывности предельной функции $$F_c(x)$$, т.е. при всех $$x\ne c$$.
Возьмем произвольное $${\varepsilon}>0$$ и докажем, что $$\Prob(|\xi_n-c|<{\varepsilon})\to 1$$:$$\Prob(-{\varepsilon}<\xi_n-c<{\varepsilon})= \Prob(c-{\varepsilon}<\xi_n< c+{\varepsilon})\ge \Prob(c-{\varepsilon}/2\le\xi_n<c+{\varepsilon})= \\ =F_{\xi_n}(c+{\varepsilon})-F_{\xi_n}(c-{\varepsilon}/2) \to F_c(c+{\varepsilon})-F_c(c-{\varepsilon}/2)=1-0=1,$$ поскольку в точках $$c+{\varepsilon}$$ и $$c-{\varepsilon}/2$$ функция $$F_c$$ непрерывна, и, следовательно, имеет место сходимость последовательностей $$F_{\xi_n}(c+{\varepsilon})$$ к $$F_c(c+{\varepsilon})=1$$ и $$F_{\xi_n}(c-{\varepsilon}/2)$$ к $$F_c(c-{\varepsilon}/2)=0$$.
Осталось заметить, что $$\Prob(|\xi_n-c|<{\varepsilon})$$ не бывает больше $$1$$, так что по свойству предела зажатой последовательности $$\Prob(|\xi_n-c|<{\varepsilon})\to 1$$.
Следующее свойство приводит пример операций, которые можно применять к слабо сходящимся последовательностям - домножать их на последовательности, сходящиеся по вероятности к постоянным величинам.
Замечание Свойство "предел суммы равен сумме пределов" для слабой сходимости просто бессмысленно: сходимости $$\xi_n\Rightarrow\xi$$, $$\eta_n\Rightarrow\eta$$ означают, что нам известны предельные распределения этих последовательностей. Но предельное распределение их суммы может быть различным в зависимости от совместного распределения $$\xi_n$$ и $$\eta_n$$. Иное дело, когда одно из предельных распределений вырождено. Тогда предельная функция распределения суммы или произведения определена однозначно.
Свойство 27.
Доказательство. Нелюбознательный читатель может пропустить это доказательство, вернувшись к нему при втором прочтении.
Заметим вначале, что если $$\eta_n\Rightarrow\eta$$, то $$c\eta_n\Rightarrow c\eta$$ и $${c+\eta_n\Rightarrow c+\eta}$$ (доказать). Поэтому достаточно доказать первое утверждение свойства 27 при $$c=1$$, а второе утверждение - при $$c=0$$.
Рассмотрим второе утверждение, оставив первое любознательному читателю. Пусть $$\xi_n {uildrel {\rm p} \over \longrightarrow}0$$ и $$\eta_n\Rightarrow\eta$$. Докажем, что тогда $$\xi_n+\eta_n\Rightarrow \eta$$.
Пусть $$x_0$$ - точка непрерывности функции распределения $$F_{\eta}(x)$$. Требуется доказать, что имеет место сходимость $$F_{\xi_n+\eta_n}(x_0)$$ к $$F_{\eta}(x_0)$$. Зафиксируем $${\varepsilon}>0$$ такое, что $$F_{\eta}(x)$$ непрерывна в точках $$x_0\pm{\varepsilon}$$.
Cобытия $$H_1=\{|\xi_n|\ge {\varepsilon}\}$$ и $$H_2=\{|\xi_n|<{\varepsilon}\}$$ образуют
Мы получили оценки снизу и сверху для $$P_1+P_2$$, т.е. для $$F_{\xi_n+\eta_n}(x_0)$$:$$F_{\eta_n}(x_0-{\varepsilon})-\Prob(|\xi_n|\ge {\varepsilon})\le F_{\xi_n+\eta_n}(x_0)\le \Prob(|\xi_n|\ge {\varepsilon})+ F_{\eta_n}(x_0+{\varepsilon}).$$ Устремляя $$n$$ к бесконечности и вспоминая, что $$x_0\pm{\varepsilon}$$ - точки непрерывности функции распределения $$F_\eta$$, получаем$$\begin{equation} F_{\eta}(x_0-{\varepsilon})\le \underline{\lim}\, F_{\xi_n+\eta_n}(x_0)\le \overline{\lim}\, F_{\xi_n+\eta_n}(x_0)\le F_{\eta}(x_0+{\varepsilon}). \end{equation}$$ У любой функции распределения не более чем счетное множество точек разрыва. Поэтому можно выбрать такую уменьшающуюся до нуля последовательность $${\varepsilon}$$, что в точках $$x_0\pm{\varepsilon}$$ функция распределения $$F_\eta$$ будет непрерывной и, следовательно, останутся верны неравенства (24). Переходя к пределу по такой последовательности $${\varepsilon}\to 0$$ и помня, что $$x_0$$ - точка непрерывности функции $$F_\eta$$, получаем, что нижний и верхний пределы $$F_{\xi_n+\eta_n}(x_0)$$ при $$n\to\infty$$ совпадают и равны $$F_{\eta}(x_0)$$.
В качестве простого следствия из только что доказанного второго утверждения свойства 27 покажем, что сходимость $$\xi_n {uildrel {\rm p} \over \longrightarrow}\xi$$ по вероятности влечет слабую сходимость $$\xi_n\Rightarrow\xi$$.
Представим $$\xi_n$$ в виде суммы $$\xi_n=(\xi_n-\xi)+\xi$$. Здесь последовательность $$\xi_n-\xi$$ по вероятности стремится к нулю, а "последовательность" $$\xi$$ слабо сходится к $$\xi$$. Поэтому их сумма слабо сходится к $$\xi$$, что и требовалось доказать.
Основной источник слабо сходящихся последовательностей и необычайно мощное и универсальное средство для асимптотического анализа распределений сумм независимых и одинаково распределенных случайных величин предоставляет нам центральная предельная теорема.
Мы будем называть следующее утверждение "ЦПТ Ляпунова", но сформулируем и докажем теорему Ляпунова только в частном случае - для последовательности независимых и одинаково распределенных случайных величин. Как и ранее, через $$S_n$$ обозначена сумма первых $$n$$ случайных величин в последовательности: $$S_n=\xi_1+\ldots+\xi_n$$.
Теорема 40 (ЦПТ Ляпунова). Пусть $$\xi_1,\,\xi_2,\,\ldots$$ - независимые и одинаково распределенные случайные величины с конечной и ненулевой дисперсией: $$0<{\mathsf D\,}\xi_1\ <\infty$$. Тогда имеет место слабая сходимость$$\frac{S_n-n\,{\mathsf E\,}\xi_1}{\sqrt{\mathstrut n\,{\mathsf D\,}\xi_1}}\Rightarrow {\mathrm N}_{0,1}$$ последовательности центрированных и нормированных сумм случайных величин к стандартному нормальному распределению.
Пользуясь определением и свойствами слабой сходимости и заметив, что функция распределения $$\Phi_{a,\sigma^2}(x)$$ любого нормального закона непрерывна всюду на $$\mathbb R$$ ( почему?), утверждение ЦПТ можно сформулировать любым из следующих способов.
Следствие 18. Пусть $$\xi_1,\xi_2,\ldots$$ - независимые и одинаково распределенные случайные величины с конечной и ненулевой дисперсией. Тогда выполнены утверждения:
Мы докажем центральную предельную теорему и закон больших чисел в форме Хинчина в следующей лекции. Нам потребуется для этого познакомиться с мощным математическим инструментом, который в математике обычно называют преобразованиями Фурье, а в теории вероятностей - характеристическими функциями.
Получим в качестве следствия из ЦПТ Ляпунова предельную теорему Муавра и Лапласа. Подобно ЗБЧ Бернулли, это утверждение годится только для схемы Бернулли.
Теорема 41 (предельная теорема Муавра - Лапласа). Пусть событие $$A$$ может произойти в любом из $$n$$ независимых испытаний с одной и той же вероятностью $$p$$ и пусть $$\nu_n(A)$$ - число осуществлений события $$A$$ в $$n$$ испытаниях. Тогда$$\frac{\nu_n(A)-np}{\sqrt{np\mspace{2mu}(1-p)}}\;\Rightarrow \;{\mathrm N}_{0,1} \text{\; при \;} n\to \infty,$$ т.е. для любых вещественных $$x<y$$ имеет место сходимость$$\Prob \left(x\le\frac{\nu_n(A)-np}{\sqrt{np\mspace{2mu}(1-p)}} \le y\right) \to \Phi_{0,1}(y)-\Phi_{0,1}(x)= \int\limits_x^y \frac{1}{\sqrt{2\pi}} e^{-t^2/2}\,dt;$$
Доказательство.
Величина $$\nu_n(A)$$ есть сумма независимых,
одинаково распределенных случайных величин, имеющих
Пример 72. Задача из примера 71. Требуется найти$$\Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|\ge 0{,}01\right),$$ где $$n=10\,000$$, $$\nu_n$$ - число выпадений герба. Вычислим вероятность дополнительного события. Домножим обе части неравенства под знаком вероятности на $$\sqrt{n}=100$$ и поделим на $$\sqrt{p\mspace{2mu}(1-p)}=1/2$$.$$\begin{multiline*} \Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|< 0{,}01\right) =\Prob\left(\frac{\sqrt{n}}{\sqrt{p\mspace{2mu}(1-p)}} \left|\frac{\nu_n}{n}-p\right|< 0{,}01 \frac{\sqrt{n}}{\sqrt{p\mspace{2mu}(1-p)}}\right) = \\ =\Prob\left(\frac{\sqrt{n}}{\sqrt{p\mspace{2mu}(1-p)}} \left|\frac{\nu_n}{n}-p\right|< 2\right)= \Prob\left(-2< \frac{\nu_n-np}{\sqrt{np\mspace{2mu}(1-p)}} < 2\right) \approx \\ \approx \Phi_{0,1}(2)-\Phi_{0,1}(-2) = 1- 2\Phi_{0,1}(-2) =1- 2\cdot 0{,}0228=1-0{,}0456. \; \end{multiline*}$$ Искомая вероятность примерно равна $$0{,}0456$$:$$\Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|\ge 0{,}01\right)=1- \Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|< 0{,}01\right) \approx 0{,}0456.$$
Центральной предельной теоремой пользуются для приближенного вычисления вероятностей, связанных с суммами большого числа независимых и одинаково распределенных величин. При этом распределение центрированной и нормированной суммы заменяют на стандартное нормальное распределение. Насколько велика ошибка при такой замене (погрешность приближения)?
Упражнение. Какие еще предельные теоремы для схемы Бернулли вы знаете? Что такое теорема Пуассона? Найти ее. Какова погрешность пуассоновского приближения? Вычислить ее. Объяснить, почему теорема Пуассона не применима в задаче из примера 72.
В примере 72 мы вычислили вероятность приближенно. Следующий результат позволяет оценить погрешность приближения в ЦПТ.
Теорема 42 (неравенство Берри - Эссеена). В условиях ЦПТ для любого $$x\in\mathbb R$$ и для любого распределения $$\xi_1$$ с конечным третьим моментом$$\left| \Prob\left(\frac{\displaystyle S_n - n{\mathsf E\,}\xi_1}{\sqrt{\smash[b]{\mathstrut n\,{\mathsf D\,}\xi_1}}} <x\right) - \Phi_{0,1}(x) \right| \le C\cdot \frac{{\mathsf E\,}{\displaystyle |\xi_1-{\mathsf E\,}\xi_1|}^3} {\sqrt{\smash[b]{\mathstrut n}}{\bigl(\sqrt{\smash[b]{\mathstrut {\mathsf D\,}\xi_1}}\,\bigr)}^3}.$$
Замечание. В качестве постоянной $$C$$ можно брать число $$0{,}4$$.
Продолжение примера 72 Проверьте, что для случайной величины $$\xi_1$$ с распределением Бернулли$${\mathsf E\,}{|\xi_1-{\mathsf E\,}\xi_1|}^3={|0-p|}^3 \Prob(\xi_1=0)+ {|1-p\,|}^3 \Prob(\xi_1=1)=p\mspace{2mu}q(p^2+q^2).$$ Поэтому разница между левой и правой частями приближенного равенства " $$\approx$$ " в примере 72 при $$n=10^4$$ и $$p=q=\frac12$$ не превышает величины$$C\cdot \frac{p\mspace{2mu}q(p^2+q^2)}{\sqrt{\smash[b]{npq}}{\left(\sqrt{\smash[b]{pq}}\right)}^3}= C\cdot \frac{p^2+q^2}{\sqrt{\smash[b]{\mathstrut n\vphantom{pq}}}\,\sqrt{\smash[b]{pq}}}\le 0{,}4\cdot \frac{1}{100}=0{,}004,$$ т.е. искомая вероятность $$\Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|>0{,}01\right)$$ не больше, чем $$0{,}0456+0{,}004$$. Уместно сравнить этот ответ с оценкой $$\frac14$$, полученной с помощью ЗБЧ в примере 71.
Для получения официальных документов о завершении программы дополнительного профессионального образования (удостоверения о повышении квалификации, дипломов о профессиональной переподготовке и MBA) необходимо предоставить:
Внимание! Вы можете не заказывать доставку бумажной версии официального документы, а скачать его в электронном виде и распечатать самостоятельно. Информация о выданном документе в течение 1 месяца загружается в Федеральную информационную систему «Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении» - ФИС ФРДО.
Доступ на новый сайт осуществляется с использованием адреса электронной почты, который был указан вами при регистрации на "старом". Мы постарались перенести все ваши данные с прежнего ресурса, однако не исключена вероятность потери части информации.
При возникновении проблемы со входом, воспользуйтесь функцией сброса пароля
Если вы обнаружите несоответствия, пожалуйста, сообщите нам.