В этой лекции $$i=\sqrt{-1}$$ -
Как всегда, модулем комплексного числа $$z=x+iy$$ называется положительное число $$|z|=\sqrt{x^2+y^2}$$, так что $$\left|e^{it}\right|=1\vphantom{\int_{b_b}}$$.
Определение 47. Функция $$\phi_\xi(t)={\mathsf E\,} e^{it\xi}$$ вещественной переменной $$t$$ называется характеристической функцией случайной величины $$\xi$$.
Пример 73.
Пусть случайная величина $$\xi$$ имеет
Пример 74.
Пусть случайная величина $$\xi$$ имеет биномиальное распределение
с параметрами $$n$$ и $$p$$.
Ее характеристическая функция равна$$\phi_\xi(t)={\mathsf E\,} e^{it\xi}=\sum\limits_{k=0}^n e^{it\cdot k}\,\Prob(\xi=k)
=\sum\limits_{k=0}^n e^{it\cdot k}\,C_n^k\,p^k\,{(1-p)}^{n-k}=\\
=\sum\limits_{k=0}^n C_n^k\,{\left(pe^{it}\right)}^k\,{(1-p)}^{n-k}=
{\left(1-p + pe^{it}\right)}^n.$$
Последнее равенство есть
Пример 75.
Пусть случайная величина $$\xi$$ имеет
Пример 76. Пусть случайная величина $$\xi$$ имеет гамма-распределение с параметрами $$\alpha$$ и $$\lambda$$. Ее характеристическая функция равна$$\phi_\xi(t)={\mathsf E\,} e^{it\xi}=\int\limits_{0}^{\infty} e^{it\cdot x}\,f_\xi(x)\,dx= \int\limits_{0}^{\infty} e^{itx}\,\frac{\alpha^\lambda}{\Gamma(\lambda)}\, x^{\lambda-1}\,e^{-\alpha x}\, dx= \\ =\frac{\alpha^\lambda}{\Gamma(\lambda)}\,\int\limits_{0}^{\infty} x^{\lambda-1}\, e^{-x(\alpha-it)}\, dx= {\left(\frac{\alpha}{\alpha-it}\right)}^{\lambda}= {\left(1-\frac{it}{\alpha}\right)}^{-\lambda}.$$ Интеграл мы вычислили с помощью гамма-функции: замена $$y=x(\alpha-it)$$ дает$$\int\limits_{0}^{\infty} x^{\lambda-1}\, e^{-x(\alpha-it)}\, dx= \frac{1}{{(\alpha-it)}^\lambda}\int\limits_{0}^{\infty} {y}^{\lambda-1}\, e^{-y}\, dy= \frac{\Gamma(\lambda)}{{(\alpha-it)}^\lambda}.$$
В качестве следствия получим, что для случайной величины $$\xi$$ с показательным распределением $${\mathrm E}_\alpha=\Gamma_{\alpha,\,1}$$ характеристическая функция равна $$\phi_\xi(t)=\frac{\alpha}{\alpha-it}$$.
Пример 77. Пусть случайная величина $$\xi$$ имеет стандартное нормальное распределение. Ее характеристическая функция равна$$\phi_\xi(t)= \frac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^{\infty} e^{itx}\,e^{-x^2/2}\,dx =\frac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^{\infty}\,e^{-t^2/2} \, e^{-{(x-it)}^2/2}\,dx= \\ = e^{-t^2/2} \frac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^{\infty} \, e^{-{(x-it)}^2/2}\,d(x-it)\;=\; e^{-t^2/2}.$$
При интегрировании мы выделили полный квадрат в показателе экспоненты и вспомнили, что интеграл по $$\mathbb R$$ от функции $$\frac{1}{\smash{\sqrt{2\pi}}}\,e^{-u^2/2}$$ равен единице.
(Ф1). Характеристическая функция всегда существует:$$|\phi_\xi(t)|=\bigl|{\mathsf E\,} e^{it\xi}\bigr|\le 1.$$
Полезно вспомнить, что даже $${\mathsf E\,}\xi$$ существует не всегда.
Доказательство. Воспользуемся свойством $${\mathsf D\,}\eta\geq 0$$, равносильным неравенству $$\bigl({\mathsf E\,}\eta\mspace{1mu}\bigr)^2\leq{\mathsf E\,}\mspace{-1mu}\eta^2$$:$$|\phi_\xi(t)|^2= \bigl|{\mathsf E\,} \cos(t\xi)+ i{\mathsf E\,} \sin(t\xi)\bigr|^2= \bigl({\mathsf E\,} \cos(t\xi)\bigr)^2+\bigl({\mathsf E\,} \sin(t\xi)\bigr)^2 \le \\ \le {\mathsf E\,} \cos^2(t\xi)+{\mathsf E\,} \sin^2(t\xi) = {\mathsf E\,} \bigl(\cos^2(t\xi)+ \sin^2(t\xi)\bigr)={\mathsf E\,} 1=1.$$
(Ф2). По характеристической функции однозначно восстанавливается распределение (функция распределения, плотность или таблица распределения). Другими словами, если две случайные величины имеют одинаковые характеристические функции, то и распределения этих величин совпадают.
Формулы, с помощью которых по характеристической функции восстанавливается распределение, в анализе называют формулами "обратного преобразования Фурье". Например, если модуль характеристической функции интегрируем на всей прямой, то у случайной величины есть плотность распределения и она находится по формуле$$f_\xi(x)=\frac{1}{2\pi}\int\limits_{-\infty}^{\infty}\,e^{-itx}\,\phi_\xi(t) \,dt.$$ Ни одна из формул обратного преобразования Фурье нам не понадобится.
(Ф3). Характеристическая функция случайной величины $$a+b\xi$$ связана с характеристической функцией случайной величины $$\xi$$ равенством$$\phi_{a+b\xi}(t)={\mathsf E\,} e^{it(a+b\xi)}=e^{ita}{\mathsf E\,} e^{i(tb)\xi}=e^{ita}\,\phi_\xi(tb).$$
Пример 78. Вычислим характеристическую функцию случайной величины $$\xi$$, имеющей нормальное распределение с параметрами $$a$$ и $$\sigma^2$$. Мы знаем, что у "стандартизованной" случайной величины, $$\eta=(\xi-a)\mspace{1mu}/\mspace{1mu}\sigma$$ характеристическая функция равна $$\phi_\eta(t)=e^{-t^2/2}$$. Тогда характеристическая функция величины $$\xi=a+\sigma\eta$$ равна$$\phi_\xi(t)=\phi_{a+\sigma\eta}(t)=e^{ita}\,\phi_\eta(t\sigma)= e^{ita}\,e^{-{(t\sigma)}^2/2}.$$
(Ф4). Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых: если случайные величины $$\xi$$ и $$\eta$$ независимы, то, по свойству (E7) математических ожиданий,$$\phi_{\xi+\eta}(t)={\mathsf E\,} e^{it(\xi+\eta)}= {\mathsf E\,} e^{it\xi}\,{\mathsf E\,} e^{it\eta}= \phi_\xi(t)\,\phi_\eta(t).$$ Замечание Чтобы характеристическая функция суммы $$n$$ случайных величин распадалась в произведение их характеристических функций, попарной независимости слагаемых не хватит. То же самое можно сказать про свойство (E7) математических ожиданий. Если же сомножители независимы в совокупности, то их совместное распределение распадается в произведение распределений, и тогда математическое ожидание произведения распадается в произведение математических ожиданий.
Замечательным свойством (Ф4) мы сразу же воспользуемся, как обещали, для доказательства леммы 3, утверждающей устойчивость нормального распределения относительно суммирования.
Доказательство леммы 3. Пусть $$\xi{\,\sim\,}{\mathrm N}_{a_1,\,\sigma_1^2}$$ и $$\eta{\,\sim\,}{\mathrm N}_{a_2,\,\sigma_2^2}$$ независимы. Характеристическая функция суммы $$\xi+\eta$$ равна$$\phi_{\xi+\eta}(t)=\phi_\xi(t)\,\phi_\eta(t)= {e\vphantom{\sum\limits}}^{ita_1}{e\vphantom{\sum\limits}}^{-{t^2\sigma_1^2}\mspace{1mu}/\mspace{2mu}{2}} {e\vphantom{\sum\limits}}^{ita_2}{e\vphantom{\sum\limits}}^{-{t^2\sigma_2^2}\mspace{1mu}/\mspace{2mu}{2}} = {e\vphantom{\sum\limits}}^{it(a_1+a_2)}{e\vphantom{\sum\limits}}^{-t^2(\sigma_1^2+\sigma_2^2)/\mspace{1mu}2}.$$ Видим, что характеристическая функция суммы есть характеристическая функция нормального распределения с параметрами $$a_1+a_2$$ и $$\sigma_1^2+\sigma_2^2$$. Следовательно, $$\xi+\eta {\,\sim\,}{\mathrm N}_{a_1+a_2,\,\sigma_1^2+\sigma_2^2}$$ по свойству (Ф2).
Доказательство лемм 1, 2, 4.
Докажем свойства устойчивости
по суммированию биномиального распределения,
Для независимых случайных величин с распределениями Пуассона $$\Pi_\lambda$$ и $$\Pi_\mu$$ характеристическая функция
суммы$$\phi_{\xi+\eta}(t)= \phi_\xi(t)\,\phi_\eta(t)=
\exp\left\{\lambda\left(e^{it}-1\right)\right\}
\,\exp\left\{\mu\left(e^{it}-1\right)\right\}=\\=
\exp\left\{(\lambda+\mu)\left(e^{it}-1\right)\right\}$$
равна характеристической функции
Для независимых случайных величин с биномиальными распределениями $${\mathrm B}_{n,p}$$ и $${\mathrm B}_{m,p}$$ характеристическая функция суммы$$\phi_{\xi+\eta}(t)= \phi_\xi(t)\,\phi_\eta(t)= {\left(1-p + pe^{it}\right)}^n\, {\left(1-p + pe^{it}\right)}^m=\\= {\left(1-p + pe^{it}\right)}^{n+m}$$ равна характеристической функции биномиального распределения с параметрами $$n+m$$ и $$p$$.
Для независимых случайных величин с гамма-распределениями $$\Gamma_{\alpha,\,\lambda_1}$$ и $$\Gamma_{\alpha,\,\lambda_2}$$ характеристическая функция суммы$${\vphantom{\textstyle\int}\phi}_{\xi+\eta}(t)= {\left(1-\frac{it}{\alpha}\right)}^{-\lambda_1}{\left(1-\frac{it}{\alpha}\right)}^{-\lambda_2} ={\left(1-\frac{it}{\alpha}\right)}^{-(\lambda_1+\lambda_2)}$$ равна характеристической функции гамма-распределения $$\Gamma_{\alpha,\,\lambda_1+\lambda_2}$$.
(Ф5.) Пусть существует момент порядка $$k\in \mathbb N$$ случайной величины $$\xi$$, т.е. $${\mathsf E\,}|\xi|^k<\infty$$. Тогда характеристическая функция $$\phi_\xi(t)$$ непрерывно дифференцируема $$k$$ раз и ее $$k$$ -я производная в нуле связана с моментом порядка $$k$$ равенством$$\phi_\xi^{(k)}(0)=\left(\frac{d^k}{d\,t^k}\,{\mathsf E\,} e^{it\xi}\right) \biggm|_{\,t=0}=\left({\mathsf E\,} i^k\,\xi^k\,e^{it\xi}\right) \biggm|_{\,t=0}=i^k \,{\mathsf E\,}\xi^k.$$
Существование и непрерывность $$k$$ -й производной, равно как и законность переноса производной под знак математического ожидания, мы доказывать не будем.
Упражнение. Доказать, что для случайной величины $$\xi$$ со стандартным нормальным распределением момент четного порядка $$2k$$ равен$${\mathsf E\,}\xi^{2k}=(2k-1)!! \; = \; (2k-1)\cdot(2k-3)\cdot\ldots\cdot 3\cdot 1.$$ Доказать по определению, что все моменты нечетных порядков стандартного нормального распределения существуют и равны нулю.
Как только появились производные высших порядков, самое время разложить функцию в ряд Тейлора.
(Ф6). Пусть существует момент порядка $$k\in\mathbb N$$ случайной величины $$\xi$$, т.е. $${\mathsf E\,}|\xi|^k<\infty$$. Тогда характеристическая функция $$\phi_\xi(t)$$ в окрестности точки $$t=0$$ разлагается в ряд Тейлора$$\phi_\xi(t)=\phi_\xi(0)+ \sum\limits_{j=1}^k \frac{t^j}{j!}\,\phi_\xi^{(j)}(0)+o(|t^k|)= 1+\sum\limits_{j=1}^k \frac{i^jt^j}{j!}\,{\mathsf E\,}\xi^j+o(|t^k|)=\\ =1+it\,{\mathsf E\,}\xi-\frac{t^2}{2}\,{\mathsf E\,}\xi^2+\ldots+ \frac{i^kt^k}{k!}\,{\mathsf E\,}\xi^k+o(|t^k|).$$
Ряды Тейлора бывают особенно полезны в теории пределов. Следующее основное свойство характеристических функций потребуется нам для доказательства предельных теорем, и это свойство - последняя теорема, оставленная нами без доказательства.
Теорема 43 (теорема Леви о непрерывном соответствии). Случайные величины $$\xi_n$$ слабо сходятся к случайной величине $$\xi$$ тогда и только тогда, когда для любого $$t$$ характеристические функции $$\phi_{\xi_n}(t)$$ сходятся к характеристической функции $$\phi_\xi(t)$$.
Сформулированная теорема устанавливает непрерывное соответствие между классами $$\langle F_\xi,\, \Rightarrow \rangle$$ функций распределения со слабой сходимостью и $$\langle \phi_\xi,\, \to \rangle$$ характеристических функций со сходимостью в каждой точке. "Непрерывность" этого соответствия - в том, что пределу в одном классе относительно заданной в этом классе сходимости соответствует предел в другом классе относительно сходимости, заданной в этом другом классе.
Осталось воспользоваться теоремой о непрерывном соответствии и доказать ЗБЧ в форме Хинчина и ЦПТ.
Пусть $$\xi_1,\,\xi_2,\,\ldots$$ - последовательность независимых в совокупности и одинаково распределенных случайных величин с конечным первым моментом $${{\mathsf E\,}|\xi_1|<\infty}$$. Обозначим через $$a$$ математическое ожидание $${\mathsf E\,}\xi_1$$. Требуется доказать, что$$\frac{S_n}{n}=\frac{\xi_1+\ldots+\xi_n}{n}{uildrel {\rm p} \over \longrightarrow}a.$$
По свойству 26
сходимость по вероятности к постоянной эквивалентна
слабой сходимости.
Так как $$a$$ - постоянная, достаточно доказать слабую сходимость $$\frac{S_n}{n}$$ к $$a$$.
По теореме о непрерывном соответствии,
эта сходимость имеет место тогда и только тогда, когда для любого $$t\in\mathbb R$$
сходятся характеристические функции$${\vphantom{\textstyle\int}\phi}_{S_n/n} (t) \to
\phi_a(t)={\mathsf E\,} e^{ita} = e^{ita}.$$
Найдем характеристическую функцию случайной величины $$\frac{S_n}{n}$$.
Пользуясь свойствами (Ф3) и (Ф4), получаем$${\vphantom{\textstyle\int}\phi}_{S_n/n} (t) =
{\vphantom{\textstyle\int}\phi}_{S_n}\Bigl(\frac{t}{n}\Bigr)
=
\left({\vphantom{\textstyle\int}\phi}_{\xi_1}\Bigl(\frac{t}{n}\Bigr)\right)^n.$$
Вспомним, что первый момент $$\xi_1$$ существует, поэтому свойство
(Ф6) позволяет
разложить $${\vphantom{\textstyle\int}\phi}_{\xi_1}(t)$$ в ряд
Тейлора в окрестности нуля:$${\vphantom{\textstyle\int}\phi}_{\xi_1}(t)
= 1+it {\mathsf E\,}\xi_1+o(|t|)=1+ita+o(|t|).$$
В точке $$t/n$$ соответственно$${\vphantom{\textstyle\int}\phi}_{\xi_1}\Bigl(\frac{t}{n}\Bigr) =
1+\frac{ita}{n}+o\Bigl(\Bigl|\frac{t}{n}\Bigr|\Bigr),$$
$${\vphantom{\textstyle\int}\phi}_{S_n/n} (t) =
\left(\phi_{\xi_1}\Bigl(\frac{t}{n}\Bigr)\right)^n=
\left(1+\frac{ita}{n}+o\Bigl(\Bigl|\frac{t}{n}\Bigr|\Bigr)\right)^n.$$
При $$n\to\infty$$, пользуясь "
Пусть $$\xi_1,\,\xi_2,\,\ldots$$ - последовательность независимых в совокупности и одинаково распределенных случайных величин с конечной и ненулевой дисперсией. Обозначим через $$a$$ математическое ожидание $${\mathsf E\,}\xi_1$$ и через $$\sigma^2$$ - дисперсию $${\mathsf D\,}\xi_1$$. Требуется доказать, что$$\frac{S_n-na}{\sigma\sqrt{n}}= \frac{\xi_1+\ldots+\xi_n-na}{\sigma\sqrt{n}} \Rightarrow {\mathrm N}_{0,1}.$$
Введем "стандартизованные" случайные величины $$\zeta_i=(\xi_i-a)\mspace{1mu}/\mspace{1mu}\sigma$$ - независимые случайные величины с нулевыми математическими ожиданиями и единичными дисперсиями. Пусть $$Z_n$$ есть их сумма:$$Z_n=\zeta_1+\ldots+\zeta_n=\frac{S_n-na}\sigma.$$ Требуется доказать, что последовательность $$\frac{Z_n}{\sqrt{n}}$$ слабо сходится к стандартному нормальному распределению. Характеристическая функция величины $$\frac{Z_n}{\sqrt{n}}$$ равна$$\begin{equation} {\vphantom{\sum\limits}\phi}_{Z_n\mspace{1mu}/\mspace{1mu}\sqrt{n}}\mspace{2mu}(t) = {\vphantom{\textstyle\int}\phi}_{Z_n}\Bigl(\frac{t}{\sqrt{n}}\Bigr) = \Bigl({\vphantom{\textstyle\int}\phi}_{\zeta_1}\Bigl(\frac{t}{\sqrt{n}}\Bigr)\Bigr)^n. \end{equation}$$
Характеристическую функцию случайной величины $$\zeta_1$$ можно разложить в ряд Тейлора, в коэффициентах которого использовать известные моменты $${\mathsf E\,}\zeta_1=0$$, $${\mathsf E\,} \zeta_1^2={\mathsf D\,}\zeta_1=1$$:$${\vphantom{\textstyle\int}\phi}_{\zeta_1}(t) = 1+it {\mathsf E\,}\zeta_1-\frac{t^2}{2} {\mathsf E\,}\zeta_1^2 +o(t^2)=1-\frac{t^2}{2}+o(t^2).$$ Подставим это разложение, взятое в точке $$t/\sqrt{n}$$, в равенство (25) и устремим $$n$$ к бесконечности. Еще раз воспользуемся замечательным пределом:$${\vphantom{\sum\limits}\phi}_{Z_n\mspace{1mu}/\mspace{1mu}\sqrt{n}}\mspace{2mu}(t)= \left({\vphantom{\textstyle\int}\phi}_{\zeta_1}\Bigl(\frac{t}{\sqrt{n}}\Bigr)\right)^n = \left(1-\frac{t^2}{2n}+o\Bigl(\frac{t^2}{n}\Bigr)\right)^n \!\to {\vphantom{\textstyle\int}e}^{-{t^2}\mspace{1mu}/\mspace{1mu}{2}} \text{ при } n\to\infty.$$ В пределе получили характеристическую функцию стандартного нормального распределения. По теореме о непрерывном соответствии можно сделать вывод о слабой сходимости$$\qquad \frac{Z_n}{\sqrt{n}} = \frac{S_n-na}{\sigma\sqrt{n}} \Rightarrow {\mathrm N}_{0,1}. \qquad$$
В этой лекции $$i=\sqrt{-1}$$ -
Как всегда, модулем комплексного числа $$z=x+iy$$ называется положительное число $$|z|=\sqrt{x^2+y^2}$$, так что $$\left|e^{it}\right|=1\vphantom{\int_{b_b}}$$.
Определение 47. Функция $$\phi_\xi(t)={\mathsf E\,} e^{it\xi}$$ вещественной переменной $$t$$ называется характеристической функцией случайной величины $$\xi$$.
Пример 73.
Пусть случайная величина $$\xi$$ имеет
Пример 74.
Пусть случайная величина $$\xi$$ имеет биномиальное распределение
с параметрами $$n$$ и $$p$$.
Ее характеристическая функция равна$$\phi_\xi(t)={\mathsf E\,} e^{it\xi}=\sum\limits_{k=0}^n e^{it\cdot k}\,\Prob(\xi=k)
=\sum\limits_{k=0}^n e^{it\cdot k}\,C_n^k\,p^k\,{(1-p)}^{n-k}=\\
=\sum\limits_{k=0}^n C_n^k\,{\left(pe^{it}\right)}^k\,{(1-p)}^{n-k}=
{\left(1-p + pe^{it}\right)}^n.$$
Последнее равенство есть
Пример 75.
Пусть случайная величина $$\xi$$ имеет
Пример 76. Пусть случайная величина $$\xi$$ имеет гамма-распределение с параметрами $$\alpha$$ и $$\lambda$$. Ее характеристическая функция равна$$\phi_\xi(t)={\mathsf E\,} e^{it\xi}=\int\limits_{0}^{\infty} e^{it\cdot x}\,f_\xi(x)\,dx= \int\limits_{0}^{\infty} e^{itx}\,\frac{\alpha^\lambda}{\Gamma(\lambda)}\, x^{\lambda-1}\,e^{-\alpha x}\, dx= \\ =\frac{\alpha^\lambda}{\Gamma(\lambda)}\,\int\limits_{0}^{\infty} x^{\lambda-1}\, e^{-x(\alpha-it)}\, dx= {\left(\frac{\alpha}{\alpha-it}\right)}^{\lambda}= {\left(1-\frac{it}{\alpha}\right)}^{-\lambda}.$$ Интеграл мы вычислили с помощью гамма-функции: замена $$y=x(\alpha-it)$$ дает$$\int\limits_{0}^{\infty} x^{\lambda-1}\, e^{-x(\alpha-it)}\, dx= \frac{1}{{(\alpha-it)}^\lambda}\int\limits_{0}^{\infty} {y}^{\lambda-1}\, e^{-y}\, dy= \frac{\Gamma(\lambda)}{{(\alpha-it)}^\lambda}.$$
В качестве следствия получим, что для случайной величины $$\xi$$ с показательным распределением $${\mathrm E}_\alpha=\Gamma_{\alpha,\,1}$$ характеристическая функция равна $$\phi_\xi(t)=\frac{\alpha}{\alpha-it}$$.
Пример 77. Пусть случайная величина $$\xi$$ имеет стандартное нормальное распределение. Ее характеристическая функция равна$$\phi_\xi(t)= \frac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^{\infty} e^{itx}\,e^{-x^2/2}\,dx =\frac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^{\infty}\,e^{-t^2/2} \, e^{-{(x-it)}^2/2}\,dx= \\ = e^{-t^2/2} \frac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^{\infty} \, e^{-{(x-it)}^2/2}\,d(x-it)\;=\; e^{-t^2/2}.$$
При интегрировании мы выделили полный квадрат в показателе экспоненты и вспомнили, что интеграл по $$\mathbb R$$ от функции $$\frac{1}{\smash{\sqrt{2\pi}}}\,e^{-u^2/2}$$ равен единице.
(Ф1). Характеристическая функция всегда существует:$$|\phi_\xi(t)|=\bigl|{\mathsf E\,} e^{it\xi}\bigr|\le 1.$$
Полезно вспомнить, что даже $${\mathsf E\,}\xi$$ существует не всегда.
Доказательство. Воспользуемся свойством $${\mathsf D\,}\eta\geq 0$$, равносильным неравенству $$\bigl({\mathsf E\,}\eta\mspace{1mu}\bigr)^2\leq{\mathsf E\,}\mspace{-1mu}\eta^2$$:$$|\phi_\xi(t)|^2= \bigl|{\mathsf E\,} \cos(t\xi)+ i{\mathsf E\,} \sin(t\xi)\bigr|^2= \bigl({\mathsf E\,} \cos(t\xi)\bigr)^2+\bigl({\mathsf E\,} \sin(t\xi)\bigr)^2 \le \\ \le {\mathsf E\,} \cos^2(t\xi)+{\mathsf E\,} \sin^2(t\xi) = {\mathsf E\,} \bigl(\cos^2(t\xi)+ \sin^2(t\xi)\bigr)={\mathsf E\,} 1=1.$$
(Ф2). По характеристической функции однозначно восстанавливается распределение (функция распределения, плотность или таблица распределения). Другими словами, если две случайные величины имеют одинаковые характеристические функции, то и распределения этих величин совпадают.
Формулы, с помощью которых по характеристической функции восстанавливается распределение, в анализе называют формулами "обратного преобразования Фурье". Например, если модуль характеристической функции интегрируем на всей прямой, то у случайной величины есть плотность распределения и она находится по формуле$$f_\xi(x)=\frac{1}{2\pi}\int\limits_{-\infty}^{\infty}\,e^{-itx}\,\phi_\xi(t) \,dt.$$ Ни одна из формул обратного преобразования Фурье нам не понадобится.
(Ф3). Характеристическая функция случайной величины $$a+b\xi$$ связана с характеристической функцией случайной величины $$\xi$$ равенством$$\phi_{a+b\xi}(t)={\mathsf E\,} e^{it(a+b\xi)}=e^{ita}{\mathsf E\,} e^{i(tb)\xi}=e^{ita}\,\phi_\xi(tb).$$
Пример 78. Вычислим характеристическую функцию случайной величины $$\xi$$, имеющей нормальное распределение с параметрами $$a$$ и $$\sigma^2$$. Мы знаем, что у "стандартизованной" случайной величины, $$\eta=(\xi-a)\mspace{1mu}/\mspace{1mu}\sigma$$ характеристическая функция равна $$\phi_\eta(t)=e^{-t^2/2}$$. Тогда характеристическая функция величины $$\xi=a+\sigma\eta$$ равна$$\phi_\xi(t)=\phi_{a+\sigma\eta}(t)=e^{ita}\,\phi_\eta(t\sigma)= e^{ita}\,e^{-{(t\sigma)}^2/2}.$$
(Ф4). Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых: если случайные величины $$\xi$$ и $$\eta$$ независимы, то, по свойству (E7) математических ожиданий,$$\phi_{\xi+\eta}(t)={\mathsf E\,} e^{it(\xi+\eta)}= {\mathsf E\,} e^{it\xi}\,{\mathsf E\,} e^{it\eta}= \phi_\xi(t)\,\phi_\eta(t).$$ Замечание Чтобы характеристическая функция суммы $$n$$ случайных величин распадалась в произведение их характеристических функций, попарной независимости слагаемых не хватит. То же самое можно сказать про свойство (E7) математических ожиданий. Если же сомножители независимы в совокупности, то их совместное распределение распадается в произведение распределений, и тогда математическое ожидание произведения распадается в произведение математических ожиданий.
Замечательным свойством (Ф4) мы сразу же воспользуемся, как обещали, для доказательства леммы 3, утверждающей устойчивость нормального распределения относительно суммирования.
Доказательство леммы 3. Пусть $$\xi{\,\sim\,}{\mathrm N}_{a_1,\,\sigma_1^2}$$ и $$\eta{\,\sim\,}{\mathrm N}_{a_2,\,\sigma_2^2}$$ независимы. Характеристическая функция суммы $$\xi+\eta$$ равна$$\phi_{\xi+\eta}(t)=\phi_\xi(t)\,\phi_\eta(t)= {e\vphantom{\sum\limits}}^{ita_1}{e\vphantom{\sum\limits}}^{-{t^2\sigma_1^2}\mspace{1mu}/\mspace{2mu}{2}} {e\vphantom{\sum\limits}}^{ita_2}{e\vphantom{\sum\limits}}^{-{t^2\sigma_2^2}\mspace{1mu}/\mspace{2mu}{2}} = {e\vphantom{\sum\limits}}^{it(a_1+a_2)}{e\vphantom{\sum\limits}}^{-t^2(\sigma_1^2+\sigma_2^2)/\mspace{1mu}2}.$$ Видим, что характеристическая функция суммы есть характеристическая функция нормального распределения с параметрами $$a_1+a_2$$ и $$\sigma_1^2+\sigma_2^2$$. Следовательно, $$\xi+\eta {\,\sim\,}{\mathrm N}_{a_1+a_2,\,\sigma_1^2+\sigma_2^2}$$ по свойству (Ф2).
Доказательство лемм 1, 2, 4.
Докажем свойства устойчивости
по суммированию биномиального распределения,
Для независимых случайных величин с распределениями Пуассона $$\Pi_\lambda$$ и $$\Pi_\mu$$ характеристическая функция
суммы$$\phi_{\xi+\eta}(t)= \phi_\xi(t)\,\phi_\eta(t)=
\exp\left\{\lambda\left(e^{it}-1\right)\right\}
\,\exp\left\{\mu\left(e^{it}-1\right)\right\}=\\=
\exp\left\{(\lambda+\mu)\left(e^{it}-1\right)\right\}$$
равна характеристической функции
Для независимых случайных величин с биномиальными распределениями $${\mathrm B}_{n,p}$$ и $${\mathrm B}_{m,p}$$ характеристическая функция суммы$$\phi_{\xi+\eta}(t)= \phi_\xi(t)\,\phi_\eta(t)= {\left(1-p + pe^{it}\right)}^n\, {\left(1-p + pe^{it}\right)}^m=\\= {\left(1-p + pe^{it}\right)}^{n+m}$$ равна характеристической функции биномиального распределения с параметрами $$n+m$$ и $$p$$.
Для независимых случайных величин с гамма-распределениями $$\Gamma_{\alpha,\,\lambda_1}$$ и $$\Gamma_{\alpha,\,\lambda_2}$$ характеристическая функция суммы$${\vphantom{\textstyle\int}\phi}_{\xi+\eta}(t)= {\left(1-\frac{it}{\alpha}\right)}^{-\lambda_1}{\left(1-\frac{it}{\alpha}\right)}^{-\lambda_2} ={\left(1-\frac{it}{\alpha}\right)}^{-(\lambda_1+\lambda_2)}$$ равна характеристической функции гамма-распределения $$\Gamma_{\alpha,\,\lambda_1+\lambda_2}$$.
(Ф5.) Пусть существует момент порядка $$k\in \mathbb N$$ случайной величины $$\xi$$, т.е. $${\mathsf E\,}|\xi|^k<\infty$$. Тогда характеристическая функция $$\phi_\xi(t)$$ непрерывно дифференцируема $$k$$ раз и ее $$k$$ -я производная в нуле связана с моментом порядка $$k$$ равенством$$\phi_\xi^{(k)}(0)=\left(\frac{d^k}{d\,t^k}\,{\mathsf E\,} e^{it\xi}\right) \biggm|_{\,t=0}=\left({\mathsf E\,} i^k\,\xi^k\,e^{it\xi}\right) \biggm|_{\,t=0}=i^k \,{\mathsf E\,}\xi^k.$$
Существование и непрерывность $$k$$ -й производной, равно как и законность переноса производной под знак математического ожидания, мы доказывать не будем.
Упражнение. Доказать, что для случайной величины $$\xi$$ со стандартным нормальным распределением момент четного порядка $$2k$$ равен$${\mathsf E\,}\xi^{2k}=(2k-1)!! \; = \; (2k-1)\cdot(2k-3)\cdot\ldots\cdot 3\cdot 1.$$ Доказать по определению, что все моменты нечетных порядков стандартного нормального распределения существуют и равны нулю.
Как только появились производные высших порядков, самое время разложить функцию в ряд Тейлора.
(Ф6). Пусть существует момент порядка $$k\in\mathbb N$$ случайной величины $$\xi$$, т.е. $${\mathsf E\,}|\xi|^k<\infty$$. Тогда характеристическая функция $$\phi_\xi(t)$$ в окрестности точки $$t=0$$ разлагается в ряд Тейлора$$\phi_\xi(t)=\phi_\xi(0)+ \sum\limits_{j=1}^k \frac{t^j}{j!}\,\phi_\xi^{(j)}(0)+o(|t^k|)= 1+\sum\limits_{j=1}^k \frac{i^jt^j}{j!}\,{\mathsf E\,}\xi^j+o(|t^k|)=\\ =1+it\,{\mathsf E\,}\xi-\frac{t^2}{2}\,{\mathsf E\,}\xi^2+\ldots+ \frac{i^kt^k}{k!}\,{\mathsf E\,}\xi^k+o(|t^k|).$$
Ряды Тейлора бывают особенно полезны в теории пределов. Следующее основное свойство характеристических функций потребуется нам для доказательства предельных теорем, и это свойство - последняя теорема, оставленная нами без доказательства.
Теорема 43 (теорема Леви о непрерывном соответствии). Случайные величины $$\xi_n$$ слабо сходятся к случайной величине $$\xi$$ тогда и только тогда, когда для любого $$t$$ характеристические функции $$\phi_{\xi_n}(t)$$ сходятся к характеристической функции $$\phi_\xi(t)$$.
Сформулированная теорема устанавливает непрерывное соответствие между классами $$\langle F_\xi,\, \Rightarrow \rangle$$ функций распределения со слабой сходимостью и $$\langle \phi_\xi,\, \to \rangle$$ характеристических функций со сходимостью в каждой точке. "Непрерывность" этого соответствия - в том, что пределу в одном классе относительно заданной в этом классе сходимости соответствует предел в другом классе относительно сходимости, заданной в этом другом классе.
Осталось воспользоваться теоремой о непрерывном соответствии и доказать ЗБЧ в форме Хинчина и ЦПТ.
Пусть $$\xi_1,\,\xi_2,\,\ldots$$ - последовательность независимых в совокупности и одинаково распределенных случайных величин с конечным первым моментом $${{\mathsf E\,}|\xi_1|<\infty}$$. Обозначим через $$a$$ математическое ожидание $${\mathsf E\,}\xi_1$$. Требуется доказать, что$$\frac{S_n}{n}=\frac{\xi_1+\ldots+\xi_n}{n}{uildrel {\rm p} \over \longrightarrow}a.$$
По свойству 26
сходимость по вероятности к постоянной эквивалентна
слабой сходимости.
Так как $$a$$ - постоянная, достаточно доказать слабую сходимость $$\frac{S_n}{n}$$ к $$a$$.
По теореме о непрерывном соответствии,
эта сходимость имеет место тогда и только тогда, когда для любого $$t\in\mathbb R$$
сходятся характеристические функции$${\vphantom{\textstyle\int}\phi}_{S_n/n} (t) \to
\phi_a(t)={\mathsf E\,} e^{ita} = e^{ita}.$$
Найдем характеристическую функцию случайной величины $$\frac{S_n}{n}$$.
Пользуясь свойствами (Ф3) и (Ф4), получаем$${\vphantom{\textstyle\int}\phi}_{S_n/n} (t) =
{\vphantom{\textstyle\int}\phi}_{S_n}\Bigl(\frac{t}{n}\Bigr)
=
\left({\vphantom{\textstyle\int}\phi}_{\xi_1}\Bigl(\frac{t}{n}\Bigr)\right)^n.$$
Вспомним, что первый момент $$\xi_1$$ существует, поэтому свойство
(Ф6) позволяет
разложить $${\vphantom{\textstyle\int}\phi}_{\xi_1}(t)$$ в ряд
Тейлора в окрестности нуля:$${\vphantom{\textstyle\int}\phi}_{\xi_1}(t)
= 1+it {\mathsf E\,}\xi_1+o(|t|)=1+ita+o(|t|).$$
В точке $$t/n$$ соответственно$${\vphantom{\textstyle\int}\phi}_{\xi_1}\Bigl(\frac{t}{n}\Bigr) =
1+\frac{ita}{n}+o\Bigl(\Bigl|\frac{t}{n}\Bigr|\Bigr),$$
$${\vphantom{\textstyle\int}\phi}_{S_n/n} (t) =
\left(\phi_{\xi_1}\Bigl(\frac{t}{n}\Bigr)\right)^n=
\left(1+\frac{ita}{n}+o\Bigl(\Bigl|\frac{t}{n}\Bigr|\Bigr)\right)^n.$$
При $$n\to\infty$$, пользуясь "
Пусть $$\xi_1,\,\xi_2,\,\ldots$$ - последовательность независимых в совокупности и одинаково распределенных случайных величин с конечной и ненулевой дисперсией. Обозначим через $$a$$ математическое ожидание $${\mathsf E\,}\xi_1$$ и через $$\sigma^2$$ - дисперсию $${\mathsf D\,}\xi_1$$. Требуется доказать, что$$\frac{S_n-na}{\sigma\sqrt{n}}= \frac{\xi_1+\ldots+\xi_n-na}{\sigma\sqrt{n}} \Rightarrow {\mathrm N}_{0,1}.$$
Введем "стандартизованные" случайные величины $$\zeta_i=(\xi_i-a)\mspace{1mu}/\mspace{1mu}\sigma$$ - независимые случайные величины с нулевыми математическими ожиданиями и единичными дисперсиями. Пусть $$Z_n$$ есть их сумма:$$Z_n=\zeta_1+\ldots+\zeta_n=\frac{S_n-na}\sigma.$$ Требуется доказать, что последовательность $$\frac{Z_n}{\sqrt{n}}$$ слабо сходится к стандартному нормальному распределению. Характеристическая функция величины $$\frac{Z_n}{\sqrt{n}}$$ равна$$\begin{equation} {\vphantom{\sum\limits}\phi}_{Z_n\mspace{1mu}/\mspace{1mu}\sqrt{n}}\mspace{2mu}(t) = {\vphantom{\textstyle\int}\phi}_{Z_n}\Bigl(\frac{t}{\sqrt{n}}\Bigr) = \Bigl({\vphantom{\textstyle\int}\phi}_{\zeta_1}\Bigl(\frac{t}{\sqrt{n}}\Bigr)\Bigr)^n. \end{equation}$$
Характеристическую функцию случайной величины $$\zeta_1$$ можно разложить в ряд Тейлора, в коэффициентах которого использовать известные моменты $${\mathsf E\,}\zeta_1=0$$, $${\mathsf E\,} \zeta_1^2={\mathsf D\,}\zeta_1=1$$:$${\vphantom{\textstyle\int}\phi}_{\zeta_1}(t) = 1+it {\mathsf E\,}\zeta_1-\frac{t^2}{2} {\mathsf E\,}\zeta_1^2 +o(t^2)=1-\frac{t^2}{2}+o(t^2).$$ Подставим это разложение, взятое в точке $$t/\sqrt{n}$$, в равенство (25) и устремим $$n$$ к бесконечности. Еще раз воспользуемся замечательным пределом:$${\vphantom{\sum\limits}\phi}_{Z_n\mspace{1mu}/\mspace{1mu}\sqrt{n}}\mspace{2mu}(t)= \left({\vphantom{\textstyle\int}\phi}_{\zeta_1}\Bigl(\frac{t}{\sqrt{n}}\Bigr)\right)^n = \left(1-\frac{t^2}{2n}+o\Bigl(\frac{t^2}{n}\Bigr)\right)^n \!\to {\vphantom{\textstyle\int}e}^{-{t^2}\mspace{1mu}/\mspace{1mu}{2}} \text{ при } n\to\infty.$$ В пределе получили характеристическую функцию стандартного нормального распределения. По теореме о непрерывном соответствии можно сделать вывод о слабой сходимости$$\qquad \frac{Z_n}{\sqrt{n}} = \frac{S_n-na}{\sigma\sqrt{n}} \Rightarrow {\mathrm N}_{0,1}. \qquad$$
Для получения официальных документов о завершении программы дополнительного профессионального образования (удостоверения о повышении квалификации, дипломов о профессиональной переподготовке и MBA) необходимо предоставить:
Внимание! Вы можете не заказывать доставку бумажной версии официального документы, а скачать его в электронном виде и распечатать самостоятельно. Информация о выданном документе в течение 1 месяца загружается в Федеральную информационную систему «Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении» - ФИС ФРДО.
Доступ на новый сайт осуществляется с использованием адреса электронной почты, который был указан вами при регистрации на "старом". Мы постарались перенести все ваши данные с прежнего ресурса, однако не исключена вероятность потери части информации.
При возникновении проблемы со входом, воспользуйтесь функцией сброса пароля
Если вы обнаружите несоответствия, пожалуйста, сообщите нам.