Введение в теорию вероятностей

Случайные величины и их распределения

Разбить на страницы
Показывать лекцию целиком

Случайные величины

Мы уже видели, что для многих экспериментов нет никаких различий в подсчете вероятностей событий, тогда как элементарные исходы в этих экспериментах очень различаются. Но нас и должны интересовать именно вероятности событий, а не структура пространства элементарных исходов. Поэтому пора во всех таких "похожих" экспериментах вместо самых разных исходов использовать, например, числа. Иначе говоря, каждому элементарному исходу поставить в соответствие некоторое вещественное число, и работать только с числами.

Пусть задано вероятностное пространство $$\langle\Omega, \mathcal F, \Prob\rangle$$.

Определение 20. Функция $$\xi:\Omega\to\mathbb R$$ называется случайной величиной если для любого борелевского множества $$B\in\mathfrak{B}(\mathbb R)$$ множество $$\xi^{-1}(B)$$ является событием, т.е. принадлежит $$\sigma$$ -алгебре $$\mathcal F$$.

Множество $$\xi^{-1}(B)=\{\omega\,|\,\xi(\omega)\in B\}$$, состоящее из тех элементарных исходов $$\omega$$, для которых $$\xi(\omega)$$ принадлежит $$B$$, называется полным прообразом множества $$B$$.

Замечание. Вообще, пусть функция $$f$$ действует из множества $$X$$ в множество $$Y$$, и заданы $$\sigma$$ -алгебры $$\mathcal F$$ и $$\mathcal G$$ подмножеств $$X$$ и $$Y$$ соответственно. Функция $$f$$ называется измеримой, если для любого множества $$B\in\mathcal G$$ его полный прообраз $$f^{-1}(B)$$ принадлежит $$\mathcal F$$.

Попробуем понять, зачем случайной величине нужна измеримость. Если задана случайная величина $$\xi$$, нам может потребоваться вычислить вероятности вида $$\Prob(\xi=5)= \Prob\{\omega \,|\,\xi(\omega)=5\}$$, $$\Prob(\xi\in[-3,\,7])$$, $$\Prob(\xi\ge 3{,}2)$$, $$\Prob(\xi<0)$$ и вообще самые разные вероятности попадания в борелевские множества на прямой. Это возможно лишь если множества, стоящие под знаком вероятности, являются событиями - ведь вероятность есть функция, определенная только на $$\sigma$$ -алгебре событий. Требование измеримости равносильно тому, что для любого борелевского множества $$B$$ определена вероятность $$\Prob(\xi\in B)$$.

Можно потребовать в определении 20 чего-нибудь другого. Например, чтобы событием было попадание в любой интервал: $${\{\omega | \xi(\omega)\in(a,b)\}\in\mathcal F}$$, или в любой полуинтервал: $$\{\omega | \xi(\omega) < x\}\in\mathcal F$$.

Определение 21. Функция $$\xi:\Omega\to\mathbb R$$ называется случайной величиной, если для любых вещественных $$a<b$$ множество $$\{\omega\,|\, \xi(\omega)\in (a,\,b)\}$$ принадлежит $$\sigma$$ -алгебре $$\mathcal F$$.

Доказательство. Докажем эквивалентность определений 20 и 21. Если $$\xi$$ - случайная величина в смысле определения 20, то она будет случайной величиной и в смысле определения 21, поскольку любой интервал $$(a,\,b)$$ является борелевским множеством.

Докажем, что верно и обратное. Пусть для любого интервала $${B=(a,\,b)}$$ выполнено $$\xi^{-1}(B)\in\mathcal F$$. Мы должны доказать, что то же самое верно для любых борелевских множеств. Соберем в множестве $${\mathcal A=\{B\subseteq \mathbb R | \xi^{-1}(B)\in\mathcal F\}}$$ все такие подмножества $$B$$ вещественной прямой, что их прообразы являются событиями. По определению, $$B\in\mathcal A$$ тогда и только тогда, когда множество $$\xi^{-1}(B)$$ принадлежит $$\mathcal F$$.

Множество $$\mathcal A$$ уже содержит все интервалы $$(a,\,b)$$. Покажем, что множество $$\mathcal A$$ является $$\sigma$$ -алгеброй.

  • Убедимся, что $$\mathbb R\in\mathcal A$$. Но $$\xi^{-1}(\mathbb R)=\Omega\in\mathcal F$$ и, следовательно, $$\mathbb R\in\mathcal A$$.
  • Убедимся, что $$\overline B\in\mathcal A$$ для любого $$B\in\mathcal A$$. Пусть $$\xi^{-1}(B)\in \mathcal F$$. Тогда $$\xi^{-1}(\overline B)=\{\omega | \xi(\omega)\not\in B\}=\Omega\setminus{\xi^{-1}(B)} \in\mathcal F$$, так как $$\mathcal F$$ - $$\sigma$$ -алгебра.
  • Убедимся, что $$B_1\,\cup\, B_2\,\cup\,\ldots\,\in\mathcal A$$ для любых $$B_1,\,B_2,\,\ldots\in\mathcal A$$. Пусть $$\xi^{-1}(B_i)\in \mathcal F$$ для всех $$i\ge 1$$. Но $$\mathcal F$$ - $$\sigma$$ -алгебра, поэтому$$\xi^{-1}\Bigl(\,\textstyle\bigcup\limits_{i=1}^\infty B_i\Bigr)= \Bigl\{\omega \Big| \xi(\omega)\in \textstyle\bigcup\limits_{i=1}^\infty B_i\Bigr\}= \textstyle\bigcup\limits_{i=1}^\infty {\xi^{-1}(B_i)} \in\mathcal F.$$
  • Мы доказали, что $$\mathcal A$$ - $$\sigma$$ -алгебра и содержит все интервалы на прямой. Но $$\mathfrak{B}(\mathbb R)$$ - наименьшая из $$\sigma$$ -алгебр, содержащих все интервалы на прямой. Следовательно, $$\mathfrak{B}(\mathbb R)\subseteq \mathcal A$$.

    Приведем примеры измеримых и неизмеримых функций.

    Пример 37.

    Подбрасываем кубик. Пусть $$\Omega=\{1,\,2,\,3,\,4,\,5,\,6\}$$ и две функции из $$\Omega$$ в $$\mathbb R$$ заданы так: $$\xi(\omega)=\omega$$, $$\eta(\omega)=\omega^2$$.

    Пока не задана $$\sigma$$ -алгебра $$\mathcal F$$, нельзя говорить об измеримости. Функция, измеримая относительно какой-то $$\sigma$$ -алгебры $$\mathcal F$$, может не быть таковой для другой $$\mathcal F$$.

  • Если $$\mathcal F$$ есть множество всех подмножеств $$\Omega$$, то $$\xi$$ и $$\eta$$ являются случайными величинами, поскольку любое множество элементарных исходов принадлежит $$\mathcal F$$, в том числе и $$\{\omega \,|\,\xi(\omega)\in B\}$$ или $$\{\omega\,|\, \eta(\omega)\in B\}$$. Можно записать соответствие между значениями случайных величин $$\xi$$ и $$\eta$$ и вероятностями принимать эти значения в виде таблицы распределения вероятностей или, короче, таблицы распределения:$$\begin{tabular}{l|c|c|c|c|c|c} $\xi$ 1 2 3 4 5 6 \cr \hline $\vphantom{\int^1}\Prob$ $\tfrac16$ $\frac16$ $\frac16$ $\frac16$ $\frac16$ $\frac16$ \end{tabular} \quad \begin{tabular}{l|c|c|c|c|c|c} $\eta$ 1 4 9 16 25 36 \cr \hline $\vphantom{\int^1}\Prob$ $\frac16$ $\frac16$ $\frac16$ $\frac16$ $\frac16$ $\frac16$ \end{tabular}$$ Здесь $$\Prob(\xi=1)=\ldots=\Prob(\xi=6)=\Prob(\eta=1)= \ldots=\Prob(\eta=36)=\frac16$$.
  • Пусть $$\sigma$$ -алгебра событий $$\mathcal F$$ состоит из четырех множеств:$$\begin{equation} \mathcal F=\bigl\{\Omega, \emptyset, \{1,\,3,\,5\}, \{2,\,4,\,6\}\bigr\}, \end{equation}$$ т.е. событием является, кроме достоверного и невозможного событий, выпадение четного или нечетного числа очков. Убедимся, что при такой сравнительно бедной $$\sigma$$ -алгебре ни $$\xi$$, ни $$\eta$$, не являются случайными величинами. Возьмем, скажем, $$B=\{4\}$$. Видим, что $$\{\omega\,|\,\xi(\omega)=4\}=\{4\}\not\in \mathcal F$$ и $$\{\omega\,|\, \eta(\omega)=4\}=\{2\}\not\in \mathcal F$$.
  • Пример 38. Пусть $$\Omega=[0,\,2\pi]$$, $$\mathcal F=\mathfrak{B}(\mathbb R)\cap[0,\,2\pi]$$ - сигма-алгебра борелевских подмножеств отрезка $$[0,\,2\pi]$$, $$\Prob(B)=\lambda(B)/ 2\pi$$ - геометрическая вероятность на $$\mathcal F$$ и $$A$$ - неизмеримое множество Витали, построенное нами в примере 21. Функция$$\xi(\omega)=I_A(\omega)=\begin{cases} 1, \text{ если }\, \omega\in A,\cr 0, \text{ если }\, \omega\not\in A \end{cases}$$ не является случайной величиной, поскольку, например, прообраз единицы $$\{\omega\,|\,\xi(\omega)=1\}=A$$ не принадлежит $$\mathcal F$$. И вероятность для $$\xi$$ попасть в единицу $$\Prob(\xi=1)=\lambda(A) / 2\pi$$ просто не существует.

    Познакомимся с важным понятием - "распределение" случайной величины и опишем различные типы распределений случайных величин.

    Распределения случайных величин

    Определение 22. Распределением случайной величины $$\xi$$ называется вероятностная мера $$\mu(B)=\Prob(\xi\in B)$$ на множестве борелевских подмножеств $$\mathbb R$$.

    Можно представлять себе распределение случайной величины $$\xi$$ как соответствие между множествами $$B\in\mathfrak{B}(\mathbb R)$$ и вероятностями $$\Prob(\xi\in B)$$.

    Распределения случайных величин суть основные объекты изучения в теории вероятностей. Мы не будем, как правило, интересоваться тем, из какого множества действует функция и каким именно элементарным исходам сопоставляет свои возможные значения. Нас будет интересовать лишь, с какой вероятностью эти значения принимаются. Приведем несколько примеров совершенно разных случайных величин, имеющих одно и то же распределение (одинаково распределенных).

    Пример 39. Один раз бросается правильная монета. Пространство $$\Omega$$ состоит из двух элементарных исходов - герб и решка. В качестве $$\sigma$$ -алгебры рассмотрим множество всех подмножеств $$\Omega$$, вероятность зададим как в классической схеме. Положим

    $$\xi(\omega)=1$$, если $$\omega=\textit{герб}$$, и $$\xi(\omega)=0$$, если $$\omega = \textit{решка};$$

    $$\eta(\omega)=0$$, если $$\omega=\textit{герб}$$, и $$\eta(\omega)=1$$, если $$\omega = \textit{решка}$$.

    Очевидно, что для любого множества $$B\subseteq \mathbb R$$ вероятности принадлежать $$B$$ для $$\xi$$ и для $$\eta$$ одинаковы. Тем не менее ни для одного элементарного исхода $$\omega$$ значения $$\xi(\omega)$$ и $$\eta(\omega)$$ не совпадают. Иными словами, $$\xi$$ и $$\eta$$ одинаково распределены, но не одинаковы как функции.

    Пример 40. Точка наудачу бросается на отрезок $$[0,\,1]$$. В этом случае $$\Omega$$ есть отрезок $$[0,\,1]$$ с $$\sigma$$ -алгеброй борелевских подмножеств $$[0,\,1]$$ и мерой Лебега в качестве вероятности. Читатель убедится, что две совершенно разные функции: $$\xi(\omega)=\omega$$ и $$\eta(\omega)=1-\omega$$ (расстояния до упавшей точки от левого и от правого концов отрезка соответственно) обладают одинаковыми вероятностями принимать значения внутри любых борелевских множеств $$B$$. Вероятности эти равны мере Лебега пересечения множеств $$B$$ и $$[0,\,1]$$. Эти случайные величины одинаково распределены, но не одинаковы: их значения совпадают лишь при одном элементарном исходе $$\omega= 0{,}5$$ $$\xi(\omega)$$ и $$\eta(\omega))$$.

    Пример 41. На том же отрезке $$\Omega=[0,\,1]$$ построим две функции: $${\xi(\omega)=0}$$ при всех $$\omega;$$ $$\eta(\omega)=0$$ при всех $$\omega$$, кроме $$\omega= 0{,}5$$, а в точке $$\omega= 0{,}5$$ положим $$\eta(\omega)= -17$$.

    Поскольку мера Лебега точки (она же - вероятность) равна нулю, распределения величин $$\xi$$ и $$\eta$$ одинаковы. Теперь $$\xi(\omega)$$ и $$\eta(\omega)$$ снова не совпадают как функции, но отличаются их значения лишь на множестве нулевой вероятности - только в точке $$\omega= 0{,}5$$. В этом случае говорят, что $$\xi$$ и $$\eta$$ совпадают "почти наверное": $$\Prob(\xi=\eta)=1$$.

    Опишем различные типы распределений случайных величин. Вся вероятностная масса может быть сосредоточена в нескольких точках прямой, а может быть "размазана" по некоторому интервалу или по всей прямой. В зависимости от типа множества, на котором сосредоточена вся единичная вероятностная масса, распределения делят на дискретные, абсолютно непрерывные, сингулярные и их смеси.

    Определение 23. Случайная величина $$\xi$$ имеет дискретное распределение, если существует конечный или счетный набор чисел $$a_1,\,a_2,\,\dots$$ такой, что$$\Prob(\xi=a_i)>0 \text{ для всех } i, \qquad \sum_{i=1}^{\smash{\infty}} \Prob(\xi=a_i)=1.$$

    Итак, случайная величина $$\xi$$ имеет дискретное распределение, если она принимает не более чем счетное число значений. Значения эти иначе называют атомами: $$\xi$$ имеет атом в точке $$x$$, если $$\Prob(\xi=x)>0$$.

    Если случайная величина $$\xi$$ имеет дискретное распределение, то для любого $$B\subseteq\mathbb R$$$$\Prob(\xi\in B)=\sum\limits_{a_i\in B}\Prob(\xi=a_i).$$

    Дискретное распределение удобно задавать следующей таблицей, в которой $$p_i=\Prob(\xi=a_i)$$:$$\qquad\begin{tabular}{l|c|c|c|c} $\xi$ $a_1$ $a_2$ $a_3$ \ldots \cr \hline $\vphantom{\int^a}\Prob$ $p_1$ $p_2$ $p_3$ \ldots \end{tabular}$$ Определение 24. Cлучайная величина $$\xi$$ имеет абсолютно непрерывное распределение, если существует неотрицательная функция $$f_\xi(x)$$ такая, что для любого борелевского множества $$B$$ имеет место равенство:$$\Prob(\xi\in B)=\int\limits_B f_\xi(x)\,dx.$$ Функцию $$f_\xi(x)$$ называют плотностью распределения величины $$\xi$$.

    Замечание. Интеграл выше есть интеграл Лебега, а не Римана. Вполне достаточно, если читатель, не знакомый с интегралом Лебега, будет представлять его себе просто как площадь под графиком подынтегральной функции над множеством $$B$$. При этом площадь над множеством $$B$$, имеющим нулевую меру Лебега, равна нулю. Заметим, что любая функция, отличающаяся от функции $$f_\xi(x)$$ лишь в конечном или счетном числе точек (или на множестве нулевой меры Лебега), будет являться плотностью того же распределения, так как интеграл не изменится от изменения подынтегральной функции на множестве меры нуль.

    Теорема 19. Плотность распределения обладает свойствами:

    (f1) $$f_\xi(x)\ge 0$$ для любого $$x$$ ;

    (f2) $$\displaystyle\int\limits_{-\infty}^\infty f_\xi(t)\,dt=1$$.

    Доказательство. Свойство (f1) выполнено по определению плотности, свойство (f2) также следует из определения 24. Действительно, если в качестве борелевского множества $$B$$ взять всю числовую прямую, получим:$$\quad\Prob(\xi\in \mathbb R)=1=\int\limits_{\mathbb R}\, f_\xi(x) dx. \quad$$

    Эти два свойства полностью характеризуют класс плотностей.

    Теорема 20. Если функция $$f$$ обладает свойствами (f1) и (f2), то существует вероятностное пространство и случайная величина $$\xi$$ на нем, для которой $$f$$ является плотностью распределения.

    Доказательство. Пусть $$\Omega$$ - область, заключенная между осью абсцисс и графиком функции $$f$$. Площадь области $$\Omega$$ равна единице по свойству (f2). Возьмем в качестве $$\mathcal F$$ множество борелевских подмножеств $$\Omega$$, а в качестве вероятности $$\Prob$$ - меру Лебега (площадь) на множествах из $$\mathcal F$$. И пусть случайная величина $$\xi$$ - абсцисса точки, наудачу брошенной в эту область. Тогда для любого $$B\in\mathfrak{B}(\mathbb R)$$ выполнено$$\begin{equation}\Prob(\xi\in B) = \Prob(\text{точка попала в } D_B)= \frac{\text{ площадь } D_B}{\text{ площадь } \Omega} = \smash{\int\limits_B}\; f(x) dx. \end{equation} \begin{figure}[h] \centering{ } \end{figure}$$

    (рис 6.1)

    Здесь область $$D_B$$ есть криволинейная трапеция с основанием $$B$$ под графиком плотности (рис 6.1). По определению, равенство (6.2) означает, что функция $$f$$ является плотностью распределения величины $$\xi$$.

    Отметим полезное свойство абсолютно непрерывных распределений.

    Свойство 7. Если случайная величина $$\xi$$ имеет абсолютно непрерывное распределение, то $$\Prob(\xi=x)=0$$ для любого $$x\in\mathbb R$$.

    Доказательство сразу следует из определения 24 и следующего за ним замечания: интеграл по области интегрирования, состоящей из одной точки, равен нулю.

    Можно выделить еще один особый класс распределений, сосредоточенных, в отличие от абсолютно непрерывных распределений, на множестве нулевой меры Лебега, но не имеющих, в отличие от дискретных, атома ни в одной точке этого множества.

    Определение 25. Случайная величина $$\xi$$ имеет сингулярное распределение, если существует борелевское множество $$B$$ с нулевой лебеговой мерой $$\lambda(B)=0$$ такое, что $$\Prob(\xi\in B)=1$$, но при этом $$\Prob(\xi=x)=0$$ для любой точки $$x\in B$$.

    Можно отметить следующее свойство сингулярных распределений. Множество $$B$$, на котором сосредоточено все распределение, не может состоять из конечного или счетного числа точек. Действительно, если $$B$$ конечно или счетно, то $$\Prob(\xi\in B)=\sum \Prob(\xi=x_i)$$, где суммирование ведется по всем $$x_i\in B$$. Последняя сумма равна нулю как сумма счетного числа нулей, что противоречит предположению $$\Prob(\xi\in B)=1$$.

    Таким образом, любое сингулярное распределение сосредоточено на несчетном множестве с нулевой мерой Лебега. Примером такого множества может служить канторовское совершенное множество, а примером такого распределения - лестница Кантора (см. ниже).

    Наконец, распределение может быть выпуклой линейной комбинацией дискретного, абсолютно непрерывного и сингулярного распределений.

    Определение 26. Случайная величина $$\xi$$ имеет смешанное распределение, если найдутся такие случайные величины $$\xi_1$$, $$\xi_2$$ и $$\xi_3$$ - с дискретным, абсолютно непрерывным и сингулярным распределениями соответственно (или такие три распределения), и числа $${p\mathstrut}_1,\,{p\mathstrut}_2,\,{p\mathstrut}_3\in[0,\,1)$$, $${p\mathstrut}_1+{p\mathstrut}_2+{p\mathstrut}_3=1$$, что для любого $$B\in\mathfrak{B}(\mathbb R)$$ имеет место равенство$$\Prob(\xi\in B)={p\mathstrut}_1\,\Prob(\xi_1\in B)+{p\mathstrut}_2\,\Prob(\xi_2\in B)+{p\mathstrut}_3\,\Prob(\xi_3\in B).$$

    По заданным на одном вероятностном пространстве случайным величинам $$\xi_1$$, $$\xi_2$$, $$\xi_3$$ и числам $${p\mathstrut}_1+{p\mathstrut}_2+{p\mathstrut}_3=1$$ можно построить случайную величину со смешанным распределением так: пусть $$\phi$$ - случайная величина на том же вероятностном пространстве с дискретным распределением $$\Prob(\phi=k)={p\mathstrut}_k$$ для $$k=1,\,2,\,3$$, и пусть при любом $$k$$ и любом $$B\in\mathfrak{B}(\mathbb R)$$ события $$\{\phi=k\}$$ и $$\{\xi_k\in B\}$$ независимы.

    Построим случайную величину $$\xi$$ так: если $$\phi(\omega)=k$$, то положим $$\xi(\omega)=\xi_k(\omega)$$. Ее распределение найдем по формуле полной вероятности:$$\Prob(\xi\in B)=\Prob(\xi_1\in B,\, \phi=1)+ \Prob(\xi_2\in B,\, \phi=2)+ \Prob(\xi_3\in B,\, \phi=3).$$ В силу независимости событий под знаком каждой из вероятностей,$$\Prob(\xi\in B)={p\mathstrut}_1\,\Prob(\xi_1\in B)+{p\mathstrut}_2\,\Prob(\xi_2\in B)+{p\mathstrut}_3\,\Prob(\xi_3\in B).$$ Никаких других видов распределений, кроме перечисленных выше, не существует ( доказано Лебегом ).

    Функция распределения

    Описание распределения набором вероятностей $$\Prob(\xi\in B)$$ не очень удобно: слишком много существует борелевских множеств. Мы описали дискретные распределения таблицей распределения, абсолютно непрерывные - плотностью распределения. Попробуем поискать какой-нибудь универсальный способ описать любое возможное распределение.

    Можно поставить вопрос иначе: распределение есть набор вероятностей попадания в любые борелевские множества на прямой. Нельзя ли обойтись знанием вероятностей попадания в какой-нибудь меньший набор множеств на прямой? Борелевская $$\sigma$$ -алгебра $$\mathfrak{B}(\mathbb R)$$ порождается интервалами (равно как и лучами $$(-\infty,\,x)$$ ), поэтому можно ограничиться только вероятностями попадания в такие лучи для всех $$x\in\mathbb R$$. А уже с их помощью можно будет определить и вероятность попасть в любое борелевское множество.

    Замечание. Можно с таким же успехом ограничиться набором вероятностей попадания в интервалы $$(-\infty,\,x]$$, или в $$(x,\,\infty)$$, или в $$[x,\,\infty)$$.

    Определение 27. Функцией распределения случайной величины $$\xi$$ называется функция $$F_\xi: \mathbb R\to [0,\,1]$$, при каждом $$x\in\mathbb R$$ равная вероятности случайной величине $$\xi$$ принимать значения, меньшие $$x$$:$$F_\xi(x)=\Prob(\xi< x)=\Prob\{\omega\,:\,\xi(\omega)<x\}.$$

    Общие свойства функций распределения.

    Теорема 21. Любая функция распределения обладает свойствами:

    (F1) она не убывает: если $$x_1<x_2$$, то $$F_\xi(x_1)\le F_\xi(x_2);$$

    (F2) cуществуют пределы $$\smash{\lim\limits_{x\to-\infty}}F_\xi(x)=0$$ и $$\smash{\lim\limits_{x\to+\infty}}F_\xi(x)=1;$$

    (F3) она в любой точке непрерывна слева$$F_\xi(x_0-0)=\lim_{x\to x_0-0}F_\xi(x)=F_\xi(x_0).$$

    Доказательство свойства (F1) Для любых чисел $$x_1<x_2$$ событие $${\{\xi<x_1\}}$$ влечет событие $$\{\xi<x_2\}$$, т.е. $$\{\xi<x_1\} \subseteq \{\xi<x_2\}$$. Но вероятность - монотонная функция событий, поэтому$$\qquad F_\xi(x_1)=\Prob\{\xi<x_1\}\,\le \,\Prob\{\xi<x_2\}=F_\xi(x_2).\qquad$$

    Для доказательства остальных свойств нам понадобится свойство непрерывности вероятностной меры (теорема 7).

    Доказательство свойства (F2). Заметим сначала, что существование пределов в свойствах (F2), (F3) вытекает из монотонности и ограниченности функции $$F_\xi(x)$$. Остается лишь доказать равенства $$\lim\limits_{x\to-\infty}F_\xi(x)=0$$, $$\lim\limits_{x\to+\infty}F_\xi(x)=1$$ и $$\lim\limits_{x\to x_0-0}F_\xi(x)=F_\xi(x_0)$$. Для этого в каждом случае достаточно найти предел по какой-нибудь подпоследовательности $$\{x_n\}$$, так как существование предела влечет совпадение всех частичных пределов.

    Докажем, что $$F_\xi(-n)\to 0$$ при $${n\to\infty}$$. Рассмотрим вложенную убывающую последовательность событий $$B_n=\{\xi<-n\}$$:$$B_{n+1}=\bigl\{\xi<-(n{+}1)\bigr\} \subseteq B_n=\bigl\{\xi<-n\bigr\} \ \textrm{ для любых } n\geq 1.$$ Пересечение $$B$$ всех этих событий состоит из тех и только тех $$\omega$$, для которых $$\xi(\omega)$$ меньше любого вещественного числа. Но для любого элементарного исхода $$\omega$$ значение $$\xi(\omega)$$ вещественно, и не может быть меньше всех вещественных чисел. Иначе говоря, пересечение событий $$B_n$$ не содержит элементарных исходов, т.е. $$B=\bigcap B_n=\emptyset$$. По свойству непрерывности меры, $$F_\xi(-n)=\Prob(B_n)\to \Prob(B)=0$$ при $$n\to\infty$$.

    Точно так же докажем остальные свойства.

    Покажем, что $$F_\xi(n)\to 1$$ при $$n\to\infty$$, т.е. $$1{-}F_\xi(n)=\Prob(\xi\ge n)\to 0$$. Обозначим через $$B_n$$ событие $$B_n=\{\xi\geq n\}$$. События $$B_n$$ вложены:$$B_{n+1}=\bigl\{\xi \geq (n+1)\bigr\} \subseteq B_n=\bigl\{\xi \geq n\bigr\} \ \textrm{ для любых } n\geq 1,$$ а пересечение $$B$$ этих событий снова пусто: оно означает, что $$\xi$$ больше любого вещественного числа. По свойству непрерывности меры,$$\qquad 1-F_\xi(n)=\Prob(B_n)\to \Prob(B)=0 \text{ при } n\to\infty. \qquad$$

    Доказательство свойства (F3). Достаточно доказать, что $$F_\xi(x_0-1/n)\to F_\xi(x_0)$$ при $$n\to\infty$$. Иначе говоря, доказать сходимость к нулю следующей разности:$$F_\xi(x_0) - F_\xi\Bigl(x_0-\frac{1}{n}\Bigr)= \Prob(\xi<x_0)-\Prob\Bigl(\xi<x_0-\frac{1}{n}\Bigr)= \Prob\Bigl(x_0-\frac{1}{n}\le\xi<x_0\Bigr).$$

    Осталось обозначить событие $$\{x_0-{1}/{n}\le\xi<x_0\}$$ через $$B_n$$ и снова воспользоваться свойством непрерывности меры.

    Следующая теорема говорит о том, что три доказанных свойства полностью описывают класс функций распределения. То, что любая функция распределения ими обладает, мы с вами доказали, а теорема утверждает, что любая функция с такими свойствами есть функция распределения.

    Теорема 22. Если функция $$F:\mathbb R\to[0,1]$$ удовлетворяет свойствам (F1)-(F3) , то $$F$$ есть функция распределения некоторой случайной величины $$\xi$$, т.е. найдется вероятностное пространство $$\langle\Omega,\mathcal F,\Prob\rangle$$ и случайная величина $$\xi$$ на нем такая, что $$F(x)\equiv F_\xi(x)$$.

    Помимо отмеченных в теореме 21, функции распределения обладают следующими свойствами:

    Свойство 8. В любой точке $$x_0$$ разница $$F_\xi(x_0+0)-F_\xi(x_0)$$ равна $$\Prob(\xi=x_0)$$. Иначе говоря, $$F_\xi(x_0+0)=F_\xi(x_0)+ \Prob(\xi=x_0)=\Prob(\xi\le x_0)$$.

    Это свойство получается аналогично свойствам (F2) и (F3)).

    Разница $$F_\xi(x_0+0)-F_\xi(x_0)$$ между пределом при стремлении к $$x_0$$ справа и значением в точке $$x_0$$ есть величина скачка функции распределения. Эта величина равна нулю, если функция распределения непрерывна (справа) в точке $$x_0$$. Слева функция распределения непрерывна всегда.

    Замечание Очень часто функцией распределения называют $$\Prob(\xi \le x)$$. Эта функция отличается от определенной выше лишь тем, что она непрерывна справа, а не слева. И вероятность $$\Prob(\xi=x_0)$$ для нее равна величине скачка слева, а не справа.

    Свойство 9. Для любой случайной величины $$\xi$$$$\Prob(a\le\xi<b)=F_\xi(b)-F_\xi(a).$$ Если $$F_\xi(x)$$ непрерывна в точках $$a$$ и $$b$$, то$$\Prob(a<\xi<b)=\Prob(a\le\xi\le b)= \Prob(a<\xi\le b)=F_\xi(b)-F_\xi(a).$$

    Доказательство. Разобьем событие $$\{\xi<b\}$$ в объединение несовместных событий: $$\{\xi<a\}\cup\{a\le\xi<b\}=\{\xi<b\}$$. По свойству аддитивности вероятности,$$\Prob\{\xi<a\}+\Prob\{a\le\xi<b\}=\Prob\{\xi<b\},$$ или $$F_\xi(a)+\Prob\{a\le\xi<b\}=F_\xi(b)$$, что и требовалось доказать.

    Функция распределения дискретного распределения.

    Согласно определению дискретного распределения, его функция распределения может быть найдена по таблице распределения так:$$F_\xi(x)=\Prob(\xi<x)=\sum_{k\,:\, a_k<x} \Prob(\xi=a_k).$$

    Из свойств 8 и 9 вытекает следующее свойство.

    Свойство 10. Случайная величина $$\xi$$ имеет дискретное распределение тогда и только тогда, когда функция распределения $$F_\xi(x)$$ имеет в точках $$a_i$$ скачки с величиной $$p_i=\Prob(\xi=a_i)=F_\xi(a_i+0)-F_\xi(a_i)$$, и растет только за счет скачков.

    Свойства абсолютно непрерывного распределения.

    Пусть случайная величина $$\xi$$ имеет абсолютно непрерывное распределение с плотностью $$f_\xi(t)$$. Тогда функция распределения в любой точке $$x$$ может быть найдена по плотности распределения так:$$\begin{equation}\label{anrdef} F_\xi(x)=\Prob(\xi<x)=\Prob(\xi\in(-\infty,\,x))=\int\limits_{-\infty}^x f_\xi(t)\,dt. \end{equation}$$ Поскольку функция распределения однозначно определяет распределение случайной величины, можно считать возможность представить функцию распределения интегралом (6.3) от неотрицательной функции определением абсолютно непрерывного распределения.

    Свойство 11. Если случайная величина $$\xi$$ имеет абсолютно непрерывное распределение, то ее функция распределения всюду непрерывна.

    Доказательство. Этот факт следует из свойств 7 и 8. Заметим, что оно есть также следствие представления (6.3) и непрерывности интеграла как функции верхнего предела.

    Свойство 12. Если $$\xi$$ имеет абсолютно непрерывное распределение, то ее функция распределения дифференцируема почти всюду,$$f_\xi(x)=F'_\xi(x)=\frac{d}{dx}\,F_\xi(x) \; \textrm{ для почти всех } \, x.$$

    Замечание. Термин для "почти всех" означает "для всех, кроме (возможно) $$x$$ из некоторого множества нулевой меры Лебега".

    Заметим, что любая функция распределения дифференцируема почти всюду. Но не у каждого распределения существует плотность распределения. Поэтому возможность дифференцировать функцию распределения никакого отношения к существованию плотности не имеет. Даже если мы дополнительно потребуем непрерывности функции распределения, этого не будет достаточно для абсолютной непрерывности распределения. Например, далее мы увидим, что функция распределения сингулярного распределения непрерывна и дифференцируема почти всюду, однако плотности у этого распределения нет, так как производная функции распределения почти всюду равна нулю.

    Опираясь на свойство 12 и формулу (6.3), можно сформулировать такой критерий абсолютной непрерывности распределения: распределение с функцией распределения $$F_\xi(x)$$ абсолютно непрерывно, если при всех $$x$$$$F_\xi(x)=\int\limits_{-\infty}^{\smash x} F^{\mspace{1mu}\prime}_\xi(t)\,dt.$$

    Наконец, очевидным следствием определения абсолютно непрерывного распределения и свойства 11 является следующее свойство.

    Свойство 13. Если случайная величина $$\xi$$ имеет абсолютно непрерывное распределение, то для любых $$a<b$$ имеют место равенства:$$\Prob(a<\xi<b)=\Prob(a\le\xi<b)=\Prob(a<\xi\le b)=\Prob(a\le\xi\le b)= \int\limits_a^b f_\xi(t) dt.$$

    Функция распределения сингулярного распределения.

    Для полноты картины посмотрим, какие свойства имеет функция распределения сингулярного распределения. По определению 25, случайная величина $$\xi$$ с сингулярным распределением принимает с единичной вероятностью лишь значения из некоторого борелевского множества $$B$$ с нулевой лебеговой мерой. Поэтому $$\Prob(\xi\in\mathbb R\setminus B)=0$$. Но по свойству (9), если $$\Prob(\xi\in[a,\,b))=0$$, то $$F_\xi(b)=F_\xi(a)$$. Это означает, что расти функция распределения может лишь в точках множества $$B$$. На всем остальном множестве $$\mathbb R\setminus B$$ функция распределения имеет почти всюду нулевую производную. Тем не менее, $$F_\xi(x)$$ всюду непрерывна, поскольку $$\Prob(\xi=x)=0$$ для любой точки $$x\in \mathbb R$$. Примером такой функции распределения служит лестница Кантора (рис 6.2).(рис 6.2) Лестница Кантора

    Функция распределения смешанного распределения. Функция распределения смешанного распределения есть выпуклая линейная комбинация функций распределения дискретного, абсолютно непрерывного и сингулярного распределений и наследует типичные черты всех этих распределений. Если смешивать дискретное и абсолютно непрерывное распределения, то функция распределения будет иметь скачки в точках значений дискретного распределения и участки непрерывного роста, приращение на которых восстанавливается по ее производной.

    Страницы:

    Случайные величины

    Мы уже видели, что для многих экспериментов нет никаких различий в подсчете вероятностей событий, тогда как элементарные исходы в этих экспериментах очень различаются. Но нас и должны интересовать именно вероятности событий, а не структура пространства элементарных исходов. Поэтому пора во всех таких "похожих" экспериментах вместо самых разных исходов использовать, например, числа. Иначе говоря, каждому элементарному исходу поставить в соответствие некоторое вещественное число, и работать только с числами.

    Пусть задано вероятностное пространство $$\langle\Omega, \mathcal F, \Prob\rangle$$.

    Определение 20. Функция $$\xi:\Omega\to\mathbb R$$ называется случайной величиной если для любого борелевского множества $$B\in\mathfrak{B}(\mathbb R)$$ множество $$\xi^{-1}(B)$$ является событием, т.е. принадлежит $$\sigma$$ -алгебре $$\mathcal F$$.

    Множество $$\xi^{-1}(B)=\{\omega\,|\,\xi(\omega)\in B\}$$, состоящее из тех элементарных исходов $$\omega$$, для которых $$\xi(\omega)$$ принадлежит $$B$$, называется полным прообразом множества $$B$$.

    Замечание. Вообще, пусть функция $$f$$ действует из множества $$X$$ в множество $$Y$$, и заданы $$\sigma$$ -алгебры $$\mathcal F$$ и $$\mathcal G$$ подмножеств $$X$$ и $$Y$$ соответственно. Функция $$f$$ называется измеримой, если для любого множества $$B\in\mathcal G$$ его полный прообраз $$f^{-1}(B)$$ принадлежит $$\mathcal F$$.

    Попробуем понять, зачем случайной величине нужна измеримость. Если задана случайная величина $$\xi$$, нам может потребоваться вычислить вероятности вида $$\Prob(\xi=5)= \Prob\{\omega \,|\,\xi(\omega)=5\}$$, $$\Prob(\xi\in[-3,\,7])$$, $$\Prob(\xi\ge 3{,}2)$$, $$\Prob(\xi<0)$$ и вообще самые разные вероятности попадания в борелевские множества на прямой. Это возможно лишь если множества, стоящие под знаком вероятности, являются событиями - ведь вероятность есть функция, определенная только на $$\sigma$$ -алгебре событий. Требование измеримости равносильно тому, что для любого борелевского множества $$B$$ определена вероятность $$\Prob(\xi\in B)$$.

    Можно потребовать в определении 20 чего-нибудь другого. Например, чтобы событием было попадание в любой интервал: $${\{\omega | \xi(\omega)\in(a,b)\}\in\mathcal F}$$, или в любой полуинтервал: $$\{\omega | \xi(\omega) < x\}\in\mathcal F$$.

    Определение 21. Функция $$\xi:\Omega\to\mathbb R$$ называется случайной величиной, если для любых вещественных $$a<b$$ множество $$\{\omega\,|\, \xi(\omega)\in (a,\,b)\}$$ принадлежит $$\sigma$$ -алгебре $$\mathcal F$$.

    Доказательство. Докажем эквивалентность определений 20 и 21. Если $$\xi$$ - случайная величина в смысле определения 20, то она будет случайной величиной и в смысле определения 21, поскольку любой интервал $$(a,\,b)$$ является борелевским множеством.

    Докажем, что верно и обратное. Пусть для любого интервала $${B=(a,\,b)}$$ выполнено $$\xi^{-1}(B)\in\mathcal F$$. Мы должны доказать, что то же самое верно для любых борелевских множеств. Соберем в множестве $${\mathcal A=\{B\subseteq \mathbb R | \xi^{-1}(B)\in\mathcal F\}}$$ все такие подмножества $$B$$ вещественной прямой, что их прообразы являются событиями. По определению, $$B\in\mathcal A$$ тогда и только тогда, когда множество $$\xi^{-1}(B)$$ принадлежит $$\mathcal F$$.

    Множество $$\mathcal A$$ уже содержит все интервалы $$(a,\,b)$$. Покажем, что множество $$\mathcal A$$ является $$\sigma$$ -алгеброй.

  • Убедимся, что $$\mathbb R\in\mathcal A$$. Но $$\xi^{-1}(\mathbb R)=\Omega\in\mathcal F$$ и, следовательно, $$\mathbb R\in\mathcal A$$.
  • Убедимся, что $$\overline B\in\mathcal A$$ для любого $$B\in\mathcal A$$. Пусть $$\xi^{-1}(B)\in \mathcal F$$. Тогда $$\xi^{-1}(\overline B)=\{\omega | \xi(\omega)\not\in B\}=\Omega\setminus{\xi^{-1}(B)} \in\mathcal F$$, так как $$\mathcal F$$ - $$\sigma$$ -алгебра.
  • Убедимся, что $$B_1\,\cup\, B_2\,\cup\,\ldots\,\in\mathcal A$$ для любых $$B_1,\,B_2,\,\ldots\in\mathcal A$$. Пусть $$\xi^{-1}(B_i)\in \mathcal F$$ для всех $$i\ge 1$$. Но $$\mathcal F$$ - $$\sigma$$ -алгебра, поэтому$$\xi^{-1}\Bigl(\,\textstyle\bigcup\limits_{i=1}^\infty B_i\Bigr)= \Bigl\{\omega \Big| \xi(\omega)\in \textstyle\bigcup\limits_{i=1}^\infty B_i\Bigr\}= \textstyle\bigcup\limits_{i=1}^\infty {\xi^{-1}(B_i)} \in\mathcal F.$$
  • Мы доказали, что $$\mathcal A$$ - $$\sigma$$ -алгебра и содержит все интервалы на прямой. Но $$\mathfrak{B}(\mathbb R)$$ - наименьшая из $$\sigma$$ -алгебр, содержащих все интервалы на прямой. Следовательно, $$\mathfrak{B}(\mathbb R)\subseteq \mathcal A$$.

    Приведем примеры измеримых и неизмеримых функций.

    Пример 37.

    Подбрасываем кубик. Пусть $$\Omega=\{1,\,2,\,3,\,4,\,5,\,6\}$$ и две функции из $$\Omega$$ в $$\mathbb R$$ заданы так: $$\xi(\omega)=\omega$$, $$\eta(\omega)=\omega^2$$.

    Пока не задана $$\sigma$$ -алгебра $$\mathcal F$$, нельзя говорить об измеримости. Функция, измеримая относительно какой-то $$\sigma$$ -алгебры $$\mathcal F$$, может не быть таковой для другой $$\mathcal F$$.

  • Если $$\mathcal F$$ есть множество всех подмножеств $$\Omega$$, то $$\xi$$ и $$\eta$$ являются случайными величинами, поскольку любое множество элементарных исходов принадлежит $$\mathcal F$$, в том числе и $$\{\omega \,|\,\xi(\omega)\in B\}$$ или $$\{\omega\,|\, \eta(\omega)\in B\}$$. Можно записать соответствие между значениями случайных величин $$\xi$$ и $$\eta$$ и вероятностями принимать эти значения в виде таблицы распределения вероятностей или, короче, таблицы распределения:$$\begin{tabular}{l|c|c|c|c|c|c} $\xi$ 1 2 3 4 5 6 \cr \hline $\vphantom{\int^1}\Prob$ $\tfrac16$ $\frac16$ $\frac16$ $\frac16$ $\frac16$ $\frac16$ \end{tabular} \quad \begin{tabular}{l|c|c|c|c|c|c} $\eta$ 1 4 9 16 25 36 \cr \hline $\vphantom{\int^1}\Prob$ $\frac16$ $\frac16$ $\frac16$ $\frac16$ $\frac16$ $\frac16$ \end{tabular}$$ Здесь $$\Prob(\xi=1)=\ldots=\Prob(\xi=6)=\Prob(\eta=1)= \ldots=\Prob(\eta=36)=\frac16$$.
  • Пусть $$\sigma$$ -алгебра событий $$\mathcal F$$ состоит из четырех множеств:$$\begin{equation} \mathcal F=\bigl\{\Omega, \emptyset, \{1,\,3,\,5\}, \{2,\,4,\,6\}\bigr\}, \end{equation}$$ т.е. событием является, кроме достоверного и невозможного событий, выпадение четного или нечетного числа очков. Убедимся, что при такой сравнительно бедной $$\sigma$$ -алгебре ни $$\xi$$, ни $$\eta$$, не являются случайными величинами. Возьмем, скажем, $$B=\{4\}$$. Видим, что $$\{\omega\,|\,\xi(\omega)=4\}=\{4\}\not\in \mathcal F$$ и $$\{\omega\,|\, \eta(\omega)=4\}=\{2\}\not\in \mathcal F$$.
  • Пример 38. Пусть $$\Omega=[0,\,2\pi]$$, $$\mathcal F=\mathfrak{B}(\mathbb R)\cap[0,\,2\pi]$$ - сигма-алгебра борелевских подмножеств отрезка $$[0,\,2\pi]$$, $$\Prob(B)=\lambda(B)/ 2\pi$$ - геометрическая вероятность на $$\mathcal F$$ и $$A$$ - неизмеримое множество Витали, построенное нами в примере 21. Функция$$\xi(\omega)=I_A(\omega)=\begin{cases} 1, \text{ если }\, \omega\in A,\cr 0, \text{ если }\, \omega\not\in A \end{cases}$$ не является случайной величиной, поскольку, например, прообраз единицы $$\{\omega\,|\,\xi(\omega)=1\}=A$$ не принадлежит $$\mathcal F$$. И вероятность для $$\xi$$ попасть в единицу $$\Prob(\xi=1)=\lambda(A) / 2\pi$$ просто не существует.

    Познакомимся с важным понятием - "распределение" случайной величины и опишем различные типы распределений случайных величин.

    Распределения случайных величин

    Определение 22. Распределением случайной величины $$\xi$$ называется вероятностная мера $$\mu(B)=\Prob(\xi\in B)$$ на множестве борелевских подмножеств $$\mathbb R$$.

    Можно представлять себе распределение случайной величины $$\xi$$ как соответствие между множествами $$B\in\mathfrak{B}(\mathbb R)$$ и вероятностями $$\Prob(\xi\in B)$$.

    Распределения случайных величин суть основные объекты изучения в теории вероятностей. Мы не будем, как правило, интересоваться тем, из какого множества действует функция и каким именно элементарным исходам сопоставляет свои возможные значения. Нас будет интересовать лишь, с какой вероятностью эти значения принимаются. Приведем несколько примеров совершенно разных случайных величин, имеющих одно и то же распределение (одинаково распределенных).

    Пример 39. Один раз бросается правильная монета. Пространство $$\Omega$$ состоит из двух элементарных исходов - герб и решка. В качестве $$\sigma$$ -алгебры рассмотрим множество всех подмножеств $$\Omega$$, вероятность зададим как в классической схеме. Положим

    $$\xi(\omega)=1$$, если $$\omega=\textit{герб}$$, и $$\xi(\omega)=0$$, если $$\omega = \textit{решка};$$

    $$\eta(\omega)=0$$, если $$\omega=\textit{герб}$$, и $$\eta(\omega)=1$$, если $$\omega = \textit{решка}$$.

    Очевидно, что для любого множества $$B\subseteq \mathbb R$$ вероятности принадлежать $$B$$ для $$\xi$$ и для $$\eta$$ одинаковы. Тем не менее ни для одного элементарного исхода $$\omega$$ значения $$\xi(\omega)$$ и $$\eta(\omega)$$ не совпадают. Иными словами, $$\xi$$ и $$\eta$$ одинаково распределены, но не одинаковы как функции.

    Пример 40. Точка наудачу бросается на отрезок $$[0,\,1]$$. В этом случае $$\Omega$$ есть отрезок $$[0,\,1]$$ с $$\sigma$$ -алгеброй борелевских подмножеств $$[0,\,1]$$ и мерой Лебега в качестве вероятности. Читатель убедится, что две совершенно разные функции: $$\xi(\omega)=\omega$$ и $$\eta(\omega)=1-\omega$$ (расстояния до упавшей точки от левого и от правого концов отрезка соответственно) обладают одинаковыми вероятностями принимать значения внутри любых борелевских множеств $$B$$. Вероятности эти равны мере Лебега пересечения множеств $$B$$ и $$[0,\,1]$$. Эти случайные величины одинаково распределены, но не одинаковы: их значения совпадают лишь при одном элементарном исходе $$\omega= 0{,}5$$ $$\xi(\omega)$$ и $$\eta(\omega))$$.

    Пример 41. На том же отрезке $$\Omega=[0,\,1]$$ построим две функции: $${\xi(\omega)=0}$$ при всех $$\omega;$$ $$\eta(\omega)=0$$ при всех $$\omega$$, кроме $$\omega= 0{,}5$$, а в точке $$\omega= 0{,}5$$ положим $$\eta(\omega)= -17$$.

    Поскольку мера Лебега точки (она же - вероятность) равна нулю, распределения величин $$\xi$$ и $$\eta$$ одинаковы. Теперь $$\xi(\omega)$$ и $$\eta(\omega)$$ снова не совпадают как функции, но отличаются их значения лишь на множестве нулевой вероятности - только в точке $$\omega= 0{,}5$$. В этом случае говорят, что $$\xi$$ и $$\eta$$ совпадают "почти наверное": $$\Prob(\xi=\eta)=1$$.

    Опишем различные типы распределений случайных величин. Вся вероятностная масса может быть сосредоточена в нескольких точках прямой, а может быть "размазана" по некоторому интервалу или по всей прямой. В зависимости от типа множества, на котором сосредоточена вся единичная вероятностная масса, распределения делят на дискретные, абсолютно непрерывные, сингулярные и их смеси.

    Определение 23. Случайная величина $$\xi$$ имеет дискретное распределение, если существует конечный или счетный набор чисел $$a_1,\,a_2,\,\dots$$ такой, что$$\Prob(\xi=a_i)>0 \text{ для всех } i, \qquad \sum_{i=1}^{\smash{\infty}} \Prob(\xi=a_i)=1.$$

    Итак, случайная величина $$\xi$$ имеет дискретное распределение, если она принимает не более чем счетное число значений. Значения эти иначе называют атомами: $$\xi$$ имеет атом в точке $$x$$, если $$\Prob(\xi=x)>0$$.

    Если случайная величина $$\xi$$ имеет дискретное распределение, то для любого $$B\subseteq\mathbb R$$$$\Prob(\xi\in B)=\sum\limits_{a_i\in B}\Prob(\xi=a_i).$$

    Дискретное распределение удобно задавать следующей таблицей, в которой $$p_i=\Prob(\xi=a_i)$$:$$\qquad\begin{tabular}{l|c|c|c|c} $\xi$ $a_1$ $a_2$ $a_3$ \ldots \cr \hline $\vphantom{\int^a}\Prob$ $p_1$ $p_2$ $p_3$ \ldots \end{tabular}$$ Определение 24. Cлучайная величина $$\xi$$ имеет абсолютно непрерывное распределение, если существует неотрицательная функция $$f_\xi(x)$$ такая, что для любого борелевского множества $$B$$ имеет место равенство:$$\Prob(\xi\in B)=\int\limits_B f_\xi(x)\,dx.$$ Функцию $$f_\xi(x)$$ называют плотностью распределения величины $$\xi$$.

    Замечание. Интеграл выше есть интеграл Лебега, а не Римана. Вполне достаточно, если читатель, не знакомый с интегралом Лебега, будет представлять его себе просто как площадь под графиком подынтегральной функции над множеством $$B$$. При этом площадь над множеством $$B$$, имеющим нулевую меру Лебега, равна нулю. Заметим, что любая функция, отличающаяся от функции $$f_\xi(x)$$ лишь в конечном или счетном числе точек (или на множестве нулевой меры Лебега), будет являться плотностью того же распределения, так как интеграл не изменится от изменения подынтегральной функции на множестве меры нуль.

    Теорема 19. Плотность распределения обладает свойствами:

    (f1) $$f_\xi(x)\ge 0$$ для любого $$x$$ ;

    (f2) $$\displaystyle\int\limits_{-\infty}^\infty f_\xi(t)\,dt=1$$.

    Доказательство. Свойство (f1) выполнено по определению плотности, свойство (f2) также следует из определения 24. Действительно, если в качестве борелевского множества $$B$$ взять всю числовую прямую, получим:$$\quad\Prob(\xi\in \mathbb R)=1=\int\limits_{\mathbb R}\, f_\xi(x) dx. \quad$$

    Эти два свойства полностью характеризуют класс плотностей.

    Теорема 20. Если функция $$f$$ обладает свойствами (f1) и (f2), то существует вероятностное пространство и случайная величина $$\xi$$ на нем, для которой $$f$$ является плотностью распределения.

    Доказательство. Пусть $$\Omega$$ - область, заключенная между осью абсцисс и графиком функции $$f$$. Площадь области $$\Omega$$ равна единице по свойству (f2). Возьмем в качестве $$\mathcal F$$ множество борелевских подмножеств $$\Omega$$, а в качестве вероятности $$\Prob$$ - меру Лебега (площадь) на множествах из $$\mathcal F$$. И пусть случайная величина $$\xi$$ - абсцисса точки, наудачу брошенной в эту область. Тогда для любого $$B\in\mathfrak{B}(\mathbb R)$$ выполнено$$\begin{equation}\Prob(\xi\in B) = \Prob(\text{точка попала в } D_B)= \frac{\text{ площадь } D_B}{\text{ площадь } \Omega} = \smash{\int\limits_B}\; f(x) dx. \end{equation} \begin{figure}[h] \centering{ } \end{figure}$$

    (рис 6.1)

    Здесь область $$D_B$$ есть криволинейная трапеция с основанием $$B$$ под графиком плотности (рис 6.1). По определению, равенство (6.2) означает, что функция $$f$$ является плотностью распределения величины $$\xi$$.

    Отметим полезное свойство абсолютно непрерывных распределений.

    Свойство 7. Если случайная величина $$\xi$$ имеет абсолютно непрерывное распределение, то $$\Prob(\xi=x)=0$$ для любого $$x\in\mathbb R$$.

    Доказательство сразу следует из определения 24 и следующего за ним замечания: интеграл по области интегрирования, состоящей из одной точки, равен нулю.

    Можно выделить еще один особый класс распределений, сосредоточенных, в отличие от абсолютно непрерывных распределений, на множестве нулевой меры Лебега, но не имеющих, в отличие от дискретных, атома ни в одной точке этого множества.

    Определение 25. Случайная величина $$\xi$$ имеет сингулярное распределение, если существует борелевское множество $$B$$ с нулевой лебеговой мерой $$\lambda(B)=0$$ такое, что $$\Prob(\xi\in B)=1$$, но при этом $$\Prob(\xi=x)=0$$ для любой точки $$x\in B$$.

    Можно отметить следующее свойство сингулярных распределений. Множество $$B$$, на котором сосредоточено все распределение, не может состоять из конечного или счетного числа точек. Действительно, если $$B$$ конечно или счетно, то $$\Prob(\xi\in B)=\sum \Prob(\xi=x_i)$$, где суммирование ведется по всем $$x_i\in B$$. Последняя сумма равна нулю как сумма счетного числа нулей, что противоречит предположению $$\Prob(\xi\in B)=1$$.

    Таким образом, любое сингулярное распределение сосредоточено на несчетном множестве с нулевой мерой Лебега. Примером такого множества может служить канторовское совершенное множество, а примером такого распределения - лестница Кантора (см. ниже).

    Наконец, распределение может быть выпуклой линейной комбинацией дискретного, абсолютно непрерывного и сингулярного распределений.

    Определение 26. Случайная величина $$\xi$$ имеет смешанное распределение, если найдутся такие случайные величины $$\xi_1$$, $$\xi_2$$ и $$\xi_3$$ - с дискретным, абсолютно непрерывным и сингулярным распределениями соответственно (или такие три распределения), и числа $${p\mathstrut}_1,\,{p\mathstrut}_2,\,{p\mathstrut}_3\in[0,\,1)$$, $${p\mathstrut}_1+{p\mathstrut}_2+{p\mathstrut}_3=1$$, что для любого $$B\in\mathfrak{B}(\mathbb R)$$ имеет место равенство$$\Prob(\xi\in B)={p\mathstrut}_1\,\Prob(\xi_1\in B)+{p\mathstrut}_2\,\Prob(\xi_2\in B)+{p\mathstrut}_3\,\Prob(\xi_3\in B).$$

    По заданным на одном вероятностном пространстве случайным величинам $$\xi_1$$, $$\xi_2$$, $$\xi_3$$ и числам $${p\mathstrut}_1+{p\mathstrut}_2+{p\mathstrut}_3=1$$ можно построить случайную величину со смешанным распределением так: пусть $$\phi$$ - случайная величина на том же вероятностном пространстве с дискретным распределением $$\Prob(\phi=k)={p\mathstrut}_k$$ для $$k=1,\,2,\,3$$, и пусть при любом $$k$$ и любом $$B\in\mathfrak{B}(\mathbb R)$$ события $$\{\phi=k\}$$ и $$\{\xi_k\in B\}$$ независимы.

    Построим случайную величину $$\xi$$ так: если $$\phi(\omega)=k$$, то положим $$\xi(\omega)=\xi_k(\omega)$$. Ее распределение найдем по формуле полной вероятности:$$\Prob(\xi\in B)=\Prob(\xi_1\in B,\, \phi=1)+ \Prob(\xi_2\in B,\, \phi=2)+ \Prob(\xi_3\in B,\, \phi=3).$$ В силу независимости событий под знаком каждой из вероятностей,$$\Prob(\xi\in B)={p\mathstrut}_1\,\Prob(\xi_1\in B)+{p\mathstrut}_2\,\Prob(\xi_2\in B)+{p\mathstrut}_3\,\Prob(\xi_3\in B).$$ Никаких других видов распределений, кроме перечисленных выше, не существует ( доказано Лебегом ).

    Функция распределения

    Описание распределения набором вероятностей $$\Prob(\xi\in B)$$ не очень удобно: слишком много существует борелевских множеств. Мы описали дискретные распределения таблицей распределения, абсолютно непрерывные - плотностью распределения. Попробуем поискать какой-нибудь универсальный способ описать любое возможное распределение.

    Можно поставить вопрос иначе: распределение есть набор вероятностей попадания в любые борелевские множества на прямой. Нельзя ли обойтись знанием вероятностей попадания в какой-нибудь меньший набор множеств на прямой? Борелевская $$\sigma$$ -алгебра $$\mathfrak{B}(\mathbb R)$$ порождается интервалами (равно как и лучами $$(-\infty,\,x)$$ ), поэтому можно ограничиться только вероятностями попадания в такие лучи для всех $$x\in\mathbb R$$. А уже с их помощью можно будет определить и вероятность попасть в любое борелевское множество.

    Замечание. Можно с таким же успехом ограничиться набором вероятностей попадания в интервалы $$(-\infty,\,x]$$, или в $$(x,\,\infty)$$, или в $$[x,\,\infty)$$.

    Определение 27. Функцией распределения случайной величины $$\xi$$ называется функция $$F_\xi: \mathbb R\to [0,\,1]$$, при каждом $$x\in\mathbb R$$ равная вероятности случайной величине $$\xi$$ принимать значения, меньшие $$x$$:$$F_\xi(x)=\Prob(\xi< x)=\Prob\{\omega\,:\,\xi(\omega)<x\}.$$

    Общие свойства функций распределения.

    Теорема 21. Любая функция распределения обладает свойствами:

    (F1) она не убывает: если $$x_1<x_2$$, то $$F_\xi(x_1)\le F_\xi(x_2);$$

    (F2) cуществуют пределы $$\smash{\lim\limits_{x\to-\infty}}F_\xi(x)=0$$ и $$\smash{\lim\limits_{x\to+\infty}}F_\xi(x)=1;$$

    (F3) она в любой точке непрерывна слева$$F_\xi(x_0-0)=\lim_{x\to x_0-0}F_\xi(x)=F_\xi(x_0).$$

    Доказательство свойства (F1) Для любых чисел $$x_1<x_2$$ событие $${\{\xi<x_1\}}$$ влечет событие $$\{\xi<x_2\}$$, т.е. $$\{\xi<x_1\} \subseteq \{\xi<x_2\}$$. Но вероятность - монотонная функция событий, поэтому$$\qquad F_\xi(x_1)=\Prob\{\xi<x_1\}\,\le \,\Prob\{\xi<x_2\}=F_\xi(x_2).\qquad$$

    Для доказательства остальных свойств нам понадобится свойство непрерывности вероятностной меры (теорема 7).

    Доказательство свойства (F2). Заметим сначала, что существование пределов в свойствах (F2), (F3) вытекает из монотонности и ограниченности функции $$F_\xi(x)$$. Остается лишь доказать равенства $$\lim\limits_{x\to-\infty}F_\xi(x)=0$$, $$\lim\limits_{x\to+\infty}F_\xi(x)=1$$ и $$\lim\limits_{x\to x_0-0}F_\xi(x)=F_\xi(x_0)$$. Для этого в каждом случае достаточно найти предел по какой-нибудь подпоследовательности $$\{x_n\}$$, так как существование предела влечет совпадение всех частичных пределов.

    Докажем, что $$F_\xi(-n)\to 0$$ при $${n\to\infty}$$. Рассмотрим вложенную убывающую последовательность событий $$B_n=\{\xi<-n\}$$:$$B_{n+1}=\bigl\{\xi<-(n{+}1)\bigr\} \subseteq B_n=\bigl\{\xi<-n\bigr\} \ \textrm{ для любых } n\geq 1.$$ Пересечение $$B$$ всех этих событий состоит из тех и только тех $$\omega$$, для которых $$\xi(\omega)$$ меньше любого вещественного числа. Но для любого элементарного исхода $$\omega$$ значение $$\xi(\omega)$$ вещественно, и не может быть меньше всех вещественных чисел. Иначе говоря, пересечение событий $$B_n$$ не содержит элементарных исходов, т.е. $$B=\bigcap B_n=\emptyset$$. По свойству непрерывности меры, $$F_\xi(-n)=\Prob(B_n)\to \Prob(B)=0$$ при $$n\to\infty$$.

    Точно так же докажем остальные свойства.

    Покажем, что $$F_\xi(n)\to 1$$ при $$n\to\infty$$, т.е. $$1{-}F_\xi(n)=\Prob(\xi\ge n)\to 0$$. Обозначим через $$B_n$$ событие $$B_n=\{\xi\geq n\}$$. События $$B_n$$ вложены:$$B_{n+1}=\bigl\{\xi \geq (n+1)\bigr\} \subseteq B_n=\bigl\{\xi \geq n\bigr\} \ \textrm{ для любых } n\geq 1,$$ а пересечение $$B$$ этих событий снова пусто: оно означает, что $$\xi$$ больше любого вещественного числа. По свойству непрерывности меры,$$\qquad 1-F_\xi(n)=\Prob(B_n)\to \Prob(B)=0 \text{ при } n\to\infty. \qquad$$

    Доказательство свойства (F3). Достаточно доказать, что $$F_\xi(x_0-1/n)\to F_\xi(x_0)$$ при $$n\to\infty$$. Иначе говоря, доказать сходимость к нулю следующей разности:$$F_\xi(x_0) - F_\xi\Bigl(x_0-\frac{1}{n}\Bigr)= \Prob(\xi<x_0)-\Prob\Bigl(\xi<x_0-\frac{1}{n}\Bigr)= \Prob\Bigl(x_0-\frac{1}{n}\le\xi<x_0\Bigr).$$

    Осталось обозначить событие $$\{x_0-{1}/{n}\le\xi<x_0\}$$ через $$B_n$$ и снова воспользоваться свойством непрерывности меры.

    Следующая теорема говорит о том, что три доказанных свойства полностью описывают класс функций распределения. То, что любая функция распределения ими обладает, мы с вами доказали, а теорема утверждает, что любая функция с такими свойствами есть функция распределения.

    Теорема 22. Если функция $$F:\mathbb R\to[0,1]$$ удовлетворяет свойствам (F1)-(F3) , то $$F$$ есть функция распределения некоторой случайной величины $$\xi$$, т.е. найдется вероятностное пространство $$\langle\Omega,\mathcal F,\Prob\rangle$$ и случайная величина $$\xi$$ на нем такая, что $$F(x)\equiv F_\xi(x)$$.

    Помимо отмеченных в теореме 21, функции распределения обладают следующими свойствами:

    Свойство 8. В любой точке $$x_0$$ разница $$F_\xi(x_0+0)-F_\xi(x_0)$$ равна $$\Prob(\xi=x_0)$$. Иначе говоря, $$F_\xi(x_0+0)=F_\xi(x_0)+ \Prob(\xi=x_0)=\Prob(\xi\le x_0)$$.

    Это свойство получается аналогично свойствам (F2) и (F3)).

    Разница $$F_\xi(x_0+0)-F_\xi(x_0)$$ между пределом при стремлении к $$x_0$$ справа и значением в точке $$x_0$$ есть величина скачка функции распределения. Эта величина равна нулю, если функция распределения непрерывна (справа) в точке $$x_0$$. Слева функция распределения непрерывна всегда.

    Замечание Очень часто функцией распределения называют $$\Prob(\xi \le x)$$. Эта функция отличается от определенной выше лишь тем, что она непрерывна справа, а не слева. И вероятность $$\Prob(\xi=x_0)$$ для нее равна величине скачка слева, а не справа.

    Свойство 9. Для любой случайной величины $$\xi$$$$\Prob(a\le\xi<b)=F_\xi(b)-F_\xi(a).$$ Если $$F_\xi(x)$$ непрерывна в точках $$a$$ и $$b$$, то$$\Prob(a<\xi<b)=\Prob(a\le\xi\le b)= \Prob(a<\xi\le b)=F_\xi(b)-F_\xi(a).$$

    Доказательство. Разобьем событие $$\{\xi<b\}$$ в объединение несовместных событий: $$\{\xi<a\}\cup\{a\le\xi<b\}=\{\xi<b\}$$. По свойству аддитивности вероятности,$$\Prob\{\xi<a\}+\Prob\{a\le\xi<b\}=\Prob\{\xi<b\},$$ или $$F_\xi(a)+\Prob\{a\le\xi<b\}=F_\xi(b)$$, что и требовалось доказать.

    Функция распределения дискретного распределения.

    Согласно определению дискретного распределения, его функция распределения может быть найдена по таблице распределения так:$$F_\xi(x)=\Prob(\xi<x)=\sum_{k\,:\, a_k<x} \Prob(\xi=a_k).$$

    Из свойств 8 и 9 вытекает следующее свойство.

    Свойство 10. Случайная величина $$\xi$$ имеет дискретное распределение тогда и только тогда, когда функция распределения $$F_\xi(x)$$ имеет в точках $$a_i$$ скачки с величиной $$p_i=\Prob(\xi=a_i)=F_\xi(a_i+0)-F_\xi(a_i)$$, и растет только за счет скачков.

    Свойства абсолютно непрерывного распределения.

    Пусть случайная величина $$\xi$$ имеет абсолютно непрерывное распределение с плотностью $$f_\xi(t)$$. Тогда функция распределения в любой точке $$x$$ может быть найдена по плотности распределения так:$$\begin{equation}\label{anrdef} F_\xi(x)=\Prob(\xi<x)=\Prob(\xi\in(-\infty,\,x))=\int\limits_{-\infty}^x f_\xi(t)\,dt. \end{equation}$$ Поскольку функция распределения однозначно определяет распределение случайной величины, можно считать возможность представить функцию распределения интегралом (6.3) от неотрицательной функции определением абсолютно непрерывного распределения.

    Свойство 11. Если случайная величина $$\xi$$ имеет абсолютно непрерывное распределение, то ее функция распределения всюду непрерывна.

    Доказательство. Этот факт следует из свойств 7 и 8. Заметим, что оно есть также следствие представления (6.3) и непрерывности интеграла как функции верхнего предела.

    Свойство 12. Если $$\xi$$ имеет абсолютно непрерывное распределение, то ее функция распределения дифференцируема почти всюду,$$f_\xi(x)=F'_\xi(x)=\frac{d}{dx}\,F_\xi(x) \; \textrm{ для почти всех } \, x.$$

    Замечание. Термин для "почти всех" означает "для всех, кроме (возможно) $$x$$ из некоторого множества нулевой меры Лебега".

    Заметим, что любая функция распределения дифференцируема почти всюду. Но не у каждого распределения существует плотность распределения. Поэтому возможность дифференцировать функцию распределения никакого отношения к существованию плотности не имеет. Даже если мы дополнительно потребуем непрерывности функции распределения, этого не будет достаточно для абсолютной непрерывности распределения. Например, далее мы увидим, что функция распределения сингулярного распределения непрерывна и дифференцируема почти всюду, однако плотности у этого распределения нет, так как производная функции распределения почти всюду равна нулю.

    Опираясь на свойство 12 и формулу (6.3), можно сформулировать такой критерий абсолютной непрерывности распределения: распределение с функцией распределения $$F_\xi(x)$$ абсолютно непрерывно, если при всех $$x$$$$F_\xi(x)=\int\limits_{-\infty}^{\smash x} F^{\mspace{1mu}\prime}_\xi(t)\,dt.$$

    Наконец, очевидным следствием определения абсолютно непрерывного распределения и свойства 11 является следующее свойство.

    Свойство 13. Если случайная величина $$\xi$$ имеет абсолютно непрерывное распределение, то для любых $$a<b$$ имеют место равенства:$$\Prob(a<\xi<b)=\Prob(a\le\xi<b)=\Prob(a<\xi\le b)=\Prob(a\le\xi\le b)= \int\limits_a^b f_\xi(t) dt.$$

    Функция распределения сингулярного распределения.

    Для полноты картины посмотрим, какие свойства имеет функция распределения сингулярного распределения. По определению 25, случайная величина $$\xi$$ с сингулярным распределением принимает с единичной вероятностью лишь значения из некоторого борелевского множества $$B$$ с нулевой лебеговой мерой. Поэтому $$\Prob(\xi\in\mathbb R\setminus B)=0$$. Но по свойству (9), если $$\Prob(\xi\in[a,\,b))=0$$, то $$F_\xi(b)=F_\xi(a)$$. Это означает, что расти функция распределения может лишь в точках множества $$B$$. На всем остальном множестве $$\mathbb R\setminus B$$ функция распределения имеет почти всюду нулевую производную. Тем не менее, $$F_\xi(x)$$ всюду непрерывна, поскольку $$\Prob(\xi=x)=0$$ для любой точки $$x\in \mathbb R$$. Примером такой функции распределения служит лестница Кантора (рис 6.2).(рис 6.2) Лестница Кантора

    Функция распределения смешанного распределения. Функция распределения смешанного распределения есть выпуклая линейная комбинация функций распределения дискретного, абсолютно непрерывного и сингулярного распределений и наследует типичные черты всех этих распределений. Если смешивать дискретное и абсолютно непрерывное распределения, то функция распределения будет иметь скачки в точках значений дискретного распределения и участки непрерывного роста, приращение на которых восстанавливается по ее производной.

    Вернуться к учебному плану