Необходимые сведения о случайных величинах

5.1 Необходимые сведения о случайных величинах

Случайная величина - одно из основных понятий теории вероятностей. Неформально, случайная величина - это некоторая переменная, принимающая те или иные значения с определенными вероятностями.

Строгое математическое определение случайной величины дается в рамках аксиоматики теории вероятностей.

Определение 5.1 Пусть $$\Omega$$ - некоторое множество, $$A$$ - семейство его подмножеств, причем

$$A$$ содержит пустое множество;

Дополнение любого подмножества из $$A$$ снова лежит в $$A$$;

Для любого счетного подсемейства $$\{A_1,\ A_2,\ \ldots \}\subset A$$ объединение $$\bigcup_{i=1}^{\infty} A_i$$ и пересечение $$\bigcap_{i=1}^{\infty}$$ снова лежат в $$A$$.

Тогда $$A$$ называется $$\sigma$$-алгеброй.

Пример 5.1 Рассмотрим отрезок $$[0;1]$$ и множество $$A$$, содержащее все интервалы из отрезка $$[0;1]$$. Чтобы $$A$$ было $$\sigma$$-алгеброй, необходимо, чтобы $$A$$ содержало также все полуинтервалы, отрезки, их любые счетные объединения и пересечения. Если множество $$A$$ не содержит других подмножеств, кроме перечисленных, то $$A$$ называется борелевской $$\sigma$$-алгеброй. Её элементы называются борелевскими множествами.

Определение 5.2 Пусть $$A$$ - $$\sigma$$-алгебра на множестве $$\Omega$$. Отображение $$P:A\rightarrow [0;1]$$ называется вероятностной мерой на $$(\Omega, A)$$, если

$$P(a)\geq 0$$ для всех $$a\in A$$;

$$P(\Omega) = 1$$;

Для любого счетного семейства $$\{A_1,\ A_2,\ \ldots \}\subset A$$, где $$A_i\cap A_j = \varnothing$$ при $$i\neq j$$, выполняется $$P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i).$$

Величину $$P(A)$$ будем называть вероятностью наступления события $$A$$.

Через $$P(A|B)$$ обозначим вероятность события $$A$$ при условии, что событие $$B$$ произошло. $$P(A|B)$$ называется условной вероятностью и при $$P(B)>0$$ вычисляется по формуле:

$$P(A|B) = P(A\cap B)/P(B).$$

Отношения между условными вероятностями устанавливают следующие две важные теоремы.

Теорема 5.1 Пусть $$A,\ B_1,\ B_2,\ \ldots,\ B_n$$ - случайные события, причем $$A\subset B_1\cup B_2\cup\ldots\cup B_n$$, события $$B_i$$ попарно несовместны и $$p(B_i)>0$$ для всех $$i$$. Тогда

$$P(A) = \sum_{i=1}^n P(B_i) \cdot P(A|B_i).$$

Теорема 5.2 (Теорема Байеса) Пусть $$A$$, $$B$$ - два случайных события. Тогда

$$P(A|B) = P(B|A)\cdot P(A)/P(B).$$

Определение 5.3 Вероятностным пространством называется тройка $$(\Omega, A, P)$$, где

$$\Omega$$ - некоторое множество, элементы которого называются элементарными исходами;

$$A$$ - некоторая $$\sigma$$-алгебра на множестве $$\Omega$$; множества из $$A$$ называются событиями; каждое событие $$a\in A$$ заключается в осуществлении одного из исходов $$x\in a$$.

$$P$$ - вероятностная мера на $$(\Omega, A)$$.

Определение 5.4 Пусть $$(\Omega, A, P)$$ - вероятностное пространство. Случайной величиной называется любая функция $$\xi:\Omega\rightarrow \mathbb{R}$$ такая, что для любого борелевского множества $$B$$ в семействе $$A$$ существует его прообраз $$B'$$: $$\xi(B') = B$$.

Другими словами, случайная величина - это некоторая переменная, принимающая те или иные значения с определенными вероятностями.

Определение 5.5 Случайные величины $$\xi_1,\ \xi_2,\ \xi_3,\ \ldots,\ \xi_n$$, называются независимыми, если для любых борелевских множеств $$B_1,\ B_2,\ \ldots,\ B_n$$ имеем

$$(\xi_1\in B_1,\ \xi_2\in B_2,\ \ldots,\ \xi_n\in B_n) = P(\xi_1\in B_1)\cdot P(\xi_2\in B_2)\cdots P(\xi_n\in B_n).$$

Таким образом, наступление одного события $$\xi_i\in B_i$$ не меняет вероятности наступления другого события $$\xi_j\in B_j$$.

Важнейшей характеристикой случайной величины $$\xi$$ служит ее распределение вероятностей. Закон распределения случайной величин - соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями. Если различные значения величины образуют конечную или бесконечную последовательность, то распределение вероятностей задается указанием этих значений $$x_1, x_2,\ldots,x_n,\ldots$$ и соответствующих им вероятностей $$p_1,p_2, \ldots p_n,\ldots$$, то есть вероятностей всех событий $$\xi=x_k$$. Случайные величины указанного типа называются дискретными.

Закон распределения дискретной случайной величины может быть задан:

Аналитически

Таблично

Графически

Во всех других случаях распределение вероятностей задается указанием вероятности $$P(\sigma<x)$$ для каждого действительного значения $$x$$ вероятности $$P(a<\sigma<b)$$ или каждого интервала $$(a,b)$$.

Определение 5.6 Пусть $$\xi$$ - случайная величина, а функция $$f(x):\mathbb{R}\rightarrow \mathbb{R^+}\cup\{0\}$$ удовлетворяет условиям:

$$\int\limits_{-\infty}^{\infty} f(x)\ dx = 1, \qquad P(a<\xi<b) = \int\limits_{a}^b f(x) dx\ \ \ \forall a, b\ \ (a<b).$$

Тогда случайная величина $$\xi$$ называется непрерывной, а функция $$f(x)$$ называется её плотностью вероятности.

Закон распределения неприрывной случайной величины может быть задан в виде:

функции распределения $$F(x)$$ случайной величины $$\xi$$, определяемой равенством: $$F(x) = P(\xi<x)$$;

плотности распределения $$f(x)$$, определяемой как производная от функции распределения: $$f(x) = F'(x)$$.

Функция распределения однозначно определяется через плотность распределения:

$$F(x) = \int_{-\infty}^t f(t)\ dt.$$

Свойства фунции распределения:

плотность распределения принимает только неотрицательные значения: $$f(x)\geq 0$$;

площадь фигуры, ограниченной графиком плотности распределения и осью абцисс, равна единице: $$\int\limits_{-\infty}^{\infty}f(x)\ dx = 1.$$

Числовые характеристики случайных величин

Определение 5.7 Пусть $$(\Omega, A, P)$$ - вероятностное пространство. Математическим ожиданием случайной величины $$\xi$$ называется величина

$$M[\xi] = \int\limits_\Omega \xi(\omega)\ P(d\omega).$$

Здесь множество $$\Omega$$ рассматривается как объединение событий $$d\omega$$, вероятность которых - $$P(d\omega)$$.

Рассмотрим два важных частных случая.

Для дискретной случайной величины, принимающей значения $$x_1,\ x_2,\ \ldots,\ $$ с вероятностями $$p_1,\ p_2,\ \ldots,\ $$, величина $$d\omega$$ превращается в событие, состоящее из одного исхода. Тогда

$$M[\xi]=\sum\limits_{i=1}^n x_i p_i.$$

Для непрерывной случайной величины с функцией плотности $$f(x)$$ в интеграле можно сделать замену переменной: $$x=\xi(\omega)$$. Тогда будем иметь:

$$M[\xi] = \int\limits_{-\infty}^{\infty} x\cdot f(x)\ dx.$$

Определение 5.8 Дисперсией случайной величины $$\xi$$ называется число $$D[\xi] = M[(\xi - M\xi)^2]$$.

Снова нас интересуют два важных частных случая:

$$D[\xi] = \sum_{i=1}^n (x_i-M{\xi})^2\cdot p_i\ \ \text{для дискретной случайной величины}$$ $$D[\xi] = \int\limits_{-\infty}^{\infty} (x-M[\xi])^2 f(x) dx\ \ \text{для непрерывной случайной величины.}$$

Дисперсия случайной величины показывает разброс значений относительно математического ожидания.

Цепи Маркова

Определение 5.9 Цепью Маркова называют такую последовательность случайных величин $$\xi_0,\ \xi_1,\ \ldots$$, что для любых значений $$i_j\in \mathbb{R}$$

$$P(\xi_{n+1} = i_{n+1}\ |\ \xi_{n} = i_n,\ \ \xi_{n-1} = i_{n-1},\ \ldots) = P(\xi_{n+1} = i_{n+1}\ |\ \xi_{n} = i_n).$$

Другими словами, цепь Маркова - последовательность случайных величин, каждая из которых зависит только от предыдущей случайной величины.

Цепь Маркова ассоциируется с некоторой величиной, принимающей случайные значения в дискретные моменты времени. Поэтому исход "$$\xi_i = a$$" можно сформулировать другими словами: "в момент времени $$i$$ цепь находится в состоянии $$a$$".

Если множество состояний всех случайных величин $$\xi_i$$ в совокупности конечно, то цепь называется конечной.

Если условная вероятность $$P(\xi_i = a | \xi_{i-1} = b )$$ не зависит от номера $$i$$, то цепь называется однородной.

Конечная однородная цепь Маркова задаётся:

множеством значений $$S=\{S_1,\ldots, S_n\}$$, которые могут принимать случайные величины;

вектором начальных вероятностей $$p^(0) = (p^0_1,p^0_2,\ldots,p^0_n)$$, с которыми случайная величина $$\xi_0$$ принимает значения $$S_i$$;

матрицей вероятностей переходов $$P=(p_{ij})$$, в которой $$p_{ij} = P(\xi_{k+1} = S_j\ |\ \xi_k = S_i)$$ (т.е. вероятность того, что из состояния $$S_i$$ процесс перейдёт в состояние $$S_j$$); отметим, что $$\sum_{j=1}^n p_{ij} = 1\qquad \forall i=1,2\ldots,n.$$

С помощью вектора начальных вероятностей и матрицы переходов можно вычислить стохастический вектор $$p^{(n)}$$ - вектор, составленный из вероятностей $$p^{(n)}_i$$ того, что процесс окажется в состоянии $$S_i$$ через $$n$$ шагов. Верна формула:

$$p^{(n)} = p^{(0)} \cdot P^n,\qquad p^{(n+s)} = p^{(n)}\cdot P^s.$$

Векторы $$p^{(n)}$$ при росте $$n$$ в некоторых случаях стабилизируются - сходятся к некоторому вероятностному вектору $$\rho$$, который можно назвать стационарным распределением цепи. Поскольку оно не меняется от шага к шагу, то формула (5.1) преобразуется в следующее соотношение:

$$\rho = \rho \cdot P.$$

Марковская цепь часто изображается в виде орграфа переходов, вершины которого соответствуют состояниям цепи, а дуги - переходам между ними. Вес дуги $$(i,j)$$, связывающей вершины $$S_i$$ и $$S_j$$ будет равен вероятности перехода из первого состояния во второе.

Пример 5.2 Пусть дискретная однородная цепь Маркова имеет множество состояний $$\{A_1,A_2\}$$, распределение вероятности $$\xi_0$$ определяется вектором $$p^{(0)}=(0,1; 0.9)$$, вероятности переходов заданы матрицей

$$P=\left(\begin{array}{cc} 0,40,6\\0,30,7 \end{array} \right).$$

Найти:

матрицу $$P_2$$ перехода цепи из состояния $$i$$ в состояние $$j$$ за два шага;

распределение вероятности состояний для $$\xi_2$$ в момент времени $$t=2$$;

вероятность того, что в момент $$t=1$$ состоянием цепи будет $$A_2$$;

стационарное распределение.

Решение.

Матрица перехода однородной цепи Маркова на $$n$$ шагов равна $$P^n$$. Для двух шагов имеем: $$P^2 = \left( \begin{array}{cc} 0,40,6\\0,30,7 \end{array} \right)\cdot \left(\begin{array}{cc} 0,40,6\\0,30,7 \end{array} \right)=\left(\begin{array}{cc} 0,340,66\\0,330,67 \end{array} \right).$$

Найдём распределение вероятности в момент времени $$t=2$$. В формуле (5.1) подставим $$n=0$$, $$s=2$$ и получим: $$p^2 = p^0 \cdot P^2 = (0,1;0.9)\cdot \left(\begin{array}{cc} 0,340,66\\0,330,67 \end{array} \right)=(0,331;0,669).$$

Найдём распределение вероятности в момент времени $$t=1$$. В формуле (5.1) подставим $$n=0$$, $$s=1$$ и получим: $$p^1 = p^0 \cdot P = (0,1;0.9)\cdot \left(\begin{array}{cc} 0,40,6\\0,30,7 \end{array} \right)=(0,31;0,69).$$

Найдём стационарное распределение $$\rho$$ с помощью условия (5.2). Имеем систему уравнений: $$\left\{ \begin{array}{l} \rho_1 = 0,4 \rho_1 + 0,3 \rho_2; \\ \rho_2 = 0,6 \rho_1 + 0,7 \rho_2; \\ \rho_1 + \rho_2 = 1. \end{array} \right.$$

Последнее условие называется нормировочным. В записанной нами системе всегда одно уравнение является линейной комбинацией других. Следовательно, его можно вычеркнуть. Решим совместно первое уравнение системы и нормировочное. Имеем $$0,6 p_1=0,3 p_2$$, то есть $$p_2=2 p_1$$. Тогда $$p_1+2 p_1=1$$, или $$p_1=\frac{1}{3}$$. Следовательно, $$p_2=\frac{2}{3}$$.

Ответ:

матрица перехода за два шага для данной цепи Маркова имеет вид $$P_2=\left(\begin{array}{cc} 0,340,66\\0,330,67 \end{array} \right);$$

распределение вероятностей по состояниям в момент $$t=2$$ равно $$p^{(2)} =(0,331;0,669);$$

вероятность того, что в момент $$t=1$$ состоянием цепи будет $$A_2$$, равна $$p_2^{(1)}=0,69$$;

стационарное распределение: $$\rho=\left(\frac{1}{3};\frac{2}{3}\right).$$

5.2 Элементы теории информации

Кратко перечислим основные понятия, более подробное изложение можно найти в [1], [2], [3].

5.2.1 Энтропия

Количественной мерой неопределенности служит энтропия. Пусть задана дискретная случайная величина $$\xi$$, принимающая значения $${a}_{1},{a}_{2},{\dots},{a}_{r}$$ с вероятностями $${P}_{1}, {P}_{2},{\dots}, {P}_{r}$$ соответственно.

Определение 5.10 Энтропия случайной величины $$\xi$$ определяется равенством:

$$H(\xi)=- \sum _{i=1}^{r}{{P}_{i}}\log_2{P}_{i},$$

где $$0\cdot\log 0=0$$.

Свойства энтропии:

$$H(\xi)\geq 0$$

$$H(\xi) \leq \log_2r$$

$$H(\xi)=\log_2r$ при ${P}_{i}= \frac{1}{r}, i=1,\dots,r$$.

Пример 5.3 [3] Пусть имеется три источника сообщений, которые порождают буквы $$a_1$$ и $$a_2$$, иными словами, есть три случайные величины $${\xi}_{i}$$, принимающие значения $$a_1$$ и $$a_2$$:

$$ \begin{array}{l} {\xi }_{1}: P({a}_{1})=1, P({a}_{2})=0,\\ {\xi }_{2}: P( {a}_{1})=0.5, P( {a}_{2})=0,5,\\ {\xi }_{3}: P({a}_{1})=0.01, P( {a}_{2})=0,99.\\ \end{array} $$

Вычисления дают: $$H({\xi }_{1})=0$$, $$H({\xi }_{2})=1$$ бит, $$H({\xi }_{3})= 0,08$$ бит.

И мы видим, что неопределенность этих случайных величин разная.

Пусть двумерная случайная величина задана распределением

$${P}_{{ij}}=P\left({\xi }_{1}={a}_{i},{\xi }_{2}={b}_{j}\right),1{\leq}i{\leq}r,1{\leq}j{\leq}s$$

Определение 5.11 Энтропия двумерной случайной величины задаётся формулой:

$$H\left({\xi }_{1},{\xi }_{2}\right)=-\sum _{i=1}^{r}{\sum _{j=1}^{s}{{P}_{{ij}}\log {P}_{{ij}}}}$$

Пусть имеются дискретные случайные величины $$\xi $$ и $$\eta $$, заданные вероятностными распределениями $$P(\xi )$$, $$P\left(\eta \right)$$. Для них можно вычислить совместное распределение $$P(\xi ,\eta )$$ и условные распределения $$P(\xi /y)$$, $$P(\eta /x)$$ для любых фиксированных значений $$x \in \xi $$, $$y \in \eta $$.

Определение 5.12 Условная энтропия $$H(\xi /y)$$ задаётся формулой:

$$H(\xi /y)=-\sum _{x \in \xi }{p(x/y) \cdot {\log }_{2}p(x/y).}$$

Определение 5.13 Условной энтропией двух вероятностных распределений называется усредненная (по всем $$y \in \eta $$ величина $$H(\xi /y)$$:

$$H(\xi /\eta )=-\sum _{y \in \eta }{\sum _{x \in \xi }{p\left(y\right) \cdot p(x/y) \cdot {\log }_{2}p(x/y).}}$$