Рассмотрим более простой пример. Пусть дискретная случайная величина \[ X \] равна количеству очков, выпавших на игральной кости, а дискретная случайная величина \[ Y \] равна 0, если выпавшее количество очков нечетно, и 1, если выпавшее количество очков четно. Найти \[ I(X,Y) \] и \[ I(Y,Y) \] .

Составим законы распределения вероятностей дискретной случайной величины \[ X \] и \[ Y \] .

\[ \setbox\bzero=\vbox{\offinterlineskip\halign{&\strut\hfil\ #\ \hfil\cr X& \vrule& 1& 2& 3& 4& 5& 6\cr \noalign{\hrule} p& \vrule& \span\span1/6\span\span\span\cr}} \setbox\bone=\vbox{\offinterlineskip\halign{&\strut\hfil\ #\ \hfil\cr Y& \vrule& 0& 1\cr \noalign{\hrule} p& \vrule&1/2\span\cr}} \centerline{\box\bzero \hfil \box\bone} \]

Таким образом, при \[ i=1...6 \] \[ p_i=P(X=i)=1/6 \] и, соответственно, при \[ j=0...1 \] \[ q_j=P(Y=j)=1/2 \] .

Составим также закон совместного распределения вероятностей этих дискретных случайных величин

\[ \centerline{\vbox{\offinterlineskip\halign{&\strut\hfil\ #\ \hfil\cr X& \vrule& 1& 3& 5& 2& 4& 6&& 1& 3& 5& 2& 4& 6\cr Y& \vrule& 0& 0& 0& 1& 1& 1&& 1& 1& 1& 0& 0& 0\cr \noalign{\hrule} p& \vrule& \span\span1/6\span\span\span&&\span\span0\span\span\span\cr}}} \]

Таким образом, \[ p_{ij}=P(X=i,Y=j)= \begin{cases}0, &\text{\hskip-5.5pt если $i+j$ --- четно,}\\ 1/6, &\text{\hskip-5.5pt иначе.} \end{cases} \]

\[ I(X,Y) = \sum_{i,j}p_{ij}\log_2{p_{ij}\over p_iq_j} =6{1\over6}\log_22=1 \hbox{ бит/символ}. \] \[ I(Y,Y) = -\sum^1_{j=0}q_j\log_2q_j = 2{1\over2}\log_22 = 1 \hbox{ бит/символ}. \]

Точное количество выпавших очков дает точную информацию о четности, т.е. 1бит. Из \[ I(X,Y)=I(Y,Y)=1 \] бит/сим и 3-го свойства информации следует, что информация об \[ X \] полностью определяет \[ Y \] , но не наоборот, т.к. \[ I(X,Y) \ne I(X,X) = 1+\log_23 \approx 2.58 \] бит/сим. Действительно, \[ Y \] функционально зависит от \[ X \] , а \[ X \] от \[ Y \] функционально не зависит.

Расчеты через энтропию будут следующими

\[ H(X,Y) = -\sum_{i,j} p_{ij}\log_2 p_{ij} = \log_26 = 1+\log_23 = HX, \] \[ I(X,Y) = HX+HY-HX = HY = 1 \hbox{ бит/символ}. \]

Упражнение 5 Найти энтропию дискретной случайной величины \[ X \] , заданной распределением

\[ \centerline{\vbox{\offinterlineskip\halign{&\strut\quad#\cr X&\omit\ \vrule& 1& 2& 3& 4& 5& 6& 7& 8\cr \noalign{\hrule} p&\omit\ \vrule& 0.1& 0.2& 0.1& 0.05& 0.1& 0.05& 0.3& 0.1.\cr}}} \smallskip \]

Упражнение 6 Значения дискретной случайной величины \[ X_1 \] и \[ X_2 \] определяются подбрасыванием двух идеальных монет, а дискретная случайная величина \[ Y \] равна сумме количества "гербов", выпавших при подбрасывании этих монет. Сколько информации об \[ X_1 \] содержится в \[ Y \] ?

Упражнение 7 Сколько информации об \[ X_1 \] содержится в дискретной случайной величине \[ Z=(X_1+1)^2-X_2 \] , где независимые дискретные случайные величины \[ X_1 \] и \[ X_2 \] могут с равной вероятностью принимать значение либо 0, либо 1? Найти \[ HX_1 \] и \[ HZ \] . Каков характер зависимости между \[ X_1 \] и \[ Z \] ?

Упражнение 8 Дискретные случайные величины \[ X_1 \] , \[ X_2 \] - зависимы и распределены также как и соответствующие дискретные случайные величины из предыдущей задачи. Найти \[ I(X_1,X_2) \] , если совместное распределение вероятностей \[ X_1 \] и \[ X_2 \] описывается законом \[ \vbox{\offinterlineskip\halign{&\strut\quad#\cr X_1& \omit\ \vrule& 0 & 0 & 1 & 1\cr X_2& \omit\ \vrule& 0 & 1 & 0 & 1\cr \noalign{\hrule} p& \omit\ \vrule&1/3&1/6&1/6&1/3.\cr}} \]

Упражнение 9 Дискретные случайные величины \[ X_1 \] и \[ X_2 \] определяются подбрасыванием двух идеальных тетраэдров, грани которых помечены числами от 1 до 4. дискретная случайная величина \[ Y \] равна сумме чисел, выпавших при подбрасывании этих тетраэдров, т.е. \[ Y=X_1+X_2 \] . Вычислить \[ I(X_1,Y) \] , \[ HX_1 \] и \[ HY \] .

Упражнение 10 Подсчитать сколько информации об \[ X_1 \] содержится в дискретной случайной величине \[ Z=X_1*X_2 \] , а также \[ HZ \] . Дискретные случайные величины \[ X_1 \] и \[ X_2 \] берутся из предыдущего упражнения.

Упражнение 11 Дискретная случайная величина \[ X_1 \] может принимать три значения \[ -1 \] , 0 и 1 с равными вероятностями. Дискретная случайная величина \[ X_2 \] с равными вероятностями может принимать значения 0, 1 и 2. \[ X_1 \] и \[ X_2 \] - независимы. \[ Y=X_1^2+X_2 \] . Найти \[ I(X_1,Y) \] , \[ I(X_2,Y) \] , \[ HX_1 \] , \[ HX_2 \] , \[ HY \] .

Упражнение 12 Найти энтропии дискретных случайных величин \[ X \] , \[ Y \] , \[ Z \] и количество информации, содержащейся в \[ Z=X+Y \] относительно \[ Y \] . \[ X \] и \[ Y \] - независимы и задаются распределениями

\[ \centerline{\vbox{\offinterlineskip \halign{&\strut\quad#\cr X& \omit\ \vrule& 0& 1& 3& 4& \qquad& Y& \omit\ \vrule& -2& 2\cr \multispan6\hrulefill& \omit\quad\qquad& \multispan4\hrulefill\cr p& \omit\ \vrule& 1/8&1/8&1/4&1/2& \qquad& p& \omit\ \vrule& 3/8& 5/8.\cr }}} \smallskip \]