Основы теории информации и криптографии

Базовые понятия теории информации

Разбить на страницы
Показывать лекцию целиком

Информация - нематериальная сущность, при помощи которой с любой точностью можно описывать реальные (материальные), виртуальные (возможные) и понятийные сущности. Информация - противоположность неопределенности.

Канал связи - это среда передачи информации, которая характеризуется в первую очередь максимально возможной для нее скоростью передачи данных ( емкостью канала связи).

Шум - это помехи в канале связи при передаче информации.

Кодирование - преобразование дискретной информации одним из следующих способов: шифрование, сжатие, защита от шума.

Общая схема передачи информации изображена на рис.2.1.

Емкость канала связи без шума можно приблизительно вычислить, зная максимальную частоту волновых процессов, допустимую в этом канале. Можно считать, что скорость передачи данных может быть не меньше, чем эта частота. Например, при предельной частоте, равной 1000Гц, можно обеспечить скорость передачи данных не меньше 1Кбод.

Примеры каналов связи и связанных с ними предельных частот: телеграф - 140Гц, телефон - до 3.1КГц, короткие волны (10-100м) - 3-30МГц, УКВ (1-10м) - 30-300МГц, спутник (сантиметровые волны) - до 30ГГц, оптический (инфракрасный диапазон) - 0.15-400ТГц, оптический (видимый свет) - 400-700ТГц, оптический (ультрафиолетовый диапазон) - 0.7-1.75ПГц.

(рис 2.1)

Типичные современные каналы: телеграфный и телефонный. Перспективные, внедряемые ныне: оптоволоконный (терабоды) и цифровой телефонный (ISDN, Integrated Services Digital Networks) - 57-128 Кбод.

В реальных оптоволоконных системах скорость гораздо ниже теоретических пределов (редко превосходит 1-10Гбод).

Наиболее широко пока используются телефонные линии связи. Здесь достигнута скорость более 50 Кбод!

Способы измерения информации

Понятие количества информации естественно возникает, например, в следующих типовых случаях:

  • Равенство вещественных переменных $$a=b$$, заключает в себе информацию о том, что $$a$$ равно $$b$$. Про равенство $$a^2=b^2$$ можно сказать, что оно несет меньшую информацию, чем первое, т.к. из первого следует второе, но не наоборот. Равенство $$a^3=b^3$$ несет в себе информацию по объему такую же, как и первое;
  • Пусть происходят некоторые измерения с некоторой погрешностью. Тогда чем больше будет проведено измерений, тем больше информации об измеряемой сущности будет получено;
  • Математическое ожидание некоторой случайной величины, содержит в себе информацию о самой случайной величине, Для случайной величины, распределенной по нормальному закону, с известной дисперсией знание математического ожидания дает полную информацию о случайной величине;
  • Рассмотрим схему передачи информации. Пусть передатчик описывается случайной величиной, $$X$$, тогда из-за помех в канале связи на приемник будет приходить случайная величина, $$Y=X+Z$$, где $$Z$$ - это случайная величина, описывающая помехи. В этой схеме можно говорить о количестве информации, содержащейся в случайной величине, $$Y$$, относительно $$X$$. Чем ниже уровень помех (дисперсия $$Z$$ мала), тем больше информации можно получить из $$Y$$. При отсутствии помех $$Y$$ содержит в себе всю информацию об $$X$$.
    •

    В 1865 г. немецкий физик Рудольф Клаузиус ввел в статистическую физику понятие энтропии или меры уравновешенности системы.

    В 1921 г. основатель большей части математической статистики, англичанин Роналд Фишер впервые ввел термин "информация" в математику, но полученные им формулы носят очень специальный характер.

    В 1948 г. Клод Шеннон в своих работах по теории связи выписывает формулы для вычисления количества информации и энтропии. Термин энтропия используется Шенноном по совету патриарха компьютерной эры фон Неймана, отметившего, что полученные Шенноном для теории связи формулы для ее расчета совпали с соответствующими формулами статистической физики, а также то, что "точно никто не знает" что же такое энтропия.

    Упражнение 4 Какое из соотношений несет в себе больше информации $$x=5$$ или $$x>3$$?

    Вероятностный подход к измерению дискретной и непрерывной информации

    В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной случайной величине, относительно другой случайной величины. Этот способ приводит к выражению количества информации числом.

    Для дискретных случайных величин $$X$$ и $$Y$$, заданных законами распределения $$P(X=X_i)=p_i$$, $$P(Y=Y_j)=q_j$$ и совместным распределением $$P(X=X_i,Y=Y_j)=p_{ij}$$, количество информации, содержащейся в $$X$$ относительно $$Y$$, равно$$I(X,Y)=\sum_{i,j}p_{ij}\log_2{p_{ij}\over p_iq_j}.$$

    Для непрерывных случайных величин, $$X$$ и $$Y$$, заданных плотностями распределения вероятностей $$p_X(t_1)$$, $$p_Y(t_2)$$ и $$p_{XY}(t_1,t_2)$$, аналогичная формула имеет вид$$I(X,Y)=\int\limits_{\quad\bR^2}\!\!\!\!\! \int p_{XY}(t_1,t_2)\log_2{p_{XY}(t_1,t_2)\over p_X(t_1)p_Y(t_2)}dt_1dt_2.$$

    Очевидно, что$$\begin{align*}P(X=X_i,X=X_j) = \begin{cases} 0,\text{при $i\ne j$}\\ P(X=X_i),\text{при $i=j$}\end{cases}\end{align*}$$ и, следовательно,$$I(X,X)=\sum_ip_i\log_2{p_i\over p_ip_i}=-\sum_ip_i \log_2p_i.$$

    Энтропия дискретной случайной величины $$X$$ в теории информации определяется формулой$$H(X)=HX=I(X,X).$$

    Свойства меры информации и энтропии:

  • $$I(X,Y)\ge0$$, $$I(X,Y)=0 \xLeftrightarrow X$$ и $$Y$$ независимы;
  • $$I(X,Y)=I(Y,X)$$ ;
  • $$HX=0 \xLeftrightarrow X$$ - константа;
  • $$I(X,Y)=HX+HY-H(X,Y)$$, где $$H(X,Y)=-\sum_{i,j}p_{ij}\log_2p_{ij}$$ ;
  • $$I(X,Y)\le I(X,X)$$. Если $$I(X,Y)=I(X,X)$$, то $$X$$ - функция от $$Y$$. Если $$X$$ - инъективная функцияФункция $$f$$ - инъекция, если на разных значениях аргумента, она принимает разные значения. от $$Y$$, то $$I(X,Y)=I(X,X)$$.
    •
  • Логарифмированием из очевидного для всех $$x$$ неравенства $$e^{x-1}\ge x$$ (равенство устанавливается только при $$x=1$$ ) получается неравенство $$x-1\ge\ln x$$ или $$\textstyle{x-1\over\ln2}\ge\log_2x$$.$$-I(X,Y)=\sum_{i,j}p_{ij}\log_2{p_iq_j\over p_{ij}}\le \sum_{i,j}p_{ij}{{p_iq_j\over p_{ij}}-1\over\ln2}= $$ $$=\fi \sum_{i,j}{p_iq_j-p_{ij}\over\ln2}= {\sum_ip_i\sum_jq_j-\sum_{i,j}p_{ij}\over\ln2}={1-1\over\ln2}=0,$$ т.е. $$I(X,Y)=0$$ только при $$p_{ij}=p_iq_j$$ для всех $$i$$ и $$j$$, т.е. при независимости $$X$$ и $$Y$$. Если $$X$$ и $$Y$$ независимы, то $$p_{ij}=p_iq_j$$ и, следовательно, аргументы логарифмов равны 1 и, следовательно, сами логарифмы равны 0, что означает, что $$I(X,Y)=0$$ ;
  • Следует из симметричности формул относительно аргументов;
  • Если $$HX=0$$, то все члены суммы, определяющей $$HX$$, должны быть нули, что возможно тогда и только тогда, когда $$X$$ - константа;
  • Из четырех очевидных соотношений$$\sum_jp_{ij} = p_i,\quad \sum_ip_{ij} = q_j,$$ $$HX = -\sum_i p_i \log_2 p_i = -\sum_{i,j} p_{ij} \log_2 p_i,$$ $$HY = -\sum_j q_j \log_2 q_j = -\sum_{i,j} p_{ij} \log_2 q_j$$ получается$$HX+HY-H(X,Y) = \sum_{i,j} p_{ij} (\log_2 p_{ij} - \log_2 q_j - \log_2 p_i)= I(X,Y);$$
  • Нужно доказать $$I(X,Y)=HX+HY-H(X,Y)\le HX$$ или $$HY-H(X,Y) \le 0$$.$$HY-H(X,Y) = -\sum_{i,j} p_{ij} \log_2 q_j + \sum_{i,j} p_{ij} \log_2 p_{ij} = \sum_{i,j} p_{ij} \log_2(p_{ij}/q_j),$$ но $$p_{ij}=P(X=X_i,Y=Y_j) \le q_j=P(Y=Y_j)$$, а значит аргументы у всех логарифмов не больше 1 и, следовательно, значения логарифмов не больше 0, а это и значит, что вся сумма не больше 0.
    •

    Если $$HX=I(X,X)=I(X,Y)$$, то для каждого $$i$$ $$p_{ij}$$ равно либо $$q_j$$, либо 0. Но из $$p_{ij} = P(X=X_i,Y=Y_j) = P(X=X_i/Y=Y_j)P(Y=Y_j) \in \{q_j, 0\}$$ следует $$P(X=X_i/Y=Y_j)\in \{0,1\}$$, что возможно только в случае, когда $$X$$ - функция от $$Y$$.

    При независимости случайных величин, $$X$$ и $$Y$$ одна из них ничем не описывает другую, что и отражается в том, что для таких случайных величин, $$I(X,Y)=0$$.

    Рассмотрим пример измерения количества информации при подбрасывании двух игральных костей.

    Пусть заданы дискретные случайные величины $$X_1$$, $$X_2$$ и $$Y$$. $$X_1$$ и $$X_2$$ - количества очков, выпавших соответственно на 1-й и 2-й игральной кости, а $$Y=X_1+X_2$$. Найти $$I(Y,X_1)$$, $$I(X_1,X_1)$$, $$I(Y,Y)$$.

    Законы распределения вероятностей для дискретной случайной величины $$X_1$$ и $$X_2$$ совпадают, т.к. кости одинаковые и без изъянов.

    $$\centerline{\hbox{\vbox{\offinterlineskip\halign{\strut\hfil\ #\ \hfil\cr X_1 \vrule 1 2 3 4 5 6\cr \noalign{\hrule} p \vrule \span\span1/6\span\span\span\cr}} \vbox{\hbox{, т.е. при j=1...6 q_j=P(X_1=j)=1/6.}}}}$$

    Закон распределения вероятностей для дискретной случайной величины $$Y$$,$$P(Y=i)=P(X_1+X_2=i),\quad i=2...12,$$ вследствие того, что $$X_1$$, $$X_2$$ - независимы и поэтому$$P(X_1=n,X_2=m)=P(X_1=n)P(X_2=m),$$ будет$$p_i=P(X_1+X_2=i)=\sum\limits_{n+m=i\atop1\le n,m\le6}P(X_1=n) P(X_2=m)=\sum\limits_{n+m=i\atop1\le n,m\le6}1/36.$$

    Таблицы, определяющие $$Y$$:

    $$\smallskip \setbox\bzero=\vbox{\offinterlineskip\halign{\strut\hfil\ $#$\ \hfil\cr _{X_2}\bs^{X_1} \vrule 1 2 3 4 5 6\cr \noalign{\hrule} 1 \vrule 2 3 4 5 6 7\cr 2 \vrule 3 4 5 6 7 8\cr 3 \vrule 4 5 6 7 8 9\cr 4 \vrule 5 6 7 8 9 10\cr 5 \vrule 6 7 8 9 10 11\cr 6 \vrule 7 8 9 10 11 12,\cr}} \setbox\bone=\vbox{\offinterlineskip \halign{\strut\hfil\ $#$\ \hfil\cr Y=X_1+X_2 \vrule 2 3 4 5 6 7 8 9 10 11 12\cr \noalign{\hrule} \omit \omit\ \vrule height1pt\hfil\cr p \vrule \xfrac1{36} \xfrac2{36} \xfrac3{36} \xfrac4{36} \xfrac5{36} \xfrac6{36} \xfrac5{36} \xfrac4{36} \xfrac3{36} \xfrac2{36} \xfrac1{36},\cr}} \setbox\btwo=\hbox{\quad т.е.\ при $i=2...12$, $p_i=P(Y=i)=(6-|7-i|)/36$.} \dzero=\wd\bzero \advance\dzero\wd\bone \advance\dzero1em \box\bzero \smallskip$$

    $$\setbox\bone=\vbox{\offinterlineskip \halign{\strut\hfil\ $#$\ \hfil\cr Y=X_1+X_2 \vrule 2 3 4 5 6 7 8 9 10 11 12\cr \noalign{\hrule} \omit \omit\ \vrule height1pt\hfil\cr p \vrule \xfrac1{36} \xfrac2{36} \xfrac3{36} \xfrac4{36} \xfrac5{36} \xfrac6{36} \xfrac5{36} \xfrac4{36} \xfrac3{36} \xfrac2{36} \xfrac1{36},\cr}} \setbox\btwo=\hbox{\quad то есть при $i=2...12$, $p_i=P(Y=i)=(6-|7-i|)/36$.} \dzero=\wd\bzero \advance\dzero\wd\bone \advance\dzero1em \ifdim \dzero<\hsize \centerline{\hbox{\box\bzero \quad \vbox{\box\bone \vskip4pt \box\btwo \copy\strutbox \copy\strutbox}}} \else \centerline{\box\bzero}\smallskip \centerline{\box\bone}\smallskip \centerline{\box\btwo}\fi \smallskip $$

    Закон совместного распределения вероятностей дискретной случайной величины $$X_1$$ и $$Y$$ будет$$p_{ij}=P(Y=i,X_1=j)=P(Y=i/X_1=j)P(X_1=j),$$ например,$$P(Y=2,X_1=1)=P(Y=2/X_1=1)P(X_1=1)=$$ $$=\fi P(X_2=1)P(X_1=1)=1/36$$. В общем случае получится$$p_{ij}=P(Y=i,X_1=j)=\begin{cases}1/36, \text{при $1\le i-j\le6$,}\\ 0, \text{иначе.}\end{cases}$$

    $$\centerline{\vbox{\offinterlineskip \let~=\xfrac\halign{\strut\ $#$\ \hfil\cr _{X_1}\bs^Y \vrule 2 3 4 5 6 7 8 9 10 11 12\cr \noalign{\hrule} \omit \omit\ \vrule height1pt\hfil\cr 1 \vrule ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} 0 0 0 0 0\cr 2 \vrule 0 ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} 0 0 0 0\cr 3 \vrule 0 0 ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} 0 0 0\cr 4 \vrule 0 0 0 ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} 0 0\cr 5 \vrule 0 0 0 0 ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} 0\cr 6 \vrule 0 0 0 0 0 ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36}\cr}}} \smallskip$$

    Тогда$$I(Y,X_1)= \sum^6_{j=1}\sum_{1\le i-j\le6}p_{ij}\log_2{p_{ij}\over p_iq_j}=$$ $$={1\over36}\sum^6_{j=1}\sum_{1\le i-j\le6}\log_2{1\over6p_i}=$$ $$={1\over36}( \sum^7_{i=2}\log_2{1\over6p_i}+\sum^8_{i=3}\log_2{1\over6p_i}+\cdots+ \sum^{11}_{i=6}\log_2{1\over6p_i}+\sum^{12}_{i=7}\log_2{1\over6p_i})=$$ $$={1\over36}((\log_2{6\over1}+\log_2{6\over2}+\cdots+\log_2{6\over6})+ \cdots+(\log_2{6\over6}+\log_2{6\over5}+\cdots+\log_2{6\over1}))=$$ $$={1\over36} (\underline{2\log_26}+4\log_23+6\log_22+8\log_2{3\over2}+10\log_2{6\over5}+ \underline{6\log_21})=$$ $$=(2+2\log_23+4\log_23+6+8\log_23-8+10\log_23+10-10\log_25)/36=$$ $$=(10+24\log_23-10\log_25)/36\approx0.69 \hbox{ бит/символ}.$$

    $$I(X_1,X_1)=I(X_2,X_2)=-\sum^6_{j=1}q_j\log_2q_j=\log_26= 1+\log_23\approx2.58 \hbox{ бит/символ}.$$ $$I(Y,Y)=-\sum_{i=2}^{12}p_i\log_2p_i=$$ $$={1\over36}(2\log_236+4\log_218+6\log_212+8\log_29+10\log_2{36\over5} +6\log_26)=$$ $$=(4+4\log_23+4+8\log_23+12+6\log_23+16\log_23+20+20\log_23- 10\log_25+\fi6+6\log_23)/36=$$ $$=\fi(46+60\log_23-10\log_25)/36 \approx 3.27 \hbox{ бит/сим}.$$

    Здесь $$0 < I(Y,X_1)=I(Y,X_2) < I(X_1,X_1)=I(X_2,X_2) < I(Y,Y)$$, что соответствует свойствам информации.

    Подчеркнутый член $${1\over36}2\log_26 = I(X_1,X_1)/18$$ в расчете $$I(X_1,Y)$$ соответствует информации о двух случаях из 36, когда $$Y=2$$ и $$Y=12$$, которые однозначно определяют $$X_1$$. Шесть случаев, когда $$Y=7$$, не несут никакой информации об $$X_1$$, что соответствует подчеркнутому члену $$6\log_21 = 0$$.

    Расчеты можно проводить, используя 4-е свойство информации, через энтропию.

    $$H(Y,X_1) = -\sum_{i,j} p_{ij}\log_2 p_{ij} = \log_236 = 2(1+\log_23) = 2HX_1 \approx 5.17 \hbox{ бит/символ}.$$ $$I(Y,X_1) = HX_1+HY-H(X_1,Y)=HY-HX_1 \approx 3.27-2.58=0.69 \hbox{ бит/символ}.$$

    Расчет количества информации с использованием 4-го свойства, а не определения, обычно требует меньше вычислений.

    Рассмотрим более простой пример. Пусть дискретная случайная величина $$X$$ равна количеству очков, выпавших на игральной кости, а дискретная случайная величина $$Y$$ равна 0, если выпавшее количество очков нечетно, и 1, если выпавшее количество очков четно. Найти $$I(X,Y)$$ и $$I(Y,Y)$$.

    Составим законы распределения вероятностей дискретной случайной величины $$X$$ и $$Y$$.

    $$\setbox\bzero=\vbox{\offinterlineskip\halign{\strut\hfil\ #\ \hfil\cr X \vrule 1 2 3 4 5 6\cr \noalign{\hrule} p \vrule \span\span1/6\span\span\span\cr}} \setbox\bone=\vbox{\offinterlineskip\halign{\strut\hfil\ #\ \hfil\cr Y \vrule 0 1\cr \noalign{\hrule} p \vrule1/2\span\cr}} \centerline{\box\bzero \hfil \box\bone}$$

    Таким образом, при $$i=1...6$$ $$p_i=P(X=i)=1/6$$ и, соответственно, при $$j=0...1$$ $$q_j=P(Y=j)=1/2$$.

    Составим также закон совместного распределения вероятностей этих дискретных случайных величин

    $$\centerline{\vbox{\offinterlineskip\halign{\strut\hfil\ #\ \hfil\cr X \vrule 1 3 5 2 4 6 1 3 5 2 4 6\cr Y \vrule 0 0 0 1 1 1 1 1 1 0 0 0\cr \noalign{\hrule} p \vrule \span\span1/6\span\span\span\span\span0\span\span\span\cr}}}$$

    Таким образом,$$p_{ij}=P(X=i,Y=j)= \begin{cases}0, \text{\hskip-5.5pt если $i+j$ --- четно,}\\ 1/6, \text{\hskip-5.5pt иначе.} \end{cases}$$

    $$I(X,Y) = \sum_{i,j}p_{ij}\log_2{p_{ij}\over p_iq_j} =6{1\over6}\log_22=1 \hbox{ бит/символ}.$$ $$I(Y,Y) = -\sum^1_{j=0}q_j\log_{2qj} = 2{1\over2}\log_22 = 1 \hbox{ бит/символ}.$$

    Точное количество выпавших очков дает точную информацию о четности, т.е. 1бит. Из $$I(X,Y)=I(Y,Y)=1$$ бит/сим и 3-го свойства информации следует, что информация об $$X$$ полностью определяет $$Y$$, но не наоборот, т.к. $$I(X,Y) \ne I(X,X) = 1+\log_23 \approx 2.58$$ бит/сим. Действительно, $$Y$$ функционально зависит от $$X$$, а $$X$$ от $$Y$$ функционально не зависит.

    Расчеты через энтропию будут следующими

    $$H(X,Y) = -\sum_{i,j} p_{ij}\log_2 p_{ij} = \log_26 = 1+\log_23 = HX,$$ $$I(X,Y) = HX+HY-HX = HY = 1 \hbox{ бит/символ}.$$

    Упражнение 5 Найти энтропию дискретной случайной величины $$X$$, заданной распределением

    $$\centerline{\vbox{\offinterlineskip\halign{\strut\quad#\cr X\omit\ \vrule 1 2 3 4 5 6 7 8\cr \noalign{\hrule} p\omit\ \vrule 0.1 0.2 0.1 0.05 0.1 0.05 0.3 0.1.\cr}}} \smallskip$$

    Упражнение 6 Значения дискретной случайной величины $$X_1$$ и $$X_2$$ определяются подбрасыванием двух идеальных монет, а дискретная случайная величина $$Y$$ равна сумме количества "гербов", выпавших при подбрасывании этих монет. Сколько информации об $$X_1$$ содержится в $$Y$$?

    Упражнение 7 Сколько информации об $$X_1$$ содержится в дискретной случайной величине $$Z=(X_1+1)^2-X_2$$, где независимые дискретные случайные величины $$X_1$$ и $$X_2$$ могут с равной вероятностью принимать значение либо 0, либо 1? Найти $$HX_1$$ и $$HZ$$. Каков характер зависимости между $$X_1$$ и $$Z$$?

    Упражнение 8 Дискретные случайные величины $$X_1$$, $$X_2$$ - зависимы и распределены также как и соответствующие дискретные случайные величины из предыдущей задачи. Найти $$I(X_1,X_2)$$, если совместное распределение вероятностей $$X_1$$ и $$X_2$$ описывается законом$$\vbox{\offinterlineskip\halign{\strut\quad#\cr X_1 \omit\ \vrule 0 0 1 1\cr X_2 \omit\ \vrule 0 1 0 1\cr \noalign{\hrule} p \omit\ \vrule1/31/61/61/3.\cr}}$$

    Упражнение 9 Дискретные случайные величины $$X_1$$ и $$X_2$$ определяются подбрасыванием двух идеальных тетраэдров, грани которых помечены числами от 1 до 4. дискретная случайная величина $$Y$$ равна сумме чисел, выпавших при подбрасывании этих тетраэдров, т.е. $$Y=X_1+X_2$$. Вычислить $$I(X_1,Y)$$, $$HX_1$$ и $$HY$$.

    Упражнение 10 Подсчитать сколько информации об $$X_1$$ содержится в дискретной случайной величине $$Z=X_1*X_2$$, а также $$HZ$$. Дискретные случайные величины $$X_1$$ и $$X_2$$ берутся из предыдущего упражнения.

    Упражнение 11 Дискретная случайная величина $$X_1$$ может принимать три значения $$-1$$, 0 и 1 с равными вероятностями. Дискретная случайная величина $$X_2$$ с равными вероятностями может принимать значения 0, 1 и 2. $$X_1$$ и $$X_2$$ - независимы. $$Y=X_1^2+X_2$$. Найти $$I(X_1,Y)$$, $$I(X_2,Y)$$, $$HX_1$$, $$HX_2$$, $$HY$$.

    Упражнение 12 Найти энтропии дискретных случайных величин $$X$$, $$Y$$, $$Z$$ и количество информации, содержащейся в $$Z=X+Y$$ относительно $$Y$$. $$X$$ и $$Y$$ - независимы и задаются распределениями

    $$\centerline{\vbox{\offinterlineskip \halign{\strut\quad#\cr X \omit\ \vrule 0 1 3 4 \qquad Y \omit\ \vrule -2 2\cr \multispan6\hrulefill \omit\quad\qquad \multispan4\hrulefill\cr p \omit\ \vrule 1/81/81/41/2 \qquad p \omit\ \vrule 3/8 5/8.\cr }}} \smallskip$$

    Страницы:

    Информация - нематериальная сущность, при помощи которой с любой точностью можно описывать реальные (материальные), виртуальные (возможные) и понятийные сущности. Информация - противоположность неопределенности.

    Канал связи - это среда передачи информации, которая характеризуется в первую очередь максимально возможной для нее скоростью передачи данных ( емкостью канала связи).

    Шум - это помехи в канале связи при передаче информации.

    Кодирование - преобразование дискретной информации одним из следующих способов: шифрование, сжатие, защита от шума.

    Общая схема передачи информации изображена на рис.2.1.

    Емкость канала связи без шума можно приблизительно вычислить, зная максимальную частоту волновых процессов, допустимую в этом канале. Можно считать, что скорость передачи данных может быть не меньше, чем эта частота. Например, при предельной частоте, равной 1000Гц, можно обеспечить скорость передачи данных не меньше 1Кбод.

    Примеры каналов связи и связанных с ними предельных частот: телеграф - 140Гц, телефон - до 3.1КГц, короткие волны (10-100м) - 3-30МГц, УКВ (1-10м) - 30-300МГц, спутник (сантиметровые волны) - до 30ГГц, оптический (инфракрасный диапазон) - 0.15-400ТГц, оптический (видимый свет) - 400-700ТГц, оптический (ультрафиолетовый диапазон) - 0.7-1.75ПГц.

    (рис 2.1)

    Типичные современные каналы: телеграфный и телефонный. Перспективные, внедряемые ныне: оптоволоконный (терабоды) и цифровой телефонный (ISDN, Integrated Services Digital Networks) - 57-128 Кбод.

    В реальных оптоволоконных системах скорость гораздо ниже теоретических пределов (редко превосходит 1-10Гбод).

    Наиболее широко пока используются телефонные линии связи. Здесь достигнута скорость более 50 Кбод!

    Способы измерения информации

    Понятие количества информации естественно возникает, например, в следующих типовых случаях:

  • Равенство вещественных переменных $$a=b$$, заключает в себе информацию о том, что $$a$$ равно $$b$$. Про равенство $$a^2=b^2$$ можно сказать, что оно несет меньшую информацию, чем первое, т.к. из первого следует второе, но не наоборот. Равенство $$a^3=b^3$$ несет в себе информацию по объему такую же, как и первое;
  • Пусть происходят некоторые измерения с некоторой погрешностью. Тогда чем больше будет проведено измерений, тем больше информации об измеряемой сущности будет получено;
  • Математическое ожидание некоторой случайной величины, содержит в себе информацию о самой случайной величине, Для случайной величины, распределенной по нормальному закону, с известной дисперсией знание математического ожидания дает полную информацию о случайной величине;
  • Рассмотрим схему передачи информации. Пусть передатчик описывается случайной величиной, $$X$$, тогда из-за помех в канале связи на приемник будет приходить случайная величина, $$Y=X+Z$$, где $$Z$$ - это случайная величина, описывающая помехи. В этой схеме можно говорить о количестве информации, содержащейся в случайной величине, $$Y$$, относительно $$X$$. Чем ниже уровень помех (дисперсия $$Z$$ мала), тем больше информации можно получить из $$Y$$. При отсутствии помех $$Y$$ содержит в себе всю информацию об $$X$$.
    •

    В 1865 г. немецкий физик Рудольф Клаузиус ввел в статистическую физику понятие энтропии или меры уравновешенности системы.

    В 1921 г. основатель большей части математической статистики, англичанин Роналд Фишер впервые ввел термин "информация" в математику, но полученные им формулы носят очень специальный характер.

    В 1948 г. Клод Шеннон в своих работах по теории связи выписывает формулы для вычисления количества информации и энтропии. Термин энтропия используется Шенноном по совету патриарха компьютерной эры фон Неймана, отметившего, что полученные Шенноном для теории связи формулы для ее расчета совпали с соответствующими формулами статистической физики, а также то, что "точно никто не знает" что же такое энтропия.

    Упражнение 4 Какое из соотношений несет в себе больше информации $$x=5$$ или $$x>3$$?

    Вероятностный подход к измерению дискретной и непрерывной информации

    В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной случайной величине, относительно другой случайной величины. Этот способ приводит к выражению количества информации числом.

    Для дискретных случайных величин $$X$$ и $$Y$$, заданных законами распределения $$P(X=X_i)=p_i$$, $$P(Y=Y_j)=q_j$$ и совместным распределением $$P(X=X_i,Y=Y_j)=p_{ij}$$, количество информации, содержащейся в $$X$$ относительно $$Y$$, равно$$I(X,Y)=\sum_{i,j}p_{ij}\log_2{p_{ij}\over p_iq_j}.$$

    Для непрерывных случайных величин, $$X$$ и $$Y$$, заданных плотностями распределения вероятностей $$p_X(t_1)$$, $$p_Y(t_2)$$ и $$p_{XY}(t_1,t_2)$$, аналогичная формула имеет вид$$I(X,Y)=\int\limits_{\quad\bR^2}\!\!\!\!\! \int p_{XY}(t_1,t_2)\log_2{p_{XY}(t_1,t_2)\over p_X(t_1)p_Y(t_2)}dt_1dt_2.$$

    Очевидно, что$$\begin{align*}P(X=X_i,X=X_j) = \begin{cases} 0,\text{при $i\ne j$}\\ P(X=X_i),\text{при $i=j$}\end{cases}\end{align*}$$ и, следовательно,$$I(X,X)=\sum_ip_i\log_2{p_i\over p_ip_i}=-\sum_ip_i \log_2p_i.$$

    Энтропия дискретной случайной величины $$X$$ в теории информации определяется формулой$$H(X)=HX=I(X,X).$$

    Свойства меры информации и энтропии:

  • $$I(X,Y)\ge0$$, $$I(X,Y)=0 \xLeftrightarrow X$$ и $$Y$$ независимы;
  • $$I(X,Y)=I(Y,X)$$ ;
  • $$HX=0 \xLeftrightarrow X$$ - константа;
  • $$I(X,Y)=HX+HY-H(X,Y)$$, где $$H(X,Y)=-\sum_{i,j}p_{ij}\log_2p_{ij}$$ ;
  • $$I(X,Y)\le I(X,X)$$. Если $$I(X,Y)=I(X,X)$$, то $$X$$ - функция от $$Y$$. Если $$X$$ - инъективная функцияФункция $$f$$ - инъекция, если на разных значениях аргумента, она принимает разные значения. от $$Y$$, то $$I(X,Y)=I(X,X)$$.
    •
  • Логарифмированием из очевидного для всех $$x$$ неравенства $$e^{x-1}\ge x$$ (равенство устанавливается только при $$x=1$$ ) получается неравенство $$x-1\ge\ln x$$ или $$\textstyle{x-1\over\ln2}\ge\log_2x$$.$$-I(X,Y)=\sum_{i,j}p_{ij}\log_2{p_iq_j\over p_{ij}}\le \sum_{i,j}p_{ij}{{p_iq_j\over p_{ij}}-1\over\ln2}= $$ $$=\fi \sum_{i,j}{p_iq_j-p_{ij}\over\ln2}= {\sum_ip_i\sum_jq_j-\sum_{i,j}p_{ij}\over\ln2}={1-1\over\ln2}=0,$$ т.е. $$I(X,Y)=0$$ только при $$p_{ij}=p_iq_j$$ для всех $$i$$ и $$j$$, т.е. при независимости $$X$$ и $$Y$$. Если $$X$$ и $$Y$$ независимы, то $$p_{ij}=p_iq_j$$ и, следовательно, аргументы логарифмов равны 1 и, следовательно, сами логарифмы равны 0, что означает, что $$I(X,Y)=0$$ ;
  • Следует из симметричности формул относительно аргументов;
  • Если $$HX=0$$, то все члены суммы, определяющей $$HX$$, должны быть нули, что возможно тогда и только тогда, когда $$X$$ - константа;
  • Из четырех очевидных соотношений$$\sum_jp_{ij} = p_i,\quad \sum_ip_{ij} = q_j,$$ $$HX = -\sum_i p_i \log_2 p_i = -\sum_{i,j} p_{ij} \log_2 p_i,$$ $$HY = -\sum_j q_j \log_2 q_j = -\sum_{i,j} p_{ij} \log_2 q_j$$ получается$$HX+HY-H(X,Y) = \sum_{i,j} p_{ij} (\log_2 p_{ij} - \log_2 q_j - \log_2 p_i)= I(X,Y);$$
  • Нужно доказать $$I(X,Y)=HX+HY-H(X,Y)\le HX$$ или $$HY-H(X,Y) \le 0$$.$$HY-H(X,Y) = -\sum_{i,j} p_{ij} \log_2 q_j + \sum_{i,j} p_{ij} \log_2 p_{ij} = \sum_{i,j} p_{ij} \log_2(p_{ij}/q_j),$$ но $$p_{ij}=P(X=X_i,Y=Y_j) \le q_j=P(Y=Y_j)$$, а значит аргументы у всех логарифмов не больше 1 и, следовательно, значения логарифмов не больше 0, а это и значит, что вся сумма не больше 0.
    •

    Если $$HX=I(X,X)=I(X,Y)$$, то для каждого $$i$$ $$p_{ij}$$ равно либо $$q_j$$, либо 0. Но из $$p_{ij} = P(X=X_i,Y=Y_j) = P(X=X_i/Y=Y_j)P(Y=Y_j) \in \{q_j, 0\}$$ следует $$P(X=X_i/Y=Y_j)\in \{0,1\}$$, что возможно только в случае, когда $$X$$ - функция от $$Y$$.

    При независимости случайных величин, $$X$$ и $$Y$$ одна из них ничем не описывает другую, что и отражается в том, что для таких случайных величин, $$I(X,Y)=0$$.

    Рассмотрим пример измерения количества информации при подбрасывании двух игральных костей.

    Пусть заданы дискретные случайные величины $$X_1$$, $$X_2$$ и $$Y$$. $$X_1$$ и $$X_2$$ - количества очков, выпавших соответственно на 1-й и 2-й игральной кости, а $$Y=X_1+X_2$$. Найти $$I(Y,X_1)$$, $$I(X_1,X_1)$$, $$I(Y,Y)$$.

    Законы распределения вероятностей для дискретной случайной величины $$X_1$$ и $$X_2$$ совпадают, т.к. кости одинаковые и без изъянов.

    $$\centerline{\hbox{\vbox{\offinterlineskip\halign{\strut\hfil\ #\ \hfil\cr X_1 \vrule 1 2 3 4 5 6\cr \noalign{\hrule} p \vrule \span\span1/6\span\span\span\cr}} \vbox{\hbox{, т.е. при j=1...6 q_j=P(X_1=j)=1/6.}}}}$$

    Закон распределения вероятностей для дискретной случайной величины $$Y$$,$$P(Y=i)=P(X_1+X_2=i),\quad i=2...12,$$ вследствие того, что $$X_1$$, $$X_2$$ - независимы и поэтому$$P(X_1=n,X_2=m)=P(X_1=n)P(X_2=m),$$ будет$$p_i=P(X_1+X_2=i)=\sum\limits_{n+m=i\atop1\le n,m\le6}P(X_1=n) P(X_2=m)=\sum\limits_{n+m=i\atop1\le n,m\le6}1/36.$$

    Таблицы, определяющие $$Y$$:

    $$\smallskip \setbox\bzero=\vbox{\offinterlineskip\halign{\strut\hfil\ $#$\ \hfil\cr _{X_2}\bs^{X_1} \vrule 1 2 3 4 5 6\cr \noalign{\hrule} 1 \vrule 2 3 4 5 6 7\cr 2 \vrule 3 4 5 6 7 8\cr 3 \vrule 4 5 6 7 8 9\cr 4 \vrule 5 6 7 8 9 10\cr 5 \vrule 6 7 8 9 10 11\cr 6 \vrule 7 8 9 10 11 12,\cr}} \setbox\bone=\vbox{\offinterlineskip \halign{\strut\hfil\ $#$\ \hfil\cr Y=X_1+X_2 \vrule 2 3 4 5 6 7 8 9 10 11 12\cr \noalign{\hrule} \omit \omit\ \vrule height1pt\hfil\cr p \vrule \xfrac1{36} \xfrac2{36} \xfrac3{36} \xfrac4{36} \xfrac5{36} \xfrac6{36} \xfrac5{36} \xfrac4{36} \xfrac3{36} \xfrac2{36} \xfrac1{36},\cr}} \setbox\btwo=\hbox{\quad т.е.\ при $i=2...12$, $p_i=P(Y=i)=(6-|7-i|)/36$.} \dzero=\wd\bzero \advance\dzero\wd\bone \advance\dzero1em \box\bzero \smallskip$$

    $$\setbox\bone=\vbox{\offinterlineskip \halign{\strut\hfil\ $#$\ \hfil\cr Y=X_1+X_2 \vrule 2 3 4 5 6 7 8 9 10 11 12\cr \noalign{\hrule} \omit \omit\ \vrule height1pt\hfil\cr p \vrule \xfrac1{36} \xfrac2{36} \xfrac3{36} \xfrac4{36} \xfrac5{36} \xfrac6{36} \xfrac5{36} \xfrac4{36} \xfrac3{36} \xfrac2{36} \xfrac1{36},\cr}} \setbox\btwo=\hbox{\quad то есть при $i=2...12$, $p_i=P(Y=i)=(6-|7-i|)/36$.} \dzero=\wd\bzero \advance\dzero\wd\bone \advance\dzero1em \ifdim \dzero<\hsize \centerline{\hbox{\box\bzero \quad \vbox{\box\bone \vskip4pt \box\btwo \copy\strutbox \copy\strutbox}}} \else \centerline{\box\bzero}\smallskip \centerline{\box\bone}\smallskip \centerline{\box\btwo}\fi \smallskip $$

    Закон совместного распределения вероятностей дискретной случайной величины $$X_1$$ и $$Y$$ будет$$p_{ij}=P(Y=i,X_1=j)=P(Y=i/X_1=j)P(X_1=j),$$ например,$$P(Y=2,X_1=1)=P(Y=2/X_1=1)P(X_1=1)=$$ $$=\fi P(X_2=1)P(X_1=1)=1/36$$. В общем случае получится$$p_{ij}=P(Y=i,X_1=j)=\begin{cases}1/36, \text{при $1\le i-j\le6$,}\\ 0, \text{иначе.}\end{cases}$$

    $$\centerline{\vbox{\offinterlineskip \let~=\xfrac\halign{\strut\ $#$\ \hfil\cr _{X_1}\bs^Y \vrule 2 3 4 5 6 7 8 9 10 11 12\cr \noalign{\hrule} \omit \omit\ \vrule height1pt\hfil\cr 1 \vrule ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} 0 0 0 0 0\cr 2 \vrule 0 ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} 0 0 0 0\cr 3 \vrule 0 0 ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} 0 0 0\cr 4 \vrule 0 0 0 ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} 0 0\cr 5 \vrule 0 0 0 0 ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} 0\cr 6 \vrule 0 0 0 0 0 ~1{36} ~1{36} ~1{36} ~1{36} ~1{36} ~1{36}\cr}}} \smallskip$$

    Тогда$$I(Y,X_1)= \sum^6_{j=1}\sum_{1\le i-j\le6}p_{ij}\log_2{p_{ij}\over p_iq_j}=$$ $$={1\over36}\sum^6_{j=1}\sum_{1\le i-j\le6}\log_2{1\over6p_i}=$$ $$={1\over36}( \sum^7_{i=2}\log_2{1\over6p_i}+\sum^8_{i=3}\log_2{1\over6p_i}+\cdots+ \sum^{11}_{i=6}\log_2{1\over6p_i}+\sum^{12}_{i=7}\log_2{1\over6p_i})=$$ $$={1\over36}((\log_2{6\over1}+\log_2{6\over2}+\cdots+\log_2{6\over6})+ \cdots+(\log_2{6\over6}+\log_2{6\over5}+\cdots+\log_2{6\over1}))=$$ $$={1\over36} (\underline{2\log_26}+4\log_23+6\log_22+8\log_2{3\over2}+10\log_2{6\over5}+ \underline{6\log_21})=$$ $$=(2+2\log_23+4\log_23+6+8\log_23-8+10\log_23+10-10\log_25)/36=$$ $$=(10+24\log_23-10\log_25)/36\approx0.69 \hbox{ бит/символ}.$$

    $$I(X_1,X_1)=I(X_2,X_2)=-\sum^6_{j=1}q_j\log_2q_j=\log_26= 1+\log_23\approx2.58 \hbox{ бит/символ}.$$ $$I(Y,Y)=-\sum_{i=2}^{12}p_i\log_2p_i=$$ $$={1\over36}(2\log_236+4\log_218+6\log_212+8\log_29+10\log_2{36\over5} +6\log_26)=$$ $$=(4+4\log_23+4+8\log_23+12+6\log_23+16\log_23+20+20\log_23- 10\log_25+\fi6+6\log_23)/36=$$ $$=\fi(46+60\log_23-10\log_25)/36 \approx 3.27 \hbox{ бит/сим}.$$

    Здесь $$0 < I(Y,X_1)=I(Y,X_2) < I(X_1,X_1)=I(X_2,X_2) < I(Y,Y)$$, что соответствует свойствам информации.

    Подчеркнутый член $${1\over36}2\log_26 = I(X_1,X_1)/18$$ в расчете $$I(X_1,Y)$$ соответствует информации о двух случаях из 36, когда $$Y=2$$ и $$Y=12$$, которые однозначно определяют $$X_1$$. Шесть случаев, когда $$Y=7$$, не несут никакой информации об $$X_1$$, что соответствует подчеркнутому члену $$6\log_21 = 0$$.

    Расчеты можно проводить, используя 4-е свойство информации, через энтропию.

    $$H(Y,X_1) = -\sum_{i,j} p_{ij}\log_2 p_{ij} = \log_236 = 2(1+\log_23) = 2HX_1 \approx 5.17 \hbox{ бит/символ}.$$ $$I(Y,X_1) = HX_1+HY-H(X_1,Y)=HY-HX_1 \approx 3.27-2.58=0.69 \hbox{ бит/символ}.$$

    Расчет количества информации с использованием 4-го свойства, а не определения, обычно требует меньше вычислений.

    Рассмотрим более простой пример. Пусть дискретная случайная величина $$X$$ равна количеству очков, выпавших на игральной кости, а дискретная случайная величина $$Y$$ равна 0, если выпавшее количество очков нечетно, и 1, если выпавшее количество очков четно. Найти $$I(X,Y)$$ и $$I(Y,Y)$$.

    Составим законы распределения вероятностей дискретной случайной величины $$X$$ и $$Y$$.

    $$\setbox\bzero=\vbox{\offinterlineskip\halign{\strut\hfil\ #\ \hfil\cr X \vrule 1 2 3 4 5 6\cr \noalign{\hrule} p \vrule \span\span1/6\span\span\span\cr}} \setbox\bone=\vbox{\offinterlineskip\halign{\strut\hfil\ #\ \hfil\cr Y \vrule 0 1\cr \noalign{\hrule} p \vrule1/2\span\cr}} \centerline{\box\bzero \hfil \box\bone}$$

    Таким образом, при $$i=1...6$$ $$p_i=P(X=i)=1/6$$ и, соответственно, при $$j=0...1$$ $$q_j=P(Y=j)=1/2$$.

    Составим также закон совместного распределения вероятностей этих дискретных случайных величин

    $$\centerline{\vbox{\offinterlineskip\halign{\strut\hfil\ #\ \hfil\cr X \vrule 1 3 5 2 4 6 1 3 5 2 4 6\cr Y \vrule 0 0 0 1 1 1 1 1 1 0 0 0\cr \noalign{\hrule} p \vrule \span\span1/6\span\span\span\span\span0\span\span\span\cr}}}$$

    Таким образом,$$p_{ij}=P(X=i,Y=j)= \begin{cases}0, \text{\hskip-5.5pt если $i+j$ --- четно,}\\ 1/6, \text{\hskip-5.5pt иначе.} \end{cases}$$

    $$I(X,Y) = \sum_{i,j}p_{ij}\log_2{p_{ij}\over p_iq_j} =6{1\over6}\log_22=1 \hbox{ бит/символ}.$$ $$I(Y,Y) = -\sum^1_{j=0}q_j\log_{2qj} = 2{1\over2}\log_22 = 1 \hbox{ бит/символ}.$$

    Точное количество выпавших очков дает точную информацию о четности, т.е. 1бит. Из $$I(X,Y)=I(Y,Y)=1$$ бит/сим и 3-го свойства информации следует, что информация об $$X$$ полностью определяет $$Y$$, но не наоборот, т.к. $$I(X,Y) \ne I(X,X) = 1+\log_23 \approx 2.58$$ бит/сим. Действительно, $$Y$$ функционально зависит от $$X$$, а $$X$$ от $$Y$$ функционально не зависит.

    Расчеты через энтропию будут следующими

    $$H(X,Y) = -\sum_{i,j} p_{ij}\log_2 p_{ij} = \log_26 = 1+\log_23 = HX,$$ $$I(X,Y) = HX+HY-HX = HY = 1 \hbox{ бит/символ}.$$

    Упражнение 5 Найти энтропию дискретной случайной величины $$X$$, заданной распределением

    $$\centerline{\vbox{\offinterlineskip\halign{\strut\quad#\cr X\omit\ \vrule 1 2 3 4 5 6 7 8\cr \noalign{\hrule} p\omit\ \vrule 0.1 0.2 0.1 0.05 0.1 0.05 0.3 0.1.\cr}}} \smallskip$$

    Упражнение 6 Значения дискретной случайной величины $$X_1$$ и $$X_2$$ определяются подбрасыванием двух идеальных монет, а дискретная случайная величина $$Y$$ равна сумме количества "гербов", выпавших при подбрасывании этих монет. Сколько информации об $$X_1$$ содержится в $$Y$$?

    Упражнение 7 Сколько информации об $$X_1$$ содержится в дискретной случайной величине $$Z=(X_1+1)^2-X_2$$, где независимые дискретные случайные величины $$X_1$$ и $$X_2$$ могут с равной вероятностью принимать значение либо 0, либо 1? Найти $$HX_1$$ и $$HZ$$. Каков характер зависимости между $$X_1$$ и $$Z$$?

    Упражнение 8 Дискретные случайные величины $$X_1$$, $$X_2$$ - зависимы и распределены также как и соответствующие дискретные случайные величины из предыдущей задачи. Найти $$I(X_1,X_2)$$, если совместное распределение вероятностей $$X_1$$ и $$X_2$$ описывается законом$$\vbox{\offinterlineskip\halign{\strut\quad#\cr X_1 \omit\ \vrule 0 0 1 1\cr X_2 \omit\ \vrule 0 1 0 1\cr \noalign{\hrule} p \omit\ \vrule1/31/61/61/3.\cr}}$$

    Упражнение 9 Дискретные случайные величины $$X_1$$ и $$X_2$$ определяются подбрасыванием двух идеальных тетраэдров, грани которых помечены числами от 1 до 4. дискретная случайная величина $$Y$$ равна сумме чисел, выпавших при подбрасывании этих тетраэдров, т.е. $$Y=X_1+X_2$$. Вычислить $$I(X_1,Y)$$, $$HX_1$$ и $$HY$$.

    Упражнение 10 Подсчитать сколько информации об $$X_1$$ содержится в дискретной случайной величине $$Z=X_1*X_2$$, а также $$HZ$$. Дискретные случайные величины $$X_1$$ и $$X_2$$ берутся из предыдущего упражнения.

    Упражнение 11 Дискретная случайная величина $$X_1$$ может принимать три значения $$-1$$, 0 и 1 с равными вероятностями. Дискретная случайная величина $$X_2$$ с равными вероятностями может принимать значения 0, 1 и 2. $$X_1$$ и $$X_2$$ - независимы. $$Y=X_1^2+X_2$$. Найти $$I(X_1,Y)$$, $$I(X_2,Y)$$, $$HX_1$$, $$HX_2$$, $$HY$$.

    Упражнение 12 Найти энтропии дискретных случайных величин $$X$$, $$Y$$, $$Z$$ и количество информации, содержащейся в $$Z=X+Y$$ относительно $$Y$$. $$X$$ и $$Y$$ - независимы и задаются распределениями

    $$\centerline{\vbox{\offinterlineskip \halign{\strut\quad#\cr X \omit\ \vrule 0 1 3 4 \qquad Y \omit\ \vrule -2 2\cr \multispan6\hrulefill \omit\quad\qquad \multispan4\hrulefill\cr p \omit\ \vrule 1/81/81/41/2 \qquad p \omit\ \vrule 3/8 5/8.\cr }}} \smallskip$$

    Предыдущее занятие Следующее занятие
    Вернуться к учебному плану
    ^