как начать заново проходить курс, если уже пройдено несколько лекций со сданными тестами? |
Необходимые сведения о случайных величинах
5.2 Элементы теории информации
Кратко перечислим основные понятия, более подробное изложение можно найти в [1], [2], [3].
5.2.1 Энтропия
Количественной мерой неопределенности служит энтропия. Пусть задана дискретная случайная величина , принимающая значения
с вероятностями
соответственно.
Определение 5.10 Энтропия случайной величины определяется равенством:
![H(\xi)=- \sum _{i=1}^{r}{{P}_{i}}\log_2{P}_{i},](/sites/default/files/tex_cache/9c683164bcb490a1f6250b0bb53b95a3.png)
где .
Свойства энтропии:
-
.
Пример 5.3 [3] Пусть имеется три источника сообщений, которые порождают буквы и
, иными словами, есть три случайные величины
, принимающие значения
и
:
![\begin{array}{l}
{\xi }_{1}: P({a}_{1})=1, P({a}_{2})=0,\\
{\xi }_{2}: P( {a}_{1})=0.5, P( {a}_{2})=0,5,\\
{\xi }_{3}: P({a}_{1})=0.01, P( {a}_{2})=0,99.\\
\end{array}](/sites/default/files/tex_cache/deea36c73d644503a245bdc832dafa5a.png)
Вычисления дают: ,
бит,
бит.
И мы видим, что неопределенность этих случайных величин разная.
Пусть двумерная случайная величина задана распределением
![{P}_{{ij}}=P\left({\xi }_{1}={a}_{i},{\xi }_{2}={b}_{j}\right),1{\leq}i{\leq}r,1{\leq}j{\leq}s](/sites/default/files/tex_cache/4072b8516b590a133a3b9d442a298ab7.png)
Определение 5.11 Энтропия двумерной случайной величины задаётся формулой:
![H\left({\xi }_{1},{\xi }_{2}\right)=-\sum _{i=1}^{r}{\sum _{j=1}^{s}{{P}_{{ij}}\log {P}_{{ij}}}}](/sites/default/files/tex_cache/64ddb7e11166677ce45038228ccbc47d.png)
Пусть имеются дискретные случайные величины и
, заданные вероятностными распределениями
,
. Для них можно вычислить совместное распределение
и условные распределения
,
для любых фиксированных значений
,
.
Определение 5.12 Условная энтропия задаётся формулой:
![H(\xi /y)=-\sum _{x \in \xi }{p(x/y) \cdot {\log }_{2}p(x/y).}](/sites/default/files/tex_cache/ee0b8a24abbd6fcd1012427784d1c2cb.png)
Определение 5.13 Условной энтропией двух вероятностных распределений называется усредненная (по всем величина
:
![H(\xi /\eta )=-\sum _{y \in \eta }{\sum _{x \in \xi }{p\left(y\right) \cdot p(x/y) \cdot {\log }_{2}p(x/y).}}](/sites/default/files/tex_cache/8bd4e9da302f180db436b2e76ffad4ab.png)