Базовые понятия теории информации
Вероятностный подход к измерению дискретной и непрерывной информации
В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной случайной величине, относительно другой случайной величины. Этот способ приводит к выражению количества информации числом.
Для дискретных случайных величин и
, заданных законами распределения
,
и совместным распределением
, количество информации, содержащейся в
относительно
, равно

Для непрерывных случайных величин, и
, заданных
плотностями распределения
вероятностей
,
и
, аналогичная формула
имеет вид

Очевидно, что


Энтропия дискретной случайной величины в теории информации определяется
формулой

Свойства меры информации и энтропии:
-
,
и
независимы;
-
;
-
- константа;
-
, где
;
-
. Если
, то
- функция от
. Если
- инъективная функция1Функция
- инъекция, если на разных значениях аргумента, она принимает разные значения. от
, то
.
- Логарифмированием из очевидного для всех
неравенства
(равенство устанавливается только при
) получается неравенство
или
.
т.е.только при
для всех
и
, т.е. при независимости
и
. Если
и
независимы, то
и, следовательно, аргументы логарифмов равны 1 и, следовательно, сами логарифмы равны 0, что означает, что
;
- Следует из симметричности формул относительно аргументов;
- Если
, то все члены суммы, определяющей
, должны быть нули, что возможно тогда и только тогда, когда
- константа;
- Из четырех очевидных соотношенийполучается
- Нужно доказать
или
.
но, а значит аргументы у всех логарифмов не больше 1 и, следовательно, значения логарифмов не больше 0, а это и значит, что вся сумма не больше 0.
Если , то для каждого
равно либо
,
либо 0. Но из
следует
, что возможно только в случае,
когда
- функция от
.
При независимости случайных величин, и
одна из них
ничем не описывает другую, что и отражается в том, что для таких случайных величин,
.
Рассмотрим пример измерения количества информации при подбрасывании двух игральных костей.
Пусть заданы дискретные случайные величины ,
и
.
и
- количества
очков, выпавших соответственно на 1-й и 2-й игральной кости, а
.
Найти
,
,
.
Законы распределения вероятностей для дискретной случайной величины и
совпадают, т.к. кости одинаковые и без изъянов.

Закон распределения вероятностей для дискретной случайной величины ,





Таблицы, определяющие :


Закон совместного распределения вероятностей дискретной случайной величины и
будет





Тогда












Здесь , что соответствует свойствам информации.
Подчеркнутый член в расчете
соответствует информации о двух случаях из 36, когда
и
, которые однозначно определяют
. Шесть случаев, когда
, не несут никакой информации об
, что соответствует подчеркнутому члену
.
Расчеты можно проводить, используя 4-е свойство информации, через энтропию.


Расчет количества информации с использованием 4-го свойства, а не определения, обычно требует меньше вычислений.