как начать заново проходить курс, если уже пройдено несколько лекций со сданными тестами? |
Необходимые сведения о случайных величинах
5.2.2 Пропускная способность канала и количество принятой информации
Определение 5.14 Пропускная способность канала связи - наибольшая теоретически достижимая скорость передачи информации при условии, что погрешность не превосходит заданной величины.
Определение 5.15 Скорость передачи информации - среднее количество информации, передаваемое в единицу времени. Определим выражения для расчета скорости передачи информации и пропускной способности дискретного канала связи.
При передаче каждого символа в среднем по каналу связи проходит количество информации, определяемое по формуле:
![]() |
( 5.3) |
где - взаимная информация, т.е. количество информации, содержащееся в
относительно
;
- энтропия источника сообщений;
- условная энтропия, определяющая потерю информации на один символ, связанную с наличием помех и искажений.
При передаче сообщения длительности
, состоящего из
элементарных символов, среднее количество передаваемой информации с учетом симметрии взаимного количества информации равно:
![]() |
( 5.4) |
![]() |
( 5.5) |
где ;
- среднее время передачи одного символа;
-число символов в сообщении длительностью
.
Для символов равной длительности , в случае неравновероятных символов неравной длительности
.
При этом скорость передачи информации
![]() |
( 5.6) |
Скорость передачи информации зависит от статистических свойств источника, метода кодирования и свойств канала.
Пропускная способность дискретного канала связи
![]() |
( 5.7) |
Пример 5.4 [2] Источник вырабатывает 3 сообщения с вероятностями: ,
и
. Сообщения независимы и передаются равномерным двоичным кодом (
) с длительностью символов, равной
мс. Определить скорость передачи информации по каналу связи без помех.
Решение. Энтропия источника равна
![H=-\sum_{i=1}^{m} p_i \log_2 p_i = - \left( 0,1 \log_2 0,1 + 0,2 \log_2 0,2+ 0,7 \log_2 0,7\right)=1,16 \text{ [бит/с].}](/sites/default/files/tex_cache/2a0002e1b850da8a288fdf2663e4377b.png)
Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна .
Средняя скорость передачи сигнала
![V =1/2\tau = 500 \text{ [1/c]}.](/sites/default/files/tex_cache/45efa89b1f23b0d9ab15c04a22c641ba.png)
Скорость передачи информации
![C = vH = 500\cdot1,16 = 580 \text{ [бит/с]}.](/sites/default/files/tex_cache/b90a9eb20bbfeb5e50b2a2bd57815436.png)
Пример 5.5 По каналу связи передаются сообщения, вероятности которых соответственно равны:
![(x_1)=0,1;\ p(x_2)=0,2;\ p(x_3)=0,3;\ p(x_4)=0.4.](/sites/default/files/tex_cache/e0da9e034b8745a620095a32161178b6.png)
Канальная матрица, определяющая потери информации в канале связи имеет вид:
![p(y/x)=\left(\begin{array}{llll}
0,99&0,01&0&0\\
0,01&0,97&0,02&0\\
0&0,01&0,98&0,01\\
0&0&0,01&0,99
\end{array}
\right),\
\sum\limits_{j=1}^m p(y_j/x_l)=1 ~\text{при}~ l=1,2,3,4.](/sites/default/files/tex_cache/9db4d0afd49788ef48f141b81dd73930.png)
Определить:
- Энтропию источника информации -
.
- Безусловную энтропию приемника информации -
.
- Общую условную энтропию -
.
- Скорость передачи информации, если время передачи одного символа первичного алфавита
мс.
- Определить потери информации в канале связи при передаче
символов алфавита.
- Среднее количество принятой информации.
- Пропускную способность канала связи.
Решение:
- Энтропия источника сообщений равна
- Вероятности появления символов на входе приемника
Проверка:Энтропия приемника информации равна
- Общая условная энтропия равна
- Скорость передачи информации равна:
- Потери информации в канале связи при передаче 500 символов алфавита равны:
- Среднее количество принятой информации равно:
- Пропускная способность канала связи
Список литературы
- Харин Ю.С., Берник В.И., Матвеев Г.В. Математические основы криптологии - Минск: БГУ, 1999. - 319 с.
- Блинцов С.В. Сборник примеров и задач по теории информации. Николаев: НУК им. адмирала Макарова, 2004..
- Рябко Б.А., Филонов А.Н. Криптографические методы защиты информации: Учебное пособие для ВУЗов. Новосиб.: СибГУТИ, 2008. - 229 с.