НОУ ИНТУИТ | Основы теории информации и криптографии. Лекция 5: Сжатие информации

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 11.04.2007 | Доступ: свободный | Студентов: 6027 / 2289 | Оценка: 4.37 / 4.24 | Длительность: 11:19:00

Тема: Безопасность

Специальности: Специалист по безопасности

|

Вам нравится? Нравится 53 студентам

| Поделиться |

Поддержать курс

| Скачать электронную книгу

Аннотация: Сжатие информации – важнейший аспект передачи данных, что дает возможность более оперативно передавать данные. Доказывается основная теорема о кодировании при отсутствии помех. Также в лекции рассматривается метод блокирования, который используется на практике для повышения степени сжатия. Дается также математическое обоснование метода Шеннона-Фэно. Некоторое количество примеров для проверки полученных знаний

Ключевые слова: бит, ZIP, ARJ, значение, энтропия, кодирование, множества, ПО, минимум, предел, средняя длина кода, дерево, листья, длина

Цель сжатия - уменьшение количества бит, необходимых для хранения или передачи заданной информации, что дает возможность передавать сообщения более быстро и хранить более экономно и оперативно (последнее означает, что операция извлечения данной информации с устройства ее хранения будет проходить быстрее, что возможно, если скорость распаковки данных выше скорости считывания данных с носителя информации). Сжатие позволяет, например, записать больше информации на дискету, "увеличить" размер жесткого диска, ускорить работу с модемом и т.д. При работе с компьютерами широко используются программы-архиваторы данных формата ZIP, GZ, ARJ и других. Методы сжатия информации были разработаны как математическая теория, которая долгое время (до первой половины 80-х годов), мало использовалась в компьютерах на практике.

Сжатие данных не может быть большим некоторого теоретического предела. Для формального определения этого предела рассматриваем любое информационное сообщение длины как последовательность независимых, одинаково распределенных д.с.в. X_i или как выборки длины значений одной д.с.в. .

Доказано^{120
,} что среднее количество бит, приходящихся на одно кодируемое значение д.с.в., не может быть меньшим, чем энтропия этой д.с.в., т.е. $ML(X) \ge HX$ для любой д.с.в. и любого ее кода.

Кроме того, Доказано²²⁰ утверждение о том, что существует такое кодирование (Шеннона-Фэно, Fano), что $HX \ge ML(X)-1$ .

Рассмотрим д.с.в. X_1 и X_2 , независимые и одинаково распределенные. HX_1 = HX_2 и I(X_1,X_2) = 0 , следовательно,

Вместо

и

можно говорить о двумерной д.с.в. $\vec X=(X_1,X_2)$ . Аналогичным образом для

-мерной д.с.в. $\vec X=(X_1,X_2,\ldots,X_n)$ можно получить, что $H\vec X=nHX_1$ .

Пусть $L_1(\vec X)=L(\vec X)/n$ , где $\vec X = (X_1,X_2,\ldots,X_n)$ , т.е. $L_1(\vec X)$ - это количество бит кода на единицу сообщения $\vec X$ . Тогда $ML_1(\vec X)$ - это среднее количество бит кода на единицу сообщения при передаче бесконечного множества сообщений $\vec X$ . Из $ML(\vec X)-1 \le H\vec X \le ML(\vec X)$ для кода Шеннона-Фэно для $\vec X$ следует $ML_1(\vec X)-1/n \le HX_1 \le ML_1(\vec X)$ для этого же кода.

Таким образом, доказана основная теорема о кодировании при отсутствии помех, а именно то, что с ростом длины сообщения, при кодировании методом Шеннона-Фэно всего сообщения целиком среднее количество бит на единицу сообщения будет сколь угодно мало отличаться от энтропии единицы сообщения. Подобное кодирование практически не реализуемо из-за того, что с ростом длины сообщения трудоемкость построения этого кода становится недопустимо большой. Кроме того, такое кодирование делает невозможным отправку сообщения по частям, что необходимо для непрерывных процессов передачи данных. Дополнительным недостатком этого способа кодирования является необходимость отправки или хранения собственно полученного кода вместе с его исходной длиной, что снижает эффект от сжатия. На практике для повышения степени сжатия используют метод блокирования.

По выбранному значению $\varepsilon>0$ можно выбрать такое , что если разбить все сообщение на блоки длиной (всего будет n/s блоков), то кодированием Шеннона-Фэно таких блоков, рассматриваемых как единицы сообщения, можно сделать среднее количество бит на единицу сообщения большим энтропии менее, чем на $\varepsilon$ . Действительно, пусть $\vec Y=(\vec Y_1,\vec Y_2,\ldots,\vec Y_{n/s})$ , $\vec Y_1=(X_1,X_2,\ldots,X_s)$ , $\vec Y_2=(X_{s+1},X_{s+2},\ldots,X_{2s})$ и т.д., т.е. $\vec Y_i=(X_{s(i-1)+1},X_{s(i-1)+2},\ldots,X_{si})$ . Тогда $H\vec Y_1=sHX_1$ и $sML_1(\vec Y_1)=ML(\vec Y_1) \le H\vec Y_1+1 = sHX_1+1$ , следовательно,

$ML_1(\vec Y_1) \le HX_1 + 1/s,$

т.е. достаточно брать $s=1/\varepsilon$ . Минимум

по заданному $\varepsilon$ может быть гораздо меньшим $1/\varepsilon$ .

Пример. Пусть д.с.в. $X_1,X_2,\ldots X_n$ независимы, одинаково распределены и могут принимать только два значения P(X_i=0)=p=3/4 и P(X_i=1)=q=1/4 при от 1 до . Тогда

$HX_i={3\over4}\log_2{4\over3}+{1\over4}\log_24=2-{3\over4}\log_23 \approx0.811 \hbox{ бит/сим}.$

Минимальное кодирование здесь - это коды 0 и 1 с длиной 1 бит каждый. При таком кодировании количество бит в среднем на единицу сообщения равно 1. Разобьем сообщение на блоки длины 2. Закон распределения вероятностей и кодирование для 2-мерной д.с.в. $\vec X=(X_1,X_2)$ -

$\smallskip \centerline{\vbox{\offinterlineskip \halign{&\strut\quad\hfil#\hfil& \vrule#\cr $\vec X$ && 00 && 01 && 10 && 11\cr \noalign{\hrule} $p$ && 9/16 && 3/16 && 3/16 && 1/16\cr $code(\vec X)$ && 0 &&10 && 110 && 111\cr $L(\vec X)$ && 1 && 2 && 3 && 3.\cr}}} \smallskip$

Тогда при таком минимальном кодировании количество бит в среднем на единицу сообщения будет уже

$ML_1(\vec X)=\bigl(1{9\over16}+2{3\over16}+3{3\over16}+3{1\over16}\bigr)/2= {27\over32}=0.84375,$

т.е. меньше, чем для неблочного кодирования. Для блоков длины 3 количество бит в среднем на единицу сообщения можно сделать $\approx0.823$ , для блоков длины 4 - $\approx0.818$ и т.д.

Все изложенное ранее подразумевало, что рассматриваемые д.с.в. кодируются только двумя значениями (обычно 0 и 1). Пусть д.с.в. кодируются значениями. Тогда для д.с.в. $\vec X$ и любого ее кодирования верно, что $ML(\vec X) \ge H\vec X/\log_2m$ и $ML_1(\vec X) \ge HX_1/\log_2m$ . Кроме того, существует кодирование такое, что $ML(\vec X)-1 \le H\vec X/\log_2m$ и $ML_1(\vec X)-1/n \le HX_1/\log_2m$ , где $n=\dim(\vec X)$ .

Формулы теоретических пределов уровня сжатия, рассмотренные ранее, задают предел для средней длины кода на единицу сообщений, передаваемых много раз, т.е. они ничего не говорят о нижней границе уровня сжатия, которая может достигаться на некоторых сообщениях и быть меньшей энтропии д.с.в., реализующей сообщение.

Дальше >>

Авторизоваться

Основы теории информации и криптографии

Сжатие информации

Вопросы и ответы