Введение

Учебное пособие написано на основе односеместрового 108 часового курса лекций и материалов для практических занятий, используемых автором в учебной работе со студентами-третьекурсниками в течении 5 лет на кафедре "Моделирование систем и информационные технологии" "МАТИ" - Российского государственного технологического университета им.К.Э.Циолковского.

Настоящее пособие достаточно полно освещает основные положения теории информации в соответствии с Государственным образовательным стандартом РФ от 1995 г. по специальности "Автоматизированные системы обработки информации и управления" (220200). Содержание некоторых лекций (1, 3, 12) пособия выходит за рамки стандарта для означенной специальности, но затронутые в них темы актуальны и органично вписываются в материал пособия.

Программой курса предусмотрено изучение следующих тем: фундаментальные положения теории информации, количественная мера информации, понятие энтропии случайных событий, скорость передачи информации и пропускная способность канала связи при отсутствии и наличии помех, прямая и обратная теоремы Шеннона, информационные пределы избыточности, методика построения кодов, проблемы передачи непрерывной информации.

Содержание пособия во многом базируется на некоторых вводных понятиях курса "Теория вероятностей": дискретная случайная величина (д.с.в.), закон распределения вероятностей, математическое ожидание (м. о.) и т.п. Кроме того, от читателя требуется умение выполнять соответствующие операции с матрицами, многочленами и булевыми величинами.

В лекциях с 1 по 3 рассмотрены общие вопросы, определяющие практические подходы к использованию понятия информация, т.е. дано определение основных терминов, используемых при работе с информацией, очерчен круг вопросов, рассматриваемых в теории информации, приведены способы хранения, обработки, преобразования, передачи и измерения информации.

В лекциях 4-6 рассматриваются способы сжатия информации. Рассмотрены как статистические методы (Шеннона-Фано, Хаффмена, арифметический), так и словарные методы Лемпела-Зива. Для статистических методов приведены варианты адаптивных алгоритмов кодирования. Приводятся формулы для оценки предельной степени сжатия информации. Обзорно рассматриваются способы сжатия информации с потерями и типы файлов, содержащих сжатые данные.

Лекция 7 посвящена физическому уровню передачи информации по каналам связи. Рассматриваются методы расчета пропускной способности (емкости) канала, теорема Шеннона и обратная ей теорема, способы кодирования дискретной информации для передачи. Полное раскрытие названных тем требует привлечения мощного аппарата средств теории вероятностей и теории связи, выходящих за рамки соответствующих курсов студентов втузов, поэтому эти темы раскрыты лишь частично, в обзорном порядке.

В лекциях 8-10 рассматриваются способы построения и использования избыточных кодов для защиты от помех. Приводятся фундаментальные характеристики таких кодов. Для понимания материала 9-й лекции необходимо знакомство с начальными элементами теории групп.

Лекция 11 посвящена вопросам теории защиты информации. Рассматриваются как классические криптографические системы, так и системы, построенные на идеях Диффи и Хеллмана. Кратко математический фундамент этих методов излагается в Приложении.

В заключительных лекциях рассмотрены некоторые вопросы использования информации в Internet.

Используемые обозначения, не определенные явно в основном материале, приводятся в Приложении.

Ссылки на литературу, содержащую обоснования приведенных фактов или дополнительные подробности, заключаются в квадратные скобки.

Высокая требовательность студенческой аудитории является постоянным стимулом в поиске более простых, доходчивых и ясных способов изложения. Автор надеется, что это учебное пособие, формировавшееся в процессе живого общения со студентами, не получилось чрезмерно сложным.

Автор считает необходимым выразить искреннюю благодарность всем тем, кто помог ему в создании этого пособия, в особенности, Пантелееву П.А., Лидовской В.В. и Бурашникову С.Р.