Алгоритмы работы с изображением

5.1. Стандарты MPEG-1 и -2

Стандарт MPEG 1 (ISO 11172; см. http://www.chiariglione.org/mpeg/standards/mpeg-1/mpeg-1.htm) определяет методы сжатия данных, позволяющие довести скорости передачи видео- и аудиоинформации до 1,5 Мбит/с, что соответствует скоростям обмена обычных CD-ROM.

Стандарт MPEG -2 содержит в себе 9 частей. Первые три стали международными стандартами MPEG -2 (см. http://www.chiariglione.org/mpeg/standards/mpeg-2/mpeg-2.htm; ISO/IEC JTC1/SC29/WG11).

Часть 1 MPEG -2 относится к объединению одного или более элементарных аудио- или видеопотоков, а также прочих данных в один или несколько потоков, удобных для записи или передачи.

Программный поток подобен создаваемому системами мультиплексирования MPEG -1. Он формируется в результате объединения одного или более элементарных потоков пакетов PES (Packetized Elementary Streams), которые имеют общую временную шкалу. Программный поток формируется для использования в относительно надежной среде и удобен для приложений, которые могут включать в себя программную обработку данных. Пакеты программного потока могут иметь переменную и относительно большую длину. Модель систем MPEG -2 показана на рис. 5.9.

Рис. 5.9. Модель систем MPEG-2Б

Транспортный поток объединяет один или более потоков PES с общей или разными временными шкалами. Элементарные потоки с общей временной шкалой образуют программу. Транспортный поток формируется для использования в относительно ненадежной среде, где вероятны ошибки, — например память или транспортная среда с высоким уровнем наводок или шума. Пакеты транспортного потока имеют длину 188 байт

Часть 2 MPEG -2 предоставляет мощные возможности сжатия видеоданных стандарта MPEG -1 и обладает широким диапазоном средств кодирования. Эти средства группируются в профайлы, обеспечивая разнообразную функциональность. В таблице 5.1 крестом отмечены возможности, которые реализуются стандартом.

С момента окончательного одобрения MPEG -2 Видео в ноябре 1994 года, был разработан еще один профайл. Он использует существующие средства кодирования MPEG -2 Видео, но способен работать с изображениями, имеющими разрешение 4:2:2 и более высокую скорость передачи. Несмотря на то, что MPEG -2 Видео не разрабатывался для студийных целей, серия выполненных тестов показала, что MPEG -2 достаточно хорош, а во многих случаях даже лучше, чем предлагается спецификациями, разработанными для более высоких скоростей передачи или студийных приложений.

Профайл 4:2:2 был окончательно одобрен в январе 1996 года и сейчас стал неотъемлемой частью стандарта MPEG -2 Видео.

Профайл Multiview (MVP) является еще одной из последних разработок. Он позволяет, используя существующие средства кодирования MPEG -2, эффективно закодировать последовательность кадров, которые получены от двух камер, снимающих одну и ту же сцену (например, для получения стереообраза).

Часть 3 MPEG -2 представляет собой обратно совместимое многоканальное расширение стандарта MPEG -1 Аудио. На рис. 5.10 показана структура блока данных MPEG -2 Аудио, демонстрирующая это свойство.

Рис. 5.10. Структура блока аудиоданных в MPEG-2

Части 4 и 5 MPEG -2 соответствуют частям 4 и 5 MPEG -1.

Часть 6 MPEG -2 — Команды и управление цифровой медийной записью DSM-CC (Digital Storage Media Command and Control) представляет собой спецификацию набора протоколов, которые реализуют средства для управления потоками данных в MPEG -1 и MPEG -2. Эти протоколы могут использоваться для поддержки приложений для автономных и распределенных систем. В модели DSM-CC поток исходит от сервера и поступает клиенту. Сервер и клиент рассматриваются в качестве пользователей сети DSM-CC. DSM-CC определяет логические объекты, называемые сессией и менеджером ресурсов SRM (Session and Resource Manager), которые осуществляют логическое централизованное управление сессиями и ресурсами (см. рис. 5.11).

Рис. 5.11. Эталонная модель DSM-CC

Часть 7 MPEG -2 является спецификацией алгоритма кодирования многоканального аудио, полностью совместимого с MPEG -1.

Часть 8 MPEG -2 первоначально планировалась для кодирования видео, когда входные кодировщики выдают по 10 бит на одно стробирование. Работа была приостановлена, когда выяснилось, что промышленность проявляет ограниченный интерес к этой проблеме.

Часть 9 MPEG -2 является спецификацией интерфейса реального времени RTI (Real-Time Interface) для декодеров транспортного потока, которые могут использоваться с любыми сетями.

Часть 10 является секцией стандарта, предназначенной для тестирования DSM-CC.

Работа над форматом MPEG -2 была завершена в 1997 году. Стандарт MPEG -2 является усовершенствованием MPEG -1 и базируется на схеме шифрования с потерями и передачи без потерь. Кодирование в MPEG -2 идентично используемому в MPEG -1 (I- P- и B-кадры; D-кадры не используются). I-кадр (Intracoded) представляет собой изображение, закодированное согласно стандарту JPEG при полном разрешении по яркости и половинном разрешении по цвету. Такие кадры должны появляться периодически, чтобы исключить накопления ошибок (включаются в выходной поток 1-2 раза в секунду). Эти кадры обеспечивают совместимость с MPEG -1. P-кадры (Predictive) содержат отличие блоков в последнем кадре изображения по отношению к предыдущему кадру. P-кадры базируются на идее макроблоков, которые содержат 16*16 пикселей яркости и 8*8 пикселей цветности. Для декодирования P-кадра необходимо иметь исчерпывающие данные о предыдущем кадре. B-кадры (Bidirectional) характеризуют отличие двух последовательных изображений. B-кадры сходны с P-кадрами, но позволяют устанавливать связь макроблоков не только с предшествующим, но и с последующим кадром. Здесь применено двойное косинусное преобразование с числом коэффициентов 10*10 (против 8*8 в MPEG -1). D-кадры (DC-Coded) используются для получения изображения низкого разрешения при быстрой перемотке вперед или назад. MPEG -2 предназначен для широковещательного телевидения (включая прямое спутниковое — DBS ) и для записи на CD-ROM и поддерживает четыре разных стандарта разрешения: 352*240 (низкое), 720*480 (базовое), 1440*1152 (высокое-1440) и 1920*1080 (высокое). Последние два стандарта относятся к телевидению высокого разрешения ( HDTV ). Низкое разрешение служит для обеспечения совместимости с MPEG -1. Стандарт MPEG -1 может работать в режиме, когда для сжатия данных используется алгоритм JPEG. Эта схема удобна в случае произвольного доступа к любому из кадров, например для их редактирования. С точки зрения эффективности сжатия это совсем не лучшее решение, так как не используется тот факт, что последовательные кадры отличаются друг от друга незначительно. Даже простой метод дифференциального сжатия (передача отличия нового кадра от предыдущего) окажется эффективнее. Здесь предполагается, что фон кадра и положение видеокамеры являются стационарными. Базовое разрешение ориентировано на работу со стандартом NTSC.

Из этих данных можно получить оценку сверху для пропускной способности визуального канала человека. Из-за инерциальности человек не различает более 25 кадров в секунду. Один кадр содержит 1920*1080*24 = 49766400 бит (здесь предполагается, что человек может различать 2²⁴ оттенков цветов (в реальности возможности много ниже). Угол нашего зрения много шире телесного угла, перекрываемого телевизионным экраном, но относительно высокое разрешение мы имеем лишь вблизи той точки, на которую мы сфокусировались. Таким образом, мы можем воспринимать порядка 1244 Мбит/с. Практически эта оценка на несколько порядков выше реального значения. Понятно, что мозг может обработать на много порядков меньший объем информации. Оценку возможностей нашей обработки можно получить из скорости быстрого чтения, когда человек воспринимает содержимое страницы за время порядка 15 секунд. Страница содержит примерно 3 Кбайта, что дает скорость приблизительно 200 байт в секунду. Эту цифру можно считать оценкой снизу (ведь буква — это графический образ, а не байт).

Помимо этого MPEG -2 поддерживает 5 профайлов для различных прикладных областей. Основной профайл ориентирован на общие приложения с базовым разрешением. Простой профайл сходен с основным профайлом, но не работает с B-кадрами, чтобы облегчить процедуры кодирования/декодирования. Остальные профайлы служат для обеспечения масштабируемости и работы с HDTV, они отличаются цветовым разрешением и форматами информационных потоков. Скорость передачи данных для каждой комбинации разрешения и профайла различна и лежит в диапазоне от 3 до 100 Мбит/c. Для обычного ТВ характерна скорость 3-4 Мбит/c. В таблице 5.2 представлены размеры кадров в битах для MPEG -1 и MPEG -2.

Мультиплексирование аудио- и видеоданных в MPEG -2 показано на рис. 5.12. На выходе пакетизатора мы имеем элементарные потоки пакетов ( PES — Packetized Elementary Stream), содержащих около 30 полей, включая длину, идентификаторы потоков, временные метки, контрольные суммы и т.д. В MPEG -2 формируется два комплексных потока, программный поток (PS) длинных пакетов переменной длины, сходный с MPEG -1, содержащий видео- и аудиоданные и имеющий общую временную шкалу, и транспортный поток (TS) пакетов постоянной длины (188 байт) без общей временной шкалы. В последнем случае минимизируется влияние потерь пакетов в процессе транспортировки. Предусмотрено выделение в потоке составляющих разной степени важности (например, DCT -коэффициентов и обычных графических данных).

Рис. 5.12. Мультиплексирование аудио- и видеоданных в MPEG-1 и MPEG-2 (внизу)

Преобразование аналогового сигнала в цифровую последовательность осуществляется в MPEG -2 с помощью кодеков, создавая первичный поток в 140 Мбит/с, который затем преобразуется для передачи через стандартные каналы 1,5 и 15 Мбит/с (например, для прямого широковещательного спутникового телевидения). В настоящее время в Европе принят стандарт D1 (PAL) (576x720) – 1,1 Мбит/c. В соответствии со стандартом сжатия данных H.320 можно обеспечить передачу видео + аудио по каналу 56 Кбит/с с низким разрешением и частотой 1 кадр./с.