Стандарт mpeg-4, -7, -21

6.2. Стандарт MPEG-7

В октябре 1996 г. группа MPEG (Moving Picture Experts Group) начала разработку проблем, рассмотренных выше. Новым элементом семейства MPEG стал интерфейс описаний мультмедийного материала, называемый "Multimedia Content Description Interface" (или, сокращенно, MPEG-7), целью которого была стандартизация базовых технологий, позволяющих описание аудио-визуальных данных в рамках мультимедийной среды.

MPEG-7 является стандартом ISO/IEC, разработанным комитетом MPEG, который разработал стандарты MPEG-1, MPEG-2 и MPEG-4. Стандарты MPEG-1 и MPEG-2 сделали возможным интерактивное видео на CD-ROM и цифровое телевидение. Стандарт MPEG-4 предоставляет стандартизованные технологические элементы, позволяющие интеграцию парадигм производства, рассылки и доступа к содержимому в области цифрового телевидения, интерактивной графики и интерактивного мультимедиа.

MPEG-7 имеет целью стандартизовать описание мультимедийного материала, поддерживающего некоторый уровень интерпретации смысла информации, которая может быть передана для обработки ЭВМ. Стандарт MPEG-7 не ориентирован на какое-то конкретное приложение, он стандартизует некоторые элементы, которые рассчитаны на поддержку как можно более широкого круга приложений. Дополнительную информацию о MPEG-7 можно найти на web-странице MPEG-7 (Industry Focus Group), которая размещена по адресу http://www.mpeg-7.com. Эти web-страницы содержат ссылки на информацию об MPEG, включая описание MPEG-7, многие общедоступные документы, списки "Frequently Asked Questions" и ссылки на web-страницы MPEG-7. См. также http://book.itep.ru/2/25/mpeg_7.htm (на русc. яз.).

Введение в MPEG-7

Огромное количество аудио-визуальной информации стало доступно в цифровой форме, в виде цифровых архивов, во Всемирной Паутине, в виде широковещательных потоков, а также в форме частных или профессиональных баз данных. Значение информации часто зависит от того, насколько легко ее найти, извлечь, отфильтровать и управлять ею.

Тенденция очевидна. В ближайшие несколько лет пользователи столкнутся с таким большим числом мультимедийных материалов, предоставляемых разными провайдерами, что эффективный доступ к этому почти бесконечному материалу представляется трудновообразимым. Несмотря на тот факт, что пользователь располагает все увеличивающимися ресурсами, управление ими становится все более сложной задачей, из-за их объема. Это касается как профессионалов, так и обычных пользователей. Вопрос идентификации и управления материалами не ограничивается приложениями доступа к базам данных, таким как цифровые библиотеки, но распространяются в сферу выбора широковещательных каналов, мультимедийного редактирования и служб мультимедийных каталогов. Протокол MPEG-7 призван решить многие из этих проблем.

MPEG-7 является стандартом ISO/IEC, разработанным MPEG. Стандарты MPEG-1 и MPEG-2 позволили производить широко распространенные коммерческие продукты, такие как интерактивные CD, DVD, цифровое широковещательное аудио (DAB), цифровое телевидение и многие другие коммерческие услуги. MPEG-4 является первым реальным мультимедийным стандартом для представления данных, который позволяет интерактивно работать с комбинациями натурального и синтетического материала, закодированного в виде объектов (он моделирует аудиовизуальные данные как комбинацию таких объектов). MPEG-4 предоставляет стандартизованные технологические элементы, допускающие интеграцию производства, распределения и доступа к мультимедийному материалу. Это относится к интерактивному и мобильному мультимедиа, интерактивной графике и улучшенному цифровому телевидению.

Стандарт MPEG-7 формально назван "Ultimedia Content Description Interface". MPEG-7 предоставит широкий набор стандартизованных средств описания мультимедиа-материала. В сфере действия MPEG-7 находятся как пользователи-люди, так и автоматические системы, выполняющие обработку аудио-визуального материала.

MPEG-7 предлагает полный набор аудио-визуальных средств описания, которые образуют базис для приложений, делая возможным высококачественный доступ к мультимедийному материалу, что предполагает хорошие решения для записи, идентификации материала, обеспечения прав собственности и быстрой, эргономичной, точной целевой фильтрации и поиска.

Информация может быть представлена в различных медийных формах, таких как статические изображения, графика, 3D модели, звук, голос, видео. Аудио-визуальная информация играет важную роль в обществе, будучи записана на магнитную или фотопленку или поступая в реальном масштабе времени от аудио- или визуальных датчиков в аналоговой или цифровой форме. Первоначально аудио-визуальная информация предназначалась для людей, но в настоящее время все чаще такие данные генерируются, передаются и воспринимаются компьютерными системами. Это может быть, например, сопряжено с распознаванием голоса или изображения и медийным преобразованием (голос в текст, картинку в голос, голос в картинку и т.д.). Другими сценариями являются извлечение информации (быстрый и эффективный поиск для различных типов мультимедийных документов, представляющих интерес для пользователя) и фильтрация потоков описаний аудио-визуального материала (чтобы получить только те элементы мультимедиа-данных, которые удовлетворяют предпочтениям пользователя). Например, программа во время телепередачи запускает соответствующим образом программируемый VCR, чтобы записать эту программу, или сенсор изображения выдает предупреждение, когда происходит определенное событие. Автоматическое транскодирование может быть выполнено для строки символов, преобразуя ее в аудиоданные, или можно провести поиск в потоке аудио- или видеоданных. Во всех этих примерах аудио-визуальная информация была приемлемым образом закодирована, что позволяет программе ЭВМ предпринять соответствующие действия.

Аудио-визуальные источники будут играть в перспективе все большую роль в нашей жизни, и будет расти необходимость обрабатывать такие данные. Это делает необходимым обработку видов аудио-визуальной информации, имеющей волновую форму, компрессированный формат (такой как MPEG-1 и MPEG-2) или даже объектно-ориентированный, такой как MPEG-4.

Необходимы формы презентации, которые позволяют некоторую степень интерпретации смысла информации. Эти формы могут быть переданы или доступны для устройства или программы ЭВМ. В примерах, приведенных выше, датчики изображения могут генерировать визуальные данные не в форме PCM (значения пикселей), а в форме объектов с ассоциированными физическими величинами и временной информацией. Эти объекты могут быть запомнены и обработаны с целью проверки, выполняются ли определенные условия. Видеозаписывающий прибор может получить описания аудио-визуальной информации, ассоциированной с программой, которая при выполнении заданных условий выдаст команду на запись, например, "только новости за исключением спорта" или "запись фильма с автоматическим вырезанием вставок рекламы" (согласитесь, об этом сегодня можно только мечтать).

Средства описаний MPEG-7 не зависят от способа кодирования и записи материала. Можно сформировать описание MPEG-7 аналогового фильма или картинки, которая напечатана на бумаге, точно так же, как и цифрового материала.

MPEG-7, как и другие объекты семейства MPEG, предоставляют стандартное представление аудио-визуальных данных, удовлетворяющих определенным требованиям. Одной из функций стандарта MPEG-7 является обеспечение ссылок на определенные части мультимедийного материала. Например, дескриптор формы, используемый в MPEG-4, может оказаться полезным в контексте MPEG-7, точно так же это может относиться к полям вектора перемещения, используемым в MPEG-1 и MPEG-2.

В своих описаниях MPEG-7 допускает различную гранулярность, предлагая возможность существования различных уровней дискриминации. Хотя описание MPEG-7 не зависит от кодового представления материала, он может использовать преимущества, предоставляемые кодированным материалом MPEG-4.

Если материал закодирован с использованием MPEG-4, который предоставляет средства кодирования аудио-визуального материала в виде объектов, имеющих определенные связи во времени (синхронизация) и в пространстве (на сцене для видео или в комнате для аудио), будет возможно связать описания с элементами (объектами) в пределах сцены, такими как аудио- и видеообъекты.

Так как описательные характеристики должны иметь смысл в контексте приложения, они будут различными для разных приложений. Это подразумевает, что один и тот же материал может быть описан различным образом в зависимости от конкретного приложения.

Возьмем в качестве примера визуальный материал: нижним уровнем абстракции будет описание, например формы, размера, текстуры, цвета, движения (траектории) и позиции ("где на сцене может размещаться объект"). А для аудио: ключ, тональность, темп, вариации темпа, положение в звуковом пространстве.

Высшим уровнем представления будет семантическая информация: "Это сцена с лающей рыжей собакой слева и голубым мячом, падающим справа, с фоновым звуком проезжающих авто". Могут существовать промежуточные уровни абстракции.

Уровень абстракции относится к способу выделения определенных характеристик: многие характеристики нижнего уровня могут быть выделены полностью автоматически, в то время как характеристики высокого уровня требуют большего взаимодействия с человеком.

Кроме описания материала требуется также включить другие виды информации о мультимедийных данных.

• Форма. Примером формы является используемая схема кодирования (например JPEG, MPEG-2) или общий объем данных. Эта информация помогает определить, может ли материал быть воспринят пользователем.
• Условия доступа к материалу. Это включает учет ограничений на использование материала, учитывающих авторские права и права собственности, а также цену.
• Классификация. Это включает оценку происхождения материала и его классификацию по предопределенным категориям.
• Связь с другим важным материалом. Информация может помочь пользователю ускорить поиск.
• Контекст. В случае записанного документального материала очень важно знать обстоятельства записи (например, олимпийские игры 1996 г., финал 200-метрового забега для мужчин с барьерами).

Во многих случаях будет желательно использовать для описания текстовые данные. Необходимо позаботиться о том, чтобы полезность описаний по возможности не зависела от языка. Хорошим примером текстуального описания являются указания авторов, названия фильма и пр.

Следовательно, средства MPEG-7 позволят формировать описания (т.e. наборы схем описания и соответствующих дескрипторов по желанию пользователя) материала, который может содержать:

• информацию, описывающую процессы создания и производства материала (директор, заголовок, короткометражный игровой фильм);
• информацию, относящуюся к использованию материала (указатели авторского права, история использования, расписание вещания);
• информацию о характеристиках записи материала (формат записи, кодирование);
• структурную информацию о пространственных, временных или пространственно-временных компонентах материала (разрезы сцены, сегментация областей, отслеживание перемещения областей);
• информацию о характеристиках материала нижнего уровня (цвета, текстуры, тембры звука, описание мелодии);
• концептуальную информацию о реальном содержании материала (объекты и события, взаимодействие объектов);
• информацию о том, как эффективно просматривать материал (конспекты, вариации, пространственные и частотные субдиапазоны);
• информацию о собрании объектов;
• информацию о взаимодействии пользователя с материалом (предпочтения пользователя, история использования).

Все эти описания должны быть, конечно, эффективно закодированы для поиска, отбора и т.д.

Чтобы удовлетворить этому многообразию дополнительных описаний материала, MPEG-7 осуществляет описание материала с нескольких точек зрения. Наборы средств описаний, разработанные с учетом этих точек зрения, представляются в виде отдельных объектов. Однако они взаимосвязаны и могут комбинироваться множеством способов. В зависимости от приложения, некоторые будут присутствовать, другие — отсутствовать или присутствовать лишь частично.

Описание, сформированное с помощью средств MPEG-7, будет ассоциировано с самим материалом, чтобы позволить быстрый и эффективный поиск и фильтрацию материала, представляющего интерес для пользователя.

Данные MPEG-7 могут физически размещаться вместе с ассоциированным AВ-материалом (аудио-визуальным) в том же информационном потоке или в той же системе памяти, но описания могут также располагаться на другом конце света. Когда материал и его описания размещены не совместно, необходим механизм для соединения AВ-материала и его описаний MPEG-7; эти связи должны работать в обоих направлениях.

Тип материала и запрос могут не совпадать; например, визуальный материал может быть запрошен, используя визуальное содержимое, музыку, голос и т.д. Согласование данных запроса и описания MPEG-7 выполняется поисковыми системами и агентами фильтрации.

MPEG-7 применим ко многим различным приложениям в самых разных средах. Этот стандарт должен обеспечивать гибкую и масштабируемую схему описания аудио-визуальных данных. Следовательно, MPEG-7 не определяет монолитную систему описания материала, а предлагает набор методов и средств для различных подходов описания аудио-визуального материала. MPEG-7 сконструирован так, чтобы учесть все подходы, приспособленные к требованиям основных стандартов, таких как SMPTE Metadata Dictionary, Dublin Core, EBU P/Meta, и TV Anytime. Эти стандарты ориентированы на специфические приложения и области применения, в то время как MPEG-7 пытается быть как можно более универсальным.

MPEG-7 использует также схему XML в качестве языка выбора текстуального представления описания материала.

Главными элементами стандарта MPEG-7 являются:

• Дескрипторы (D). Представление характеристик, которые определяют синтаксис и семантику представления каждой из характеристик.
• Схемы описания DS (Description Scheme), которые специфицируют структуру и семантику взаимодействия между компонентами. Эти компоненты могут быть дескрипторами и схемами описания.
• Язык описания определений DDL (Description Definition Language), позволяющий создавать новые схемы описания и, возможно, дескрипторы и обеспечивающий расширение и модификацию существующих схем описания,
• Системные средства служат для поддержки мультиплексирования описаний, синхронизации описаний и материала, механизмов передачи, кодовых представлений (как текстуальных, так и двоичных форматов) для эффективной записи и передачи, управления и защиты интеллектуальной собственности в описаниях MPEG-7.

MPEG-7 относится к приложениям, которые могут осуществлять запись (или реализовать поточную передачу, например, производить широковещательную пересылку в Интернет), и могут работать как в реальном масштабе времени, так и off-line. Среда реального времени в данном контексте означает, что описание генерируется в процессе приема материала.

На рис. 6.15 показана блок-схема системы обработки данных MPEG-7. Чтобы полностью использовать возможности описаний MPEG-7, автоматическое извлечение характеристик (или дескрипторов) может оказаться особенно заметным. Ясно также, что автоматическое извлечение не всегда возможно. Как было указано ранее, чем выше уровень абстракции, тем труднее автоматическое извлечение характеристик и тем полезнее интерактивные средства.

Рис. 6.15. Область MPEG-7.

Чтобы улучшить понимание терминологии, введенной выше (т.e. дескриптор, схема описания и DDL), рассмотрим рис. 6.16 и рис. 6.17.

На рис. 6.16 продемонстрирована масштабируемость рассмотренной концепции. Более того, там показано, что DDL предоставляет механизм построения схемы описания, которая в свою очередь образует основу для формирования описания (см. также рис. 6.17).

Овалами обозначены средства, которые выполняют операции, такие как кодирование или декодирование, в то время как прямоугольниками отмечены статические элементы, такие как описания. Пунктирный контур на рисунке имеет нормативный элемент стандарта MPEG-7.

Главной задачей MPEG-7 будет предоставление новых решений для описания аудио-визуального материала. Таким образом, чисто текстовые документы не являются объектами MPEG-7. Однако аудио-визуальный материал может содержать и сопряженный с ним текст. MPEG-7 будет, следовательно, рассматривать и поддерживать существующие решения, разработанные другими организациями стандартизации для текстовых документов.

Рис. 6.16. Взаимодействие различных элементов MPEG-7

Рис. 6.17. Абстрактное представление возможных приложений на основе MPEG-7

Помимо самих дескрипторов, на рабочие характеристики системы довольно сильно влияют DB-структуры. Чтобы быстро решить, представляет ли данный материал какой-то интерес, нужно структурировать индексную информацию, например, иерархическим или ассоциативным способом.

Элементы, которые стандартизует MPEG-7, будут поддерживать широкий диапазон приложений (например, мультимедийные цифровые библиотеки, выбор широковещательного медийного материала, мультимедийное редактирование, домашние устройства для развлечений и т.д.).

MPEG-7 сделает мультимедийный поиск в WEB столь же простым, как и текстовый.

Это станет применимо для огромных архивов, которые будут доступны для широкой публики, это придаст новый стимул электронной торговле, так как покупатели смогут искать нужный товар по видеообразцам.

Информация, используемая для извлечения материала, может также применяться агентами для отбора и фильтрации широковещательного материала или целевой рекламы. Кроме того, описания MPEG-7 позволят быстрые и эффективные с точки зрения затрат полуавтоматические презентации и редактирование.

Все области применения, базирующиеся на мультимедиа, выиграют от использования MPEG-7. Ниже предлагается список возможных приложений MPEG-7, которые любой из читателей без труда сможет дополнить.

• Архитектура, недвижимость и интерьерный дизайн (например, поиск идей).
• Выбор широковещательного медийного канала (например,радио, TV).
• Услуги в сфере культуры (исторические музеи, картинные галереи и т.д.).
• Цифровые библиотеки (например, каталоги изображений, музыкальные словари, биомедицинские каталоги изображений, фильмы, видео- и радиоархивы).
• E-коммерция (например, целевая реклама, каталоги реального времени, каталоги электронных магазинов).
• Образование (например, депозитарии мультимедийных курсов, мультимедийный поиск дополнительных материалов).
• Домашние развлечения (например, системы управления личной мультимедийной коллекцией, включая манипуляцию содержимым — редактирование домашнего видео, поиск игр, караоке).
• Исследовательские услуги (например, распознавание человеческих особенностей, экспертизы).
• Журналистика (например, поиск речей определенного политика, используя его имя, его голос или его лицо).
• Мультимедийные службы каталогов (например, "Желтые страницы", туристская информация, географические информационные системы).
• Мультимедийное редактирование (например, персональная электронная служба новостей, персональная медийная среда для творческой деятельности).
• Удаленное опознавание (например, картография, экология, управление природными ресурсами).
• Осуществление покупок (например, поиск одежды, которая вам нравится).
• Надзор (например, управление движением, транспортом, неразрушающий контроль в агрессивной среде).

В принципе, любой тип аудио-визуального материала может быть получен с помощью любой разновидности материала в запросе. Это означает, например, что видеоматериал может быть запрошен с помощью видео, музыки, голоса и т.д. Ниже приведены примеры запросов.

• Проиграйте несколько нот на клавиатуре — и получите список музыкальных отрывков, сходных с проигранной мелодией, или изображений, соответствующих некоторым образом нотам, например, в эмоциональном плане.
• Нарисуйте несколько линий на экране — и найдете набор изображений, содержащих похожие графические образы, логотипы, идеограммы.
• Определите объекты, включая цветовые пятна или текстуры — и получите образцы, среди которых вы выберете интересующие вас объекты.
• Опишите действия — и получите список сценариев, содержащих эти действия.
• Используя фрагмент голоса Паваротти, получите список его записей, видеоклипов, где Паваротти поет, и графический материал, имеющий отношение к этому певцу.

Метод разработки совместим с тем, что регламентировано в предыдущих стандартах MPEG. Работа над MPEG обычно выполнялась в три этапа: определение, соревнование и сотрудничество. На первой фазе определяется область действия и требования, предъявляемые к стандарту MPEG-7. На следующем этапе участники работают над различными технологиями самостоятельно. Результатом этого этапа является выработка документа CfP (Call for Proposals). В разработке стандарта участвовало около 60 коллективов, было получено 400 предложений.

Выбранные элементы различных предложений на завершающей фазе инкорпорированы в общую модель (eXperimentation Model или XM ) стандарта. Целью являлось построение наилучшей модели, которая по существу представляла собой проект стандарта. На завершающей фазе XM последовательно актуализовалась до тех пор, пока MPEG-7 в октябре 2000 года не достиг уровня CD (Committee Draft). Дальнейшее усовершенствование XM осуществлялось посредством базовых экспериментов ( CE — Core Experiments). CE призваны протестировать существующие средства с учетом новых возможностей и предложений. Наконец все части XM (или рабочего проекта), которые соответствуют нормативным элементам MPEG-7, были стандартизованы.

Стандарт MPEG-7 состоит из следующих частей:

1. Системы MPEG-7. Средства, которые необходимы при подготовке описаний MPEG-7 для эффективной передачи и записи и для обеспечения синхронизации между материалом и описаниями. Эти средства имеют также отношение к охране интеллектуальной собственности.
2. Язык описания определений MPEG-7. Язык для определения новых схем описания и, возможно, новых дескрипторов.
3. MPEG-7 Audio — дескрипторы и схемы описания, имеющие отношение исключительно к описанию аудиоматериала.
4. MPEG-7 Visual — дескрипторы и схемы описания, имеющие отношение исключительно к описанию визуального материала.
5. MPEG-7 Multimedia Description Schemes — дескрипторы и схемы описания, имеющие отношение к общим характеристикам описаний мультимедиа.
6. MPEG-7 Reference Software — программные реализации соответствующих частей стандарта MPEG-7.
7. MPEG-7 Conformance — базовые принципы и процедуры тестирования рабочих характеристик практических реализаций MPEG-7.

Главные функции MPEG-7

Системы MPEG-7

Системы MPEG-7 будут включать в себя средства, которые необходимы для подготовки описаний MPEG-7 для эффективной транспортировки и запоминания, а также позволяют синхронизовать мультимедийный материал и описания и средства, сопряженные с управлением и защитой интеллектуальной собственности. Стандарт определяет архитектуру терминала и нормативных интерфейсов.

Язык описания определений MPEG-7

Согласно определению, в MPEG-7 язык описания определений DDL (Description Definition Language) представляет собой:

"...язык, который позволяет формировать новые схемы описания и, возможно, дескрипторы. Он также позволяет расширение и модификацию существующих схем описания".

В качестве основы DDL был выбран язык XML. Как следствие, DDL может быть поделен на следующие логические нормативные компоненты:

• структурная схема языковых компонентов XML;
• компоненты типа данных схемы;
• специфические расширения MPEG-7.

Аудио MPEG-7

Окончательный проект аудио MPEG-7 представляет шесть технологий: система аудиоописаний (которая включает в себя дерево шкал и низкоуровневые дескрипторы), средства описания звуковых эффектов, средства описания тембра инструмента, описание голосового материала, сегмент молчания и дескрипторы мелодии, облегчающие обработку запросов.

Визуальный MPEG-7

Средства визуального описания MPEG-7, включенные в CD/XM, состоят из базовых структур и дескрипторов, которые задают следующие визуальные характеристики:

• цвет;
• текстура;
• форма;
• движение;
• локализация;
• прочие.

Каждая категория состоит из элементарных и составных дескрипторов.

Основные объекты и схемы описания мультимедиа MPEG-7

Базисом схем описания мультимедиа MDS (Multimedia Description Schemes) является стандартизация набора средств описания ( дескрипторы и схемы описания ), имеющих дело с общими и мультимедийными объектами.

Общими объектами являются характеристики, которые используются в аудио-, видео- и текстовых описаниях и, следовательно, характеризуют все медийные типы материала. Такими характеристиками могут быть, например, вектор, время и т.д.

Помимо этого набора общих средств описания, стандартизованы более сложные описания. Они используются, когда нужно определить более одного вида медийного материала (например, аудио и видео). Эти средства описания могут быть сгруппированы в 5 различных классов согласно их функциональному предназначению.

1. Описание материала: представление воспринимаемой информации.
2. Управление материалом: информация о характере медийного материала, формирование и использование АВ материала.
3. Организация материала: представление анализа и классификации нескольких AВ материалов.
4. Поиск и доступ: спецификация кратких характеристик и изменений АВ-материала.
5. Взаимодействие с пользователем: описание предпочтений пользователя и истории использования мультимедийного материала.

Эталонные программы MPEG-7: модель экспериментов (eXperimentation Model)

Программное обеспечение модели XM (eXperimentation Model) представляет собой систему моделирования для дескрипторов MPEG-7 (D), схем описания (DS), схем кодирования (CS), языка описания определений (DDL). Кроме нормативных компонентов, системе моделирования необходимы некоторые дополнительные элементы, существенные при исполнении некоторых процедурных программ. Структуры данных и процедурные программы образуют приложения. Приложения XM имеют две разновидности: приложения клиента и сервера.

Детальное техническое описание стандарта MPEG-7

Системы MPEG-7

Системы MPEG-7 в настоящее время определяют архитектуру терминала и нормативных интерфейсов.

Архитектура терминала

Представление информации, специфицированное в стандарте MPEG-7, определяет средства описаний кодированного мультимедийного материала. Объект, который использует такое кодовое представление мультимедийного материала, называется "терминалом". Этот терминал может соответствовать отдельно стоящему приложению или быть целой прикладной системой. Архитектура такого терминала изображена на рис. 4.4, а его работа описана ниже.

В нижней части рис. 6.18 размещена система передачи/записи. Это относится к нижнему уровню инфраструктуры доставки (сетевой уровень и ниже). Эти уровни передают мультиплексированные потоки данных уровню доставки. Транспортная среда MPEG-7 базируется на многих системах доставки данных. Они включают в себя, например, транспортные потоки MPEG-2, IP или MPEG-4 (MP4) файлы или потоки. Уровень доставки реализует механизмы, позволяющие выполнять синхронизацию, формирование кадров и мультиплексирование материала MPEG-7. Материал MPEG-7 может быть доставлен независимо или вместе с данными, которые он описывает. Архитектура MPEG-7 позволяет передавать данные (например, запросы) назад из терминала к отправителю или серверу.

Рис. 6.18. Архитектура MPEG-7

Уровень доставки предоставляет уровню сжатия MPEG-7 элементарные потоки. Элементарные потоки MPEG-7 состоят из последовательности индивидуально доступных порций данных, называемых блоками доступа (Access Units). Блок доступа является наименьшим информационным объектом, к которому может относиться временная информация. Элементарные потоки MPEG-7 содержат данные различной природы:

• схемная информация: эта информация определяет структуру описания MPEG-7;
• информация описаний: эта информация является либо полным описанием мультимедийного материала, либо фрагментами такого описания.

Уровень доставки приложения может также по запросу доставлять мультимедийный материал. Для этих целей могут использоваться существующие средства доставки.

Данные MPEG-7 могут быть представлены в текстовом, в двоичном формате, или в виде комбинации этих форматов, в зависимости от типа приложения. MPEG-7 определяет однозначную связь между двоичным и текстовым форматами. Возможно установление двухсторонней однозначной связи между текстовым и двоичным представлениями. Следует заметить, что это не всегда доступно: некоторые приложения могут не захотеть передавать всю информацию, содержащуюся в текстовом представлении, и могут предпочесть использовать более эффективную с точки зрения полосы двоичную кодировку с потерями.

Синтаксис текстуального формата определен в части 2 (DDL — Description Definition Language) стандарта. Синтаксис двоичного формата (BiM — двоичный формат для данных MPEG-7) определен в части 1 (системы) стандарта. Схемы определены в частях 3, 4 и 5 (визуальная, аудио- и схемы описания мультимедиа) стандарта.

На уровне компрессии производится разборка потока блоков доступа (текстуальных или двоичных), а описания материала реконструируются. MPEG-7 не препоручает реконструкцию текстуального представления в качестве промежуточного шага декодирующему процессу. Двоичный поток MPEG-7 может быть разобран с помощью BiM, передан в текстовом формате и затем в этом виде транспортирован для последующей реконструкционной обработки, или двоичный поток может быть разобран, а затем передан в подходящем формате для последующей обработки.

Блоки доступа MPEG-7 далее структурируются как команды, в которые инкапсулированы схемы описания. Команды придают материалу MPEG-7 динамический вид. Они позволяют пересылать описания одним куском или в виде небольших фрагментов. Команды делают возможными базовые операции с материалом MPEG-7, такие как актуализация дескриптора, удаление части описания или добавление новой структуры DDL. На реконструкционном этапе уровня компрессии выполняется актуализация описания и соответствующих схем посредством указанных команд.

Нормативные интерфейсы

MPEG-7 имеет два нормативных интерфейса, как это показано на рис. 6.19.

• Материал: это данные, которые должны быть представлены согласно формату, описанному в данной спецификации. Под материалом подразумеваются сами медийные данные либо их описание.
• Двоичный/текстовый кодировщик MPEG-7: программа, осуществляющая преобразование материала к формату, который согласуется с данной спецификацией. Это может включать комплексное преобразование материала с целью извлечения деталей.
• Интерфейс текстового формата. Этот интерфейс описывает формат текстуальных блоков доступа. Текстовый декодер MPEG-7 воспринимает поток таких блоков доступа и реконструирует описание материала нормативным способом.
• Интерфейс двоичного формата. Этот интерфейс описывает формат двоичных блоков доступа. Двоичный декодер MPEG-7 воспринимает поток таких блоков доступа и реконструирует описание материала нормативным способом.
• Двоичный/текстовый декодер MPEG-7. Программа, осуществляющая преобразование материала к формату, который согласуется с данной спецификацией.

Рис. 6.19. Нормативные интерфейсы MPEG-7

Далее описывается, как проверяется то, что двоичное и текстуальное представление являются адекватными одному и тому же материалу. Этот процесс представлен на рис. 6.20.

Рис. 6.20. Процесс верификации

Кроме описанных, процесс валидации включает определение канонического представления описания материала. В каноническом пространстве описания материала могут быть сравнены. Процесс валидации работает следующим образом:

1. описание материала преобразуется в текстуальный и двоичный форматы без потерь, генерируя два разных представления одного и того же материала;
2. эти два кодированных описания декодируются соответствующими двоичным и текстовым декодерами;
3. из реконструированных описаний материала генерируются два канонических описания;
4. два канонических описания должны быть эквивалентны.

Описание канонической презентации XML-документа определено в Canonical XML.