Способ и устройство передачи/приема мультимедиа-содержимого в системе мультимедиа
Изобретение относится к способу и устройству передачи и/или приема мультимедиа-содержимого с использованием различных блоков передачи и технологии по стандарту передачи мультимедиа Экспертной группы по киноизображению (MPEG MMT). Техническим результатом является обеспечение эффективной передачи и/или приема мультимедиа-содержимого с использованием различных блоков передачи. Предложены способ и устройство передачи мультимедиа-содержимого в системе мультимедиа. Способ включает в себя этапы: определяют блок передачи для передачи по меньшей мере одного источника мультимедиа, относящегося к мультимедиа-содержимому, формируют поток данных, включающий в себя информацию заголовка и по меньшей мере один источник мультимедиа согласно определенному блоку передачи, причем блок данных включает в себя по меньшей мере один подблок, который содержит значение счетчика, указывающее количество по меньшей мере одного следующего подблока, и каждый блок данных обрабатывается независимо; и передают поток данных по сети связи. 2 н. и 10 з.п. ф-лы, 9 ил., 1 табл.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к способу и устройству передачи и/или приема мультимедиа-содержимого в системе мультимедиа. Более конкретно, настоящее изобретение относится к способу и устройству передачи и/или приема мультимедиа-содержимого с использованием различных блоков передачи.
УРОВЕНЬ ТЕХНИКИ
Ввиду увеличения объема мультимедиа-содержимого, доступного через Интернет и сети связи, а также новейших технологических разработок, гибридное мультимедиа-содержимое, включающее в себя различные виды мультимедиа-содержимого, публикуется для просмотра, прослушивания, использования и потребления при одновременном использовании одного или двух или более источников мультимедиа. Гибридное мультимедиа-содержимое может включать в себя различные виды мультимедиа-содержимого. Гибридное мультимедиа-содержимое формируется разделением гибридного мультимедиа-содержимого на отдельные виды мультимедиа-содержимого.
Например, гибридное мультимедиа-содержимое может быть реализовано посредством приложения, такого как виджет для построения изображения, которое представляет собой гибридное мультимедиа-содержимое, включающее в себя видеоданные, данные изображения, голосовые данные и конкретное движущееся изображение, и которые формируются способом кодирования сигнала изображения, способом кодирования голосового сигнала, способом сжатия файлов или другими подобными способами формирования данных в соответствии с характеристикой каждого мультимедиа-объекта, а соответствующее мультимедиа-содержимое преобразуется в виде гибридного мультимедиа-содержимого на принимающей стороне.
Как описано выше, обычное гибридное мультимедиа-содержимое разделяется на множество видов мультимедиа-содержимого на передающей стороне и передается в принимающую сторону в разделенном виде. Принимающая сторона формирует гибридное мультимедиа-содержимое путем преобразования множества видов разделенного мультимедиа-содержимого. Использование гибридного мультимедиа-содержимого обеспечивается посредством разделения на множество разделенных видов мультимедиа-содержимого и преобразования упомянутого множества. Однако из-за увеличения использования гибридного мультимедиа-содержимого необходим способ более эффективного формирования и передачи и/или приема гибридного мультимедиа-содержимого.
В связи с этим, существует потребность в системе и способе выполнения самодиагностики устройства без неудобств, связанных с ручным выбором элемента самодиагностики с компьютера или пользовательского интерфейса.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ЗАДАЧА
Аспекты настоящего изобретения призваны решить по меньшей мере вышеуказанные проблемы и/или устранить недостатки и обеспечить по меньшей мере преимущества, описанные ниже. Соответственно, аспект настоящего изобретения состоит в создании способа и устройства эффективной передачи и/или приема мультимедиа-содержимого с использованием различных блоков передачи.
Другой аспект настоящего изобретения состоит в создании способа и устройства передачи и/или приема гибридного мультимедиа-содержимого, включающего в себя различные данные мультимедиа, с использованием блока передачи, подходящего для соответствующих данных мультимедиа.
РЕШЕНИЕ ЗАДАЧИ
В соответствии с аспектом настоящего изобретения предложен способ передачи мультимедиа-содержимого в системе мультимедиа. Способ включает в себя этапы, на которых определяют блок передачи для передачи по меньшей мере одного источника мультимедиа, относящегося к мультимедиа-содержимому, формируют поток данных, включающий в себя информацию заголовка и по меньшей мере один источник мультимедиа, согласно определенному блоку передачи, и передают сформированный поток данных по сети связи.
В соответствии с другим аспектом настоящего изобретения предложено устройство передачи мультимедиа-содержимого в системе мультимедиа. Устройство включает в себя блок передачи для передачи потока данных по сети связи и контроллер для определения блока передачи для передачи по меньшей мере одного источника мультимедиа, относящегося к мультимедиа-содержимому, для формирования потока данных, включающего в себя информацию заголовка и по меньшей мере один источник мультимедиа, согласно определенному блоку передачи, и для управления передачей сформированного потока данных.
В соответствии с другим аспектом настоящего изобретения предложен способ приема мультимедиа-содержимого в системе мультимедиа. Способ включает в себя этапы, на которых принимают поток данных мультимедиа-содержимого по сети связи и определяют блок передачи для мультимедиа-содержимого, идентифицируют информацию заголовка согласно определенному блоку передачи и декодируют мультимедиа-содержимое, включающее в себя по меньшей мере один источник мультимедиа, согласно идентифицированной информации заголовка.
В соответствии с другим аспектом настоящего изобретения предложено устройство приема мультимедиа-содержимого в системе мультимедиа. Способ включает в себя приемный блок для приема потока данных мультимедиа-содержимого по сети связи и контроллер для определения блока передачи для мультимедиа-содержимого, для идентификации информации заголовка согласно определенному блоку передачи, и для декодирования мультимедиа-содержимого, включающего в себя по меньшей мере один источник мультимедиа, согласно идентифицированной информации заголовка.
Другие аспекты, преимущества и характерные признаки изобретения станут ясны специалисту в области техники из нижеследующего подробного описания, которое в сочетании с приложенными чертежами раскрывает примерные варианты выполнения изобретения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Вышеуказанные и другие аспекты, признаки и преимущества некоторых примерных вариантов выполнения настоящего изобретения станут более ясны из нижеследующего описания в сочетании с сопровождающими чертежами, на которых:
Фиг. 1 представляет собой схему, иллюстрирующую многоуровневую структуру обработки гибридного мультимедиа-содержимого в стандарте передачи мультимедиа Экспертной группы по киноизображению (MPEG MMT) согласно примерному варианту выполнения настоящего изобретения.
Фиг. 2 представляет собой схему, иллюстрирующую структуру заголовка мультимедиа-блока (M-Unit) согласно примерному варианту выполнения настоящего изобретения.
Фиг. 3 представляет собой схему, иллюстрирующую структуру заголовка ресурса согласно примерному варианту выполнения настоящего изобретения.
Фиг. 4 представляет собой блок-схему, иллюстрирующую структуру передающего устройства для формирования и передачи мультимедиа-содержимого согласно примерному варианту выполнения настоящего изобретения.
Фиг. 5 представляет собой блок-схему, иллюстрирующую структуру приемного устройства для приема мультимедиа-содержимого согласно примерному варианту выполнения настоящего изобретения.
Фиг. 6 представляет собой схему, иллюстрирующую видеокадр, конфигурированный из множества серий последовательных макроблоков, согласно примерному варианту выполнения настоящего изобретения.
Фиг. 7 представляет собой блок-схему, иллюстрирующую структуру системы передачи мультимедиа-содержимого с использованием различных блоков передачи согласно примерному варианту выполнения настоящего изобретения.
Фиг. 8 представляет собой схему, иллюстрирующую структуру блока фрагмента мультимедиа (MFU) согласно примерному варианту выполнения настоящего изобретения.
Фиг. 9 представляет собой схему, иллюстрирующую структуру M-Unit согласно примерному варианту выполнения настоящего изобретения.
Следует отметить, что на всех чертежах одинаковые ссылочные позиции используются для изображения одинаковых или подобных элементов, признаков и структур.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Нижеследующее далее описание со ссылкой на сопровождающие чертежи приведено для содействия полному пониманию примерных вариантов выполнения изобретения, которые определены формулой изобретения, и их эквивалентов. Оно включает в себя различные конкретные подробности для содействия этому пониманию, но их следует рассматривать лишь в качестве примерных. Соответственно, специалисту в данной области техники будет понятно, что могут быть выполнены различные изменения и преобразования описанных здесь вариантов выполнения, не выходящие за рамки объема правовой охраны и изобретательского замысла. Кроме того, для ясности и краткости могут быть исключены описания хорошо известных функций и конструкций.
Выражения и понятия, используемые в следующих далее описании и формуле изобретения, не ограничены их библиографическими смыслами, а использованы авторами изобретения лишь для обеспечения ясного и правильного понимания изобретения. Соответственно, специалисту в области техники должно быть ясно, что нижеследующее описание примерных вариантов выполнения настоящего изобретения приведено исключительно для наглядности, но не с целью ограничения изобретения, которое определено приложенной формулой изобретения и ее эквивалентами.
Далее примерные варианты выполнения настоящего изобретения будут описаны на основании технологии по стандарту передачи мультимедиа Экспертной группы по киноизображению (MPEG MMT)в числе технологий, в которых могут быть применены примерные варианты выполнения настоящего изобретения. Однако настоящее изобретение не ограничено данной технологией, и примерные варианты выполнения настоящего изобретения могут быть применены к любой пригодной или подобной технологии или стандарту связи.
Фиг. 1 представляет собой схему, иллюстрирующую многоуровневую структуру обработки гибридного мультимедиа-содержимого в MMT согласно примерному варианту выполнения настоящего изобретения.
Со ссылкой на Фиг. 1 показана структура уровня E, и уровень Е включает уровень 105 E.3 MMT, уровень 107 E.2 MMT и уровень 109 E.1 MMT.
Мультимедиа-кодек A 101 и мультимедиа-кодек В 103 представляют собой уровни мультимедиа-кодека для декодирования и/или кодирования данных мультимедиа. Мультимедиа-кодек A 101 и мультимедиа-кодек В 103 могут иметь различные функции. Например, блок уровня сетевой адаптации (NAL) для обеспечения характеристической информации, сигнальной информации для декодирования и другой подобной информации о данных мультимедиа вместе с данными мультимедиа, включающими в себя сжатые цифровые видеоданные, как управляющая информация, представляет собой выходной сигнал кодера в кодеке H.264 (не показан), а данные мультимедиа, такие как сжатые цифровые видеоданные, представляют собой выходной сигнал кодера в кодеке H.262 (не показан). Кодирование в H.264 может быть выполнено в мультимедиа-кодеке В 103, а кодирование в H.262 может быть выполнено в мультимедиа-кодеке A 101. Однако настоящее изобретение этим не ограничено, и кодирование в H.264 может быть выполнено в мультимедиа-кодеке A 101.
То есть мультимедиа-кодек С 103 способен выполнять кодирование данных мультимедиа, к которым добавлена управляющая информация, такая как характеристическая информация и сигнальная информация, а мультимедиа-кодек A 101 способен выполнять кодирование только данных мультимедиа.
Как показано на Фиг. 1, уровень 105 E.3 MMT добавляет управляющую информацию, такую как характеристическая информация и сигнальная информация, требуемую для декодирования, соответствующего данным мультимедиа, к кодируемым данным мультимедиа, переносимым от мультимедиа-кодека A 101, и передает данные мультимедиа уровню 107 E.2 MMT. В таком случае информация об уровне 105 E.3 MMT содержит заголовок блока NAL и данные блока NAL и дополнительно включает в себя дополнительную информацию заголовка.
Фиг. 6 иллюстрирует видеокадр, конфигурированный из множества серий последовательных макроблоков видеоданных согласно примерному варианту выполнения настоящего изобретения.
Как показано на Фиг. 6, структура видеокадра представлена для одного кадра, отображаемого в виде одного видеоизображения в конкретный момент времени, и включает в себя множество серий 601-613 последовательных макроблоков. Более подробно, одно видеоизображение кодировано в семь небольших блоков, которые представляют собой серии 601, 603, 605, 607, 609, 611 и 613 последовательных макроблоков.
То есть множество серий 601-613 последовательных макроблоков включены в кадр, отображаемый в одном видеоизображении. Множество серий 601-613 последовательных макроблоков могут быть размещены последовательно слева направо, как проиллюстрировано на Фиг. 6, а могут быть размещены с сверху вниз при заполнении кадра, или могут быть размещены любым другим пригодным образом. Например, множество серий последовательных макроблоков, включенных в один кадр, могут заполнять кадр различными комбинациями в направлении слева или справа направо или налево или снизу или сверху вверх или вниз. Множество серий 601-613 последовательных макроблоков могут иметь различные длины.
Кадр, имеющий структуру по Фиг. 6, может быть конфигурирован в виде мультимедиа-блока (M-Unit или MU), который представляет собой один из блоков передачи гибридного мультимедиа-содержимого, включающих в себя по меньшей мере одну часть информации, такую как управляющая информация и среди информации о времени, уровне важности и различной функциональной информации, такой как описываемая точка произвольного доступа. Кроме того, каждая из серий 601-613 последовательных макроблоков, включенных в кадр, является независимо декодируемой и может быть конфигурирована в виде блока фрагмента мультимедиа (MFU).
Кроме того, M-Unit может быть определен как независимо функционирующий блок, такой как кадр наибольшей группы, или, другими словами, группа изображений (GoP), в которой данные имеют подчиненные записываемые блоки данных. Согласно представленному примерному варианту выполнения, когда MFU соответствует одной серии последовательных макроблоков внутри кадра, один кадр конфигурируется как один M-Unit. Кроме того, когда MFU соответствует одному кадру, M-Unit конфигурируется как GoP, которая представляет собой отдельный блок декодирования.
Учитывая систему широковещательной передачи мультимедиа следующего поколения, видеокадр может включать в себя MFU, который представляет собой минимальный блок декодирования, и M-Unit, который представляет собой блок декодирования, включающий в себя управляющую информацию. Более того, M-Unit может включать в себя один MFU, фрагментированные MFU или группу MFU. Декодер может управлять управляющей функцией каждого минимального блока структуры на основании управляющей информации.
Также MFU представляет собой минимальный блок данных, вводимый в уровень 105 E.3 MMT (см. Фиг. 1), а M-Unit представляет собой выводимый блок данных уровня 105 E.3 MMT, включающий в себя управляющую информацию, такую как информация о времени. Соответственно, представленный примерный вариант выполнения обеспечивает конфигурацию эффективных данных мультимедиа-содержимого для передачи и хранения в системе широковещательной передачи мультимедиа следующего поколения с использованием структурированных MFU или M-Unit.
MFU согласно настоящему примерному варианту выполнения представляет собой блок минимальной конфигурации для конфигурирования данных мультимедиа-содержимого и включает в себя информацию о структуре данных мультимедиа-содержимого. Информация о конфигурации включает в себя по меньшей мере один идентификатор, указывающий начальную точку, центральную точку и конечную точку соответствующих данных мультимедиа-содержимого, и указывающий на отсутствие разделения данных, установочную информацию для установки мультимедиа-кодека, информацию о типе, указывающую тип данных, представляющих информацию о формате кодируемого объекта мультимедиа, информацию о приоритете данных мультимедиа-содержимого, информацию о точке, указывающую начальную точку данных мультимедиа-содержимого, информацию о размере данных мультимедиа-содержимого и информацию, указывающую конкретную информацию об уровневом кодировании и многовидовом мультимедиа-кодеке. Размер блока MFU может указывать на размер отдельно кодируемого и/или декодируемого блока. Например, видеоданные могут быть фрагментированы на изображение, серию последовательных макроблоков и блок доступа на основании блока данных из макроблока, который представляет собой минимальный блок кодирования и/или декодирования мультимедиа-кодека.
Фиг. 8 представляет собой схему, иллюстрирующую структуру MFU согласно примерному варианту выполнения настоящего изобретения.
Как показано на Фиг. 8, настоящее изобретение не ограничено примерным вариантом выполнения по Фиг. 8 и проиллюстрированной структурой MFU, и MFU может быть конфигурирован в виде множества пригодных конструкций и типов.
Дополнительная информация заголовка, а также информация о конфигурации MFU, которая представляет собой информацию о блоке, включенную в выводимый блок данных кодирования мультимедиа, включает в себя по меньшей мере одно из информационных полей 801-809 относительно MFU. Информационные поля 801-809 более подробно описаны ниже.
Индикатор 801 MFU включает в себя информацию о конфигурации MFU и указывает информацию флага, указывающую на то, фрагментированы ли данные MFU, и также указывает начальный блок, продолжающийся блок или последний блок из числа MFU. Тип 802 данных указывает тип данных MFU и представляет собой информацию, указывающую атрибут соответствующих данных MFU. Например, тип 802 данных может указывать тип данных для установки информации о мультимедиа-кодеке, информации прогнозирования хода кодирования, кодируемых данных, информации о конфигурации кодируемых данных и других подобных данных.
Порядковый номер 803 декодирования используется для указания, когда продолжается информация флага о фрагментированном MFU. MFU имеет возрастающий номер, который представляет собой информацию о порядке, указывающую порядок использования соответствующего MFU. Кроме того, клиентский терминал может использовать возрастающий номер, который представляет собой информацию о порядке, указывающую порядок использования соответствующего MFU в виде информации о порядке декодирования. Байтовое смещение 804 данных указывает фактическое положение, которое представляет собой начало данных мультимедиа. Длина 805 представляет собой информацию, указывающую длину данных мультимедиа.
Приоритет (Р) 806 представляет собой информацию, которая указывает значение приоритета MFU. Например, когда приоритет 806 равен «0», это указывает на то, что соответствующий MFU не имеет приоритетных данных, а когда приоритет 806 равен «1», соответствующий MFU имеет приоритетные данные. В случае параметра заголовка NAL для объекта мультимедиа приоритет 806 может быть установлен в «1». Приоритет 806 указывает на то, что данные, фрагментированные внутри одного мультимедиа-блока, представляют собой приоритетные данные, так что декодирование может быть прервано при потере приоритетной информации.
Счетчик 807 зависимости указывает значение счетчика зависимых MFU внутри отдельно кодируемого и/или декодируемого блока. Например, когда значение счетчика зависимости равно «4», это значит, что четыре следующих MFU являются зависимыми от соответствующих данных MFU. Например, когда имеются четыре коррелированных MFU в MFU, имеющем счетчик зависимости «4», первый MFU имеет значение счетчика «3», второй MFU имеет значение счетчика «2», третий MFU имеет значение счетчика «1», а последний MFU имеет значение счетчика «0». Посредством использования счетчика зависимости может быть указана степень распространения ошибки, когда соответствующие данные MFU имеют ошибку.
Многоуровневая информация 808 указывает идентификатор основного объекта мультимедиа, идентификатор объекта мультимедиа расширенного уровня в многоуровневом видеокодировании, многовидовом кодировании мультимедиа, и другую подобную информацию. MFU относятся к информации о масштабируемом кодировании мультимедиа или многоуровневом кодировании мультимедиа. Дополнительная информация устройства мультимедиа-кодека (Mi) 809 представляет собой информацию, которую изменяют в соответствии с устройством в процессе кодирования с использованием соответствующего мультимедиа-кодека. Она отображает список или расширенную информацию о соответствующей информации при учете случая, когда изменяется информация о профиле и уровне соответствующего мультимедиа-кодека или изменяется тип кодека.
Кроме того, уровень 105 E.3 MMT формирует M-Unit для добавления управляющей информации, такой как характеристическая информация и сигнальная информация, требуемые для декодирования, о соответствующих данных мультимедиа к кодируемым данным мультимедиа, передаваемым от мультимедиа-кодека A 101, и передачи данных мультимедиа уровню 107 E.2 MMT. Пример управляющей информации, включенной в вышеупомянутый M-Unit, будет описан со ссылкой на Фиг. 9.
Фиг. 9 представляет собой схему, иллюстрирующую структуру блока M-Unit согласно примерному варианту выполнения настоящего изобретения.
Примерный вариант выполнения M-Unit и информационные поля 901-908 описаны ниже со ссылкой на Фиг. 9. Однако настоящее изобретение не ограничено этим, и M-Unit может быть конфигурирован множеством пригодных способов и типов.
Тип 901 представляет собой идентификатор M-Unit, указывающий информацию о конфигурации для M-Unit. Она представляет информацию флага, указывающую, включает ли M-Unit один MFU, фрагментированные MFU, группу MFU или множество блоков доступа (AU), а также информацию флага, дополнительно указывающую, каким является M-Unit - начальным блоком, продолжающимся блоком или последним блоком. Порядковый номер 902 указывает, когда продолжается информация флага. M-Unit имеет возрастающий номер, который представляет собой информацию о порядке его использования.
Смещение 903 данных, которое представлено в байтах, представляет собой информацию, которая указывает начальное положение данных мультимедиа для M-Unit, и может выражаться в длине информации заголовка для M-Unit. Информация 904 длины указывает длину данных мультимедиа для M-Unit. Информация 905 о времени указывает время воспроизведения M-Unit. Информация 905 о времени воспроизведения включает в себя информацию о времени декодирования, информацию о времени выражения и другую подобную информацию о времени, а способ выражения может включать в себя способ выражения информации о времени синхронизации сети и способ выражения информации о времени, ограниченном периодом.
Точка произвольного доступа (RAP) 906 указывает информацию о точке произвольного доступа для соответствующего M-Unit. Видеоданные, использующие RAP 906, могут обеспечивать функцию произвольного воспроизведения. В случае обеспечения RAP 906 M-Unit включает в себя по меньшей мере одну единицу информации RAP 906. Более того, когда M-Unit включает в себя по меньшей мере одну единицу информации RAP 906, RAP обеспечивает множество единиц информации о положении, соответствующей RAP. Учитывая обстоятельства, предусмотрен способ последовательного поиска соответствующей точки путем вставки кода распознавания RAP MFU.
Исходная информация 907 мультимедиа-кодека указывает информацию о значениях исходной установки мультимедиа-кодека. Исходная установка для декодирования в мультимедиа-кодеке может быть выполнена посредством соответствующей структурной информации.
Счетчик 908 может включать в себя информацию о допустимости множества MFU и количестве MFU/AU. Информация о допустимости множества MFU указывает, включают ли данные M-Unit в себя множество MFU или один MFU, и указывает количество MFU, если данные M-Unit включают в себя множество MFU. Количество MFU/AU указывает количество внутренних блоков данных, когда данные M-Unit включают в себя множество MFU или AU. Кроме того, MFU/AU обеспечивает соответствующую информацию о положении данных для доступа соответствующего MFU или AU. Кроме того, соответствующая информация о положении может быть найдена путем добавления индикатора для обеспечения соответствующей информации о положении к информации заголовка о MFU или AU и последовательного поиска соответствующей информации о положении.
Как описано выше, уровень 105 E.3 MMT (см. Фиг. 1) добавляет управляющую информацию к данным мультимедиа, таким как MFU, полученным из источника, причем MFU передается из мультимедиа-кодека A 101 и передает данные мультимедиа в уровень 107 E.2 MMT. Соответственно, уровень 107 E.2 MMT создает M-Unit путем агрегирования по меньшей мере одних данных мультимедиа, включающих в себя добавленную управляющую информацию.
Управляющая информация может классифицироваться на управляющую информацию о MFU и управляющую информацию о M-Unit. Кроме того, особая конфигурация информации каждой из управляющей информации о MFU и управляющей информации о M-Unit может быть конфигурирована в виде, описанном выше в отношении Фиг. 1, 6, 8 и 9. Кроме того, управляющая информация может быть добавлена к информации заголовка в различных формах. Примерный вариант выполнения конфигурации заголовка M-Unit будет описан ниже со ссылкой на Фиг. 1.
Уровень 107 E.2 MMT на Фиг. 1 формирует данные ресурса MMT, далее называемые ресурсом, путем агрегирования различных типов MFU, обеспеченных из одних или более данных мультимедиа из источников мультимедиа, и построения агрегированных MFU в M-Unit. Ресурс MMT строят в гибридное мультимедиа-содержимое путем приема ввода структуры блока в соответствии с атрибутами различных типов источников мультимедиа, т.е. данных мультимедиа, таких как видеоданные, аудиоданные, текстовые данные, файловые данные, данные виджета, данные приложения и другие подобные данные. Ресурс включает в себя одни или более данные M-Unit MMT, каждые из которых представляют собой M-Unit, который представляет собой группу вышеупомянутых блоков NAL таким образом, что данные M-Unit MMT отличаются друг от друга. Уровень 107 E.2 MMT формирует гибридное мультимедиа-содержимое в форме ресурса на основании информации, необходимой для передачи гибридного мультимедиа-содержимого или информации об атрибутах данных мультимедиа. Здесь «группа» может быть понята как блок кодируемой и/или декодируемой информации в системе мультимедиа.
M-Unit, который представляет собой группу данных, включающую в себя блоки информации, имеющие одинаковую характеристическую информацию, формируют путем добавления дополнительной характеристической информации, требуемой для формирования гибридного мультимедиа-содержимого, к данным блока NAL, который представляет собой выход вышеупомянутого кодера. Пример дополнительной характеристической информации включает в себя информацию без потерь, которая представляет собой характеристику данных файла или виджета, и информацию о допуске на потери и задержке, которая является характеристикой данных мультимедиа. Конфигурируется и формируется M-Unit, который представляет собой группу блоков с одинаковой характеристикой. Уровень 109 E.1 MMT на Фиг. 1 конфигурирует один или более ресурсов, переданных с уровня 107 E.2 MMT в виде пакета MMT, используемого пользователем.
Фиг. 2 представляет собой схему, иллюстрирующую структуру заголовка M-Unit согласно примерному варианту выполнения настоящего изобретения.
Поля, включаемые в заголовок M-Unit по Фиг. 2, будут описаны ниже со ссылкой на Фиг. 2.
Идентификатор (ID) M-Unit 201 представляет собой идентификатор для определения типа блоков M-Unit. Порядковый номер 203 указывает порядок в соответствии с функцией M-Unit. Порядковый номер 203 может быть использован для функции изменения порядка согласно времени воспроизведения объекта мультимедиа, например, согласно запросу на повторную передачу при потере передачи или ускоренному воспроизведению объекта мультимедиа и произвольному доступу.
Тип 205 указывает тип данных M-Unit. Тип 205 может указывать характеристическую информацию о группе данных и характеристику файла, учитывающую коэффициент потерь, информацию о задержке для воспроизведения объекта мультимедиа или другие подобные характеристики и информацию. Хотя это не показано на Фиг. 2, полезная нагрузка, на которую загружены данные M-Unit, включена с обратной стороны или после заголовка таким образом, что могут быть переданы данные мультимедиа, имеющие различные источники, такие как видео, аудио, текст, файл или виджет. Соответственно, тип 205 может указывать тип содержимого, передаваемого вместе с заголовком M-Unit.
Тип 205 может включать в себя трехзначное поле, указывающее тип таким образом, что 000 указывает на видеоданные H.264, 001 указывает на аудиоданные AAC, 002 указывает на текст, 003 указывает на приложение, 004 указывает на веб-страницы, 005 указывает на сигнализацию для кодека, 006 обозначает сигнализацию для композиции, а 007 зарезервировано для будущего использования. Тип подходящего содержимого может быть указан поставщиком гибридного мультимедиа-содержимого путем использования заданного значения в пределах определенного диапазона. Другим примером типа 205 может быть случай, когда 000 указывает на I-кадр H.264, 001 указывает на B-кадр H.264 и 002 указывает на Р-кадр H.264 и может быть использован для способа присвоения приоритета различным источникам конкретных данных мультимедиа. Качество обслуживания (QoS) может быть учтено при передаче данных мультимедиа на основании приоритета.
Флаг 207 блока фрагмента (FU) указывает информацию о непрерывных M-Unit. Значение флага FU указывает, каким является соответствующий M-Unit - объединенным, фрагментированным или представляет собой один M-Unit. Флаг 209 времени указывает на то, что соответствующий M-Unit включает в себя информацию о времени. GoP 211 указывает на то, что соответствующий M-Unit включает в себя информацию о его блоке GoP. При включении GoP 211 значение GoP 211 указывает на то, что соответствующий M-Unit имеет один AU или множество AU. Диапазон MFU, хотя он не показан на Фиг. 2, указывает значение группы MFU. Набор пространственных параметров (SPS) 213 указывает на то, что M-Unit включает в себя информацию о наборе пространственных параметров. SPS 213 указывает информацию о пространственном положении, в котором отображаются данные соответствующего M-Unit. Набор параметров представления (PPS) 215 указывает на то, что M-Unit включает в себя информацию о PPS. PPS 215 представляет собой информацию, используемую для инициализации кодека, и содержит конкретную информацию о мультимедиа-кодеке. Кроме того, SPS 213 и PPS 215 используют общее значение набора параметров инициализации кодирования мультимедиа.
Синхронизация 217 указывает на то, что соответствующий M-Unit включает в себя управляющую информацию о синхронизации. Синхронизация 217 представляет собой данные для взаимной синхронизации между обрабатываемым в совокупности множеством блоков M-Unit и, например, используется в качестве маркера синхронизации между M-Unit для правого (R) изображения и M-Unit для левого (L) изображения для трехмерного (3D) изображения. Кроме того, синхронизация 217 может быть использована для присвоения командной информации между соответствующими M-Unit. Командная информация представляет собой управляющую информацию для соответствующих M-Unit и может указывать на то, что соответствующий M-Unit соответствует информации, такой как информация о добавлении, удалении, замене или обновлении. Информация о синхронизации может быть использована в качестве управляющей информации только для M-Unit в том же сеансе, передаваемом по гибридной передающей сети на основании командной информации.
Характеристика 219 передачи (TC) указывает на то, что M-Unit включает в себя информацию о характеристике передачи. TC 219 предназначена для передачи соответствующего M-Unit и указывает, например, коэффициент потерь, время задержки, информацию проверки четности для исправления ошибки, среднюю скорость передачи данных для передачи данных и максимальную скорость передачи данных. RAP 221 указывает на то, что соответствующий M-Unit включает в себя информацию флага для произвольного доступа. Структура функции, такой как ускоренное воспроизведение, может быть обеспечена в соответствии с наличием или отсутствием соответствующего флага.
Фиг. 2 иллюстрирует структуру заголовка M-Unit. Однако настоящее изобретение не ограничено такой структурой, и структура заголовка M-Unit согласно примерному варианту выполнения по Фиг. 2 может иметь другие пригодные формы и структуры. Например, структура заголовка M-Unit может включать в себя совокупность одной или более единиц информации в числе множества единиц информации заголовка, включаемой в заголовок M-Unit, описанный со ссылкой на Фиг. 2, и/или множества единиц управляющей информации, добавляемой при формировании M-Unit в описании уровня 105 E.3 MMT по Фиг. 1.
Фиг. 3 представляет собой схему, иллюстрирующую структуру заголовка ресурса согласно примерному варианту выполнения настоящего изобретения.
Как показано на Фиг. 3, ресурс согласно представленному примерному варианту выполнения сформирован в структуре, включающей в себя по меньшей мере один M-Unit согласно различным данным мультимедиа от источников мультимедиа, и может быть понят как поток данных, включающий в себя различные данные мультимедиа от источников мультимедиа. То есть каждый источник мультимедиа сформирован в виде MFU или M-Unit, а ресурс включает в себя по меньшей мере один M-Unit.
Таблица 1 иллюстрирует пример M-Unit, ресурса и MFU.
| Таблица 1 | ||||
| Заголовок ресурса 1) Тип ресурса: A | Заголовок M-unit: диапазон MFU=l~2 | Заголовок M-unit: диапазон MFU=3~4 | Заголовок M-unit: диапазон MFU=5~6 | Заголовок M-unit: диапазон MFU=5~6 |
| Заголовок ресурса 2) Тип ресурса: B(MPEG-2 TS) | Заголовок ресурса 3) Тип ресурса: C(MP4) | Данные MPEG-2 TS | Данные MP4 | |
| Заголовок (l) MFU: смещение:длина | Заголовок (2) MFU: смещение:длина | Заголовок (3) MFU: смещение:длина | Заголовок (4) MFU: смещение:длина | Заголовок (5) MFU: смещение:длина |
| Данные (1) MFU | Данные (2) MFU | Данные (3) MFU | Данные (4) MFU | Данные (5) MFU |
В Таблице 1 смещение означает информацию о побайтовом смещении данных.
Более подробно, Фиг. 3 иллюстрирует пример информации заголовка ресурса, используемой, когда уровень 107 E.2 MMT на Фиг. 1 формирует ресурс с входом M-Unit, который представляет собой сгруппированные данные информации с одинаковыми атрибутами для различных типов данных мультимедиа. Кроме того, заголовок ресурса по Фиг. 3 может указывать группу блоков пространственно непрерывного M-Unit. ID 301 ресурса указывает идентификатор для соответствующих непрерывных данных. ID 301 ресурса представляет собой идентификационную информацию соответствующих ресурсов в процессе формирования гибридного мультимедиа-содержимого.
Информация 303, 305, 307 и 311 о длине ресурса указывает длину данных соответствующего ресурса. Информация 303, 305, 307 и 311 о длине ресурса может быть установлена таким образом, что она имеет достаточно большую длину, учитывая видеоданные сверхвысокой разрешающей способности (UD). Информация 303, 305, 307 и 311 о длине ресурса для удобства указана отдельно в трех областях. Однако настоящее изобретение этим не ограничено, и информация 303, 305, 307 и 311 о длине ресурса может представлять собой одну область или любое пригодное количество областей.
Тип 309 ресурса указывает на тип данных соответствующего ресурса и может использовать тип данных M-Unit, упомянутого выше в отношении Фиг. 1, таким же образом, как описано со ссылкой на Фиг. 1. Однако тип мультимедиа может быть указан различными способами в дополнение к вышеупомянутому способу. Например, тип первого источника мультимедиа может быть непосредственно сообщен для предотвращения неточного декодирования источника мультимедиа только именем характерного источника мультимедиа благодаря различным новым способам профилирования и использования аудиокодека, видеокодека или различных приложений. Например, существует приблизительно 10 типов профилирования в H.264, так что когда тип ресурса сообщается лишь как H.264, в процессе декодирования может быть сформирована ошибка. Более того, когда множество данных мультимедиа мультиплексируется и используется в конфигурировании пакета MMT, используется тип ресурса, имеющий большую длину.
Кроме того, например, тип ресурса, имеющий длину 13 бит, может соответствовать типу данных M-Unit, и он может указывать дополнительную информацию согласно соответствующему приоритету путем добавления флага расширения к ресурсу согласно обстоятельствам. Например, в случае «00000000» на основании H.264, I-кадр в изображении H.264 может быть указан как «001», его В-кадр может быть указан как «010», a его Р-кадр может быть указан как «100». Приоритет передачи для обеспечения максимального QoS на передающей стороне для передачи блоков M-Unit может быть учтен на основании этого приоритета.
Длина 313 заголовка управляющей информации M-Unit указывает длину заголовка управляющей информации M-Unit, указываемого в соответствующей полезной нагрузке, и сообщает, что имеются данные управляющей информации M-Unit, равные длине заголовка управляющей информации M-Unit. Управляющая информация 315 M-Unit включает в себя по меньшей мере одно из информации синхронизации и командной информации ресурса для команд добавления, удаления, вставки, обновления и замены, учитывая гибридную сеть передачи, временную шкалу, которая представляет собой основной временной блок соответствующей группы данных ресурса, информацию о характеристике передачи, указывающую скорость передачи, коэффициент потерь, время допуска на задержку, максимальную скорость передачи данных, среднюю скорость передачи данных, при условии обеспечения QoS, и другую подобную информацию для группы данных передачи, количество M-Unit, включенных в группу данных соответствующего ресурса и дополнительную информацию о RAP.
Несмотря на то, что для описания различия между соответствующими примерных вариантов выполнения в качестве примера был описан заголовок, имеющий конкретную длину, например, 1 бит или 2 бита, может использоваться заголовок M-Unit и/или ресурса, имеющий другие длины. Кроме того, когда поля, которые описаны выше в примерных вариантах выполнения, используются без учета длины, может быть выполнен способ конфигурирования M-Unit и/или ресурса согласно примерным вариантам выполнения настоящего изобретения без учета длины, как описано в примерных вариантах выполнения.
Идентификатор или тип данных ресурса согласно примерным вариантам выполнения настоящего изобретения может указывать на тип данных мультимедиа от источника мультимедиа, включенных в M-Unit ресурса. Например, идентификатор или тип данных ресурса может указывать, для чего предназначен ресурс - для видеоданных или аудиоданных, или что ресурс включает в себя множество источников мультимедиа, таких как видеоданные, аудиоданные, файловые данные, данные виджета или любой другой подобный тип данных. Кроме того, идентификатор или тип данных M-Unit может указывать на видеоданные, аудиоданные, файловые данные, виджет, имеющий тип данных, т.е. источник мультимедиа, включаемый в соответствующий M-Unit.
Фиг. 7 представляет собой блок-схему, иллюстрирующую структуру системы передачи мультимедиа-содержимого с использованием различных блоков передачи согласно примерному варианту выполнения настоящего изобретения.
Как показано на Фиг. 7, структура потока данных может быть классифицирована на структуру потоковой полезной нагрузки 701 для передачи данных в режиме реального времени, тесно связанных с широковещательной передачей в режиме реального времени, и временем, и также может быть классифицирована на полезную нагрузку 703 передачи файлов для передачи данных не в режиме реального времени, такую как передача файлов. Кроме того, в потоковой полезной нагрузке 701 мультимедиа-содержимое может быть конфигурировано и передано с использованием M-Unit ММТ или MFU ММТ в качестве основного блока передачи для передачи данных в режиме реального времени.
MFU 705 представляет собой основной блок для обработки вводимых данных мультимедиа от кодека или источника приложения. MFU 705 может представлять собой одно из изображения или множества блоков, включаемых в одно изображение в видеокодеке, и может представлять собой один блок файла в файле, таком как приложение. Кроме того, MFU 705 может представлять собой M-Unit 707 MMT, который представляет собой основной блок передачи данных или управления приложением. Например, один M-Unit 707 может быть построен группой нескольких AU, которые представляют собой блоки передачи данных, конфигурирующих одно изображение в видеоданных мультимедиа. Посредством конфигурации M-Unit 707 пользователь может выполнять ускоренный поиск или поиск по видеоданным.
Кроме того, M-Unit 707 могут быть конфигурированы в виде одного ресурса 709 ММТ. Кроме того, ресурс 709 ММТ может быть одним из отдельных видеоданных, аудиоданных или субтитров. Группа различных видов ресурсов 709 MMT может представлять собой пакет 711 ММТ, способный обеспечивать гибридное мультимедиа-содержимое. Кроме того, поток данных для передачи файлов используется для передачи данных не в режиме реального времени, а блок передачи может представлять собой весь или конкретную часть ресурса 709 ММТ или пакета 711 ММТ гибридного мультимедиа-содержимого.
Как описано выше, блок кодирования мультимедиа-содержимого в структуре передачи мультимедиа-содержимого согласно примерному варианту выполнения по Фиг. 7 может представлять собой MFU 705 или M-Unit 707. В случае отдельно декодируемых видеоданных MFU 705 относится к одному кадру для кодирования или одной из множества серий последовательных макроблоков, когда кадр включает в себя множество серий последовательных макроблоков. Кроме того, в случае отдельно декодируемых видеоданных M-Unit 707 относится к одному кадру для кодирования или GoP, которая представляет собой отдельно декодируемый блок кодирования.
Блок передачи мультимедиа-содержимого может быть определен, учитывая атрибут и службу объекта мультимедиа. Ресурс 709 представляет собой поток непрерывных M-Unit 707, конфигурированных в одинаковом типе мультимедиа. Пакет 711 представляет собой форму одного ресурса или группы из множества ресурсов и может включать в себя дополнительную информацию, т.е. время информации о конфигурировании изображения гибридного мультимедиа-содержимого, информацию о среде передачи, учитывающую порядок пространственного расположения, и среду гибридной сети, требуемую ширину полосы частот передачи, вероятность потерь, информацию о том, допускается ли время задержки, или любую другую пригодную или подобную информацию для работы.
Фиг. 4 представляет собой блок-схему, иллюстрирующую структуру передающего устройства для формирования и передачи мультимедиа-содержимого согласно примерному варианту выполнения настоящего изобретения.
Как показано на Фиг. 4, передающее устройство включает в себя блок 401 ввода источника мультимедиа, блок 403 идентификации источника мультимедиа, блок 405 хранения источника мультимедиа, передающий блок 407 и контроллер 409. Передающее устройство по Фиг. 4 поддерживает различные блоки передачи, описанные со ссылкой на Фиг. 7, определяет блок передачи согласно структуре потоковой передачи для передачи данных в режиме реального времени и структуре передачи файлов для передачи данных не в режиме реального времени, и конфигурирует один или более источников мультимедиа в MFU, M-Unit, ресурс или пакет в качестве блока передачи согласно определенному блоку передачи, и в соответствии с этим передает их. Блок 401 ввода источника мультимедиа принимает вводимый M-Unit, который представляет собой группу различных типов данных мультимедиа, в качестве источника мультимедиа для формирования гибридного мультимедиа-содержимого. Блок 403 идентификации источника мультимедиа присваивает ID ресурса группе M-Unit в качестве источника мультимедиа, идентифицирует тип источника мультимедиа, например, голосовой источник, источник видеоданных, файл или исполняемый файл, и присваивает соответствующий ID ресурса группе M-Unit. Здесь один ресурс может включать в себя множество M-Unit, включающих в себя различные источники мультимедиа. Блок 405 хранения источника мультимедиа хранит сформированные ресурсы согласно способу конфигурирования ресурса. Передающий блок 407 передает ресурс или ресурсы по сети связи. Контроллер 409 конфигурирует M-Unit путем агрегирования различных типов MFU, обеспеченных из одних или более данных мультимедиа от источников мультимедиа, и выполняет общее управление для формирования и передачи MFU, M-Unit и ресурса.
Фиг. 5 представляет собой блок-схему, иллюстрирующую структуру приемного устройства для приема мультимедиа-содержимого согласно примерному варианту выполнения настоящего изобретения.
Как показано на Фиг. 5, приемное устройство включает в себя приемный блок 501, блок 503 считывания источника мультимедиа, блок 505 хранения источника мультимедиа, блок 507 отображения и контроллер 509. Приемное устройство по Фиг. 5 поддерживает различные блоки передачи, описанные со ссылкой на Фиг. 7, определяет блок передачи мультимедиа-содержимого, принимаемого в соответствующих блоках передачи, согласно структуре потоковой передачи для передачи данных в режиме реального времени и структуре передачи файлов для передачи данных не в режиме реального времени, идентифицирует информацию заголовка блока передачи и выполняет его декодирование. Приемный блок 501 по Фиг. 5 принимает ресурс, включающий в себя один или более M-Unit, включающих в себя один или более MFU, согласно различным данным мультимедиа от источников мультимедиа, по сети связи, а информация заголовка ресурса и информация заголовка M-Unit передается контроллеру 509, используемому для управления приемом и декодированием гибридного мультимедиа-содержимого. Кроме того, контроллер 509 выполняет общее управление, относящееся к приему и декодированию гибридного мультимедиа-содержимого с использованием управляющей информации о MFU и управляющей информации о M-Unit.
Блок 503 считывания источника мультимедиа считывает тип данных каждого источника мультимедиа в блоке M-Unit на основании управляющей информации, включающей в себя управляющую информацию о MFU, перемещаемую от контроллера 509, принимающего соответствующую информацию о ресурсе и M-Unit, и классифицирует и хранит соответствующие считанные источники мультимедиа в блоке 505 хранения источников. Контроллер 509 по Фиг. 5 выполняет общее управление приемом ресурса и считыванием и декодированием источника мультимедиа, и данные декодируемого источника мультимедиа выводятся через блок 507 отображения.
Соответственно, настоящие примерные варианты выполнения описанные выше, могут обеспечивать устройство и способ передачи и/или приема мультимедиа-содержимого с использованием различных блоков передачи, таких как MFU, M-Unit, ресурс или пакет. Кроме того, настоящие примерные варианты выполнения могут обеспечивать устройство и способ эффективного формирования и передачи и/или приема гибридного мультимедиа-содержимого, включающего в себя различные типы источников мультимедиа, т.е. данные мультимедиа. Кроме того, настоящие примерные варианты выполнения могут соответственно фрагментировать данные мультимедиа, имеющие заданный размер, при передаче или хранении данных мультимедиа.
Кроме того, настоящие примерные варианты выполнения могут легко идентифицировать положение или момент времени передачи M-Unit, который представляет собой блок декодирования, включающий в себя по меньшей мере одно из времени, степени важности и различной функциональной информации, а также управляющую информацию в системе мультимедиа, и может подходящим образом эффективно сообщать формат ресурса, который представляет собой один формат гибридного мультимедиа-содержимого. Кроме того, настоящие примерные варианты выполнения могут эффективно сообщать тип ресурса в системе мультимедиа.
При том, что изобретение было показано и описано со ссылкой на некоторые его примерные варианты выполнения, специалисту в данной области техники будет понятно, что в них могут быть выполнены различные изменения в форме и подробностях, не выходящие за рамки сущности и объема изобретения, который определен приложенной формулой изобретения и ее эквивалентами.
1. Способ передачи мультимедиа-содержимого в системе мультимедиа, причем способ содержит этапы, на которых:
конфигурируют мультимедиа-данные мультимедиа-содержимого по меньшей мере в один блок данных, причем каждый из по меньшей мере одного блока данных включает в себя по меньшей мере один подблок, и каждый из по меньшей мере одного блока данных обрабатывается независимо; и
передают упомянутый по меньшей мере один блок данных, включающий в себя конфигурированные мультимедиа-данные,
при этом подблок блока данных из упомянутого по меньшей мере одного блока данных включает в себя значение счетчика, указывающее количество по меньшей мере одного следующего подблока, обработка по декодированию которого выполняется в зависимости от упомянутого подблока в упомянутом блоке данных, причем упомянутое количество указывает на зависимость, относящуюся к декодированию среди подблоков, зависимо обрабатываемых в упомянутом блоке данных, и
при этом упомянутый подблок содержит информацию, указывающую на приоритет подблока в пределах блока данных.
2. Способ по п. 1, в котором упомянутое значение счетчика, указывающее количество упомянутого по меньшей мере одного следующего подблока, включено в заголовок упомянутого подблока.
3. Способ по п. 1, в котором блок данных содержит информацию, указывающую тип мультимедиа-данных, если часть мультимедиа-данных, включенных в блок данных, представляет собой данные без информации о времени.
4. Способ по п. 1, в котором упомянутый по меньшей мере один следующий подблок не обрабатывается без упомянутого подблока.
5. Способ по п. 2, в котором заголовок содержит информацию, указывающую порядок декодирования подблока.
6. Способ по п. 1, в котором подблок является блоком фрагмента мультимедиа (MFU), который является фрагментом блока данных.
7. Устройство передачи мультимедиа-содержимого в системе мультимедиа, причем устройство содержит:
передатчик, выполненный с возможностью передачи данных по сети; и
контроллер, выполненный с возможностью управления конфигурированием мультимедиа-данных мультимедиа-содержимого по меньшей мере в один блок данных, причем каждый из по меньшей мере одного блока данных включает в себя по меньшей мере один подблок, и каждый из по меньшей мере одного блока данных обрабатывается независимо, и передачей упомянутого по меньшей мере одного блока данных, включающего в себя конфигурированные мультимедиа-данные;
при этом подблок блока данных из упомянутого по меньшей мере одного блока данных включает в себя значение счетчика, указывающее количество по меньшей мере одного следующего подблока, обработка по декодированию которого выполняется в зависимости от упомянутого подблока в упомянутом блоке данных, причем упомянутое количество указывает на зависимость, относящуюся к декодированию среди подблоков, зависимо обрабатываемых в упомянутом блоке данных, и
при этом упомянутый подблок содержит информацию, указывающую на приоритет подблока в пределах блока данных.
8. Устройство по п. 7, в котором упомянутое значение счетчика, указывающее количество упомянутого по меньшей мере одного следующего подблока, включено в заголовок упомянутого подблока.
9. Устройство по п. 7, в котором блок данных содержит информацию, указывающую тип мультимедиа-данных, если часть мультимедиа-данных, включенных в блок данных, представляет собой данные без информации о времени.
10. Устройство по п. 7, в котором упомянутый по меньшей мере один следующий подблок не обрабатывается без упомянутого подблока.
11. Устройство по п. 8, в котором заголовок содержит информацию, указывающую порядок декодирования подблока.
12. Устройство по п. 7, в котором подблок является блоком фрагмента мультимедиа (MFU), который является фрагментом блока данных.
