Устройство и способ для генерации и отображения медиа-файлов

Предложены компьютерно-читаемый носитель, способ и терминальное устройство. Носитель включает в себя поле медиа-данных, содержащее множество последовательностей стереоскопических изображений, и поле медиа-заголовка. Поле медиа-заголовка содержит поле дорожки, содержащее информацию, указывающую, что поле дорожки ссылается на другое поле дорожки. Техническим результатом является расширение арсенала средств воспроизведения стереоскопического изображения. 3 н. и 12 з.п. ф-лы, 14 ил.

 

УРОВЕНЬ ТЕХНИКИ

1. Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу для генерации и отображения стереоскопических медиа-файлов.

2. Описание уровня техники

Экспертная группа по вопросам движущихся изображений (MPEG), международная организация по стандартизации, относящейся к мультимедиа, в настоящий момент приступает к работе по стандартизации для MPEG-2, MPEG-4, MPEG-7 и MPEG-21 после первой стандартизации группы MPEG-1. Разработка таких различных стандартов приводит к потребности в создании единого профиля, представляющего собой комбинацию различных технологий стандартизации, и, в качестве части движения к этому, в результате деятельности по стандартизации мультимедиа-приложений создаются различные форматы мультимедиа-приложений (MAF) с использованием MPEG-A (формат мультимедиа-приложений MPEG: ISO/IEC (Международная организация по стандартизации/Международная электротехническая комиссия) 23000). MAF предназначены для повышения полезности использования стандартов путем объединения не только существующих MPEG-стандартов, но и не-MPEG стандартов. Существует возможность максимизации их эффективных значений путем создания MAF, которые представляют собой комбинацию уже проверенных стандартных технологий без приложения усилий по созданию отдельных новых стандартов.

В последнее время были проведены интенсивные исследования, относящиеся к способам реализации трехмерного (3D) видео, в целях выдачи более реалистичной видеоинформации. Среди этих способов, в многообещающем способе, который рассматривается как эффективный в нескольких отношениях, выполняется сканирование изображений, видимых левым глазом, и изображений, видимых правым глазом, на существующем устройстве отображения, в соответствующих местах их размещения, с целью достижения того, чтобы изображения для левого глаза и правого глаза отображались раздельно в левом глазу и правом глазу пользователя, с использованием оптических характеристик человеческого организма, посредством чего пользователь может ощутить 3D-эффекты. Например, портативный терминал, оборудованный барьерным жидкокристаллическим дисплеем (LCD), может выдавать реалистичное видео пользователю посредством воспроизведения стереоскопического содержания.

Однако для стереоскопического содержания, состоящего из двух или более последовательностей изображений, в формате файла не определен синтаксис. На основании синтаксиса может быть определено, связаны ли друг с другом дорожки последовательностей изображений в стереоскопическом содержании. Последовательности изображения представляют собой цифровые потоки видео, состоящие из одного или более кадров видео, и также могут называться элементарными потоками. Кроме того, для информации, которая включает в себя стереоскопическое видео и моноскопическое видео, при этом стереоскопическое видео пространственно объединено с двухмерным (2D) видео, или в которой стереоскопическое видео и моноскопическое видео появляются вместе в одной сцене, например, для службы, в которой имеются подписи к изображению внизу моноскопического музыкального видео и подпись к изображению отображается в виде 2D-изображения, не определен синтаксис в формате файла, при этом на основании синтаксиса было бы возможно определить, связаны ли друг с другом музыкальное видео и подпись к изображению. Следовательно, необходимо дополнительно предоставить информацию, указывающую, связаны ли друг с другом музыкальное видео и подпись к изображению.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Аспект настоящего изобретения состоит в преодолении, по меньшей мере, проблем и/или недостатков и в предоставлении, по меньшей мере, преимуществ, описанных ниже. Соответственно, в аспекте настоящего изобретения представлена генерация медиа-файла, а также устройство и способ для явного определения того, связаны ли дорожки последовательностей изображений друг с другом, в отношении стереоскопического содержания, состоящего из двух или более последовательностей изображений или содержания, имеющего стереоскопическое видео и моноскопическое видео, которые одновременно отображаются в одной сцене.

В соответствии с одним из аспектов настоящего изобретения, представлен компьютерно-читаемый носитель, на котором хранятся данные. Структура данных включает в себя блок медиа-данных, содержащий медиа-данные в количестве двух или более элементов; и блок видеоданных ('moov'), содержащий информацию о данных последовательности изображений в медиа-данных. Предпочтительно, блок 'moov' содержит ссылочную информацию дорожки, указывающую, что блок дорожки для одной последовательности изображений ссылается на блок дорожки для другой последовательности изображений.

В соответствии с другим аспектом настоящего изобретения, представлен способ, реализованный посредством компьютера. Способ включает в себя получение медиа-файла; синтаксический разбор блока медиа-данных полученного медиа-файла, содержащего два или более элементов данных последовательности изображений, а также блока видеоданных ('moov'), содержащего информацию по данным последовательности изображений; и генерацию видео на основании ссылающейся последовательности изображений и последовательности изображений, на которую она ссылается, в соответствии с ссылочной информацией дорожки, которая включена в блок 'moov' и указывает на то, что блок дорожки для одной последовательности изображений ссылается на блок дорожки для другой последовательности изображений.

В соответствии с еще одним аспектом настоящего изобретения, представлено терминальное устройство, включающее в себя блок синтаксического разбора для синтаксического разбора блока медиа-данных полученного медиа-файла, содержащего два или более элементов данных последовательности изображений, а также блока видеоданных ('moov'), содержащего информацию по данным последовательности изображений, и извлечения видео на основании ссылающейся последовательности изображений и последовательности изображений, на которую она ссылается, в соответствии с ссылочной информацией дорожки, которая включена в блок 'moov' и указывает на то, что блок дорожки для одной последовательности изображений ссылается на блок дорожки для другой последовательности изображений; и блок отображения для отображения извлеченного видео.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Приведенные выше и другие аспекты, характеристики и преимущества настоящего изобретения станут более ясными из приведенного ниже подробного описания при использовании прилагаемых чертежей, среди которых:

Фиг.1 представляет собой диаграмму, иллюстрирующую основанный на стандарте ISO формат медиа-файла;

Фиг.2 представляет собой диаграмму, иллюстрирующую файловую структуру в соответствии с первым вариантом осуществления настоящего изобретения;

Фиг.3А и 3В представляют собой диаграммы, иллюстрирующие файловые структуры, спроектированные для соединения ассоциированных дорожек друг с другом в соответствии с первым вариантом осуществления настоящего изобретения;

Фиг.4 представляет собой диаграмму, иллюстрирующую функционирование терминала в соответствии с первым вариантом осуществления настоящего изобретения;

Фиг.5 представляет собой диаграмму, иллюстрирующую файловую структуру в соответствии со вторым вариантом осуществления настоящего изобретения;

Фиг.6 представляет собой диаграмму, иллюстрирующую способ представления первичной последовательностью изображений в соответствии со вторым вариантом осуществления настоящего изобретения;

Фиг.7 представляет собой диаграмму, иллюстрирующую функционирование терминала в соответствии со вторым вариантом осуществления настоящего изобретения;

Фиг.8 представляет собой диаграмму, иллюстрирующую файловую структуру в соответствии с третьим вариантом осуществления настоящего изобретения;

Фиг.9 представляет собой диаграмму, иллюстрирующую способ представления первичной последовательностью изображений в соответствии с третьим вариантом осуществления настоящего изобретения;

Фиг.10 представляет собой диаграмму, иллюстрирующую файловую структуру в соответствии с четвертым вариантом осуществления настоящего изобретения;

Фиг.11А и 11В представляют собой диаграммы, иллюстрирующие файловые структуры для стереоскопического видео в соответствии с пятым вариантом осуществления настоящего изобретения;

Фиг.12А и 12В представляют собой диаграммы, иллюстрирующие файловые структуры для многовидового содержания в соответствии с пятым вариантом осуществления настоящего изобретения;

Фиг.13 представляет собой диаграмму, иллюстрирующую устройство для генерации медиа-файлов в соответствии с одним из вариантов осуществления настоящего изобретения; и

Фиг.14 представляет собой диаграмму, иллюстрирующую устройство воспроизведения медиа-файлов в соответствии с одним из вариантов осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Предпочтительные варианты осуществления настоящего изобретения ниже будут подробно описаны со ссылкой на прилагаемые чертежи. В приведенном ниже описании подробное описание известных функций и конфигураций, включенных в настоящий документ, будет опущено для ясности и краткости. Термины, используемые в настоящем документе, определены на основании функций настоящего изобретения и могут варьироваться в соответствии с намерениями пользователя или операторов или в соответствии с общепринятой практикой. Следовательно, определение терминов во всех местах спецификации должно быть выполнено на основании содержания.

Во-первых, настоящее изобретение предоставляет основанный на формате Международной организации по стандартизации (ISO) формат медиа-файла. Кроме того, настоящее изобретение предоставляет способ для указания взаимосвязи между дорожками, которые образуют пару в стереоскопическом содержании, состоящем из двух или более последовательностей изображений, и также предоставляет способ для указания взаимосвязи между дорожкой стереоскопического видео и дорожкой моноскопического видео в содержании, в котором стереоскопическое видео и моноскопическое видео одновременно отображается в одной сцене.

Фиг.1 иллюстрирует формат медиа-файла, основанный на формате ISO.

Обратимся к Фиг.1; основанный на ISO медиа-файл 100 включает в себя блок типа файла (блок 'ftyp'; не показан), блок видеоданных (блок 'moov') 110 и блок медиа-данных (блок 'mdat') 120. Блок типа файла включает в себя сведения о типе файла и совместимом типе. Нормальное воспроизведение возможно в соответствующем декодере в соответствии с совместимым типом. Блок 'moov' 110 соответствует блоку заголовка в формате файла, и все данные сформированы с использованием структуры, основанной на объекте, называемом 'атомом'. Блок 'moov' 110 включает в себя всю информацию, необходимую для воспроизведения файла, включая информацию информационного наполнения, такую как частота кадров, скорость передачи информации в битах, размер изображения и т.д., и информацию синхронизации, используемую для поддержания функции воспроизведения, такой как ускоренная перемотка вперед/назад (FF/REW). Блок медиа-данных 120, блок данных, включает в себя фактические медиа-данные, и видеоданные и звуковые данные хранятся в каждой дорожке в форме блоков их кадров.

Стереоскопическое видео включает в себя информацию, относящуюся к стереоскопическому видео. Информация, относящаяся к стереоскопическому видео, может представлять собой необходимую информацию, такую как тип композиции стереоскопического видео, и также может представлять собой дополнительные данные, такие как параметры камеры и информацию о дисплее. В случае, когда стереоскопическое видео составлено из двух или более последовательностей изображений, у каждой из последовательностей изображений может иметься одна и та же информация, относящаяся к стереоскопическому видео. Например, для стереоскопического видео, состоящего из двух последовательностей изображений, каждый вид слева и вид справа для видео может включать дополнительную информацию об одной и той же камере и одном и том же дисплее. В случае, когда каждая из последовательностей изображений имеет одну и ту же информацию, относящуюся к стереоскопическому видео, в соответствии с указанным выше, то, во избежание того, чтобы одна и та же информация хранилась в каждой из последовательностей изображений дублирующим образом, соответствующая информация может содержаться только в одной последовательности изображений, и оставшаяся(иеся) последовательность(и) изображений может(гут) иметь ссылку на соответствующую последовательность изображений, с целью использования соответствующей информации, относящейся к стереоскопическому видео, содержащейся в соответствующей последовательности изображений. Однако для этого необходимо сообщить другим элементарным потокам, какой элементарный поток содержит информацию, относящуюся к стереоскопическому видео, и выделить последовательность изображений, содержащую информацию, относящуюся к стереоскопическому видео. Для стереоскопического видео, составленного из двух или более последовательностей изображений, две последовательности изображений могут быть поделены на первичную последовательность изображений и вторичную последовательность изображений. В случае, когда информация, относящаяся к стереоскопическому видео, содержится только в одном элементарном потоке, как описано выше, можно проверить соответствующую информацию путем различения первичной последовательности изображений и вторичной последовательности изображений. Из первичной последовательности изображений и вторичной последовательности изображений, описанных в настоящем изобретении, выделяют последовательность изображений, имеющую более высокий приоритет отображения, в случае, когда только одна из двух или более последовательностей изображений должна быть выбрана и отображена на экране.

Способы различения первичной последовательности изображений и вторичной последовательности изображений включают в себя первый способ проверки идентификатора дорожки каждой из последовательностей изображений. В блоке заголовка дорожки (блок 'tkhd') каждой последовательности изображений есть идентификатор дорожки, которая представляет собой идентификатор, по которому может быть идентифицирована каждая дорожка. Поскольку идентификатор дорожки представляет собой целочисленное значение, последовательно назначенное дорожке каждой последовательности изображений, то последовательность изображений для дорожки, имеющей наименьшее значение идентификатора дорожки, определена как первичная последовательность изображений.

Во втором способе проверяется параметр 'is_left_first', указывающий, какая из левой последовательности изображений и правой последовательности изображений (или какая из двух или более последовательностей изображений) закодирована первой в информации типа композиции стереоскопического видео, и определяет, какая из левой последовательности изображений и правой последовательности изображений (или какая из двух или более последовательностей изображений) представляет собой первичную последовательность изображений или вторичную последовательность изображений в соответствии со значением соответствующего параметра. В третьем способе дорожка, которая ссылается на другую дорожку, определяется в качестве первичной последовательности изображений или вторичной последовательности изображений.

При определении первичной последовательности изображений на основании информации о ссылке дорожки, в случае, когда дорожка, на которую ссылаются (на которую сделана ссылка другой дорожкой), определена как первичная последовательность изображений, то ссылающаяся дорожка (которая ссылается на другую дорожку) определена как вторичная последовательность изображений. Поскольку у дорожки, которая ссылается на другую дорожку, есть ссылочный блок дорожки (блок 'tref'), то стереоскопическое видео с другой стороны или для другого вида определено как первичная последовательность изображений в вышеупомянутом примере. В этом примере местоположение блока 'tref', содержащего информацию о ссылке на дорожку, может стать критерием различения первичной последовательности изображений и вторичной последовательности изображений. С использованием ссылки на дорожку можно соединить последовательности изображений, которые связаны друг с другом, в медиа-файл, составленный из двух или больше видеодорожек, таким образом позволяя определить, какие дорожки связаны друг с другом. Это также может использоваться как способ соединения видеодорожек друг с другом с целью создания единого видео из многовидового видео. За счет использования метода ссылок на дорожки можно избежать того, что относящаяся к стереоскопическому видео информация была повторно вставлена в несколько дорожек путем вставки дублированной относящейся к стереоскопическому видео информации только в конкретную дорожку, то есть в одну последовательность из первичной последовательности изображений и вторичной последовательности изображений.

В соответствии с другим способом для различения первичной последовательности изображений и вторичной последовательности изображений, первичная последовательность изображений и вторичная последовательность изображений определяются не только путем использования одного информационного элемента или одного параметра, как в вышеупомянутых способах, но также и путем комбинирования двух или более полей, параметров или блоков относящейся к стереоскопическому видео информации, такой как информация стереоскопического видео, требующаяся для отображения конфигурации стереоскопическое видео, включая идентификатор дорожки и параметр 'is_left_first'; параметры, по которым может быть идентифицирована информация блока 'tref'; и информация типа обработчика. Приведенные ниже способы представляют собой возможные способы определения первичной последовательности изображений и вторичной последовательность изображений путем комбинирования двух или более полей, параметров или блоков относящейся к стереоскопическому видео информации. Во-первых, для стереоскопического видео, составленного из двух последовательностей изображений для вида слева и вида справа, можно определить соответствующую дорожку как первичную последовательность изображений или вторичную последовательность изображений согласно критерию различения первичной последовательности изображений и вторичной последовательности изображений, использующему значение поля 'is_left_first' и информацию блока 'tref', в которой имеется ссылка на стереоскопическое видео другой дорожки. В качестве альтернативы, можно определить соответствующую дорожку как первичную последовательность изображений или вторичную последовательность изображений согласно критерию различения первичной последовательности изображений и вторичной последовательности изображений, использующему информацию блока 'tref', который ссылается на стереоскопическое видео другой дорожки, и идентификатор дорожки.

Существует еще один способ определения первичной последовательности изображений и вторичной последовательности изображений для стереоскопического видео, составленного из двух или более последовательностей изображений (то есть множества или мультипоследовательностей изображений), состоящий в комбинировании двух или более полей, параметров и блоков относящейся к стереоскопическому видео информации. В соответствии с еще одним способом, можно определить первичную последовательность изображений и вторичную последовательность изображений с использованием значения поля 'is_left_first', идентификатора дорожки и блока 'tref', который ссылается на дорожку стереоскопического видео.

Параметры или информация, отличные от указанных выше, также могут быть использованы в качестве параметров или информации для определения первичной последовательности изображений и вторичной последовательности изображений указанным выше способом, и способ объединения двух или более полей, параметров и блоков относящейся к стереоскопическому видео информации также может быть расширен или дополнен рядом методов.

Ниже представлено описание способа указания взаимосвязи между дорожками последовательностей изображений, который соединяет вместе стереоскопическое содержание двух или более последовательностей изображений, в соответствии с вариантами осуществления настоящего изобретения. Приведенное ниже описание также включает в себя способ указания взаимосвязи между стереоскопической последовательностью изображений и моноскопической последовательностью изображений в содержании, имеющем стереоскопическое видео и моноскопическое видео, которые одновременно отображаются в одной сцене, в соответствии с вариантами осуществления настоящего изобретения.

Первый вариант осуществления

В целях декодирования стереоскопического содержания, составленного из двух или более последовательностей изображений, и отображения содержания на экране необходимо указать, что дорожка левой последовательности изображений и дорожка правой последовательности изображений ассоциированы друг с другом. Однако, поскольку блок и информация, указывающие взаимосвязь между дорожками, отсутствуют в имеющихся форматах файлов стереоскопических изображений, первый вариант осуществления настоящего изобретения предоставляет следующий способ для решения этой проблемы.

Блок ссылки на обработчик (блок 'hdlr') и ссылочный блок дорожки (блок 'tref') определены, помимо других блоков, в документе 'Формат медиа-файла ISO/IEC 14496-12 на основе ISO'. Блок ссылки на обработчик (блок 'hdlr') представляет тип медиа-данных в текущей дорожке с использованием типа обработчика ('handler_type') и определен в Таблице 1.

Таблица 1
handler_type	Описание
Vide	Видеодорожка
Soun	Аудиодорожка
Hint	Дорожка подсказки
Meta	Дорожка регулируемых по времени метаданных

В целях соединения двух ассоциированных дорожек друг с другом для стереоскопического содержания, составленного из двух или более видеодорожек, первый вариант осуществления настоящего изобретения добавляет значение 'svid', которое указывает на то, что тип медиа-данных в соответствующей дорожке представляет собой стереоскопическое видео, в типы обработчика ('handler_type') блока ссылки на обработчик (блок 'hdlr'), как показано в Таблице 2.

Таблица 2
handler_type	Описание
Vide	Видеодорожка
Soun	Аудиодорожка
Hint	Дорожка подсказки
Meta	Дорожка регулируемых по времени метаданных
Svid	Дорожка стереоскопического видео

Ссылочный блок дорожки (блок 'tref') используется для дальнейшего присоединения другой дорожки, на которую текущая дорожка делает ссылку, с использованием типа ссылки ('reference_type') и идентификатора дорожки (track_ID). 'reference_type', в настоящее время определенный в документе 'Формат медиа-файла ISO/IEC 14496-12 на основе ISO', показан в Таблице 3.

Таблица 3
reference_type	Описание
hint	Ссылающаяся дорожка содержит оригинал мультимедиа для данной дорожки подсказок
cdsc	Данная дорожка описывает дорожку, на которую ссылаются

В целях соединения двух ассоциированных дорожек, первый вариант осуществления настоящего изобретения добавляет 'avmi' в 'reference_type' ссылочного блока дорожки (блок 'tref), как показано в Таблице 4.

Таблица 4
reference_type	Описание
Hint	Дорожка, на которую ссылаются, содержит оригинал мультимедиа для данной дорожки подсказок
Cdsc	Данная дорожка описывает дорожку, которая ссылается
Avmi	Дорожка, которая ссылается, содержит дополнительную медиа-информацию для изображения

Фиг.2 иллюстрирует файловую структуру, которая соединяет дорожки ассоциированных последовательностей изображений друг с другом для стереоскопического содержания, составленного из двух последовательностей изображений, с использованием вновь определенных 'handler_type' и 'reference_type' в соответствии с первым вариантом осуществления настоящего изобретения.

Обратимся к Фиг.2; дорожка стереоскопической левой последовательности изображений содержит блок 'tref' и соединяется с дорожкой стереоскопической правой последовательности изображений, на которую соответствующая дорожка предполагает сделать ссылку, с использованием ссылочного блока дорожки (блок 'tref') 210. Здесь установка reference_type='avmi' в ссылочном блоке дорожки (блок 'tref') означает, что соответствующая ссылающаяся дорожка представляет собой дорожку, содержащую относящуюся к стереоскопическому видео информацию и ассоциированную с дорожкой, на которую будет сделана ссылка, то есть с дорожкой, на которую ссылаются. Относящаяся к стереоскопическому видео информация, содержащаяся в соответствующей ссылающейся дорожке, представляет собой информацию стереоскопического видео, которую обычно должна содержать каждая дорожка последовательностей изображений, составляющих стереоскопическое содержание, при этом относящаяся к стереоскопическому видео информация может храниться только в одной из двух ассоциированных дорожек. Если дорожка имеет взаимосвязь с дорожкой, на которую ссылаются, то это означает, что две дорожки составляют пару, и это означает, что между двумя дорожками существует зависимость. Другими словами, в случае, когда последовательность изображений дорожки, на которую ссылаются, представляет собой первичную последовательность изображений, то поскольку последовательность изображений ссылающейся дорожки становится вторичной последовательностью изображений, ссылающаяся дорожка имеет зависимость от дорожки, на которую ссылаются. Кроме того, путем установки handler_type='svid' в блоке ссылки на обработчик (блок 'hdlr') 220 дорожки, на которую ссылаются, можно отметить, что дорожка, на которую ссылаются, является дорожкой стереоскопического видео.

Поскольку можно определить первичную последовательность изображений и вторичную последовательность изображений в соответствии с наличием/отсутствием ссылочного блока дорожки (блок 'tref'), то дорожка стереоскопической левой последовательности изображений становится дорожкой вторичной последовательности изображений на Фиг.2 в случае, когда дорожка, имеющая ссылочный блок дорожки (блок 'tref'), определяется как вторичная последовательность изображений. Левая последовательность изображений также может стать первичной последовательностью изображений согласно способу принятия решения о первичной последовательности изображений. В случае, когда первичная последовательность изображений и вторичная последовательность изображений определены с использованием ссылочного блока дорожки (блок 'tref') 210, и если дорожка стереоскопической правой последовательности изображений определена как первичная последовательность изображений, то дорожка стереоскопической правой последовательности изображений устанавливается как дорожка, на которую выполняется ссылка с дорожки стереоскопической левой последовательности изображений. В этом случае ссылающаяся дорожка, имеющая ссылочный блок дорожки (блок 'tref'), считается установленной в качестве вторичной последовательности изображений.

Фиг.3А иллюстрирует файловую структуру, которая соединяет ассоциированные дорожки друг с другом для содержания мультиизображения, имеющего множество последовательностей изображений в соответствии с первым вариантом осуществления настоящего изобретения.

Обратимся к Фиг.3А и предположим, что дорожка первичной (или главной) последовательности изображений имеет ссылочный блок дорожки (блок 'tref'), тогда появляется возможность соединения дорожки первичной последовательности изображений с множеством дорожек, имеющих взаимосвязь с этой дорожкой, посредством ссылочного блока дорожки (блок 'tref') 310. В этом случае в дорожке, содержащей первичную последовательность изображений, тип ссылки ('reference_type') ссылочного блока дорожки (блок 'tref') 310 устанавливается как reference_type='avmi', и типы обработчиков ('handler_type') блоков ссылки на обработчик (блоки 'hdlr') 320 и 330 дорожек, на которые ссылается данная дорожка, устанавливаются как handler_type='svid'.

Как описывалось выше, можно выполнять различение первичной последовательности изображений и вторичной последовательности изображений с использованием информации ссылочного блока дорожки (блок 'tref'). Фиг.3В иллюстрирует файловую структуру, которая соединяет ассоциированные дорожки друг с другом в случае, когда предполагается, что последовательность дорожки, не имеющей ссылочного блока дорожки (блок 'tref'), то есть дорожки, на которую ссылаются, является первичной последовательностью изображений, в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.4 иллюстрирует функционирование терминала для идентификации ассоциированных видеодорожек и отображения их на экране для случая стереоскопического видео, составленного из двух или более последовательностей изображений, в соответствии с первым вариантом осуществления настоящего изобретения.

Обратимся к Фиг.4; терминал выполняет синтаксический разбор блока типа файла (блок 'ftyp') в медиа-файле на этапе 401. На этапах 402 и 403 терминал выполняет синтаксический разбор блока 'moov' и блока дорожки (блок 'trak') медиа-файла. На этапе 404 терминал определяет, имеется ли ссылочный блок дорожки (блок 'tref') в блоке дорожки. В случае, когда дорожка имеет ссылочный блок дорожки (блок 'tref'), терминал проверяет тип ссылки ('reference_type') ссылочного блока дорожки (блок 'tref') на этапе 405. Если было определено, что тип ссылки ('reference_type') представляет собой 'avmi', терминал проверяет идентификатор ссылающейся дорожки ('track_ID') ссылочного блока дорожки (блок 'tref') и определяет, какая дорожка стереоскопической последовательности изображений является парной к соответствующей дорожке. Терминал проверяет блок медиа-информации (блок 'mdia') на этапе 406 и проверяет на этапе 407 тип обработчика ('handler_type') блока обработчика (блок 'hdlr'), на основании чего терминал может определить тип медиа-данных соответствующей дорожки. На этапе 408 терминал проверяет информацию оставшихся блоков, содержащих стереоскопическую информацию, выполняет синтаксический разбор информации, относящейся к стереоскопическому видео, для дорожек стереоскопических последовательностей изображений и отображает информацию ассоциированных последовательностей изображений на экране. Последовательность процессов для синтаксического разбора блока дорожки (блок 'trak') выполняется от первой дорожки к последней дорожке медиа-файла одинаковым образом в случае, когда соответствующие дорожки являются дорожками стереоскопических последовательностей изображений.

Однако если на этапе 404 было определено, что дорожка не имеет ссылочного блока дорожки (блок 'tref'), то терминал переходит к этапу 406, на котором терминал проверяет блок медиа-информации (блок 'mdia') соответствующей дорожки. После этого терминал проверяет тип обработчика ('handler_type') на этапе 407, и проверяет оставшиеся блоки, содержащие стереоскопическую информацию, и отображает стереоскопическое содержание на экране на этапе 408.

Несмотря на то, что терминал идентифицирует первичную последовательность изображений и вторичную последовательность изображений на этапе 408 на Фиг.4, порядок этапов в процессе идентификации первичной последовательности изображений и вторичной последовательности изображений может быть изменен в соответствии с вышеописанным способом различения первичной последовательности изображений и вторичной последовательности изображений.

При идентификации первичной последовательности изображений и вторичной последовательности изображений, например, с использованием ссылочного блока дорожки (блок 'tref') терминал идентифицирует первичную последовательность изображений и вторичную последовательность изображений путем проверки типа ссылки ('reference_type') и идентификатора дорожки ('track_ID') ссылочного блока дорожки (блок 'tref') на этапе 405 на Фиг.4. В случае, когда дорожка последовательности изображений, имеющей ссылочный блок дорожки (блок 'tref'), определена как вторичная последовательность изображений, и когда тип ссылки ('reference_type') ссылочного блока дорожки (блок 'tref') представляет собой 'avmi', то идентификатор ссылающейся дорожки ('track_ID') является идентификатором дорожки ('track_ID') первичной последовательности изображений. Например, в случае, когда дорожка с идентификатором дорожки=1 (track_ID=1) имеет ссылочный блок дорожки (блок 'tref'), тип ссылки соответствующего ссылочного блока дорожки='avmi' (тип ссылки='avmi'), и идентификатор ссылающейся дорожки равен 2 (track_ID - 2), то дорожка с идентификатором дорожки=1 (track_ID=1) представляет собой дорожку стереоскопической последовательности изображений, которая является парной с дорожкой с идентификатором дорожки=2 (track_ID=2), и последовательность изображений дорожки с идентификатором дорожки=2 (track_ID=2) представляет собой первичную последовательность изображений.

В качестве еще одного способа различения первичной последовательности изображений и вторичной последовательности изображений в соответствии с вариантом осуществления настоящего изобретения, в случае, когда терминал проверяет поле 'is_left_first', указывающее, какая из левой последовательности изображений и правой последовательности изображений (или, в качестве альтернативы, какая из двух или более последовательностей изображений) кодируется первой в информации типа композиции стереоскопического видео, и определяет, какая из левой последовательности изображений и правой последовательности изображений (или, в качестве альтернативы, какая из двух или более последовательностей изображений) представляет собой первичную последовательность изображений или вторичную последовательность изображений в соответствии со значением соответствующего поля, терминал идентифицирует первичную последовательность изображений и вторичную последовательность изображений путем проверки поля относящейся к стереоскопическому видео информации, содержащей параметр 'is_left_first', и отображает соответствующие последовательности изображений на этапе 408 в соответствии с процессом на Фиг.4.

Таким образом, порядок операций в процессе идентификации первичной последовательности изображений и вторичной последовательности изображений подлежит изменению в соответствии с каждым из способов для различения первичной последовательности изображений и вторичной последовательности изображений в соответствии с настоящим изобретением.

Несмотря на то, что тип обработчика дорожек, на которые ссылаются, то есть остальных дорожек, не имеющих блока 'tref', представлен как тип «стереоскопическое видео» ('svid') в варианте осуществления настоящего изобретения, также является возможным, что дорожки, на которые ссылаются, могут иметь тип «видео» ('vide') и ссылающиеся дорожки могут иметь тип «стереоскопическое видео» ('svid'). Также тип обработчиков ('handler_type') и ссылающихся дорожек, и дорожек, на которые ссылаются, может быть представлен как тип «видео» ('vide') без отдельной дифференциации.

При этом процессы идентификации дорожек медиа-файла и отображения дорожек на экране, описанные на Фиг.4, могут не быть представлены в данной последовательности для некоторых терминалов и систем. Процесс синтаксического разбора формата файла и функционирование соответствующего терминала, не описанные подробно в настоящем документе, следуют ISO/IEC 14496-12 и ISO/IEC 23000-11.

Второй вариант осуществления

Второй вариант осуществления настоящего изобретения предоставляет способ организации ссылок на дорожки, содержащие параметры камеры и информацию безопасности дисплея, которые являются дополнительной информацией, с использованием ссылочного блока дорожки (блок 'tref') в стереоскопическом содержании. Параметры камеры, которые могут быть включены в стереоскопическое содержание в качестве дополнительной информации, могут включать в себя базисную линию, фокусное расстояние, расстояние схождения, сдвиг, поворот и т.д., а информация безопасности дисплея может включать в себя информацию, относящуюся к размеру дисплея, расстояние наблюдения, информацию диспаратности и т.д. Хотя параметры камеры и информация безопасности дисплея описаны в настоящем документе как дополнительная информация, эти параметры и информация безопасности являются необязательными. Следовательно, блок, содержащий соответствующую информацию, может быть описан как необязательный блок.

Второй вариант осуществления настоящего изобретения добавляет 'cdsi' в поле 'reference_type' блока 'tref, как показано в Таблице 5, для ссылки на дорожку для дорожки, содержащей параметры камеры и информацию безопасности дисплея, используемую для получения стереоскопического содержания.

Таблица 5
reference_type	Описание
hint	Дорожка, на которую ссылаются, содержит оригинал мультимедиа для данной дорожки подсказок
cdsc	Данная дорожка описывает дорожку, на которую ссылаются
cdsi	Дорожка, на которую ссылаются, содержит информацию безопасности стереоскопических камеры и дисплея

Фиг.5 иллюстрирует способ организации ссылок для дорожки, содержащей параметры камеры и информацию безопасности дисплея, которые являются дополнительной информацией для стереоскопического содержания, в соответствии со вторым вариантом осуществления настоящего изобретения.

Обратимся к Фиг.5; дорожка стереоскопической левой последовательности изображений и дорожка стереоскопической правой последовательности изображений могут ссылаться на дорожки, которые содержат дополнительную информацию, с использованием блоков ссылки на дорожки (блоки 'tref') 510 и 520. В этом случае нет необходимости в хранении дополнительной информации в обеих дорожках, и можно избежать дублированного хранения одной и той же информации в нескольких дорожках, поскольку другие дорожки ссылаются на дорожку, содержащую дополнительную информацию.

Фиг.6 иллюстрирует способ применения второго варианта осуществления настоящего изобретения для мультивидового содержания, имеющего множество последовательностей изображений.

Даже в этом случае, как проиллюстрировано на Фиг.5, дорожки, включающие в себя каждую из последовательностей изображений, делают ссылку на дорожку, содержащую дополнительную информацию, с использованием блоков 'tref' 610, 620 и 630.

Фиг.7 представляет собой блок-схему, иллюстрирующую функционирование терминала в соответствии со вторым вариантом осуществления настоящего изобретения.

Обратимся к Фиг.7; терминал выполняет синтаксический разбор блока типа файла (блок 'ftyp') в медиа-файле на этапе 701. Терминал выполняет синтаксический разбор блока видеоданных (блок 'moov') и блока дорожки (блок 'trak') в медиа-файле на этапах 702 и 703, соответственно. На этапе 704 терминал определяет, имеется ли ссылочный блок дорожки (блок 'tref') в блоке дорожки. Для дорожки, имеющей ссылочный блок дорожки (блок 'tref'), терминал проверяет тип ссылки ('reference_type') в ссылочном блоке дорожки (блок 'tref') на этапе 705. Если было определено, что тип ссылки ('reference_type') представляет собой 'cdsi', то терминал проверяет идентификатор ссылающейся дорожки ('track_ID') ссылочного блока дорожки (блок 'tref') с целью определения того, какая дорожка содержит дополнительную информацию, включающую параметры камеры и информацию безопасности дисплея, представляющие собой дополнительную информацию для стереоскопического видео, на которую соответствующая дорожка предполагает создать ссылку. Терминал проверяет блок медиа-информации (блок 'mdia') на этапе 706 и проверяет на этапе 707 тип обработчика ('handler_type') блока обработчика (блок 'hdlr'), по которому терминал может определить тип медиа-данных соответствующей дорожки. В конце, на этапе 708, терминал проверяет информацию оставшихся блоков, содержащих стереоскопическую информацию, проводит синтаксический разбор относящейся к стереоскопическому видео информации для дорожек стереоскопических последовательностей изображений и отображает ассоциированные дорожки на экране. Последовательность процессов для синтаксического разбора блока дорожки (блок 'trak') выполняется от первой дорожки к последней дорожке медиа-файла одинаковым образом в случае, когда соответствующие дорожки являются дорожками стереоскопических последовательностей изображений.

Однако если на этапе 704 было определено, что дорожка не имеет ссылочного блока дорожки (блок 'tref'), то терминал переходит к этапу 706, на котором терминал проверяет блок медиа-информации (блок 'mdia') соответствующей дорожки. После этого терминал проверяет тип обработчика ('handler_type') на этапе 707, и проверяет оставшиеся блоки, содержащие стереоскопическую информацию, и отображает стереоскопическое содержание на экране на этапе 708.

Несмотря на то, что терминал идентифицирует первичную последовательность изображений и вторичную последовательность изображений на этапе 708 на Фиг.7, порядок этапов в процессе идентификации первичной последовательности изображений и вторичной последовательности изображений может быть изменен в соответствии с вышеописанным способом различения первичной последовательности изображений и вторичной последовательности изображений, как описано на Фиг.4, на основании первого варианта осуществления настоящего изобретения.

Если тип обработчика дорожки, синтаксически разобранный на этапе 707, представляет собой «стереоскопическое видео» ('svid'), то соответствующая дорожка представляет собой дорожку, которая содержит необязательную информацию, включающую параметры камеры и информацию безопасности дисплея, которые представляют собой дополнительную информацию для стереоскопического видео.

При этом процессы идентификации дорожек медиа-файла и отображения дорожек на экране, описанные Фиг.7, могут не быть представлены в данной последовательности для некоторых терминалов и систем. Процесс синтаксического разбора формата файла и функционирование соответствующего терминала, не описанные подробно в настоящем документе, следуют ISO/IEC 14496-12 и ISO/IEC 23000-11.

Третий вариант осуществления

В случае службы, в которой стереоскопическое содержание и моноскопическое содержание одновременно отображаются в одной сцене как элементы, составляющие одну сцену, необходимо соединить дорожки двух последовательностей изображений для декодирования и отображения стереоскопической последовательности изображений и моноскопической последовательности изображений, которые должны быть описаны в одной сцене, с тем чтобы помочь пользователю узнать о том, что они представляют собой ассоциированные дорожки. Однако, поскольку в имеющихся форматах стереоскопических файлов нельзя описать такую взаимосвязь, в третьем варианте осуществления настоящего изобретения предлагается способ решения этой проблемы.

Блок ссылки на обработчик (блок 'hdlr') и ссылочный блок дорожки (блок 'tref) определены, помимо других блоков, в документе 'Формат медиа-файла ISO/IEC 14496-12 на основе ISO'. Блок ссылки на обработчик (блок 'hdlr') представляет тип медиа-данных в текущей дорожке с использованием типа обработчика ('handler_type'), в соответствии с описанным выше. Третий вариант осуществления настоящего изобретения добавляет 'mvid' к типу обработчика ('handler_type') блока ссылки на обработчик (блок 'hdlr'), как показано в Таблице 6, с целью соединения дорожки стереоскопической последовательности изображений с дорожкой моноскопической последовательности изображений, при этом они должны быть описаны в одной сцене.

Таблица 6
handler_type	Описание
vide	Видеодорожка
soun	Аудиодорожка
hint	Дорожка подсказки
meta	Дорожка регулируемых по времени метаданных
mvid	Моноскопическая видеодорожка

Ссылочный блок дорожки (блок 'tref') представляет собой блок, используемый для соединения другой дорожки, на которую ссылается текущая дорожка, с использованием типа ссылки ('reference_type') и идентификатора дорожки ('track_ID'). Третий вариант осуществления настоящего изобретения добавляет 'scmi' к типу ссылки ('reference_type') ссылочного блока дорожки (блок 'tref'), как показано в Таблице 7, с целью соединения двух ассоциированных дорожек.

Таблица 7
reference_type	Описание
hint	Дорожка, на которую ссылаются, содержит оригинал мультимедиа для данной дорожки подсказок
cdsc	Данная дорожка описывает дорожку, на которую ссылаются
scmi	Дорожка, на которую ссылаются, содержит пространственно совмещенную медиа-дорожку

Фиг.8 иллюстрирует файловую структуру, которая соединяет дорожку стереоскопической последовательности изображений и дорожку моноскопической последовательности изображений друг с другом, с образованием одной сцены в содержании, имеющем стереоскопическую последовательность изображений и моноскопическую последовательность изображений, которые одновременно отображаются в одной сцене, с использованием вновь определенных 'handler_type' и 'reference_type', в соответствии с третьим вариантом осуществления настоящего изобретения.

Обратимся к Фиг.8; текущая дорожка представляет собой дорожку стереоскопической последовательности изображений, и дорожка моноскопической последовательности изображений, которая должна быть отображена в одной сцене вместе со стереоскопической последовательностью изображений, соединена с текущей дорожкой посредством ссылочного блока дорожки (блок 'tref') 810. В случае, когда тип ссылки установлен как reference_type='scmi', дорожка, на которую ссылаются, представляет собой дорожку (пространственно совмещенную медиа-дорожку), содержащую моноскопическое содержание, которое должно быть отображено в одной сцене со стереоскопической видеодорожкой, которая является ссылающейся дорожкой. Кроме того, в случае установки типа обработчика в блоке ссылки на обработчик (блок 'hdlr') 820 дорожки, на которую ссылаются, как handler_type='mvid', дорожка, на которую ссылаются, представляет собой дорожку (пространственно совмещенную медиа-дорожку) моноскопической последовательности изображений, которая должна быть отображена в одной сцене со стереоскопической последовательностью изображений.

Фиг.9 иллюстрирует файловую структуру, которая соединяет стереоскопические последовательности изображений, составленные из двух или более последовательностей изображений, и моноскопическую последовательность изображений друг с другом в форме содержания, имеющего стереоскопическую последовательность изображений и моноскопическую последовательность изображений, которые одновременно отображаются в одной сцене в соответствии с третьим вариантом осуществления настоящего изобретения.

Обратимся к Фиг.9; дорожка стереоскопической левой последовательности изображений и дорожка стереоскопической правой последовательности изображений, которые составляют стереоскопическое видео, могут быть соединены так, чтобы была создана ссылка на дорожку моноскопической последовательности изображений, которая должна быть отображена вместе с ними в одной сцене, посредством ссылочных блоков дорожки (блок 'tref') 910 и 920, соответственно. Даже в этом случае, когда типы ссылок ссылочных блоков дорожки (блок 'tref') 910 и 920 установлены как reference_type='scmi' для дорожки стереоскопической левой последовательности изображений и дорожки стереоскопической правой последовательности изображений, соответственно, и тип обработчика блока ссылки на обработчик (блок 'hdlr') 930 дорожки, на которую ссылаются, установлен как handler_type='mvid', дорожка последовательности изображений, на которую ссылаются, представляет собой дорожку (пространственно совмещенную медиа-дорожку) моноскопической последовательности изображений, которая должна быть отображена в одной сцене со стереоскопической последовательностью изображений.

Четвертый вариант осуществления

Фиг.10 иллюстрирует еще одну файловую структуру, которая соединяет дорожку стереоскопической последовательности изображений и дорожку моноскопической последовательности изображений друг с другом в форме содержания, имеющего стереоскопическую последовательность изображений и моноскопическую последовательность изображений, которые одновременно отображаются в одной сцене, посредством вновь определенного типа обработчика (handler_type) 'svid' и типа ссылки ('reference_type') 'avmi', в соответствии с четвертым вариантом осуществления настоящего изобретения.

В четвертом варианте осуществления настоящего изобретения создание ссылки на дорожку выполняется в соответствии с тем же способом, что и способ создания ссылок на дорожку, используемый в первом варианте осуществления настоящего изобретения. Однако в четвертом варианте осуществления настоящего изобретения ссылочный блок дорожки (блок 'tref') 1010 используется не только для соединения со стереоскопической последовательностью изображений с образованием пары с ее последовательностью изображений, но также используется для соединения с моноскопической последовательностью изображений, которая одновременно отображается в одной сцене с ней. Путем установки значения поля reference_type='avmi' в ссылочном блоке дорожки (блок 'tref') 1010, handler_type='svid' в блоке ссылки на обработчик (блок 'hdlr') 1020 дорожки стереоскопического видео, на которую ссылаются, и handler_type='vide' в блоке ссылки на обработчик (блок 'hdlr') 1030 дорожки моноскопического видео, на которую ссылаются, можно осуществить различение оставшейся последовательности изображений стереоскопического видео, которая объединена в пару с первичной последовательностью изображений, и моноскопической последовательности изображений, которая должна быть одновременно отображена в одной сцене вместе со стереоскопическим содержанием.

В примере на Фиг.10, поскольку дорожка стереоскопической правой последовательности изображений определена как дорожка первичной последовательности изображений в соответствии с вышеописанным способом определения первичной последовательности изображений, то дорожка, имеющая ссылочный блок дорожки (блок 'tref') устанавливается в качестве вторичной последовательности изображений.

Далее в этом варианте осуществления настоящего изобретения, в случае, когда взаимосвязь между стереоскопическим содержанием, составленным из двух или более дорожек, представлена с использованием типа ссылки='avmi', поле handler_type дорожки первичной последовательности изображений имеет значение 'vide', и тип обработчика дорожки вторичной последовательности изображений становится 'svid'. Естественно, в этом разделении последовательность изображений, на которую ссылаются, также может иметь тип «видео» ('vide'). Также все последовательности изображений могут быть представлены с использованием только типа «видео» ('vide') без отдельного разделения.

Пятый вариант осуществления

Пятый вариант осуществления настоящего изобретения представляет взаимосвязь между стереоскопическим содержанием, составленным из двух или более последовательностей изображений, с использованием способа ссылки на дорожки, аналогичного первому варианту осуществления настоящего изобретения, и предоставляет структуру стереоскопического медиа-файла, сгенерированную посредством хранения относительной информации дисплея и камеры из ссылающейся последовательности изображений для других последовательностей изображений, отличных от ссылающейся последовательности изображений.

В относящейся к стереоскопическому видео информации дополнительная информация включена в стереоскопическое содержание в соответствии с описанным в первом и втором вариантах осуществления настоящего изобретения. В качестве дополнительной информации, которая может быть включена в стереоскопическое содержание, может выступать информация дисплея и камеры для стереоскопического видео, включая относящуюся к стереоскопическому видео информацию, полученную в процессе получения стереоскопического видео. Такая информация дисплея и камеры для стереоскопического видео может включать в себя базисную линию, фокусное расстояние, расстояние схождения, сдвиг, поворот и т.д., а информация безопасности дисплея может включать в себя информацию, относящуюся к размеру дисплея, расстоянию наблюдения, информацию диспаратности и т.д. Несмотря на то, что параметры камеры и информация безопасности дисплея описаны в настоящем документе как дополнительная информация, эти параметры и информация безопасности являются необязательными. Следовательно, блок, содержащий соответствующую информацию, может быть описан как необязательный блок.

Один из способов хранения информации дисплея и камеры для стереоскопического видео состоит в хранении относительных значений для информации дисплея и камеры относительно ссылающейся последовательности изображений в остальных последовательностях изображений в виде значений параметров и соответствующих полей на основании ссылающейся последовательности изображений. Например, когда предполагается, что ссылающаяся последовательность изображений является первичной последовательностью изображений, вся информация дисплея и камеры для первичной последовательности изображений хранится как 0, и значения параметров относительной информации дисплея и камеры из ссылающейся последовательности изображений для каждого поля хранятся в остальных последовательностях изображений, то есть во вторичной последовательности изображений, исключая первичную последовательность изображений. Поскольку вся информация дисплея и камеры для стереоскопического видео ссылающейся последовательности изображений устанавливается на 0, то соответствующая информация может быть пропущена. Таким образом, относительная информация дисплея и камеры для информации дисплея и камеры ссылающейся последовательности изображений может храниться только в остальных последовательностях изображений. Например, в случае когда расстояние между камерами для двух последовательностей изображений, информация дисплея и камеры для которых относится к стереоскопическому видео, предполагается равным 5, то поскольку значение поля для соответствующей информации ссылающейся последовательности изображений равно 0, значение '0' может быть пропущено, и расстояние, равное 5, от камеры ссылающейся последовательности, хранится как значение поля соответствующей информации в остальных последовательностях изображений.

Фиг.11А иллюстрирует файловую структуру в соответствии с пятым вариантом осуществления настоящего изобретения.

На Фиг.11А предполагается, что ссылающаяся последовательность изображений является первичной последовательностью изображений, и в структуре стереоскопического медиа-файла, составленной из двух последовательностей изображений, блок 'scdi' 1140, в котором хранится информация дисплея и камеры относительно первичной последовательности изображений, содержится в дорожке вторичной последовательности изображений; и дорожка первичной последовательности изображений соединена с дорожкой вторичной последовательности изображений, имеющей информацию 'scdi', посредством типа обработчика 'svid' 1110 и типа ссылки 'avmi' 1120 с использованием того же способа, что и способ ссылки на дорожку, используемый в первом варианте осуществления настоящего изобретения. Даже в этом случае тип видео 'vide' может быть использован в качестве типа обработчика 1110 стереоскопической последовательности изображений. На Фиг.11А первичная последовательность изображений показана как левая последовательность изображений без ссылочного блока дорожки (блок 'tref'), и в файловой структуре дорожка стереоскопической последовательности изображений с ссылочным блоком дорожки (блок 'tref'), то есть последовательность изображений с типом ссылки ('reference_type')='avmi', содержит блок 'scdi', в котором находится информация дисплея и камеры относительно ссылающейся последовательности изображений.

Фиг.11В иллюстрирует случай, когда дорожка с ссылочным блоком дорожки (блок 'tref) 1150, который ссылается на дорожку, представлена независимо от дорожки с блоком 'scdi' 1160. Здесь ссылающаяся последовательность изображений для информации 'scdi' является левой последовательностью изображений, и относительная информация 'scdi' для левой последовательности изображений содержится в дорожке правой последовательности изображений.

Фиг.12А иллюстрирует файловую структуру, сгенерированную посредством расширения способа из пятого варианта осуществления настоящего изобретения для мультивидового содержания, имеющего две или более последовательностей изображений.

Обратимся к Фиг.12А; в соответствии с пятым вариантом осуществления настоящего изобретения, блоки 'scdi' 1224 и 1234, в которых хранится информация дисплея и камеры относительно первичной последовательности изображений, содержатся в остальном множестве последовательностей изображений, отличных от первичной последовательности изображений, и дорожка первичной последовательности изображений соединена с дорожками остальных последовательностей изображений с информацией 'scdi' посредством типа обработчика 'svid' 1210 и типов ссылок 'avmi' 1220 и 1230, тем же способом, что и способ ссылки на дорожку в первом варианте осуществления настоящего изобретения. Даже в этом случае тип видео 'vide' может быть использован в качестве типа обработчика стереоскопического видео (1222 и 1232).

Фиг.12В иллюстрирует случай, в котором дорожка с блоком 'tref' 1250, которая ссылается на дорожку, представлена независимо от дорожек с блоками 'scdi' 1260 и 1270.

В вариантах осуществления настоящего изобретения с первого по пятый заголовки, имена и семантика типов ссылок и типов обработчика могут быть выражены посредством различных заголовков, имен и семантики, если они соответствуют тем же объектам и способам.

Ниже будет приведено описание системы для генерации и воспроизведения медиа-файла с использованием формата медиа-файла в соответствии с вариантом осуществления настоящего изобретения. Система в соответствии с вариантом осуществления настоящего изобретения может, в общих чертах, состоять из устройства генерации медиа-файлов и устройства воспроизведения медиа-файлов.

Фиг.13 иллюстрирует устройство генерации медиа-файлов в соответствии с вариантом осуществления настоящего изобретения.

Обратимся к Фиг.13; устройство генерации медиа-файлов в соответствии с вариантом осуществления настоящего изобретения включает в себя две или более камеры 1301-1304, блок ввода 1310, процессор видеосигнала 1320, запоминающее устройство 1330, кодировщик 1340 и генератор файла 1350.

Каждая из камер 1301-1304 фотографирует конкретный объект с левой стороны и с правой стороны и выдает различные последовательности изображений. В случае обслуживания монографического видео, данные моноскопического видео вводятся в блок ввода 1310 вместе с данными стереоскопического видео. На этом этапе в устройство ввода 1310 также может вводиться такая информация, как параметры камеры.

Процессор видеосигнала 1320 предварительно обрабатывает все видеоданные, полученные посредством блока ввода 1310. Здесь операция предварительной обработки относится к операции преобразования аналогового значения, сгенерированного путем распознавания внешних значений видео, то есть компонентов света и цвета, в цифровой сигнал посредством устройства с зарядовой связью (CCD) или датчика типа «комплементарный металлооксидный полупроводник» (CMOS).

В запоминающем устройстве 1330 хранятся видеоданные, предварительно обработанные процессором видеосигнала 1320, и оно выдает хранящиеся видеоданные кодировщику 1340. На Фиг.13 показано запоминающее устройство 1330, но в запоминающем устройстве 1330 отдельно не показана конструкция памяти, которая может использоваться для буферизации между элементами, приведенными на Фиг.13. Кодировщик 1340 кодирует все видеоданные, поступающие из запоминающего устройства 1330. Операция кодирования, выполняемая кодировщиком 1340, состоит в кодировании данных, которое может быть пропущено в случае необходимости.

Генератор файлов 1350 генерирует медиа-файл 1300 с использованием видеоданных, закодированных кодировщиком 1340. Видеоданные хранятся в области данных, в частности в области медиа-данных, а информация ссылок на дорожки для указания взаимосвязи между видеоданными, информация обработчика для представления типа медиа для всех видеоданных, тип композиции стереоскопического видео и информация камеры и дисплея хранятся в блоке соответствующей информации для дорожки для всех видеоданных. Сгенерированный медиа-файл 1300 подается на вход или передается устройству воспроизведения стереоскопических медиа-файлов, и устройство воспроизведения медиа-файлов воспроизводит и отображает обслуживаемое стереоскопическое видео из медиа-файла 1300.

Ниже будет приведено описание устройства воспроизведения стереоскопических медиа-файлов в соответствии с вариантом осуществления настоящего изобретения.

Фиг.14 представляет собой блочную диаграмму, иллюстрирующую устройство воспроизведения медиа-файлов в соответствии с вариантом осуществления настоящего изобретения. Как показано на Фиг.14, устройство воспроизведения медиа-файлов включает в себя синтаксический анализатор 1410, декодер 1420, запоминающее устройство 1430, блок воспроизведения 1440 и блок отображения 1450.

Синтаксический анализатор файла 1410 получает и выполняет синтаксический разбор медиа-файла 1400, сгенерированного, например, генератором файлов 1350 в устройстве генерации медиа-файлов. В этом случае синтаксический анализатор файла 1410 выполняет синтаксический разбор информации, хранящейся, соответственно, в файле, в областях moov, дорожки и метаданных и затем извлекает видеоданные 1401-1404, хранящиеся в области медиа-данных. Посредством операции синтаксического разбора файла, показанной на Фиг.4 и 7, синтаксический анализатор файла 1410 может извлекать даже информацию, указывающую взаимосвязь, включая информацию ссылок между дорожками, и может идентифицировать ассоциированные дорожки.

Декодер 1420 декодирует извлеченные видеоданные. В типовом варианте осуществления настоящего изобретения, декодер 1420 используется в тех случаях, когда устройство генерации медиа-файлов кодирует данные посредством кодировщика 1340. Декодированные данные хранятся в запоминающем устройстве 1430. Блок воспроизведения 1440 синтезирует и воспроизводит ассоциированные стереоскопические последовательности изображений с использованием видеоданных, хранящихся в запоминающем устройстве 1430, в зависимости от информации идентификации и/или совместно воспроизводит ассоциированные стереоскопическую последовательность изображений и моноскопическую последовательность изображений. Блок отображения 1450 отображает воспроизведенные последовательности изображений. Блок отображения 1450 может использовать барьерный жидкокристаллический дисплей (LCD). В этом случае барьерный LCD выключается для моноскопического видео в медиа-файле и включается для стереоскопического видео, в результате чего каждое видео может отображаться на экране.

Как ясно из предшествующего описания, настоящее изобретение может явным образом определять дорожки, которые ассоциированы друг с другом, среди дорожек, включенных в стереоскопическое содержание, составленное из двух или более последовательностей изображений, или в содержание, имеющее стереоскопическое видео и моноскопическое видео, которые одновременно отображаются в одной сцене, и также позволяет избегать избыточности для дополнительных метаданных.

Несмотря на то, что изобретение было показано и описано со ссылкой на определенные предпочтительные варианты осуществления изобретения, специалистам в данной области техники будет понятно, что различные изменения в форме и деталях могут быть внесены в настоящее изобретение без выхода за рамки изобретения, в соответствии с тем, что определено в прилагаемой формуле изобретения.

1. Компьютерно-читаемый носитель, на котором хранится структура данных, включающая в себя:
поле медиа-данных, содержащее множество последовательностей изображений, включающее в себя стереоскопические последовательности изображений, одновременно отображаемых в одной сцене; и
поле медиа-заголовка, содержащее поля дорожки, соответствующие каждой из множества последовательностей изображений,
при этом поле дорожки из числа полей дорожки содержит ссылочное поле дорожки, и причем ссылочное поле дорожки содержит ссылочную информацию дорожки, указывающую, что поле дорожки ссылается на другое поле дорожки в полях дорожки.

2. Компьютерно-читаемый носитель по п.1, в котором последовательности изображений включают в себя первичную последовательность изображений и вторичную последовательность изображений.

3. Компьютерно-читаемый носитель по п.1, в котором поле дорожки содержит параметр, и причем упомянутый параметр решает, что одна из последовательностей изображений является первичной последовательностью изображений.

4. Компьютерно-читаемый носитель по п.2, в котором если первичная последовательность изображений и вторичная последовательность изображений являются типом стереоскопической последовательности изображений, поле медиа-данных или поле медиа-заголовка, соответствующие первичной последовательности изображений, содержат все те значения параметров информации дисплея и камеры для первичной последовательности изображений, которые установлены в ноль, и значения параметров относительной информации дисплея и камеры из первичной последовательности изображений содержатся в поле медиа-данных или в поле медиа-заголовка, соответствующих вторичной последовательности изображений.

5. Компьютерно-читаемый носитель по п.2, в котором первичная последовательность изображений представляет собой одну из стереоскопической левой последовательности изображений, стереоскопической правой последовательности изображений, дополнительной последовательности изображений, стереоскопического содержания, моноскопического содержания, и
при этом вторичная последовательность изображений представляет собой одну из стереоскопической левой последовательности изображений, стереоскопической правой последовательности изображений, дополнительной последовательности изображений, стереоскопического содержания, моноскопического содержания, и
при этом вторичная последовательность изображений содержит информацию безопасности стереоскопической камеры и дисплея.

6. Реализуемый компьютером способ, включающий в себя:
прием медиа-файла;
синтаксический разбор поля медиа-данных принятого медиа файла, содержащего множество последовательностей изображений, включающее в себя стереоскопические последовательности изображений, одновременно отображаемых в одной сцене, и поля медиа-заголовка принятого медиа-файла, содержащего поля дорожки, соответствующие каждой из множества последовательностей изображений; и
генерацию видео на основе ссылочной последовательности изображений и последовательности изображений, на которую ссылаются, в соответствии со ссылочной информацией дорожки, содержащейся в ссылочном поле дорожки, которое включено в поле дорожки, соответствующее ссылочной последовательности изображений из числа полей дорожки;
причем ссылочная информация дорожки указывает другое поле дорожки в полях дорожки, на которые ссылаются для генерации последовательности изображений, на которую ссылаются.

7. Реализуемый компьютером способ по п.6, в котором последовательности изображений включают в себя первичную последовательность изображений и вторичную последовательность изображений.

8. Реализуемый компьютером способ по п.6, в котором поле дорожки содержит параметр, и причем упомянутый параметр решает, что одна из последовательностей изображений является первичной последовательностью изображений.

9. Реализуемый компьютером способ по п.7, в котором если первичная последовательность изображений и вторичная последовательность изображений являются типом стереоскопической последовательности изображений, поле медиа-данных или поле медиа-заголовка, соответствующие первичной последовательности изображений, содержат все те значения параметров информации дисплея и камеры для первичной последовательности изображений, которые установлены в ноль, и значения параметров относительной информации дисплея и камеры из первичной последовательности изображений содержатся в поле медиа-данных или в поле медиа-заголовка, соответствующих вторичной последовательности изображений.

10. Реализуемый компьютером способ по п.7, в котором первичная последовательность изображений представляет собой одну из стереоскопической левой последовательности изображений, стереоскопической правой последовательности изображений, дополнительной последовательности изображений, стереоскопического содержания, моноскопического содержания, и
при этом вторичная последовательность изображений представляет собой одну из стереоскопической левой последовательности изображений, стереоскопической правой последовательности изображений, дополнительной последовательности изображений, стереоскопического содержания, моноскопического содержания, и
при этом вторичная последовательность изображений содержит информацию безопасности стереоскопической камеры и дисплея.

11. Терминальное устройство, включающее в себя:
приемник для приема медиа-файла;
синтаксический анализатор файла для синтаксического разбора поля медиа-данных принятого медиа-файла, содержащего множество последовательностей изображений, включающее в себя стереоскопические последовательности изображений, одновременно отображаемых в одной сцене, и поля медиа-заголовка принятого медиа-файла, содержащего поля дорожки, соответствующие каждой из множества последовательностей изображений, и для извлечения видео на основе ссылочной последовательности изображений и последовательности изображений, на которую ссылаются, в соответствии со ссылочной информацией дорожки, содержащейся в ссылочном поле дорожки, которое включено в поле дорожки, соответствующее ссылочной последовательности изображений из числа полей дорожки; и
блок дисплея для отображения извлеченного видео,
причем ссылочная информация дорожки указывает другое поле дорожки в полях дорожки, на которые ссылаются для генерации последовательности изображений, на которую ссылаются.

12. Терминальное устройство по п.11, в котором последовательности изображений включают в себя первичную последовательность изображений и вторичную последовательность изображений.

13. Терминальное устройство по п.12, в котором поле дорожки содержит параметр, и причем упомянутый параметр решает, что одна из последовательностей изображений является первичной последовательностью изображений.

14. Терминальное устройство по п.12, в котором если первичная последовательность изображений и вторичная последовательность изображений являются типом стереоскопической последовательности изображений, поле медиа-данных или поле медиа-заголовка, соответствующие первичной последовательности изображений, содержат все те значения параметров информации дисплея и камеры для первичной последовательности изображений, которые установлены в ноль, и значения параметров относительной информации дисплея и камеры из первичной последовательности изображений содержатся в поле медиа-данных или в поле медиа-заголовка, соответствующих вторичной последовательности изображений.

15. Терминальное устройство по п.12, в котором первичная последовательность изображений представляет собой одну из стереоскопической левой последовательности изображений, стереоскопической правой последовательности изображений, дополнительной последовательности изображений, стереоскопического содержания, моноскопического содержания, и
при этом вторичная последовательность изображений представляет собой одну из стереоскопической левой последовательности изображений, стереоскопической правой последовательности изображений, дополнительной последовательности изображений, стереоскопического содержания, моноскопического содержания, и
при этом вторичная последовательность изображений содержит информацию безопасности стереоскопической камеры и дисплея.