Вспомогательные данные в трансляции 3d изображения

Изобретение относится к технологиям обработки трехмерной видеоинформации. Техническим результатом является обеспечение улучшения визуализации трехмерной видеоинформации за счет двойной передачи вспомогательных данных. Предложен способ обработки трехмерной [3D] видеоинформации для генерирования транспортного потока данных для передачи 3D видеоинформации, совместимой с заранее заданной 2D цепочкой распределения видео. Трехмерная видеоинформация содержит 3D видеоданные и вспомогательные данные. 3D видеоданные содержат, по меньшей мере, левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта. Вспомогательные данные размещены для отображения в области наложения на 3D видеоданные. Согласно способу размещают 3D видеоданные левого изображения и правого изображения в 2D кадре для основных видеоданных в основном размещении. 4 н. и 10 з.п. ф-лы, 12 ил.

 

ОБЛАСТЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Изобретение относится к способу обработки трехмерной [3D] видеоинформации для генерирования транспортного потока данных для передачи 3D видеоинформации согласно 2D формату передачи, при этом 3D видеоинформация содержит 3D видеоданные и вспомогательные данные,

3D видеоданные содержат по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта, вспомогательные данные размещены для отображения в области наложения на 3D видеоданные, при этом способ состоит в том, что

- размещают 3D видеоданные левого изображения и правого изображения в 2D кадре для основных видеоданных согласно 2D формату передачи в основном размещении,

- обеспечивают управляющие данные, содержащие параметры для приемника для того, чтобы позволить приемнику воспроизвести основные видеоданные и наложить вспомогательные данные,

- компонуют транспортный поток данных, включающий в себя 3D видеоданные в основном размещении, вспомогательные данные и управляющие данные.

Изобретение дополнительно относится к устройству для обработки 3D видеоинформации, сигналу для передачи 3D видеоинформации и приемнику для обработки трехмерной [3D] видеоинформации.

Изобретение относится к области техники трансляции (вещания) 3D видео. Все больший объем продукции индустрии развлечений нацелен на 3D кинотеатры. Эта продукция использует формат с двумя изображениями (левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта), предпочтительно предназначенный для просмотра с помощью специальных очков. Существует интерес со стороны индустрии перенести эту 3D продукцию в дом. Также вещательные компании начали экспериментальную передачу 3D контента, особенно прямых трансляций спортивных событий. В настоящий момент стандарт для цифрового видеовещания (DVB) адаптируется для передачи стереоскопического контента. Формат, который будет использоваться, разумеется, на ранней стадии, будет широко используемым стереоформатом, содержащим по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта, при этом данные обоих изображений отформатированы в 2D видеокадре, например в размещении бок о бок (SBS) или сверху вниз (TB).

Системы и устройства для генерирования 2D видеоданных известны, например, видеосерверы, вещательные студии или авторские устройства. В настоящее время требуются подобные 3D видеоустройства для обеспечения 3D видеоданных, и предлагаются дополнительные 3D видеоустройства для визуализации 3D видеоданных, такие как телевизионные приставки, которые обрабатывают принятые 3D видеосигналы. 3D видеоустройство может быть соединено с устройством отображения, таким как телевизор или монитор, для передачи 3D видеоданных через подходящий интерфейс, предпочтительно высокоскоростной цифровой интерфейс, такой как HDMI. 3D дисплей может также быть интегрирован с 3D видеоустройством, например, телевизор (TV), имеющий приемную секцию и 3D дисплей.

УРОВЕНЬ ТЕХНИКИ, К КОТОРОМУ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Международный общественный стандарт ISO/IEC 14496-10 “Information technology - Coding of audio-visual objects - Part 10: Advanced Video Coding” ("Информационная технология - Кодирование аудиовизуальных объектов - Часть 10: Усовершенствованное кодирование видео"), пятое издание 15.05.2009 г. описывает цифровое кодирование видеоинформации, например для цифрового видеовещания (DVB). Видеоданные определяют содержание основного видео, которое должно быть показано. Вспомогательные данные определяют любые другие данные, которые могут быть отображены в комбинации с основными видеоданными, такие как графические данные или субтитры. Стандарт и дополнительные связанные документы также определяют управляющие данные для указания параметров приемнику, чтобы позволить приемнику воспроизвести основные видеоданные и наложить вспомогательные данные, и компоновку транспортного потока данных, включающего в себя видеоданные, вспомогательные данные и управляющие данные для передачи. Стандарт AVC является примером; например, может использоваться MPEG-2 видео, также для высокого разрешения, как описано в ISO/IEC 13818-2 Generic coding of moving pictures and associated audio information: Video (Универсальное кодирование движущихся изображений и связанной аудиоинформации: Видео).

Для обеспечения возможности кодирования и передачи 3D видеоданных вышеупомянутые стандарты адаптируются. В частности, было предложено определить систему для указания, что 3D видеоинформация передается через 2D видеоканалы, отформатированная в 2D видеокадре, например, в упомянутом размещении бок о бок (SBS) или сверху вниз (TB). Следовательно, 3D видеоданные имеют по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта, и вспомогательные данные размещены для отображения в области наложения на 3D видеоданные. 3D видеоданные левого изображения и правого изображения отформатированы в 2D кадре для основных видеоданных согласно 2D формату передачи в основном размещении. Например, в поправке к вышеупомянутому стандарту ISO было предложено расширить сообщения управляющих данных, называемые сообщениями дополнительной расширенной информации (SEI), путем определения нового сообщения SEI, показывающего пространственное перемежение левого и правого изображений видеоданных в 2D видеокадре для использования в качестве доставки стереоскопического видео. Пространственное перемежение может, например, быть упомянутым размещением бок о бок (SBS) или сверху вниз (TB) или перемежением в шахматном порядке.

WO 2009/078678 описывает формат стереоскопических данных, основанный на MPEG4. Формат определяет видеоданные и текстовые данные, которые должны быть наложены. В первом варианте осуществления текстовый узел включен в Дескриптор Сцены. Первый вариант осуществления определяет левое строковое поле и правое строковое поле, содержащие два текста, соответствующие левой и правой точке наблюдения.

Кроме того, во втором варианте осуществления другой текстовый узел включен в Дескриптор Сцены. Второй вариант осуществления определяет одно стереоскопическое строковое поле и данные диспаратности, имеющие один текст, идентично используемый как для левой, так и для правой точек наблюдения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Предложенная передача 3D видеоинформации через 2D видеоканал дает возможность передачи основных видеоданных в 3D. Однако любые вспомогательные данные, такие как субтитры, также должны быть переданы, например, с использованием стандарта DVB для ведения Субтитров: ETSI EN 300 743 - Digital Video Broadcasting (DVB); Subtitling systems (Цифровое Видеовещание (DVB); Системы ведения Субтитров). Следует отметить, что такие вспомогательные данные передаются отдельно, например, в потоке вспомогательных данных в транспортном потоке. Пример такого транспортного потока, на который ссылается DVB, определен в стандарте: ISO/IEC 13818-1 Generic coding of moving pictures and associated audio information: Systems (Универсальное кодирование движущихся изображений и связанной аудиоинформации: Системы). Наложение вспомогательных данных, обычно основанное на настройке, выбранной пользователем, размещено на приемном конце. Может быть рассмотрено форматирование вспомогательных данных во вспомогательном размещении, подобно основному видео, например, также в SBS. Однако такой формат может привести к трудностям или дополнительным расходам на приемник.

Цель настоящего изобретения заключается в том, чтобы предоставить систему для передачи 3D видеоинформации, включающей в себя вспомогательные данные, которая избегает трудностей и дополнительных затрат на приемник.

Для этой цели согласно первому аспекту изобретения способ, как описано в первом абзаце, дополнительно содержит

- обеспечение вспомогательного левого изображения и вспомогательного правого изображения вспомогательных данных, которые должны быть наложены на левое изображение и правое изображение 3D видеоданных, и 2D версии вспомогательных данных и вспомогательных данных диспаратности, указывающих диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение,

- размещение вспомогательных данных вспомогательного левого изображения и вспомогательного правого изображения в потоке вспомогательных данных согласно 2D формату передачи во вспомогательном размещении, которое соответствует основному размещению,

- размещение вспомогательных данных 2D версии в дополнительном потоке вспомогательных данных,

- включение в транспортный поток дополнительного потока вспомогательных данных, вспомогательных данных диспаратности и индикатора формата диспаратности, указывающего дополнительный поток вспомогательных данных.

Для этой цели согласно дополнительным аспектам изобретения обеспечено устройство, содержащее видеопроцессор для:

- размещения 3D видеоданных левого изображения и правого изображения в 2D кадре для основных видеоданных согласно 2D формату передачи в основном размещении,

- обеспечения управляющих данных, содержащих параметры для приемника для того, чтобы позволить приемнику воспроизвести основные видеоданные и наложить вспомогательные данные,

- компоновки транспортного потока данных, включающего в себя 3D видеоданные в основном размещении, вспомогательные данные и управляющие данные,

видеопроцессор дополнительно выполнен с возможностью:

- обеспечения вспомогательного левого изображения и вспомогательного правого изображения вспомогательных данных, которые должны быть наложены на левое изображение и правое изображение 3D видеоданных, и 2D версии вспомогательных данных и вспомогательных данных диспаратности, указывающих диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение,

- размещения вспомогательных данных вспомогательного левого изображения и вспомогательного правого изображения в потоке вспомогательных данных согласно 2D формату передачи во вспомогательном размещении, которое соответствует основному размещению,

- размещения вспомогательных данных 2D версии в дополнительном потоке вспомогательных данных,

- включения в транспортный поток дополнительного потока вспомогательных данных, вспомогательных данных диспаратности и индикатора формата диспаратности, указывающего дополнительный поток вспомогательных данных.

Также сигнал содержит 3D видеоданные левого изображения и правого изображения в 2D кадре для основных видеоданных согласно 2D формату передачи в основном размещении, управляющие данные, содержащие параметры для приемника, чтобы дать возможность приемнику воспроизвести основные видеоданные и наложить вспомогательные данные, и транспортный поток данных, включающий в себя 3D видеоданные в основном размещении, вспомогательные данные и управляющие данные для передачи, при этом сигнал дополнительно содержит:

- вспомогательное левое изображение и вспомогательное правое изображение вспомогательных данных, которые должны быть наложены на левое изображение и правое изображение 3D видеоданных, и 2D версию вспомогательных данных и вспомогательные данные диспаратности, указывающие диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение,

- вспомогательные данные вспомогательного левого изображения и вспомогательного правого изображения в потоке вспомогательных данных согласно 2D формату передачи во вспомогательном размещении, которое соответствует основному размещению,

- вспомогательные данные 2D версии в дополнительном потоке вспомогательных данных,

- и в транспортном потоке дополнительный поток вспомогательных данных, вспомогательные данные диспаратности и индикатор формата диспаратности, указывающий дополнительный поток вспомогательных данных.

Также приемник содержит входной блок для приема сигнала и видеопроцессор для извлечения вспомогательных данных из дополнительного потока вспомогательных данных при прекращении использования вспомогательных данных во вспомогательном размещении, обеспеченных в потоке вспомогательных данных, и генерирования данных наложения для отображения в области наложения на 3D видеоданные на основе 2D версии вспомогательных данных и вспомогательных данных диспаратности.

Также компьютерный программный продукт для обработки 3D видеоинформации, выполненный с возможностью работы, чтобы заставить процессор осуществить способ, как определено выше.

Управляющие данные могут содержать как управляющие данные, которые указывают видеоформатирование (SBS. TB и т.д.), так и управляющие данные, которые содержат диспаратность для вспомогательных данных. Меры имеют эффект, заключающийся в том, что вспомогательные данные передаются во вспомогательном размещении, соответствующем размещению основного видео. В дополнение к этому, вспомогательные данные передаются одновременно также в 2D версии в комбинации со вспомогательными данными диспаратности, указывающими диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение. Упомянутая двойная передача вспомогательных данных дает возможность любому приемнику извлекать набор вспомогательных данных, которые способствуют легкой 3D визуализации комбинации основного видео и вспомогательных данных. Предпочтительно, как устаревшие 2D приемные устройства, так и новые 3D приемные устройства имеют возможность эффективно работать на основе двойной передачи вспомогательных данных. Более того, в то время как количество вспомогательных изображений, упакованных во вспомогательном размещении, может быть ограничено вследствие уменьшенного разрешения упомянутой упаковки, высокое качество для визуализации вспомогательной информации доступно вследствие присутствия вспомогательных данных диспаратности и 2D версии, которая имеет полное разрешение.

Изобретение также основано на следующем признании. При расширении существующей 2D системы передачи для 3D посредством упаковки основных видеокадров левого и правого изображений в один 2D кадр может показаться, что есть подобное решение для вспомогательных данных, т.е. посредством использования вспомогательного размещения, подобного основным видеоданным, например, бок о бок. Изобретатели увидели, что это размещение может быть обработано с помощью обычных обрабатывающих видеоархитектур, которые обрабатывают входящее основное видео, сначала декодируя основное видео и вспомогательные данные, а затем осуществляя наложение. Сигнал рассматривается как 2D сигнал до этого момента, и затем масштабируется до требуемого разрешения экрана для отображения. В случае, если 3D изображения размещены в 2D кадре, этап масштабирования изменяется. Предполагается, что последовательное отображение левого и правого кадра будет просматриваться через стереоскопические очки с активным затвором для соответственного глаза. Сначала берется часть левого изображения, например, левая половина кадра в SBS, масштабированная до разрешения экрана, и отображается. Затем берется часть правого изображения, например, правая половина кадра в SBS, масштабированная до разрешения экрана, и отображается. На практике архитектура может присутствовать при использовании устаревших 2D телевизионных приставок (STB) и 3D телевизора. Телевизионная приставка сначала генерирует отображаемые данные для отображения, например, для передачи через цифровой интерфейс, подобный HDMI. 3D телевизор принимает отображаемые данные, которые все еще в формате SBS. STB осуществит наложение вспомогательных данных SBS на основное видео SBS; 3D телевизор разделит левое изображение и правое изображение, каждое из которых имеет соответствующие наложенные вспомогательные данные.

Однако изобретатели увидели, что в других 3D приемниках может быть представлена другая архитектура. Основные видеоданные сначала анализируются и, когда левое и правое изображения размещены в формат 2D кадра, такие видеоданные сначала извлекаются из 2D кадра и разделяются, а затем (пере-)масштабируются для регенерации полного левого и правого изображений. Выбранный поток вспомогательных данных может затем быть наложен на левое и правое изображения. Использование вспомогательных данных во вспомогательном размещении сейчас требует дополнительных шагов, подобных выбору соответствующей части и масштабирования вспомогательных данных. Однако 2D версия вспомогательных данных, которые имеют полное разрешение, непосредственно накладывается без какого-либо дополнительного масштабирования. Те же самые вспомогательные данные накладываются как на левое, так и на правое изображения, отличаясь только в горизонтальном положении на предопределенную величину, называемую диспаратностью. Диспаратность приводит к соответствующему положению глубины вспомогательных данных. Величина диспаратности, которая будет применена при наложении 2D версии вспомогательных данных, непосредственно доступна через вспомогательные данные диспаратности, которые также включены в транспортный поток. Предпочтительно, применяемая диспаратность может быть дополнительно отрегулирована на основе размера экрана, расстояния просмотра или дополнительных параметров, или предпочтений просмотра. Подробное объяснение проблем различных сред обработки в визуализации 3D видеоданных и вспомогательных данных предоставлено ниже со ссылкой на Фигуры 2-4.

Анализируя различные архитектуры видеообработки, изобретатели увидели, что, по всей видимости, есть проблемы в обработке 2D формата и формата диспаратности в архитектурах, которые сначала накладывают вспомогательные данные, а затем применяют извлечение изображений из 2D кадра и масштабирование. Дополнительный этап наложения должен быть добавлен в таких архитектурах, которые требуют значительного дополнительного обрабатывающего аппаратного и/или программного обеспечения. Кроме того, вспомогательное размещение приводит к более низкому разрешению для вспомогательных данных. Изобретатели исследовали результаты такого уменьшенного разрешения, которые оказались более заметными для вспомогательных данных, таких как графические объекты или субтитры, в то время как уменьшенное разрешение в меньшей степени мешало основному видео в 3D. Предложенное решение, т.е. изменение системы передачи посредством включения вспомогательных данных как во вспомогательное размещение, так и в 2D версию со вспомогательными данными диспаратности в транспортный поток, легко устраняет различные проблемы и недостатки в используемых на практике архитектурах видеообработки, при этом допуская во многих случаях модернизацию 2D обрабатывающих устройств путем обновления программного обеспечения.

Наконец, может быть отмечено, что увеличение объема данных, который должен передаваться через транспортный поток путем добавления второй версии тех же самых вспомогательных данных, может рассматриваться как противоречие здравому смыслу, но, тем не менее, допустимо, принимая во внимание относительно небольшой объем дополнительных данных и существенные преимущества в приспособлении различных архитектур приемника к эффективному наложению вспомогательных данных на 3D видео.

В варианте осуществления системы для передачи 3D видеоинформации управляющие данные включают в себя индикатор 3D формата согласно 3D расширению 2D формата передачи, указывающий упомянутое размещение 3D видеоданных левого изображения и правого изображения в 2D кадре. Это имеет преимущество, заключающееся в том, что приемник непосредственно осведомлен о присутствии и формате 3D видеоданных в 2D кадре.

В варианте осуществления системы вспомогательное размещение указывается только индикатором 3D формата, указывающим основное размещение. Должно быть отмечено, что поток вспомогательных данных фактически отформатирован отлично от обычного, 2D, потока вспомогательных данных, несмотря на то, что нет дополнительной или измененной сигнализации, указывающей различия. Это является преимуществом, поскольку любой устаревший 2D компонент в канале видеопередачи не будет осведомлен о различии, и будет обычным образом передавать или обрабатывать вспомогательные данные. Кроме того, новые приемники, согласно настоящему изобретению, могут обслужить 3D вспомогательные данные на основе обнаружения размещения основных видеоданных и применить соответствующее размещение к вспомогательным данным.

В варианте осуществления системы вспомогательные данные диспаратности содержат данные зоны диспаратности для по меньшей мере одной зоны в области наложения, указывающие диспаратность вспомогательных данных в соответственной зоне при наложении на левое изображение и правое изображение. Это имеет преимущество, заключающееся в том, что данные диспаратности для зоны эффективно передаются.

В варианте осуществления системы поток вспомогательных данных содержит объекты, которые определяют пиксельные данные графических объектов, которые должны быть наложены, а поток вспомогательных данных и дополнительный поток вспомогательных данных содержат ссылки на те же самые объекты для совместного использования соответственных тех же самых объектов между вспомогательным левым изображением, вспомогательным правым изображением и/или 2D версией вспомогательных данных. Объекты определяют фактические пиксельные данные, т.е. низкоуровневое представление графических данных, которые должны быть наложены. Актуальные пиксельные данные требуют относительно большой части общих вспомогательных данных. Изобретатели увидели, что хотя левое и правое изображения субтитров должны быть объединены во вспомогательном размещении, те же самые объекты могут использоваться в обоих изображениях при поддержании ограничений стандарта DVB. В дополнительных расширениях стандартных или других систем объекты также могут использоваться для 2D версии, потому что содержание 2D версии эквивалентно размещенному набору левого и правого вспомогательных изображений. В этом случае объекты могут быть масштабированы, чтобы соответствовать как 2D версии, так и вспомогательным левым и правым изображениям. Предпочтительно, общая требуемая дополнительная пропускная способность данных для дополнительного потока вспомогательных данных относительно мала, потому что объекты используются совместно и должны быть переданы только раз для соответствующего графического наложения.

Кроме того, предпочтительные варианты осуществления устройства и способ согласно изобретению даны в прилагаемой формуле изобретения, раскрытие которой приведено здесь по ссылке. Отличительные признаки, определенные в зависимой формуле изобретения для конкретного способа или устройства, соответственно применяются к другим устройствам или способам.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения станут очевидными и будут дополнительно разъяснены со ссылкой на варианты осуществления, описанные в качестве примера в последующем описании, и со ссылкой на прилагаемые чертежи, на которых:

Фигура 1A показывает систему для передачи трехмерной (3D) видеоинформации,

Фигура 1B показывает 3D видеоданные и вспомогательные данные,

Фигура 2 показывает систему обработки видео в приемном устройстве,

Фигура 3 показывает размещения 3D видео и вспомогательных данных,

Фигура 4 показывает обработку вспомогательного размещения,

Фигура 5 показывает структуру компоновки страницы,

Фигура 6 показывает (часть) дескриптора компонента,

Фигура 7 показывает структуру определения отображения,

Фигура 8 показывает структуру компоновки зоны,

Фигура 9 показывает тип сегмента для дескриптора стереоскопической диспаратности,

Фигура 10 показывает пакет данных пакетизированного элементарного потока (PES), который определяет диспаратность, и

Фигура 11 показывает значения идентификатора данных для пакетов PES.

Фигуры являются исключительно схематическими и не изображены в масштабе. На Фигурах элементы, которые соответствуют уже описанным элементам, имеют те же самые номера ссылочных позиций.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фигура 1A показывает систему для передачи трехмерной (3D) видеоинформации. Система имеет передатчик 100, который предоставляет сигнал 104, который будет передан через широковещательную сеть 130. Приемник 110 принимает сигнал из широковещательной сети на входе 111 входного блока 112. Приемник предоставляет данные 114 отображения 3D устройству 120 отображения, например 3D телевизору или 3D проекционной системе. Приемник может быть отдельным устройством, таким как телевизионная приставка (STB) или спутниковый приемник. Альтернативно приемник 110 и 3D устройство 120 отображения объединены в единое устройство, подобно цифровому 3D телевизору, имеющему цифровой тюнер и встроенный 3D процессор.

Система обеспечивает возможность передачи 3D видеоинформации 105, которая включает в себя 3D видеоданные и вспомогательные данные. 3D видеоданные, например, обеспеченные на основном входе 101 приемника 100, содержат по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта. Вспомогательные данные, например, обеспеченные на вспомогательном входе 102 приемника 100, размещены для отображения в области наложения на 3D видеоданных, например, субтитры. Отмечено, что может быть включено несколько потоков вспомогательных данных.

Система на стороне передатчика включает в себя следующие функции. Функции могут быть реализованы в видеопроцессоре 103 в передатчике, но могут также быть реализованы в авторских системах, основанных на специальных компьютерных программах.

Основное видео обрабатывается путем размещения 3D видеоданных левого изображения и правого изображения в 2D кадре для основных видеоданных согласно 2D формату передачи в основном размещении. Такая упаковка 3D видео в 2D кадр обычно называется упаковкой кадров. Согласно применимому стандарту передачи, система предоставляет управляющие данные для указания параметров приемнику для того, чтобы позволить приемнику воспроизвести основные видеоданные и наложить вспомогательные данные. Наконец, транспортный поток данных в сигнале 104 компонуется, включая в себя 3D видеоданные в основном размещении, вспомогательные данные и управляющие данные для передачи через широковещательную сеть 130.

Система дополнительно включает в себя обеспечение вспомогательного левого изображения и вспомогательного правого изображения вспомогательных данных, которые должны быть наложены на левое изображение и правое изображение 3D видеоданных, и размещение вспомогательных данных вспомогательного левого изображения и вспомогательного правого изображения в потоке вспомогательных данных согласно 2D формату передачи во вспомогательном размещении, которое соответствует основному размещению. Поток вспомогательных данных включен в транспортный поток, как указано выше.

В варианте осуществления вспомогательное размещение, например, субтитры во вспомогательном левом изображении и вспомогательном правом изображении бок о бок размещаются в пространстве данных, доступном для субтитров. В DVB посредством сегмента определения отображения может быть установлена конфигурация отображения. Существует 3 опции для использования субтитров DVB в услуге полного HD:

a) Графическое разрешение составляет 720×576 и повышается до разрешения полного HD услуги.

b) Графическое разрешение составляет 720×576 и расположено в центре видео полного HD.

с) Графическое разрешение составляет 1980×1080, такое же, что и разрешение услуги HD.

В a) одно изображение имеет только 360 пикселей для субтитра, потому что экран должен быть разделен на две половины. 360 пикселей распределены по ширине экрана путем масштабирования, следовательно, разрешение достаточно низкое. Для DVB опция b приводит к тому, что субтитры находятся только на малой секции левого и правого изображений (меньше, чем половина). Опция с) хороша сама по себе. Однако перечислены дополнительные ограничения, такие как используемая зона для фактического отображения максимум из 720 пикселей, и только одна область, разрешенная на горизонтальной линии (без областей друг рядом с другом). Однако по меньшей мере одно или оба ограничения могут быть сняты для размещения субтитров SbS, которые должны быть наложены на основное видео SbS, при улучшенном уровне качества после модернизации прошивки, если необходимо.

Кроме того, 2D версия вспомогательных данных и вспомогательные данные диспаратности, указывающие диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение, также включены в транспортный поток. Следовательно, включена вторая версия тех же самых вспомогательных данных, например, размещена в отдельном дополнительном потоке вспомогательных данных. Отмечено, что предпочтительно дополнительный поток вспомогательных данных может соответствовать 2D формату передачи, для того, чтобы не мешать использованию 2D приемников прежних версий, также принимающих сигнал. Однако вспомогательные данные диспаратности могут храниться в различных местах в структурах данных, доступных в транспортном потоке, как объяснено ниже. Наконец, дополнительный поток вспомогательных данных, вспомогательные данные диспаратности и индикатор формата диспаратности включены в транспортный поток. Индикатор формата диспаратности указывает дополнительный поток вспомогательных данных, например, указывая на присутствие и особый формат вспомогательных данных в дополнительном потоке вспомогательных данных.

Сигнал 104 для передачи 3D видеоинформации 105, как описано выше, передается через широковещательную сеть 130, например, общественную сеть ТВ вещания, спутниковую сеть, интернет и т.д. В сигнале транспортный поток представляет 3D видеоинформацию 105. 3D видеоданные левого изображения и правого изображения в 2D кадре для основных видеоданных размещены согласно 2D формату передачи, такому как DVB, в основном размещении. В дополнение 2D формат передачи может быть расширен посредством добавления определения структуры данных, используемой для 3D видеоинформации и соответствующих управляющих данных для указания параметров приемнику для того, чтобы позволить приемнику воспроизвести основные видеоданные и осуществить наложение вспомогательных данных. Транспортный поток данных включает в себя 3D видеоданные в основном размещении, вспомогательные данные и управляющие данные для передачи. Сигнал дополнительно содержит вспомогательное левое и правое изображения и 2D версию вспомогательных данных и вспомогательные данные диспаратности, как описано выше. Вспомогательные данные вспомогательного левого изображения и вспомогательного правого изображения упакованы в поток вспомогательных данных согласно 2D формату передачи во вспомогательном размещении, которое соответствует основному размещению, и вспомогательные данные 2D версии упакованы в дополнительный поток вспомогательных данных. Транспортный поток содержит дополнительный поток вспомогательных данных, вспомогательные данные диспаратности и индикатор формата диспаратности, указывающий дополнительный поток вспомогательных данных.

Приемник 110 имеет входной блок 112 для приема сигнала из широковещательной сети, как описано выше. Транспортный поток извлекается и соединяется с видеопроцессором 113 для извлечения вспомогательных данных из дополнительного потока вспомогательных данных при прекращении использования вспомогательных данных во вспомогательном размещении, обеспеченных в потоке вспомогательных данных. Видеопроцессор дополнительно генерирует данные наложения для отображения в области наложения на 3D видеоданные на основе 2D версии вспомогательных данных и вспомогательных данных диспаратности, как подробно объяснено ниже.

Фигура 1B показывает 3D видеоданные и вспомогательные данные. Видеоданные имеют левое изображение 150 и правое изображение 151. Оба изображения отображены с наложением дополнительной информации. Левое изображение имеет вспомогательные данные 160, субтитр, говорящий красный и зеленый, показанный в горизонтальном начальном положении X, и правое изображение имеет вспомогательные данные 161, т.е. тот же субтитр, показанный в горизонтальном начальном положении X-n. Значение n представляет диспаратность между левой и правой версией субтитра. Фигура показывает стереоскопическое изображение как представление стереокадра в фильме с 2D субтитром, наложенным поверх видео, при этом применено горизонтальное смещение n для установки глубины субтитра.

Одной из основных платформ доставки контента для стереоскопического видеовещания являются общественные цифровые телевизионные каналы, называемые далее в этом документе Цифровым Видеовещанием (DVB). DVB применяет различные стандарты для наземной, кабельной, спутниковой и мобильной передачи и связанной сигнализации аудио/видео, графики (субтитров и т.д.) и интерактивных приложений (Java приложений HTML/XML). Текущие достижения в технологии экранов делают возможным представить 3D видео аудитории массового рынка. Следовательно, чтобы дать возможность широкому распространению 3D контента, стандарты DVB должны быть расширены, чтобы позволить вещание 3D контента.

3D контент требует значительно большей памяти, полосы пропускания и обработки по сравнению с 2D контентом. Из-за этого исследуются решения, которые предоставляют 3D ощущение с минимумом дополнительных затрат и которые совместимы с текущей базой установленного оборудования телевизионных приставок (STB). Одним из исследуемых решений является расширение существующих усовершенствованных телевизионных приставок, чтобы позволить им воспроизводить 3D посредством упаковки кадров левого и правого изображений стереоскопической картинки в 2D кадр.

Стереоскопическое видео также требует стереоскопических вспомогательных данных, таких как субтитры. В этом документе субтитры будут использоваться как пример вспомогательных данных. Вспомогательные данные могут дополнительно быть любым типом дополнительных графических данных, которые должны быть наложены на основное видео. Наложение субтитров на стереовидео требует повышенного внимания при решении, где расположить субтитры в горизонтальном, вертикальном и глубинном направлении поверх видео. Если это не будет сделано должным образом, наложение может вступить в конфликт с фоновым видео, приводя к визуальным артефактам и создавая противоречивые признаки глубины у границ субтитров. Это может произойти, когда глубина субтитров меньше, чем глубина видео в местоположении субтитров. Субтитры закрывают часть видео, поэтому мозг ожидает, что субтитры находятся перед видео. Кроме того, из-за того, что субтитры копируются поверх видео, кажется, будто субтитры прокалывают видео, создавая артефакты по краям субтитров.

Правильное расположение субтитров может быть сделано путем изменения диспаратности левого и правого изображений стереоскопического субтитра и убедившись, что эта диспаратность или "глубина" ближе к зрителю, чем глубина видео. Недостатком настройки диспаратности субтитров таким способом является то, что она требует обработки изображений во время создания и что она требует использования стереоскопических субтитров - это удваивает полосу пропускания и обработку в устройстве воспроизведения.

Альтернативный подход заключается в использовании 2D субтитров и в копировании субтитров поверх как левого, так и правого изображений стереоскопического видео. Это работает посредством копирования субтитра поверх левой части изображения стереоскопического видео и перемещения его в горизонтальном направлении перед копированием его на правую часть изображения стереоскопического видео. Величина горизонтального смещения объектов между левым и правым изображениями, обычно называемая диспаратностью, определяет глубину субтитра, и это значение должно быть больше, чем диспаратность видео в местоположении субтитров.

Проблема реализации стереоскопических субтитров для систем, основанных на DVB, заключается в совместимости с существующей 2D цепочкой распределения видео. Один из вариантов заключается в использовании стереоскопических субтитров, которые используют такой же формат упаковки, что и видео, например, сверху вниз, бок о бок и т.д. Такая упаковка в этом документе называется вспомогательным размещением.

Фигура 2 показывает систему обработки видео в приемном устройстве. Устройством может быть, например, цифровой телевизор или телевизионная приставка. Входной блок 201 содержит демодулятор для приема сигнала видеотрансляции, например, из кабельной сети, спутниковой тарелки и т.д. Демодулятор извлекает транспортный поток из входного сигнала, который направляется к блоку 202 демультиплексора, который также может включать в себя дешифратор для извлечения различных потоков данных и управляющих данных из транспортного потока. Потоки данных направляются в основной декодер 203 для декодирования видео- и аудиоданных, и во вспомогательный декодер 204 для декодирования вспомогательных данных и управляющих данных. Декодеры и дополнительные элементы связаны через системную шину 209 с центральным процессором (ЦП, CPU), графическим процессором 206, памятью 207 и выходным каскадом 208, например, согласно HDMI или LVSD и т.д.

В некоторых реализациях конвейер обработки видео и субтитров другой и раздельный. Обработка и операции, требующие высокой производительности, такие как декодирование аудио/видео и обработка графики (операции фильтрации и т.д.), выполняются на выделенной специализированной интегральной микросхеме, тогда как обработка информации, не требующей высокой производительности, такой как субтитры, выполняется на маломощном процессоре общего назначения. Субтитры и видео не объединяются до самого конца конвейера обработки.

Поскольку в некоторых реализациях несколько блоков на фигуре 200 объединены в единый аппаратный блок, могут возникнуть некоторые непредвиденные проблемы с размещением субтитров в комбинации с 3D видео.

Если не было сигнализации для субтитров, и субтитры находятся в 2D формате, то устройство воспроизведения предположило бы, что субтитры должны быть скопированы как на левую, так и на правую часть видео, в таком случае субтитры будут расположены в глубине экрана и могут вступить в конфликт со стереовидео, если стереовидео находится в местоположении, где субтитры выходят из экрана. Предложено использовать стереоскопические субтитры с соответствующей диспаратностью между левым и правым субтитром, так что стереосубтитры появляются перед видео. Для субтитров будет использоваться тот же способ упаковки, что используется для видео, чтобы сделать возможной передачу субтитров в существующей цепочке распределения для 2D. Как указано выше, вспомогательные данные упакованы во вспомогательном размещении, соответствующем основному размещению 3D видеоданных.

Фигура 3 показывает размещения 3D видео и вспомогательных данных. Фигура показывает левое изображение 301 и правое изображение 302 стереоскопического видео. Изображения 301, 302 субдискретизированы в горизонтальном направлении на 50%, чтобы поместиться в один 2D кадр 303. Способ упаковки основного размещения называется бок о бок (SBS). Другие размещения, такие как Сверху Вниз или в Шахматном порядке, также возможны. То же размещение применяется к субтитрам в левом изображении 304 и правом изображении 305, что приводит к вспомогательному размещению 306. Как основное, так и вспомогательное размещения затем передаются в приемное устройство, например, устройство воспроизведения, такое как телевизионная приставка или телевизор со встроенным приемником.

В варианте осуществления устройства воспроизведения со встроенным приемником, такого как телевизор с поддержкой 3D, архитектура видеопроцессора может быть выполнена согласно Фигуре 2, на которой блоки 206 и 203 объединены в одной специализированной интегральной микросхеме. Сначала обсуждена неправильная работа такого варианта осуществления без применения изобретения. В специализированной интегральной микросхеме SBS видеокадр 307 будет разделен на левую часть 308 и правую часть (не показана). Сначала левая часть копируется и масштабируется назад до своего исходного размера 309 перед тем, как скопироваться в кадровый буфер. В варианте осуществления субтитры будут обработаны блоком 205, ЦП и скопированы в кадровый буфер поверх видео. Некорректный результат 310 для левого кадра показан на Фигуре, из-за того, что масштабирование и обработка выполняются с видео до того, как добавляются субтитры, объединенный левый и правый объединенный SBS субтитр - оба заканчиваются на левом кадре. То же самое может произойти для правого кадра.

Для того, чтобы избежать вышеупомянутых некорректных результатов, вариант осуществления устройства воспроизведения обеспечен измененным порядком обработки. SBS субтитры должны быть скопированы на SBS видео до того, как левая и правая части изображений SBS видео и субтитров будут скопированы в кадровый буфер и масштабированы назад к исходному размеру.

Фигура 4 показывает обработку вспомогательного размещения. Фигура дает представление об обработке с использованием вышеупомянутого измененного порядка обработки. Сначала видео в основном размещении 401 показано как декодированное аудио/видео декодером 203, которое копируется в память кадров. Субтитр во вспомогательном размещении 404 декодируется декодером 204 данных и затем с посредством ЦП 205 копируется на видеоизображение в памяти кадров. Затем для левого кадра стереоскопического выхода графический процессор 206 копирует левую часть объединенного видео и субтитра памяти кадров, как показано прямоугольником 402. Затем графический процессор 206 масштабирует упомянутую левую часть до ее исходного размера и копирует результат в выходной кадровый буфер. Показано получившееся левое изображение 403.

Отмечено, что качество субтитров на выходе ограничено, как можно видеть на левом изображении 403. Это имеет смысл, поскольку субтитры были субдискретизированы на 50% перед передачей и масштабированы до нормального размера в устройстве воспроизведения. Кроме того, в общедоступных устройствах воспроизведения непросто изменить порядок этапов обработки, чтобы позволить субтитрам обрабатываться вместе с видео, поскольку пропускная способность системной шины 209 может быть недостаточно высокой для поддержки частого копирования данных видеоизображения в и из специализированной интегральной микросхемы в память. Следовательно, хотя эта установка обеспечивает корректные субтитры, она может не быть удовлетворительной в каждой ситуации.

Вышеупомянутые проблемы возникают из-за различий в способе обработки субтитров и видео в различных устройствах воспроизведения. Для обеспечения улучшенных субтитров и эффективной обработки предложено не только использовать стереоскопический субтитр во вспомогательном размещении, но и дополнительно предоставлять 2D субтитр и сигнализацию в потоке, так что устройство воспроизведения сможет определить, как наложить субтитр поверх стереовидео без артефактов, вызванных противоречиями глубины.

В практических системах, таких как системы DVB, существует несколько способов передачи графики или текста, такого как субтитры. Наиболее распространенный заключается в использовании стандарта DVB-субтитров (ETSI EN 300 743) или дополнительных данных, описанных в Широковещательном Профиле MHEG-5 (Multimedia & Hypermedia Experts Group (Экспертная Группа по Мультимедиа и Гипермедиа); ETSI ES 202 184), другие подходы могут использовать Телетекст. Параметры сигнализации могут передаваться, как определено в стандарте DVB-SI (Спецификация DVB для Служебной Информации; ETSI EN 300 468). Такие системы требуют решения для указания, как осуществлять наложение графики, такой как субтитры, на стереоскопическое видео способом, который не требует изменений в существующих аппаратных платформах или совместимых с DVB устройствах воспроизведения. В разделе ниже обсуждены различные варианты формата сигнализации вспомогательных данных и вспомогательной диспаратности.

В совместимых с DVB телевизионных приставках или телевизорах субтитры также обрабатываются отдельно от видео маломощным процессором общего назначения, который также заботится об обнаружении и интерпретации параметров сигнализации при передаче. Следовательно, подходящим решением является передача сигнализации диспаратности внутри потока субтитров или в сигнализации субтитров, в отличие от сигнализации в элементарном потоке видео.

Стандарт DVB-субтитров определяет три типа информации сигнализации, называемых сегментами для сигнализации расположения текста или графических объектов. Сегмент определения отображения сигнализирует о заданном размере отображения. Размещение страниц сигнализирует о том, как текст и графика расположены в видеокадре. Сегмент компоновки зоны разделяет кадр на две непересекающиеся зоны. Объекты, содержащие текст или графику, могут быть использованы и повторно использованы на различных страницах и зонах.

Вследствие того что в DVB субтитрах зоны могут быть размещены в различных местоположениях в кадре, диспаратность для каждой зоны для графики или текста в этой зоне может быть разной. В варианте осуществления вспомогательная диспаратность передается для каждой зоны, например, как параметр смещения. Ниже описаны варианты, чтобы сделать это совместимым способом.

Величина требуемого смещения может быть довольно ограниченной, диспаратности между левым изображением и правым изображением в 100 пикселей обычно будет достаточно. Поскольку сдвиг может быть сделан симметрично, поле, хранящее диспаратность, должно указывать лишь половину пиксельного сдвига. Поэтому 6 бит должно быть достаточно для большинства предназначений.

Фигура 5 показывает структуру компоновки страницы. Фигура показывает таблицу, представляющую структуру 50 компоновки страницы в последовательности полей. Указаны тип сегмента и длина сегмента и страница, для которой применяется структура, в поле идентификатор_страницы (page_id). В варианте осуществления наличие данных диспаратности указано в дополнительном поле 51 зарезервировано A (reserved A).

В варианте осуществления вспомогательные данные диспаратности содержат данные диспаратности зоны для по меньшей мере одной зоны в области наложения, указывающие диспаратность вспомогательных данных в соответственной зоне при наложении на левое изображение и правое изображение. Таблица на Фигуре 5 показывает определение для ряда зон в цикле Пока. Для каждой зоны обеспечиваются идентификатор в поле идентификатор_зоны (Region_id) и положение в полях горизонтального и вертикального адресов.

В варианте осуществления поток вспомогательных данных содержит структуру 50 компоновки страницы, определяющую компоновку страницы вспомогательных данных, которые должны быть отображены в области наложения. Структура 50 компоновки страницы имеет по меньшей мере одно определение 53 зоны, которое определяет местоположение и данные диспаратности зоны соответственной зоны.

Глядя на сегмент определения отображения на Фигуре 7 и сегмент компоновки зоны на Фигуре 8, мы видим только небольшое количество доступных битов, недостаточных для точного указания поля диспаратности. В сегменте компоновки страницы, показанном на Фигуре 5, однако, есть цикл по зонам, при этом цикл определяет последовательность определений 53 зон. В этом цикле для каждой зоны зарезервировано 8 битов в поле 52 зарезервировано В (reserved B). 8 битов достаточно для указания диспаратности или смещения, применяемого к той зоне. Значение вспомогательной диспаратности указано в дополнительном поле 52 зарезервировано В (reserved B). В этом поле диспаратность_субтитров (Subtitle_disparity) может быть представлена значениями 0-127 для положительной диспаратности (сдвиг левого изображения влево и правого изображения вправо), и значениями 128-255 для отрицательной диспаратности (сдвиг левого изображения вправо и правого изображения влево).

В дополнение к приему диспаратности субтитров устройство воспроизведения должно быть способно распознавать, какой поток субтитров переносит данные диспаратности. В варианте осуществления в DVB используется таблица карты программы (DVB Specification for Service Information (Спецификация DVB для Служебной Информации); ETSI EN 300 468). Таблица карты программы, или PMT, определяет, какие потоки являются частью программы в вещании. PMT также включает в себя так называемый "дескриптор компонента" для описания различных потоков, так что устройство воспроизведения знает, какие данные присутствуют в каждом потоке.

Фигура 6 показывает (часть) дескриптора компонента. Фигура показывает таблицу 60 дескриптора компонента, определяющую содержимое потока. Поле содержимого потока определяет тип данных, например, 0 для видео, 1 для аудио и 2 для данных субтитров. Тип_компонента (Component_type) 61 указывает формат, в случае субтитров указывает, какой вид субтитров, например, субтитры для экрана 21:9 или субтитры, предназначенные для слабослышащих. Полный список значений может быть найден в таблице 26 ETSI EN 300 468. Новое значение типа компонента должно быть включено, например, 0×14, для указания, что поток субтитров переносит данные диспаратности. Следовательно, в транспортный поток включен дополнительный поток вспомогательных данных, при этом новое значение типа компонента предоставляет индикатор формата диспаратности, указывающий дополнительный поток вспомогательных данных. Отмечено, что индикатор формата диспаратности может быть альтернативно предоставлен другим способом - либо добавлением, либо изменением соответствующих управляющих данных в транспортном потоке.

В варианте осуществления управляющие данные транспортного потока включают в себя индикатор 3D формата согласно 3D расширению 2D формата передачи. Индикатор 3D формата указывает упомянутое основное размещение 3D видеоданных левого изображения и правого изображения в 2D кадре. Примером 2D стандарта передачи является стандарт ISO/IEC 14496-10, упомянутый ранее. В поправке A индикатор 3D формата может быть добавлен к стандарту, например, в новом сообщении дополнительной расширенной информации (SEI), указывающем на пространственное перемежение. Индикатор 3D формата может дополнительно определять формат вспомогательной информации.

В дополнительном варианте осуществления вспомогательное размещение указывается только индикатором 3D формата, указывающим основное размещение. Следовательно, нет дополнительной управляющей информации, включенной в транспортный поток, которая явно указывает на вспомогательное размещение, отличное от индикатора 3D формата, который, по существу, определяет основное размещение. Приемник должен предполагать, что вспомогательная информация должна иметь вспомогательное размещение, соответствующее основному размещению, когда нет никакого дополнительного индикатора.

Следует отметить, что существующее не совместимое с 3D устройство воспроизведения не распознает новый тип компонента, как определено на Фигуре 6, и следовательно будет использовать 2D поток субтитров и 2D видео. Поэтому, если видео и субтитр отформатированы как Бок о Бок или Сверху Вниз, то это будет работать на таком устаревшем устройстве, например, на существующей совместимой с HD телевизионной приставке, присоединенной к 3D телевизору. Телевизионная приставка (STB) будет корректно осуществлять наложение субтитров, тогда как 3D телевизор будет разделять изображение и масштабировать левое и правое изображения.

Фигура 7 показывает структуру определения отображения. Фигура показывает таблицу, представляющую структуру 70 определения отображения в последовательности полей. Указаны тип сегмента и длина сегмента и страница, для которой применяется структура, в поле идентификатор_страницы (page_id). Структура определяет область наложения для страницы вспомогательных данных, как определено в полях окно_отображения (display_window), которые определяют положение области наложения. Только несколько битов доступны для указания размещения вспомогательных данных в поле 71 зарезервировано (reserved).

В альтернативе определено дополнительное поле в сегменте определения отображения. В варианте осуществления поток вспомогательных данных содержит структуру 70 определения отображения. В дополнительном поле определены вспомогательные данные диспаратности, которые применяются к области наложения.

Фигура 8 показывает структуру компоновки зоны. Фигура показывает таблицу сегмента компоновки зоны, представляющую структуру 80 компоновки зоны в последовательности полей. Указаны тип сегмента и длина сегмента и страница, для которой применяется структура, в поле идентификатор_страницы (page_id). В ряде полей биты доступны для указания размещения вспомогательных данных, в частности, 3 бита в поле 81 зарезервировано-1 (reserved-1), 2 бита в поле 82 зарезервировано-2 (reserved-2), 2 бита в поле 83 зарезервировано-3 (reserved-3) и 4 бита в поле 84 зарезервировано-4 (reserved-4).

Для определения формата диспаратности в сегменте компоновки зоны сегмент компоновки зоны, показанный на Фигуре 8, имеет 4 зарезервированных бита на объект, как определено в последовательности определений 85 объекта в нижней части, при этом каждый объект имеет поле зарезервировано-4 (reserved-4). Это само по себе может быть достаточно для указания диспаратности. Однако в качестве альтернативы они могли бы использоваться для указания смещения или диспаратности на объект по отношению к положению зоны, с точностью до пикселя.

В оставшейся части таблицы 80 сегмента компоновки зоны есть некоторые другие зарезервированные поля. Эти другие зарезервированные поля 81, 82, 83 могли бы использоваться для указания смещения на зону. Это могло бы быть менее точным, например, при двойной точности до пикселя, используя зарезервированные 3 бита в поле 81, тогда как 2 бита в поле 81 указывают знак смещения, а 2 бита в поле 83 указывают, что сегмент зоны содержит поля смещения.

Другой альтернативный вариант осуществления заключается в определении нового типа сегмента, дескриптора стереоскопической диспаратности. С новым типом сегмента мы не ограничены использованием зарезервированных полей.

Фигура 9 показывает тип сегмента для дескриптора стереоскопической диспаратности. Фигура показывает таблицу 90. Новый тип сегмента, называемый сегментом диспаратности, имеет соответствующие поля (как таковые известные из ETSI EN 300 743), как и другие сегменты, как показано на Фигурах 7 и 8. В первом новом поле 91 обеспечено значение диспаратности субтитра. Диспаратность_субтитра (subtitle_disparity) может быть указана значением 0-127 для положительной диспаратности (сдвиг левого изображения влево и правого изображения вправо), и значением 128-255 для отрицательной диспаратности (сдвиг левого изображения вправо и правого изображения влево). В дополнительных новых полях может быть обеспечено другое значение диспаратности, например, второе новое поле 92 для диспаратности данных Отображения Выполняемых Функций на Экране (OSD).

Диспаратность_OSD (OSD_disparity) может использовать то же самое определение, что и диспаратность субтитров, но может использоваться автором контента в качестве подсказки для устройства воспроизведения для определения, где расположить любое OSD. Значения 0 и FF могут указывать на то, что вспомогательные данные отсутствуют.

В дополнительном варианте будет обсуждена обработка Отображения Выполняемых Функций на Экране (OSD). Во время обычной работы приемник, вероятно, должен отображать какие-то сообщения Отображения Выполняемых Функций на Экране (OSD) пользователю в ответ на событие, вызванное пользователем, системой CI или из вещательного канала. Во время 3D передачи отображение тех же OSD на неправильной глубине экрана может привести к тому, что они будут нечитабельными. Во время 3D передачи важно, чтобы приемник знал, на какую глубину поместить OSD, и если не была найдена подходящая глубина, приемник может либо сместить все видео "назад", или переключиться в 2D. Информацией, которая нужна приемнику о передаче, является "объем" 3D картинки, который может быть выражен в терминах "минимальной и максимальной" диспаратности. "Максимальная" диспаратность представляет собой расстояние по направлению от пользователя, большое положительное число, а "минимальная" диспаратность представляет собой расстояние по направлению к пользователю, большое отрицательное число. Минимальная диспаратность может использоваться приемником, чтобы убедиться, что его OSD еще ближе к пользователю. Однако, если это становится слишком близко, может использоваться максимальная диспаратность, так что приемник может решить сдвинуть все видео назад, за экран. Однако приемник никогда не сможет сдвинуть видео за пределы "бесконечности", так что в этом случае приемник может решить переключить видео в 2D. В случае выбора того, где передавать минимальную и максимальную диспаратность, должны быть учтены возможности вещательной компании. Вещательная компания, разумеется, во время прямых (радио)трансляций никогда не может передавать в реальном времени точную минимальную и максимальную диспаратность передачи, поскольку она очень быстро меняется. Также из экспериментов известно, что OSD также не должно быстро менять диспаратность, особенно если оно только передает сообщение, которое постоянно в течение нескольких минут. На основе возможностей вещательных компаний и удобочитаемости логичным местом для минимальной и максимальной диспаратности является EIT или, если услуга все время в 3D, то - SDT. EIT является подходящим местом, либо если услуга переключается между 2D и 3D, либо если события могут сильно изменить диапазоны диспаратности. SDT является более подходящим местом, если услуга всегда в 3D, а вещательная компания держит себя в определенных пределах диспаратности. PMT также является вероятным местоположением, только если услуга не всегда в 3D, но если он меняется, то меняется после многих событий; в основном, во время изменений "потокового типа", которые приводят к обновлению версии PMT.

Здесь мы приведем подробную реализацию варианта осуществления для обработки отображения OSD. Отмечено, что эти меры для реализации обработки OSD могут быть приняты независимо от обработки субтитров. В том случае, если приемник хочет должным образом осуществить наложение информации Отображения Выполняемых Функций на Экране поверх стереоскопического 3D, ему нужна информация о диапазоне глубины 3D видео. Этот дескриптор определяет диапазон глубины через сдвиги пикселей. Сдвиги пикселей, определенные здесь, вместе с разрешением видео определяют объемное вложение видео во время события, в котором содержится этот дескриптор. С объемной информацией о видео приемник может выбрать ряд способов для правильного отображения информации OSD. Он может сдвинуть все видео назад, за экран, перед тем как отобразить OSD спереди. Он также может определить, что объем слишком велик и должен быть сделан в 2D. Он также может определить, что объем достаточно мал для того, чтобы просто поместить OSD впереди без воздействия на глубину видео.

Синтаксис	Размер	Тип
video_depth_range_descriptor() { descriptor_tag (optional) descriptor_length (optional) descriptor_tag_extension (optional) maximum_horizontal_shift minimum_horizontal_shift }	8 8 8 4 8	uimsbf uimsbf uimsbf uimsbf tcimsbf

video_depth_range_descriptor - дескриптор диапазона глубин видео, descriptor_tag (optional) - тэг дескриптора (необязятельно), descriptor_length (optional) - длина дескриптора (необязятельно), descriptor_tag_extension (optional) - расширение тэга дескриптора (необязятельно), maximum_horizontal_shift - максимальный горизонтальный сдвиг, minimum_horizontal_shift - минимальный горизонтальный сдвиг.

Значимыми полями являются Maximum_horizontal_shift, которое определяет наибольший горизонтальный сдвиг, который соответствует "наибольшему удалению", в то время как minimum_horizontal_shift определяет наименьший горизонтальный сдвиг, который соответствует "самому близкому" объекту. Например, значения горизонтального сдвига показывают горизонтальный сдвиг в виде количества пикселей в горизонтальном направлении в каждом изображении. Нулевое значение означает, что сдвиг не применяется. В случае, если значение горизонтального сдвига отрицательное, все определенные пиксели сдвигаются вправо в левом изображении и влево в правом изображении. В случае, если значение горизонтального сдвига положительное, все определенные пиксели сдвигаются влево в левом изображении и вправо в правом изображении. Размер пикселя является одним из горизонтальной ширины отображения пикселей, как определено на уровне PES видео. Однако могут быть рассмотрены другие единицы (например, процент размера экрана).

Возвращаясь к вариантам осуществления, описывающим сегменты диспаратности, в дополнительном варианте осуществления сегмент диспаратности применяется для передачи диспаратности субтитров, т.е. в потоке видеоданных, имеющих 2D субтитр со вспомогательными данными диспаратности, которые могут быть или могут не быть объединены с обеспечением вспомогательного размещения тех же самых субтитров. Из-за того, что такой сегмент диспаратности находится в пакетизированном элементарном потоке (PES), может передаться много различных сегментов за секунду. Альтернативно, сегменты диспаратности могут содержать список диспаратностей с неявными или явными синхроданными по отношению ко времени начала.

Предпочтительно достигается очень динамичное управление диспаратностью. Как показано на Фигуре 9, сегмент диспаратности будет содержать информацию о диспаратности субтитров и может дополнительно содержать диспаратность OSD. Сегмент также может быть расширен для определения диспаратности определенных зон и/или объектов. В таком сегменте диспаратности зоны определяются через соответствующий идентификатор_зоны (region_id). Идентификатор_страницы (page_id) фактической зоны должен быть равен идентификатору_страницы (page_id) нового сегмента диспаратности. Кроме того, в расширенном сегменте объекты определяются через соответствующий идентификатор_объекта (object_id). В расширенном сегменте диспаратности может быть список объектов и зон, каждые из которых - со своей предпочтительной диспаратностью. Для вспомогательного размещения динамическое поведение положения глубины может быть достигнуто посредством обновления сегментов_компоновки_зоны (region_composition_segments) новыми значениями горизонтальных положений объектов, потому что горизонтальное положение соответствует диспаратности.

Преимущество динамического поведения заключается в том, что диспаратность (глубина) субтитров может быть обновлена на покадровой основе. Это полезно по следующим причинам. Конфликты глубины между видео и субтитрами должны избегаться, потому что это действительно мешает. Однако размещение субтитров слишком близко перед экраном во избежание каких-либо возможных конфликтов крайне неудобно для зрителя. Следовательно, изобретатели увидели необходимость в том, чтобы плавно перемещать субтитры назад и вперед. Также во время просмотра кино глаза зрителя переключаются между говорящим персонажем и субтитрами. Трудно переключаться назад и вперед, если субтитр находится на глубине, отличной от глубины персонажа. Поэтому размещение субтитров на той же глубине, что и персонаж (если возможно, пытаясь при этом избежать конфликтов глубины!), является наилучшим. Но персонаж может изменять положение глубины, поэтому субтитры должны двигаться вместе с ним.

В варианте осуществления поток вспомогательных данных содержит структуру компоновки зоны, определяющую компоновку зоны на странице вспомогательных данных, которые должны быть отображены в области наложения, структура компоновки зоны содержит последовательность структур объектов, которая определяет положение графического объекта, и структуры объектов, включающие в себя объект диспаратности, содержащий вспомогательные данные диспаратности.

Новый тип_оъекта (object_type) определен для переноса данных диспаратности. В субтитрах DVB пиксельные данные для субтитра переносятся на фрагменты_данных_объекта (object_data_fragments). Стандарт 2D поддерживает растровые или символьные объекты. Это могло бы быть расширено для 3D с новым объектом, который только переносит данные диспаратности. Секция данных объекта может состоять из единственного байта для указания диспаратности связанной страницы и зон или полного растрового изображения, который описывает диспаратность на пиксель связанной зоны или даже объекта.

В варианте осуществления поток вспомогательных данных содержит объекты, которые определяют пиксельные данные графических объектов, на которые должно быть осуществлено наложение, например, как определено выше. Поток вспомогательных данных и дополнительный поток вспомогательных данных теперь используют ссылки на те же самые объекты для совместного использования соответственных тех же самых объектов между вспомогательным левым изображением, вспомогательным правым изображением и/или 2D версией вспомогательных данных. Ссылки могут применяться к другим потокам, например, предоставлять информацию относительной адресации, ссылающуюся на соответствующую страницу другого потока. Альтернативно оба потока могут быть объединены в один мультиплексированный поток.

Сигнализация в потоке DVB-субтитров для указания смещения или диспаратности субтитров является подходящим решением, но имеет недостаток, заключающийся в том, что она не обеспечивает непосредственно сигнализацию диспаратности для MHEG или телетекста, оба из которых также могут использоваться для субтитров.

Фигура 10 показывает пакет данных пакетизированного элементарного потока (PES), который определяет диспаратность. Фигура показывает таблицу 95, представляющую пакет PES. Как таковой пакет данных пакетизированного элементарного потока (PES) определен в ISO/IEC 13818-1. В альтернативном варианте осуществления мы предлагаем определить новый пакет PES данных, переданный отдельно в PMT, которая определяет диспаратность на видеокадр или временную отметку обеспечения пакета (PTS), например, как показано в дополнительном поле 96. На основе этого дескриптора устройство воспроизведения может определить, какой величины смещение применить к субтитру или графическим объектам.

Поле Минимальная_диспаратность_видео (Video_min_disparity) может иметь значение 0-255 для указания отрицательной диспаратности видео в PTS этого пакета PES (сдвиг левого кадра вправо и правого кадра влево). Поле 97 Идентификатор_данных (Data_identifier) может указывать на новый тип пакета PES. Новое значение для нового идентификатора данных может быть присвоено в одном из зарезервированных полей для указания "дескриптора сигнализации диспаратности".

Фигура 11 показывает значения идентификатора данных для пакетов PES. Фигура показывает таблицу 98, имеющую значения, показывающие различные типы пакетов PES. Значение идентификатора данных представляет собой 8-битовое значение, которое определяет тип данных, переносимых в пакете PES. Должно быть добавлено новое значение для указания "дескриптора сигнализации диспаратности".

Должно быть отмечено, что изобретение может быть реализовано аппаратно и/или программно с помощью программируемых компонентов. Способ для реализации изобретения содержит этапы, соответствующие функциям, определенным для системы, как описано со ссылкой на Фигуру 1.

Хотя изобретение в основном было объяснено вариантами осуществления, использующими вещание через DVB, изобретение также подходит для любого распространения видео через цифровой канал, например, через интернет.

Следует отметить, что вышеприведенное описание для ясности описало варианты осуществления изобретения со ссылкой на различные функциональные блоки и процессоры. Однако очевидно, что может использоваться любое подходящее распределение функциональных возможностей между различными функциональными блоками или процессорами без отклонения от изобретения. Например, проиллюстрированные функциональные возможности, которые должны выполняться отдельными блоками, процессорами или контроллерами, могут выполняться одним и тем же процессором или контроллерами. Следовательно, ссылки на определенные функциональные блоки должны рассматриваться, скорее, только в качестве ссылок на подходящие средства для обеспечения описанных функциональных возможностей, чем указывающие на строгую логическую или физическую структуру или организацию. Изобретение может быть реализовано в любом пригодном виде, включая аппаратные средства, программное обеспечение, программно-аппаратные средства или комбинацию таковых.

Отмечено, что в этом документе слово 'содержащий' не исключает наличия других элементов или этапов, кроме тех, что перечислены, и слово 'один', предшествующее элементу, не исключает наличия множества таких элементов, что любая ссылочная позиция не ограничивает объем формулы изобретения, что изобретение может быть реализовано с помощью как аппаратных, так и программных средств, и что несколько 'средств' или 'блоков' может быть представлено одним и тем же элементом аппаратного или программного обеспечения, и процессор может выполнять функцию одного или более блоков, возможно, совместно с элементами аппаратного обеспечения. Кроме того, изобретение не ограничено вариантами осуществления, и изобретение заложено во всех без исключения новых отличительных признаках или комбинации отличительных признаков, описанных выше или перечисленных во взаимно разных зависимых пунктах формулы изобретения.

1. Способ обработки трехмерной [3D] видеоинформации для генерирования транспортного потока данных для передачи 3D видеоинформации, совместимой с заранее заданной 2D цепочкой распределения видео,
причем 3D видеоинформация содержит 3D видеоданные и вспомогательные данные,
3D видеоданные содержат по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта,
вспомогательные данные размещены для отображения в области наложения на 3D видеоданные,
при этом упомянутый способ содержит этапы, на которых:
размещают 3D видеоданные левого изображения и правого изображения в 2D кадре для основных видеоданных в основном размещении,
обеспечивают 2D версию вспомогательных данных и вспомогательные данные диспаратности, указывающие диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение, и размещают вспомогательные данные 2D версии в потоке вспомогательных данных,
обеспечивают управляющие данные, содержащие параметры для приемника для того, чтобы позволить приемнику воспроизвести основные видеоданные и наложить вспомогательные данные,
компонуют транспортный поток данных, включающий в себя 3D видеоданные в основном размещении, поток вспомогательных данных, вспомогательные данные диспаратности и управляющие данные,
отличающийся тем, что упомянутый способ дополнительно содержит этапы, на которых:
обеспечивают вспомогательное левое изображение и вспомогательное правое изображение вспомогательных данных, которые должны быть наложены на левое изображение и правое изображение 3D видеоданных,
размещают вспомогательные данные вспомогательного левого изображения и вспомогательного правого изображения в 2D кадре для вспомогательных данных во вспомогательном размещении, которое соответствует основному размещению,
размещают вспомогательные данные вспомогательного размещения в дополнительном потоке вспомогательных данных, и
включают в транспортный поток дополнительный поток вспомогательных данных и индикатор формата диспаратности, указывающий дополнительный поток вспомогательных данных.

2. Способ по п. 1, в котором управляющие данные включают в себя индикатор 3D формата, указывающий основное размещение 3D видеоданных левого изображения и правого изображения в 2D кадре.

3. Способ по п. 2, в котором вспомогательное размещение указывают только индикатором 3D формата, указывающим основное размещение.

4. Способ по п. 1, в котором вспомогательные данные диспаратности содержат данные диспаратности зоны для по меньшей мере одной зоны в области наложения, указывающие диспаратность вспомогательных данных в соответственной зоне при наложении на левое изображение и правое изображение.

5. Способ по п. 4, в котором поток вспомогательных данных содержит структуру компоновки страницы, определяющую компоновку страницы вспомогательных данных, которые должны быть отображены в области наложения, при этом структура компоновки страницы содержит по меньшей мере одно определение зоны, которое определяет местоположение и данные диспаратности зоны соответственной зоны.

6. Способ по п. 4, в котором поток вспомогательных данных содержит структуру компоновки зоны, определяющую компоновку зоны на странице вспомогательных данных, при этом структура компоновки зоны содержит данные диспаратности зоны.

7. Способ по п. 1, в котором поток вспомогательных данных содержит структуру компоновки зоны, определяющую компоновку зоны на странице вспомогательных данных, которые должны быть отображены в области наложения, структура компоновки зоны содержит последовательность структур объектов, которые определяют положение графического объекта, и структуры объектов, включающие в себя объект диспаратности, содержащий вспомогательные данные диспаратности, или поток вспомогательных данных содержит определение отображения, которое определяет область наложения для страницы вспомогательных данных, при этом определение отображения определяет положение области наложения и вспомогательных данных диспаратности.

8. Способ по п. 1, в котором поток вспомогательных данных содержит объекты, которые определяют пиксельные данные графических объектов, которые должны быть наложены, и поток вспомогательных данных и дополнительный поток вспомогательных данных содержат ссылки на те же самые объекты для совместного использования соответственных тех же самых объектов между вспомогательным левым изображением, вспомогательным правым изображением и/или 2D версией вспомогательных данных.

9. Способ по п. 1, в котором транспортный поток данных содержит дополнительный тип сегмента, при этом дополнительный тип сегмента содержит дескриптор стереоскопической диспаратности, содержащий вспомогательные данные диспаратности.

10. Способ по п. 1, в котором транспортный поток данных содержит пакеты данных пакетизированного элементарного потока [PES], которые содержат вспомогательные данные диспаратности.

11. Способ по п. 1, в котором вспомогательные данные содержат субтитры.

12. Устройство (100) для обработки трехмерной [3D] видеоинформации для генерирования транспортного потока данных для передачи 3D видеоинформации, совместимой с заранее заданной 2D цепочкой распределения видео,
причем 3D видеоинформация содержит 3D видеоданные и вспомогательные данные,
3D видеоданные содержат по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта,
вспомогательные данные размещены для отображения в области наложения на 3D видеоданные,
при этом упомянутое устройство содержит видеопроцессор (103) для:
размещения 3D видеоданных левого изображения и правого изображения в 2D кадре для основных видеоданных в основном размещении,
обеспечения 2D версии вспомогательных данных и вспомогательных данных диспаратности, указывающих диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение, и размещения вспомогательных данных 2D версии в потоке вспомогательных данных,
обеспечения управляющих данных, содержащих параметры для приемника для того, чтобы позволить приемнику воспроизвести основные видеоданные и наложить вспомогательные данные,
компоновки транспортного потока данных, включающего в себя 3D видеоданные в основном размещении, поток вспомогательных данных, вспомогательные данные диспаратности и управляющие данные,
отличающееся тем, что упомянутый видеопроцессор дополнительно выполнен с возможностью:
обеспечения вспомогательного левого изображения и вспомогательного правого изображения вспомогательных данных, которые должны быть наложены на левое изображение и правое изображение 3D видеоданных,
размещения вспомогательных данных вспомогательного левого изображения и вспомогательного правого изображения в 2D кадре для вспомогательных данных во вспомогательном размещении, которое соответствует основному размещению,
размещения вспомогательных данных вспомогательного размещения в дополнительном потоке вспомогательных данных, и
включения в транспортный поток дополнительного потока вспомогательных данных и индикатора формата диспаратности, указывающего дополнительный поток вспомогательных данных.

13. Приемник (110) для обработки трехмерной [3D] видеоинформации из транспортного потока, совместимой с заранее заданной 2D цепочкой распределения видео,
причем 3D видеоинформация содержит 3D видеоданные и вспомогательные данные,
3D видеоданные содержат по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта,
вспомогательные данные размещены для отображения в области наложения на 3D видеоданные,
отличающийся тем, что упомянутый приемник содержит:
- входной блок (112) для приема транспортного потока данных для передачи 3D видеоинформации, совместимой с заранее заданной 2D цепочкой распределения видео, причем упомянутый транспортный поток данных сгенерирован посредством способа по любому одному из пп. 1-11, и
- видеопроцессор (113) для:
извлечения вспомогательных данных из потока вспомогательных данных при прекращении использования вспомогательных данных во вспомогательном размещении, обеспеченных в дополнительном потоке вспомогательных данных, и
генерирования данных наложения для отображения в области наложения на 3D видеоданные на основе 2D версии вспомогательных данных и вспомогательных данных диспаратности.

14. Считываемый компьютером носитель, содержащий сохраненные на нем исполняемые компьютером инструкции для обработки трехмерной [3D] видеоинформации, чтобы заставить процессор выполнять способ по любому одному из пп. 1-11.