Вспомогательные данные глубины
Изобретение относится к технологиям предоставления трехмерного видеосигнала от устройства-источника к устройству назначения. Техническим результатом является сокращение ошибок представления глубины вследствие преобразования стерео в глубину за счет вспомогательных данных глубины. Предложено устройство-источник 3D для предоставления трехмерного видеосигнала для передачи в устройство назначения 3D. Причем 3D видеосигнал содержит: первую видеоинформацию, представляющую вид для просмотра левым глазом на 3D дисплее, вторую видеоинформацию, представляющую вид для просмотра правым глазом на 3D дисплее. При этом устройство назначения 3D содержит: приемное устройство для приема 3D видеосигнала, преобразователь стерео в глубину для формирования первой сформированной карты глубин на основе первой и второй видеоинформации. 5 н. и 9 з.п. ф-лы, 6 ил., 1 табл.
Область техники, к которой относится изобретение
Изобретение относится к устройству-источнику 3D для предоставления трехмерного видеосигнала для передачи в устройство назначения 3D. Трехмерный видеосигнал содержит первую видеоинформацию, представляющую вид для просмотра левым глазом на трехмерном дисплее, и вторую видеоинформацию, представляющую вид для просмотра правым глазом на трехмерном дисплее. Устройство назначения 3D содержит приемное устройство для приема трехмерного видеосигнала и преобразователь стерео в глубину для формирования первой сформированной карты глубин на основе первой и второй видеоинформации. Устройство-источник 3D содержит модуль вывода для формирования трехмерного видеосигнала и для передачи трехмерного видеосигнала в устройство назначения 3D.
Изобретение дополнительно относится к способу предоставления трехмерного видеосигнала для передачи в устройство назначения 3D.
Изобретение относится к области техники формирования и передачи трехмерного видеосигнала в устройстве-источнике, например, в широковещательной компании, на сервере Интернет-веб-узла, в системе поддержки авторских разработок, изготовителя Blu-Ray-диска и т.д., к устройству назначения 3D, например, к проигрывателю Blue-Ray-дисков, трехмерному телевизору, трехмерному дисплею, мобильному вычислительному устройству и т.д., которое требует карты глубин для рендеринга нескольких видов.
Уровень техники
Документ "Working Draft on MVC extensions for inclusion of depth maps", ISO/IEC/JTC1/SC29/WG11/N12351, декабрь 2011 г., авторов Teruhiko Suzuki, Miska M. Hannuksela, Ying Chen, является проектом новых изменений в ITU-T Rec. H.264|ISO/IEC 14496-10 для добавления технологий трехмерного видео в MPEG-кодированные передаваемые видеосигналы (дополнительно называемым "проектом ISO"). Проект ISO описывает кодирование аудиовизуальных объектов в конкретных изменениях в упомянутый стандарт ISO, часть 10: Усовершенствованное кодирование видео, связанных с расширениями многовидового кодирования (MVC) для включения карт глубины в видеоформат. Согласно изменению, указываются MVC-расширения для включения карт глубины в кодирование видео, обеспечивающие возможность составления потоков битов, которые представляют несколько видов со связанными несколькими дополнительными видами, т.е. видов карт глубины. Аналогично кодированию многовидового видео, потоки битов, которые представляют несколько дополнительных видов, также могут содержать дополнительные субпотоки битов, которые соответствуют предложенной спецификации.
Согласно проекту ISO, карты глубин могут добавляться в поток трехмерных видеоданных, имеющий первую видеоинформацию, представляющую вид для просмотра левым глазом на трехмерном дисплее, и вторую видеоинформацию, представляющую вид для просмотра правым глазом на трехмерном дисплее. Карта глубины на стороне декодера предоставляет формирование дополнительных видов, дополняющих вид для просмотра левым и правым глазом, например, для автостереоскопического дисплея.
Сущность изобретения
Проект ISO требует, чтобы видеоматериал содержал карты глубин, что требует дополнительной пропускной способности для передачи данных. Кроме того, предусмотрен большой объем существующего трехмерного видеоматериала, который не имеет данных карт глубины. Для такого материала устройство назначения может иметь преобразователь стерео в глубину для формирования сформированной карты глубин на основе первой и второй видеоинформации.
Цель изобретения заключается в том, чтобы предоставлять систему для предоставления информации глубины и передачи информации глубины, которая является более гибкой для улучшения рендеринга трехмерного видео.
С этой целью, согласно первому аспекту изобретения, устройство-источник, как описано во вступительном абзаце, выполнено с возможностью предоставления карты исходной глубины, связанной с видеоинформацией, и устройство-источник 3D содержит преобразователь исходного стерео в глубину для формирования второй сформированной карты глубин на основе первой и второй видеоинформации, и процессор исходной глубины, выполненный с возможностью предоставления вспомогательных данных глубины только тогда, когда разность между картой исходной глубины и второй сформированной картой глубины превышает предварительно определенное пороговое значение, причем вспомогательные данные глубины представляют карту исходной глубины, и модуль вывода выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал.
Трехмерный видеосигнал содержит вспомогательные данные глубины.
Устройство назначения 3D содержит процессор глубины для формирования целевой карты глубин на основе первой сформированной карты глубин, когда вспомогательные данные глубины недоступны в трехмерном видеосигнале, и на основе вспомогательных данных глубины, когда вспомогательные данные глубины доступны в трехмерном видеосигнале.
Эти меры имеют такое преимущество, что устройству назначения предоставляется возможность формировать целевую карту глубины на основе локально сформированной карты глубин из первой и второй видеоинформации, представляющей виды для просмотра левым и правым глазом, и при возможности применять вспомогательные данные глубины, чтобы улучшать упомянутую локально сформированную карту глубины. Преимущественно, вспомогательные данные глубины передаются только тогда, когда локально сформированная карта глубины имеет существенное отличие от карты исходной глубины. Следовательно, уменьшаются визуально раздражающие ошибки, вызываемые посредством некорректно сформированных карт глубины.
Изобретение также основано на следующем соображении. Авторы изобретения видят, что локальное формирование карт глубины обычно предоставляет очень приемлемый результат на основе вида для просмотра левым и правым глазом. Тем не менее, в некоторые моменты или в некоторых местоположениях могут возникать раздражающие ошибки. Посредством прогнозирования возникновения таких ошибок в источнике и добавления упомянутых вспомогательных данных только в течение таких моментов или периодов, ограничивается объем дополнительных данных глубины, которые должны передаваться. Кроме того, посредством передачи вспомогательных данных на основе карты исходной глубины и выбора этих вспомогательных данных на стороне назначения вместо использования ошибочных локально сформированных данных глубины, достигается значительное улучшение глубины на основе рендеринга нескольких видов.
При необходимости, в устройстве-источнике 3D модуль вывода выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал только в течение периода коррекции времени, когда в пределах периода коррекции упомянутая разность превышает упомянутое пороговое значение. Преимущество заключается в том, что вспомогательные данные передаются только в течение периодов, в которых возникают существенные ошибки глубины, что на практике составляет менее 10% времени. Преимущественно, уменьшается объем данных, которые должны передаваться.
При необходимости, в устройстве-источнике 3D модуль вывода выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал только для области коррекции, меньшей трехмерного дисплея, когда в области коррекции упомянутая разность превышает упомянутое пороговое значение. Преимущество заключается в том, что вспомогательные данные передаются только для местоположений, в которых возникают существенные ошибки глубины, что на практике составляет менее 50% кадров, в которых возникают такие ошибки. Преимущественно, уменьшается объем данных, которые должны передаваться.
При необходимости, в устройстве-источнике 3D процессор глубины выполнен с возможностью формирования вспомогательных данных глубины для области коррекции, так что упомянутая область коррекции совмещается, по меньшей мере, с одним макроблоком в трехмерном видеосигнале, причем макроблок представляет предварительно определенный блок сжатых видеоданных, при этом совмещенная с макроблоком область коррекции содержит дополнительные данные глубины для местоположений, когда разность между картой исходной глубины и второй сформированной картой глубины не превышает предварительно определенное пороговое значение. Преимущество заключается в том, что область коррекции должна эффективно кодироваться посредством обычных процессоров кодирования, поскольку кодирование организуется в макроблоках. Напротив, кодирование произвольной формы, содержащее только коррекции для ошибочных значений глубины, требует значительных усилий по кодированию и приводит к низкому коэффициенту сжатия. Такая область коррекции также содержит пикселы, для которых значения глубины второй сформированной карты глубин и карты исходной глубины являются небольшими и ниже порогового значения. Дополнительные данные глубины могут быть основаны на второй сформированной карте глубины для недопущения переходов глубины на внешней границе совмещенной с макроблоком области коррекции. Преимущественно, задание дополнительных значений коррекции глубины равными сформированным значениям, на стороне декодера, не допускает, чтобы разности глубины через макроблоки стали видимыми.
При необходимости, в устройстве-источнике 3D модуль вывода выполнен с возможностью включения служебных вспомогательных данных в трехмерный видеосигнал, причем служебные вспомогательные данные указывают доступность вспомогательных данных глубины. Преимущественно, декодер обеспечивает возможность легко обнаруживать наличие или отсутствие вспомогательных данных глубины на основе служебных вспомогательных данных. Служебные вспомогательные данные, например, могут содержать, по меньшей мере, одно из следующего:
- сигнал флага, указывающий наличие вспомогательных данных глубины;
- предварительно заданное значение без глубины на карте глубины, указывающее отсутствие вспомогательных данных глубины для соответствующего местоположения;
- вспомогательные данные длины, указывающие объем вспомогательных данных глубины в структуре данных;
- данные индикаторов видов, указывающие число и/или тип видов, для которых доступны вспомогательные данные глубины;
- вспомогательные данные типа, указывающие структуру данных, используемую для вспомогательных данных глубины;
- вспомогательные данные разрешения, указывающие разрешение вспомогательных данных глубины;
- вспомогательные данные местоположения, указывающие местоположение вспомогательных данных глубины.
Преимущественно, такие служебные вспомогательные данные указывают наличие и/или объем вспомогательных данных глубины.
При необходимости, в устройстве-источнике 3D модуль вывода выполнен с возможностью включения, в трехмерный видеосигнал, карты глубин, соответствующей области отображения на трехмерном дисплее, причем карта глубины содержит вспомогательные данные глубины для области коррекции и/или периода коррекции и, в качестве служебных вспомогательных данных, предварительно заданное значение без глубины, указывающее отсутствие вспомогательных данных глубины для соответствующего местоположения для других областей и/или периодов. Карта глубины может быть включена в сигнал для кадров, которые имеют какие-либо вспомогательные данные глубины, т.е. неявно наличие карты глубин указывает то, что вспомогательные данные глубины присутствуют. Альтернативно, карта глубины может быть включена для всех кадров. Авторы изобретения отмечают, что текущая схема сжатия очень эффективно сжимает карты глубин, которые имеют одно значение на большей части или даже на всей поверхности отображения, в частности, когда значение без глубины, указывающее локальное отсутствие вспомогательных данных, выбирается равным 0 или 255. Преимущественно, на стороне декодера, карта глубины обрабатывается автоматически, только с использованием любых значений коррекции, когда значения глубины отклоняются от упомянутого значения без глубины.
При необходимости, карта глубины содержит, по меньшей мере, одно из следующего: данные глубины, соответствующие виду для просмотра левым глазом; данные глубины, соответствующие виду для просмотра правым глазом; данные глубины, соответствующие центральному виду; данные глубины, имеющие разрешение ниже первой видеоинформации или второй видеоинформации. Преимущественно, посредством предоставления одной или более карт глубины согласно упомянутым критериям, декодер может использовать надлежащую карту глубины по мере необходимости.
Дополнительные предпочтительные варианты осуществления устройства и способа согласно изобретению приводятся в прилагаемой формуле изобретения, раскрытие сущности которой содержится в данном документе посредством ссылки.
Краткое описание чертежей
Эти и другие аспекты изобретения должны стать очевидными и дополнительно истолкованными со ссылкой на варианты осуществления, описанные в качестве примера в нижеприведенном описании, и со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1 показывает систему для обработки трехмерных видеоданных и отображения трехмерных видеоданных,
Фиг. 2 показывает трехмерный декодер с использованием вспомогательных данных глубины,
Фиг. 3 показывает трехмерный кодер, предоставляющий вспомогательные данные глубины,
Фиг. 4 показывает устройство автостереоскопического отображения и формирование нескольких видов,
Фиг. 5 показывает двухвидовое устройство стереоскопического отображения и формирование улучшенных видов, и
Фиг. 6 показывает наличие вспомогательных данных глубины в трехмерном видеосигнале.
Чертежи являются просто схематичными и не нарисованы в масштабе. На чертежах элементы, которые соответствуют уже описанным элементам, могут иметь идентичные номера ссылок.
Подробное описание вариантов осуществления
Следует отметить, что настоящее изобретение может быть использовано для любого типа данных трехмерных изображений, будь то неподвижное изображение или движущееся видео. Предполагается, что данные трехмерных изображений должны быть доступными в качестве электронных кодированных в цифровой форме данных. Настоящее изобретение относится к таким данным изображений и обрабатывает данные изображений в цифровой области.
Предусмотрено множество различных способов, которыми может форматироваться и передаваться трехмерный видеосигнал, согласно так называемому трехмерному видеоформату. Некоторые форматы основаны на использовании двумерного канала для того, чтобы также переносить стереоинформацию. В трехмерном видеосигнале изображение представляется посредством значений изображения в двумерной матрице пикселов. Например, вид для просмотра левым и правым глазом может чередоваться или может размещаться рядом и выше и ниже. Также может передаваться карта глубины и, возможно, дополнительные трехмерные данные, такие как данные затемнения или прозрачности. Карта диспаратности в этом тексте также рассматривается в качестве типа карты глубин. Карта глубины имеет значения глубины также в двумерной матрице, соответствующей изображению, хотя карта глубины может иметь другое разрешение. Трехмерные видеоданные могут сжиматься согласно известным способам сжатия, таким как, например, MPEG. Любая трехмерная видеосистема, к примеру, Интернет или Blu-Ray-диск (BD), может извлекать выгоду из предложенных улучшений.
Трехмерный дисплей может представлять собой относительно небольшой модуль (например, мобильный телефон), крупный стереодисплей (STD), требующий очков с затвором, любой стереоскопический дисплей (STD), усовершенствованный STD, учитывающий переменный базис, активный STD, который нацеливает L- и R-виды в глаза зрителей на основе слежения за положением головы пользователя, или автостереоскопический многовидовой дисплей (ASD) и т.д.
Традиционно, все компоненты, необходимые для возбуждения различных типов трехмерных дисплеев, передаются, что типично влечет за собой сжатие и передачу нескольких видов (сигналов камеры) и их соответствующих глубин, например, как пояснено в "Call for Proposals on 3D Video Coding Technology", MPEG-документ N12036, март 2011 г., Женева, Швейцария. Проблемами в такой системе являются доступность сигналов глубины (затруднительно и затратно создавать), ограниченная начальная доступность контента для возбуждения ASD и усовершенствованных STD для переменного базиса и дополнительная скорость передачи битов, требуемая для передачи сигналов глубины. Автопреобразование в декодере (глубина автоматически извлекается из стерео) отдельно известно, например, из "Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI", MPEG-документ M22668, ноябрь 2011 г., Женева, Швейцария. Тем не менее, общее качество не может быть гарантировано, и качество ограничивается в определенных "сложных" сценах (например, 5% сцен). В качестве альтернативы автопреобразованию, используемому после стереовидеодекодера, преобразователь стерео в глубину также может быть размещен на стороне кодера, на которой может применяться большая вычислительная мощность. Тем не менее, это не уменьшает объем данных, которые должны передаваться, и при этом имеет недостаток в виде некоторых сложных сцен, в которых синтезируемые карты глубин не являются надежными.
Фиг. 1 показывает систему для обработки трехмерных видеоданных и отображения трехмерных видеоданных. Первое трехмерное видеоустройство, называемое устройством-источником 40 3D, предоставляет и передает трехмерный видеосигнал 41 в дополнительное устройство обработки трехмерных изображений, называемое устройством 50 назначения 3D, которое соединяется с устройством 60 трехмерного отображения для передачи сигнала 56 для трехмерного отображения. Видеосигнал, например, может представлять собой трехмерный телевизионный широковещательный сигнал, такой как стандартная стереопередача с использованием совместимого с 1/2 HD-кадра полного разрешения, полного разрешения после многовидового кодирования (MVC) или совместимого с кадром полного разрешения (например, FCFR как предложено компанией Dolby). С учетом совместимого с кадром базового слоя, компания Dolby разработала улучшающий слой для того, чтобы воссоздавать трехмерные изображения полного разрешения. Эта технология предложена для MPEG для стандартизации и требует увеличения скорости передачи битов только на ~10%. Традиционный трехмерный видеосигнал улучшается посредством вспомогательных данных глубины, как пояснено ниже.
Фиг. 1 дополнительно показывает носитель 54 записи в качестве носителя трехмерного видеосигнала. Носитель записи является дискообразным и имеет дорожку и центральное отверстие. Дорожка, состоящая из шаблона физически обнаруживаемых меток, размещается в соответствии со спиральным или концентрическим шаблоном витков, образующих практически параллельные дорожки на одном или более информационных слоев. Носитель записи может быть оптическичитаемым, называемым "оптическим диском", например, DVD или BD (Blu-Ray-диском). Информация осуществляется на информационном слое посредством оптически обнаруживаемых меток вдоль дорожки, например, углублений и плоских участков. Структура дорожки также содержит информацию позиции, к примеру, заголовки и адреса, для указания местоположения единиц информации, обычно называемых "информационными блоками". Носитель 54 записи переносит информацию, представляющую кодированные в цифровой форме данные трехмерных изображений, такие как видео, например, кодированное согласно MPEG2- или MPEG4-системе кодирования, в предварительно заданном формате записи, таком как DVD- или BD-формат.
Устройство-источник 3D имеет процессор 42 исходной глубины для обработки трехмерных видеоданных, принимаемых через модуль 47 ввода. Входные трехмерные видеоданные 43 могут быть доступными из системы хранения данных, студии звукозаписи, из трехмерной камеры и т.д. Исходная система обрабатывает карту глубины, предоставленную для данных трехмерных изображений, причем эта карта глубины либо может первоначально присутствовать на входе системы, либо может автоматически формироваться посредством высококачественной системы обработки, как описано ниже, например, из левых/правых кадров в стерео-(L+R) видеосигнале или из двумерного видео, и возможно дополнительно обрабатываться или корректироваться, чтобы предоставлять карту исходной глубины, которая точно представляет значения глубины, соответствующие прилагаемым данным двумерных изображений или левым/правым кадрам.
Процессор 42 исходной глубины формирует трехмерный видеосигнал 41, содержащий трехмерные видеоданные. Трехмерный видеосигнал имеет первую видеоинформацию, представляющую вид для просмотра левым глазом на трехмерном дисплее, и вторую видеоинформацию, представляющую вид для просмотра правым глазом на трехмерном дисплее. Устройство-источник может быть выполнено с возможностью передачи трехмерного видеосигнала из видеопроцессора через модуль 46 вывода и в дополнительное трехмерное видеоустройство или для предоставления трехмерного видеосигнала для распространения, например, через носитель записи. Трехмерный видеосигнал основан на обработке входных трехмерных видеоданных 43, например, посредством кодирования и форматирования трехмерных видеоданных согласно предварительно заданному формату.
Устройство-источник 3D имеет преобразователь 48 исходного стерео в глубину для формирования исходной сформированной карты глубин на основе первой и второй видеоинформации и процессор 42 исходной глубины для предоставления вспомогательных данных глубины.
Преобразователь стерео в глубину для формирования карты глубин, при работе, принимает трехмерный стереосигнал, также называемый "левым-правым видеосигналом", имеющим временную последовательность из левых кадров L и правых кадров R, представляющих вид для просмотра левым глазом и вид для просмотра правым глазом, которые должны отображаться для соответствующих глаз зрителя для формирования трехмерного эффекта. Модуль формирует сформированную карту глубины посредством оценки диспаратности вида для просмотра левым глазом и вида для просмотра правым глазом и дополнительно может предоставлять двумерное изображение на основе вида для просмотра левым глазом и/или вида для просмотра правым глазом. Оценка диспаратности может быть основана на алгоритмах оценки движения, используемых для того, чтобы сравнивать L- и R-кадры. Значительные различия между L- и R-видом объекта преобразуются в значения глубины перед или позади экрана отображения в зависимости от направления разности. Вывод модуля формирования является сформированной картой глубины. Затем, формируются вспомогательные данные глубины, в которых обнаруживаются ошибки глубины, т.е. только тогда, когда разность между картой исходной глубины и сформированной картой глубины превышает предварительно определенное пороговое значение. Например, предварительно определенная разность глубины может составлять упомянутое пороговое значение. Пороговое значение также может задаваться в зависимости от дополнительных свойств изображения, которые влияют на видимость ошибок глубины, например, локальной интенсивности или контрастности, или текстуры изображения. Пороговое значение также может быть определено посредством обнаружения уровня качества сформированной карты глубин следующим образом. Сформированная карта глубины используется для того, чтобы искривлять вид, имеющий ориентацию, соответствующую данному другому виду. Например, R'-изображение основано на исходных данных L-изображений и сформированной карте глубины. Затем разность вычисляется между R'-изображением и исходным R-видом, например, посредством известной PSNR-функции (пикового отношения "сигнал-шум"). PSNR представляет собой отношение между максимальной возможной мощностью сигнала и мощностью искажающего шума, которое влияет на точность воспроизведения его представления. Поскольку множество сигналов имеют очень широкий динамический диапазон, PSNR обычно выражается с точки зрения логарифмической шкалы в децибелах. PSNR может быть использовано теперь в качестве показателя качества сформированной карты глубин. Сигнал в этом случае представляет собой исходные данные R, и шум представляет собой ошибку, введенную посредством искривления R' на основе сформированной карты глубин. Кроме того, пороговое значение также может быть определено на основе дополнительных критериев видимости либо посредством авторской разработки или анализа результатов редактором на основе сформированной карты глубин и управления тем, какие секции и/или периоды трехмерного видео должны дополняться посредством вспомогательных данных глубины.
Вспомогательные данные глубины представляют карту исходной глубины, например, значения глубины из карты исходной глубины в местоположениях упомянутых ошибок глубины. Альтернативно, разность глубины или поправочный коэффициент глубины может быть включен во вспомогательные данные глубины, чтобы указывать устройству назначения, как добиваться значений глубины из карты исходной глубины. Модуль 46 вывода выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал. Процессор, имеющий функции процессора глубины 42, преобразователя 48 стерео в глубину и модуля 46 вывода, может называться "трехмерным кодером".
Трехмерный источник может представлять собой сервер, широковещательную компанию, устройство записи или систему авторской разработки и/или создания контента для изготовления оптических носителей записи, таких как Blu-Ray-диск. Blu-Ray-диск предоставляет интерактивную платформу для распространения видео для создателей контента. Информация относительно формата Blu-ray-дисков доступна из веб-узла Ассоциации по разработке стандартов для Blu-ray-дисков в документах по формату аудиовизуальных приложений, например:
-http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_ audiovisualapplication_0305-12955-15269.pdf. Процесс формирования оптического носителя записи дополнительно содержит этапы предоставления физического шаблона меток в дорожках, причем этот шаблон осуществляет трехмерный видеосигнал, который включает в себя вспомогательные данные глубины, и последующего формирования материала носителя записи согласно шаблону, чтобы предоставлять дорожки меток, по меньшей мере, на одном слое хранения.
Устройство назначения 3D 50 имеет модуль 51 ввода для приема трехмерного видеосигнала 41. Например, устройство может включать в себя модуль 58 обработки оптических дисков, соединенный с модулем ввода для извлечения трехмерной видеоинформации из оптического носителя 54 записи, такого как DVD или Blu-Ray-диск. Альтернативно (или дополнительно), устройство может включать в себя сетевой интерфейсный модуль 59 для подключения к сети 45, например, к Интернету или широковещательной сети, причем такое устройство представляет собой абонентскую приставку или мобильное вычислительное устройство, к примеру, мобильный телефон или планшетный компьютер. Трехмерный видеосигнал может быть извлечен из удаленного веб-узла или мультимедийного сервера, например, устройства-источника 3D 40. Устройство обработки трехмерных изображений может представлять собой преобразователь, который преобразует входной сигнал изображения в выходной сигнал изображения, имеющий требуемую информацию глубины. Такой преобразователь может быть использован для того, чтобы преобразовывать различные входные трехмерные видеосигналы для конкретного типа трехмерного дисплея, например, стандартный трехмерный контент в видеосигнал, подходящий для автостереоскопических дисплеев конкретного типа или производителя. На практике, устройство может представлять собой проигрыватель трехмерных оптических дисков или спутниковое приемное устройство, или абонентскую приставку, или любой тип мультимедийного проигрывателя.
Устройство назначения 3D имеет процессор 52 глубины, соединенный с модулем 51 ввода для обработки трехмерной информации для формирования сигнала 56 для трехмерного отображения, который должен передаваться через выходной интерфейсный модуль 55 на устройство отображения, например, сигнала для отображения согласно HDMI-стандарту, см. "High Definition Multimedia Interface; Specification Version 1.4a" 4 марта 2010 года, трехмерная часть которого доступна по адресу http://hdmi.org/manufacturer/specification.aspx для общедоступной загрузки.
Устройство назначения 3D имеет преобразователь 53 стерео в глубину для формирования целевой сформированной карты глубин на основе первой и второй видеоинформации. Работа преобразователя стерео в глубину является эквивалентной преобразователю стерео в глубину в исходном устройстве, описанному выше. Когда оба преобразователя являются одинаковыми, возникают идентичные ошибки глубины, причем эти ошибки могут корректироваться через вспомогательные данные глубины. Если преобразователь целевого стерео в глубину дополнительно улучшается, т.е. работает, по меньшей мере, не хуже преобразователя исходного стерео в глубину, конечная целевая карта глубины представляет выгоду, если недоступны вспомогательные данные. Модуль, имеющий функции процессора 52 целевой глубины, преобразователя 53 стерео в глубину и модуля 55 вывода, может называться "трехмерным декодером".
Процессор 52 целевой глубины выполнен с возможностью формирования данных изображений, включенных в сигнал 56 для трехмерного отображения для отображения на устройстве 60 отображения. Процессор глубины выполнен с возможностью формирования целевой карты глубин на основе целевой сформированной карты глубин, когда вспомогательные данные глубины недоступны в трехмерном видеосигнале, и на основе вспомогательных данных глубины, когда вспомогательные данные глубины доступны в трехмерном видеосигнале. Например, переключатель глубины при наличии может заменять значения глубины целевой сформированной карты глубин посредством значений глубины, предоставленных посредством вспомогательных данных глубины. Ниже дополнительно поясняется обработка вспомогательных данных глубины.
Устройство 60 трехмерного отображения служит для отображения данных трехмерных изображений. Устройство имеет входной интерфейсный модуль 61 для приема сигнала 56 для трехмерного отображения, включающего в себя трехмерные видеоданные и целевую карту глубины, передаваемого из трехмерного целевого устройства 50. Устройство имеет процессор 62 видов для формирования нескольких видов трехмерных видеоданных на основе первой и второй видеоинформации в зависимости от целевой карты глубин и трехмерный дисплей 63 для отображения нескольких видов трехмерных видеоданных. Передаваемые трехмерные видеоданные обрабатываются в процессоре 62 для отображения на трехмерном дисплее 63, например, на многовидовом ЖК-дисплее. Устройство 60 отображения может представлять собой любой тип стереоскопического дисплея, также называемого "трехмерным дисплеем".
Видеопроцессор 62 в устройстве 60 трехмерного отображения выполнен с возможностью обработки трехмерных видеоданных для формирования сигналов управления отображением для рендеринга нескольких видов. Виды формируются из данных трехмерных изображений с использованием целевой карты глубин. Альтернативно, видеопроцессор 52 в устройстве трехмерного проигрывателя может быть выполнен с возможностью осуществлять упомянутую обработку карты глубин. Несколько видов, сформированных для указанного трехмерного дисплея, могут быть переданы с сигналом трехмерного изображения на упомянутый трехмерный дисплей.
В дополнительном варианте осуществления, устройство назначения и устройство отображения комбинируются в одно устройство. Функции процессора 52 глубины и процессора 62 и оставшиеся функции модуля 55 вывода и модуля 61 ввода могут выполняться посредством одного модуля видеопроцессора.
Фиг. 2 показывает трехмерный декодер с использованием вспомогательных данных глубины. Трехмерный декодер 20 схематично показывается со входом для трехмерного видеосигнала, помеченным BS3 (трехмерный базовый сигнал). Входной демультиплексор 21 (DEMUX) извлекает потоки битов из вида для просмотра левым и правым глазом (LR-bitstr) и вспомогательные данные глубины (DH-bitstr). Первый декодер 22 (DEC) декодирует вид для просмотра левым и правым глазом в выходы L и R, которые также соединяются с бытовым преобразователем стерео в глубину (CE-S2D), который формирует левую карту LD1 глубины и правую карту RD1 глубины, называемую "целевой сформированной картой глубины". Второй декодер 23 декодирует DH-bitstr и предоставляет левую вспомогательную карту LD2 глубины и правую вспомогательную карту RD2 глубины, в которой доступны вспомогательные данные глубины. Переключатель DEPTH-SW 25 глубины выбирает либо целевую сформированную карту (LD1/RD1) глубины, либо левую вспомогательную карту LD2 глубины и правую вспомогательную карту RD2 глубины, например, на основе флага, указывающего наличие вспомогательных данных глубины.
Трехмерный декодер может быть частью абонентской приставки (STB) на стороне потребителя, которая принимает поток битов согласно системе (BS3) передачи и обработки вспомогательных данных глубины, который демультиплексируется в 2 потока: один видеопоток, имеющий L- и R-виды, и один поток глубины, имеющий вспомогательные данные глубины (DH), которые затем отправляются в соответствующие декодеры (например, MVC/H264). Локальный флаг извлекается и используется для того, чтобы переключаться между декодированными DH-глубинами (LD2/RD2) и локальными сформированными (посредством CE-S2D) значениями (LD1/RD1) глубины. Окончательные результаты трехмерного декодера (LD3/RD3) затем передаются в блок искривления видов, как пояснено с помощью фиг. 4 или 5, в зависимости от типа дисплея.
Фиг. 3 показывает трехмерный кодер, предоставляющий вспомогательные данные глубины. Трехмерный кодер 30 схематично показывается со входом (L, R) для приема трехмерного видеосигнала. Преобразователь стерео в глубину (например, высококачественный профессиональный HQ-S2D) формирует левую карту LD4 глубины и правую карту RD4 глубины, называемые "исходной сформированной картой глубины". Дополнительный вход принимает карту исходной глубины (помеченную LD-man, RD-man), которая может предоставляться оффлайн (например, вручную редактироваться или улучшаться) либо может быть доступной вместе с входным трехмерным видеосигналом. Модуль 32 переключения глубины принимает и исходную сформированную карту LD4, RD4 глубины и карту LD-man и RD-man исходной глубины и определяет то, превышает или нет разность между картой исходной глубины и сформированной картой глубины предварительно определенное пороговое значение. Если да, переключатель глубины формирует вспомогательные данные LD5, RD5 глубины. Переключатель глубины может выбирать одну из карт глубины. Выбор также может быть основан на внешнем сигнале (помеченном флаге), который указывает такую разность, причем этот сигнал может быть включен в выходной сигнал в качестве вспомогательных служебных данных посредством выходного мультиплексора 35 (MUX). Мультиплексор также принимает кодированные видеоданные (BS1) из первого кодера 33 и кодированные вспомогательные данные (BS2) глубины из второго кодера 34 и формирует трехмерный видеосигнал, помеченный BS3.
В трехмерном кодере, модуль вывода может быть выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал только в течение периода коррекции времени, когда в пределах периода коррекции упомянутая разность превышает упомянутое пороговое значение. Кроме того, модуль вывода может быть выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал только для области коррекции, меньшей трехмерного дисплея, когда в области коррекции упомянутая разность превышает упомянутое пороговое значение. Например, карта глубины, предоставляющая вспомогательные данные глубины, является (i) полнокадровой, (ii) частично присутствует или (iii) не присутствует. Также карта глубины может присутствовать в только определенных кадрах или GOP. Кроме того, полнокадровая карта глубины может быть включена, но иметь назначенное конкретное значение яркости (например, 0×00 или 0×FF), что означает "отсутствие вспомогательной информации глубины". Такая карта может быть кодирована обратно совместимым способом. Также вспомогательные данные глубины и их местоположение кадра могут быть сохранены в таблице или другой структуре данных, передаваемой в пользовательских данных или в некотором другом потоке.
Кодер имеет следующее преимущество. Информация глубины, называемая "вспомогательными данными глубины", частично передается во времени (частичные глубины во времени) и/или пространственно (частичная глубина в кадрах). Предусмотрен явный или неявный механизм, включенный для указания того, когда должны использоваться эти частичные глубины, или когда должны автоматически локально формироваться глубины. Явный механизм может осуществляться через вставку флагов в поток битов, а неявный может осуществляться через такое правило, что отсутствие вспомогательных данных глубины, по сути, указывает то, что должна формироваться локальная глубина.
В варианте осуществления, на карте глубины, определенному уровню LEV глубины (например, уровню черного 0 или уровню белого 255) может придаваться такой смысл, что DH-глубина не передается. Такое значение без глубины физически присутствует в позиции значения глубины, что имеет некоторые практические преимущества, например, для того чтобы поддерживать синхронными видео и глубину.
Также такая передача служебных сигналов обеспечивает возможность "пространственного" индикатора относительно вспомогательных данных глубины, в силу этого не только частично временных, но также и частично пространственных, т.е. только частей в кадре. Например, ошибки глубины могут присутствовать в некоторых частях локальной сформированной карты глубин в кадре конкретного снимка. В этом случае, вспомогательные данные глубины задаются как уровень LEV без глубины, за исключением пикселов, в которых локальная сформированная глубина является недостаточной.
Пример, в котором могут возникать ошибки глубины, представляет собой логотипы, которые постоянно присутствуют в контенте, а также по границам снимков. Обычно преобразование диспаратностей в глубины должно отличаться для каждого снимка, тогда как типично диспаратности логотипов являются постоянными. Локальная сформированная глубина может быть ошибочной, так что глубины логотипа варьируются во времени по снимкам. Вследствие характера ASD это также может даже приводить к в определенной степени варьирующемуся эффекту размытия, к которому человеческий глаз очень чувствителен. Тем не менее, вспомогательные данные глубины, доступные (т.е. в значении не-LEV) только для пикселов глубины, соответствующих логотипу, обеспечивают возможность задавать глубину логотипа с постоянным и надлежащим уровнем. Следовательно, преодолеваются такие проблемы качества. Значения карты глубин, равные не-LEV, должны интерпретироваться в качестве флага, и для этих пикселов, вывод (LD3/RD3) глубины должен переключаться с локальных сформированных глубин LD1/RD1 на вспомогательные данные глубины LD2/RD2.
Режим работы модуля S2D (CE-S2D или HQ-S2D) преобразователя стерео в глубину, который преобразует стандартный доступный стереосигнал в один или два соответствующих сигнала глубины, является известным (и фиксированным). Преимущественно, конкретный преобразователь стерео в глубину, в частности, выбирается в качестве части стандартного трехмерного формата. Следовательно, преобразователь стерео в глубину на стороне декодера в таком случае может становиться идентичным преобразователю стерео в глубину на стороне кодера. Это обеспечивает возможность управления качеством на стороне кодера S2D-модуля в декодере, CE-S2D. Если оказывается, например, что для данного снимка (начала новой сцены или "монтажного кадра"), качество после рендеринга на ASD является недостаточным (то, что типично происходит только время от времени, скажем, для 5% снимков), только для этих снимков создаются и передаются вспомогательные данные глубины. Это не только обеспечивает общее качество, но также и ограничивает затраты на создание контента при одновременной экономии битов для передачи.
Следует отметить, что принцип вспомогательных данных глубины может применяться на каждом этапе переноса трехмерного видео, например, между студией или автором и широковещательной компанией, которое дополнительно кодирует текущие усовершенствованные карты глубин для передачи потребителю. Также система передачи и обработки вспомогательных данных глубины может быть выполнена для последовательных передач, например, дополнительно улучшенная версия может быть создана для начальной версии посредством включения вторых вспомогательных данных глубины на основе дополнительно улучшенной карты исходной глубины. Это обеспечивает значительную гибкость с точки зрения достижимого качества на трехмерных дисплеях, скоростей передачи битов, необходимых для передачи информации глубины, или затрат на создание трехмерного контента.
В варианте осуществления, вспомогательные данные глубины могут принимать следующую форму. Трехмерный видеосигнал включает в себя карту глубины, соответствующую области отображения на трехмерном дисплее. Упомянутая карта глубины имеет вспомогательные данные глубины для области коррекции и/или периода коррекции. Кроме того, предварительно заданное значение без глубины указывает отсутствие вспомогательных данных глубины для соответствующего местоположения для других областей и/или периодов.
В варианте осуществления, карта глубины может включать в себя, по меньшей мере, одно из данных глубины, соответствующих виду для просмотра левым глазом, данных глубины, соответствующих виду для просмотра правым глазом, и/или данных глубины, соответствующих центральному виду. Кроме того, данные глубины могут иметь разрешение ниже первой видеоинформации или второй видеоинформации.
Процессор глубины может быть выполнен с возможностью формирования вспомогательных данных глубины для области коррекции, так что упомянутая область коррекции совмещается, по меньшей мере, с одним макроблоком в трехмерном видеосигнале. Макроблоки представляют предварительно определенный блок сжатых видеоданных, например, в MPEG-кодированном видеосигнале.
Совмещенная с макроблоком область коррекции может включать в себя дополнительные данные глубины для местоположений, когда разность между картой исходной глубины и второй сформированной картой глубины не превышает предварительно определенное пороговое значение. Такая область коррекции также содержит пикселы, для которых значения глубины второй сформированной карты глубин и карты исходной глубины являются небольшими и ниже порогового значения. Дополнительные данные глубины могут быть основаны на второй сформированной карте глубины для недопущения переходов глубины на внешней границе совмещенной с макроблоком области коррекции. Задание дополнительных значений коррекции глубины равными сформированным значениям, на стороне декодера, не допускает, чтобы разности глубины через макроблоки стали видимыми.
В варианте осуществления, трехмерный видеосигнал содержит служебные вспомогательные данные. Служебные вспомогательные данные указывают доступность вспомогательных данных глубины. Служебные вспомогательные данные могут принимать форму, по меньшей мере, одного из следующего. Сигнал флага может указывать наличие вспомогательных данных глубины. Предварительно заданное значение без глубины на карте глубины может указывать отсутствие вспомогательных данных глубины для соответствующего местоположения. Вспомогательные данные длины могут указывать объем вспомогательных данных глубины в структуре данных. Данные индикаторов видов могут указывать число и/или тип видов, для которых доступны вспомогательные данные глубины. Вспомогательные данные типа могут указывать структуру данных или формат данных, используемый для вспомогательных данных глубины. Вспомогательные данные разрешения могут указывать разрешение вспомогательных данных глубины. Вспомогательные данные местоположения могут указывать местоположение вспомогательных данных глубины.
Следует отметить, что вспомогательные данные глубины предназначены для того, чтобы помогать/корректировать такие области автоматически сформированной карты глубин, которые могут вызывать ошибки в выводе после рендеринга. Неиспользуемые области карты глубин могут указываться посредством одного значения яркости. Это значение называется "NoDH".
Другие параметры передачи служебных сигналов, которые могут быть переданы (один или более, включающие в себя различные комбинации) для вспомогательных данных глубины:
1. Интерпретация данных глубины:
a) Zfar, znear (самое ближнее и самое дальнее значения глубины),
b) znear_sign (указывает, как интерпретировать значение znear: 0 как положительное, 1 в качестве отрицательное)
c) znear_exponent (для расширения до большей точности значений глубины)
d) num_of_views (число видов, для которых присутствует информация глубины),
2. Конкретные служебные сигналы обработки с тем, чтобы помогать рендерингу в получении наилучших результатов из вспомогательных данных глубины. Служебные сигналы состоят из числа, которое соответствует служебным сигналам, используемым в заданной таблице.
a) Тип масштабирования, используемого в DH-данных, вид алгоритма, используемого для масштабирования, билинейный, бикубический и т.д.
b) Тип краев в информации глубины. Он состоит из таблицы, указывающей определенный тип края, чтобы помогать модулю рендеринга в получении максимальных результатов из вспомогательных данных глубины. Например, "резкий", "нерезкий", "мягкий" и т.д.
c) Алгоритм, используемый для того, чтобы формировать вспомогательные данные глубины. Система рендеринга должна иметь возможность интерпретировать это значение и из него логически выводить то, как подготавливать посредством рендеринга вспомогательные данные глубины: вручную, глубина от фокуса, глубина от перспективы, глубина от движения, комбинация подходов и т.д.
В дополнение к значениям записей таблицы, упомянутым выше, следующие дополнительные вещественные значения:
d) Величина растяжения, используемого на границах объектов в данных глубины, от 0 до 128.
e) Значение яркости в данных изображений глубины, которые не содержат вспомогательных данных глубины. NoDH в качестве значения между 0 и 255. Чтобы минимизировать скорость передачи битов на краях, оно должно быть блоком, совмещенным, например, при 8×8 или 16×16, соответствующим размеру макроблока видеопотока глубины.
Как интерпретация (1) данных глубины, так и конкретные служебные сигналы (2) обработки для рендеринга предпочтительно передаются таким образом, что они содержатся в видеосигнале, в элементарном видеопотоке. Для передачи интерпретации данных глубины предложено задавать новый тип NAL-единицы, называемый "обновлением диапазона глубин".
Поскольку конкретные служебные данные обработки также должны использоваться при интерпретации вспомогательных данных глубины, предлагается переносить служебные сигналы в NAL-единицах, которые являются частью видеопотока, который переносит вспомогательные данные глубины. Для этого можно расширять NAL-единицу depth_range_update с помощью таблицы, которая задается в качестве данных Rendering_Depth_Helper. Альтернативно, нижеприведенная таблица может переноситься в SEI-сообщении, поскольку оно также переносится в элементарном видеопотоке.
Ниже приведена таблица, которая показывает пример части NAL-единицы с данными, как указано.
| Таблица 1 Рендеринг вспомогательных данных глубины |
|
| Rendering_depth_helper_data { | Битов |
| Type_of_scaling | 4 |
| Type_of_edge | 4 |
| Depth_algorithm | 4 |
| Dilation | 7 |
| No_Depth_Helper_value | 8 |
| Reserved | 5 |
| } |
| Type_of_scaling | Используемый способ масштабирования |
| 1 | Билинейный |
| 2 | Бикубический |
| 3 | и т.п. |
| Type_of_edges | Тип края |
| 1 | Резкий |
| 2 | Нерезкий |
| 3 | Мягкий |
| 4 | и т.п. |
| Type_of_depth_algo | Используемый алгоритм глубины |
| 1 | Вручную |
| 2 | Глубина от движения |
| 3 | Глубина от фокуса |
| 4 | Глубина от перспективы |
| 5 | и т.п. |
В варианте осуществления, трехмерный видеосигнал форматируется с возможностью включать в себя поток кодированных видеоданных и выполнен с возможностью передачи информации декодирования согласно предварительно заданному стандарту, например, BD-стандарту. Служебные вспомогательные данные в трехмерном видеосигнале включаются согласно стандарту в качестве информации декодирования, по меньшей мере, в одном из сообщения с пользовательскими данными; сообщения со служебной информацией элементарных потоков (SEI); таблицы точек входа; или описания на основе XML.
Фиг. 4 показывает устройство автостереоскопического отображения и формирование нескольких видов. Автостереоскопический дисплей (ASD) 403 принимает несколько видов, сформированных посредством процессора 400 глубины. Процессор глубины имеет модуль 401 искривления видов для формирования набора видов 405 из полного вида L для просмотра левым глазом и целевой карты LD3 глубины, как показано в нижней части чертежа. Входной интерфейс 406 отображения может быть согласно HDMI-стандарту, расширенному с возможностью передавать RGB и глубину (RGBD HDMI), и включать в себя полный вид L для просмотра левым глазом и целевую карту LD3 глубины на основе HD вспомогательных данных глубины. Виды по мере формирования передаются через модуль 402 перемежения на дисплей 403. Целевая карта глубины дополнительно может обрабатываться посредством постпроцессора Z-PP 404 глубины.
Фиг. 5 показывает двухвидовое устройство стереоскопического отображения и формирование улучшенных видов. Двухвидовой стереодисплей (STD) 503 принимает два улучшенных вида (new_L, new_R), сформированных посредством процессора 501 глубины. Процессор глубины имеет функцию искривления видов для формирования улучшенных видов относительно исходного полного вида L для просмотра левым глазом и полного R-вида и целевой карты глубин, как показано в нижней части чертежа. Входной интерфейс 502 отображения может быть согласно HDMI-стандарту, расширенному с возможностью передавать интерфейс информации видов (HDMI-интерфейс). Новые виды искривляются относительно параметра BL, указывающего базис (BL) в ходе отображения. Базис трехмерного видеоматериала первоначально представляет собой эффективное расстояние между L- и R-позициями камеры (скорректированными для оптики, коэффициента масштабирования и т.д.). При отображении материала, базис должен эффективно транслироваться посредством конфигурации отображения, такой как размер, разрешение, расстояние от зрителя до экрана или предпочтительные настройки зрителя. Чтобы изменять базис в ходе отображения, позиции L- и R-вида могут сдвигаться посредством искривления новых видов, называемых new_L и new_R, формирующих новое базовое расстояние, которое может быть большим (>100%) или меньшим (<100%) исходного базиса. Новые виды сдвигаются наружу или внутрь относительно исходных полных L- и R-видов при BL=100%. Третий пример (0%<BL<50%) имеет оба новых вида, искривленные на основе одного вида (Full_L). Искривление новых видов близко к полным видам не допускает артефактов искривления. Посредством трех показанных примеров, расстояние между искривленным новым видом и исходным видом ниже 25% при обеспечении диапазона управления в 0%<BL<150%.
Фиг. 6 показывает наличие вспомогательных данных глубины в трехмерном видеосигнале. На чертеже, направленная вверх стрелка указывает на начальное время (t1, t2 и т.д.) нового снимка в видеопрограмме. Во время снимков, начинающихся в t3 и t6, формируются вспомогательные данные LD4 и RD4 глубины, как указано посредством сигнала флага, принимающего высокий уровень. Чертеж иллюстрирует включение вспомогательных данных глубины в трехмерный видеосигнал только в течение периода коррекции времени, когда в пределах периода коррекции упомянутая разность превышает пороговое значение, т.е. если ошибки глубины в локально сформированной карте глубины являются раздражающе видимыми.
Хотя изобретение, главным образом, пояснено посредством вариантов осуществления с использованием бытовых устройств назначения, изобретение также является подходящим для любой трехмерной видеосистемы. В общих словах, предлагаются гибридный трехмерный формат и схема передачи/автопреобразования для передачи трехмерных данных на различные типы трехмерных дисплеев. Информация глубины ("глубин") частично передается во времени (частичные глубины во времени) и/или пространственно (частичная глубина в кадрах). Предусмотрен явный или неявный механизм для указания того, когда должны использоваться эти частичные глубины, или когда должны автоматически локально формироваться глубины. Гибридный принцип может применяться на стороне потребителя и/или на стороне широковещательной компании, что обеспечивает значительную гибкость с точки зрения достижимого качества на трехмерных дисплеях, скоростей передачи битов, необходимых для передачи информации глубины, или затрат на создание трехмерного контента.
Следует отметить, что изобретение может быть реализовано в аппаратных средствах и/или в программном обеспечении, с использованием программируемых компонентов. Способ для реализации изобретения имеет этапы, соответствующие функциям, определяемым для системы, как описано со ссылкой на фиг. 1.
Следует принимать во внимание, что вышеприведенное описание для ясности описывает варианты осуществления со ссылкой на различные функциональные блоки и процессоры. Тем не менее, должно быть очевидным, что любое надлежащее распределение функциональности между различными функциональными модулями или процессорами может быть использовано без отступления от изобретения. Например, функциональность, проиллюстрированная как выполняемая посредством отдельных модулей, процессоров или контроллеров, может быть выполнена посредством одного процессора или контроллера. Следовательно, ссылки на конкретные функциональные модули должны рассматриваться только как ссылки на надлежащее средство предоставления описанной функциональности, а не обозначать точную логическую или физическую структуру либо организацию. Изобретение может быть реализовано в любой надлежащей форме, включающей в себя аппаратные средства, программное обеспечение, микропрограммное обеспечение или любую комбинацию вышеозначенного.
Следует отметить, что в этом документе слово "содержащий" не исключает наличия других элементов или этапов, помимо перечисленных, а форма единственного числа элемента, не исключает наличия множества таких элементов, и что любые ссылочные позиции не ограничивают объем формулы изобретения, что изобретение может быть реализовано посредством как аппаратных средств, так и программного обеспечения, и что несколько "средств" или "модулей" могут быть представлены посредством идентичного элемента аппаратных средств или программного обеспечения, и процессор может осуществлять функцию одного или более модулей, возможно совместно с аппаратными элементами. Дополнительно, изобретение не ограничено вариантами осуществления, и изобретение заключается в каждом новом признаке или в комбинации признаков, описанных выше или изложенных во взаимно различных зависимых пунктах формулы изобретения.
1. Устройство-источник (40) 3D для предоставления трехмерного (3D) видеосигнала (41) для передачи в устройство (50) назначения 3D, причем 3D видеосигнал содержит:
первую видеоинформацию, представляющую вид для просмотра левым глазом на 3D дисплее, и
вторую видеоинформацию, представляющую вид для просмотра правым глазом на 3D дисплее,
при этом устройство назначения 3D содержит:
приемное устройство (51, 58, 59) для приема 3D видеосигнала и
преобразователь (53) стерео в глубину для формирования первой сформированной карты глубин на основе первой и второй видеоинформации,
при этом устройство-источник 3D содержит:
модуль (46) вывода для формирования 3D видеосигнала и для передачи 3D видеосигнала в устройство назначения 3D, при этом устройство-источник 3D выполнено с возможностью предоставления карты исходной глубины, связанной с видеоинформацией, и устройство-источник 3D содержит:
преобразователь (48) исходного стерео в глубину для формирования второй сформированной карты глубин на основе первой и второй видеоинформации, и
процессор (42) исходной глубины, выполненный с возможностью предоставления вспомогательных данных глубины только тогда, когда разность между картой исходной глубины и второй сформированной картой глубины превышает предварительно определенное пороговое значение, причем вспомогательные данные глубины представляют карту исходной глубины, а модуль вывода выполнен с возможностью включения вспомогательных данных глубины в 3D видеосигнал, причем устройство назначения 3D содержит процессор (52) глубины для формирования целевой карты глубин на основе первой сформированной карты глубин, когда вспомогательные данные глубины недоступны в 3D видеосигнале, и на основе вспомогательных данных глубины, когда вспомогательные данные глубины доступны в трехмерном видеосигнале.
2. Устройство-источник 3D по п. 1, в котором модуль вывода выполнен с возможностью включения вспомогательных данных глубины в 3D видеосигнал только в течение периода времени коррекции видеоданных, когда в пределах периода времени коррекции видеоданных упомянутая разность превышает упомянутое пороговое значение.
3. Устройство-источник 3D по п. 1, в котором модуль вывода выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал только для области коррекции видеоданных, которая меньше 3D дисплея, когда в области коррекции видеоданных упомянутая разность превышает упомянутое пороговое значение.
4. Устройство-источник 3D по п. 3, в котором процессор глубины выполнен с возможностью формирования вспомогательных данных глубины для области коррекции видеоданных, так что упомянутая область коррекции видеоданных совмещается по меньшей мере с одним макроблоком в 3D видеосигнале, причем макроблок представляет предварительно определенный блок сжатых видеоданных, при этом совмещенная с макроблоком область коррекции видеоданных содержит дополнительные данные глубины для местоположений, когда разность между картой исходной глубины и второй сформированной картой глубины не превышает предварительно определенное пороговое значение.
5. Устройство-источник 3D по п. 1, 2, 3 или 4, в котором модуль вывода выполнен с возможностью включения служебных вспомогательных данных в 3D видеосигнал, причем служебные вспомогательные данные указывают доступность вспомогательных данных глубины.
6. Устройство-источник 3D по п. 5, в котором служебные вспомогательные данные содержат по меньшей мере одно из следующего:
сигнал флага, указывающий наличие вспомогательных данных глубины;
предварительно заданное значение без глубины на карте глубины, указывающее отсутствие вспомогательных данных глубины для соответствующего местоположения;
вспомогательные данные длины, указывающие объем вспомогательных данных глубины в структуре данных;
данные индикаторов видов, указывающие число и/или тип видов, для которых доступны вспомогательные данные глубины;
вспомогательные данные типа, указывающие структуру данных, используемую для вспомогательных данных глубины;
вспомогательные данные разрешения, указывающие разрешение вспомогательных данных глубины;
вспомогательные данные местоположения, указывающие местоположение вспомогательных данных глубины.
7. Устройство-источник 3D по п. 5, в котором модуль вывода выполнен с возможностью включения, в 3D видеосигнал, карты глубин, соответствующей области отображения на 3D дисплее, причем карта глубины содержит вспомогательные данные глубины для области коррекции видеоданных и/или периода времени коррекции видеоданных и, в качестве служебных вспомогательных данных, предварительно заданное значение без глубины, указывающее отсутствие вспомогательных данных глубины для соответствующего местоположения для других областей и/или периодов.
8. Устройство (50) назначения 3D для приема 3D видеосигнала из устройства-источника 3D, причем 3D видеосигнал содержит:
первую видеоинформацию, представляющую вид для просмотра левым глазом на 3D дисплее,
вторую видеоинформацию, представляющую вид для просмотра правым глазом на 3D дисплее,
при этом устройство назначения 3D содержит:
приемное устройство для приема 3D видеосигнала,
преобразователь стерео в глубину для формирования первой сформированной карты глубин на основе первой и второй видеоинформации, при этом устройство-источник 3D выполнено с возможностью предоставления карты исходной глубины, связанной с видеоинформацией, и
устройство-источник 3D содержит:
преобразователь исходного стерео в глубину для формирования второй сформированной карты глубин на основе первой и второй видеоинформации и
процессор исходной глубины, выполненный с возможностью предоставления вспомогательных данных глубины только тогда, когда разность между картой исходной глубины и второй сформированной картой глубины превышает предварительно определенное пороговое значение, причем вспомогательные данные глубины представляют карту исходной глубины, а модуль вывода выполнен с возможностью включения вспомогательных данных глубины в 3D видеосигнал, причем устройство назначения 3D содержит процессор глубины для формирования целевой карты глубин на основе первой сформированной карты глубин, когда вспомогательные данные глубины недоступны в 3D видеосигнале, и на основе вспомогательных данных глубины, когда вспомогательные данные глубины доступны в 3D видеосигнале.
9. Устройство назначения по п. 8, в котором приемное устройство содержит модуль (58) считывания для считывания носителя записи для приема 3D видеосигнала.
10. Устройство назначения по п. 8, при этом устройство содержит:
процессор видов для формирования нескольких видов 3D видеоданных на основе первой и второй видеоинформации в зависимости от целевой карты глубин; и
3D дисплей (63) для отображения нескольких видов 3D видеоданных.
11. Способ предоставления 3D видеосигнала для передачи в устройство назначения 3D, причем трехмерный видеосигнал содержит:
первую видеоинформацию, представляющую вид для просмотра левым глазом на 3D дисплее,
вторую видеоинформацию, представляющую вид для просмотра правым глазом на 3D дисплее,
при этом устройство назначения 3D содержит:
приемное устройство для приема 3D видеосигнала,
преобразователь стерео в глубину для формирования первой сформированной карты глубин на основе первой и второй видеоинформации,
причем способ содержит этап, на котором формируют 3D видеосигнал и передают 3D видеосигнал в устройство назначения 3D,
при этом способ содержит этапы, на которых:
предоставляют карту исходной глубины, связанную с видеоинформацией,
формируют вторую сформированную карту глубины на основе первой и второй видеоинформации, и
предоставляют вспомогательные данные глубины только тогда, когда разность между картой исходной глубины и второй сформированной картой глубины превышает предварительно определенное пороговое значение, причем вспомогательные данные глубины представляют карту исходной глубины, и
включают вспомогательные данные глубины в 3D видеосигнал, а
устройство назначения 3D содержит процессор глубины для формирования целевой карты глубин на основе первой сформированной карты глубин, когда вспомогательные данные глубины недоступны в 3D видеосигнале, и на основе вспомогательных данных глубины, когда вспомогательные данные глубины доступны в 3D видеосигнале.
12. Способ по п. 11, при этом способ содержит этап изготовления носителя записи, причем носитель записи содержит оптически обнаруживаемую дорожку меток, представляющую 3D видеосигнал.
13. Система передачи 3D видеоданных из устройства-источника 3D в устройство назначения 3D, причем 3D видеосигнал содержит:
первую видеоинформацию, представляющую вид для просмотра левым глазом на 3D дисплее,
вторую видеоинформацию, представляющую вид для просмотра правым глазом на 3D дисплее,
при этом устройство назначения 3D содержит:
приемное устройство для приема 3D видеосигнала и
преобразователь стерео в глубину для формирования первой сформированной карты глубин на основе первой и второй видеоинформации,
при этом устройство-источник 3D содержит модуль вывода для формирования 3D видеосигнала и для передачи 3D видеосигнала в устройство назначения 3D,
при этом устройство-источник 3D выполнено с возможностью предоставления карты исходной глубины, связанной с видеоинформацией, и устройство-источник 3D содержит:
преобразователь исходного стерео в глубину для формирования второй сформированной карты глубин на основе первой и второй видеоинформации и
процессор исходной глубины, выполненный с возможностью предоставления вспомогательных данных глубины только тогда, когда разность между картой исходной глубины и второй сформированной картой глубины превышает предварительно определенное пороговое значение, причем вспомогательные данные глубины представляют карту исходной глубины, и
3D видеосигнал содержит вспомогательные данные глубины, и устройство назначения 3D содержит процессор глубины для формирования целевой карты глубин на основе первой сформированной карты глубин, когда вспомогательные данные глубины недоступны в 3D видеосигнале, и на основе вспомогательных данных глубины, когда вспомогательные данные глубины доступны в 3D видеосигнале.
14. Считываемый компьютером носитель записи, содержащий записанную на нем программу, которая побуждает процессор компьютера осуществлять этапы способа по п. 11.
