Телевизионный многоракурсный способ получения, передачи и приема стереоинформации о наблюдаемом пространстве с его автоматическим измерением. система "третий глаз"



Телевизионный многоракурсный способ получения, передачи и приема стереоинформации о наблюдаемом пространстве с его автоматическим измерением. система третий глаз

 


Владельцы патента RU 2543549:

Соболев Сергей Александрович (RU)

Изобретение относится к стереоскопическому телевидению. Техническим результатом является повышение точности управления передачей стереоскопического видеоизображения за счет автоматического измерения предметного пространства съемки в реальном времени. В способе осуществляют стереосъемку симметрично центрированной многоракурсной стереосистемой с синхронизированными видеокамерами, запоминают и сравнивают видеосигналы сопряженных строк, распознают в них сопряженные с центральным сигналом ракурсные сигналы, измеряют их временные параллаксы в единой временной системе отсчета, синхронизируют параллаксные сигналы с видеосигналом центральной видеокамеры, передают на приемную сторону и запоминают поток сигналов, восстанавливают видеосигналы ракурсных стереокадров смещением элементов сигналов центральной камеры на сопряженные временные параллаксы и воспроизводят изображение. 1 ил.

 

Предлагаемое изобретение относится к телевизионной технике, а именно к стереоскопическому телевидению (3D TV), и может быть использовано как техническое зрение в системах точного динамичного управления мобильными объектами, для широкого использования в вещательном 3D TV и Интернете, так и в разных областях культуры, науки и техники, где требуется информация о пространственных размерах наблюдаемого предметного пространства и находящихся в нем объектах.

Известны стереоскопические способы измерения дальности по измерению линейных параллаксов сопряженных точек в их изображениях в кадрах стереопары, основанные на функциональной зависимости:

L = f ( F ; b ; Δ l ) , г д е ( 1 )

L - дальность до наблюдаемой точки;

F - фокусное расстояние объективов стереосистемы;

b - база стереосистемы;

Δl - линейный параллакс между сопряженными изображениями наблюдаемой точки в кадрах стереопары.

В качестве аналога выбран «Способ автоматизированного измерения координат внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения» [1]. Способ предназначен для использования в человеко-машинном комплексе, содержащем систему технического зрения, состоящую из телевизионного стереоблока, сопряженного с ПЭВМ, дисплея для визуализации изображения и устройства управления перемещением курсора. Измеряемая точка наблюдаемой сцены указывается с помощью курсора на экране дисплея, а ее три пространственные координаты вычисляются автоматически с использованием программы на ПЭВМ и визуализацией на экране дисплея. Недостатками данного способа являются: удвоение видеопотока для передачи кадров стереопары, измерение координат только статических предметных точек сцены, необходимость участия оператора в выборе и измерении множества точек объекта для вычисления его геометрической модели.

В качестве прототипа выбран способ с использованием так называемого формата 2D+Z «Цифровое 3D-телевидение», Теле-Спутник, июнь, 2010 [2].

Техническая реализация 3D-трансляции этим способом осуществляется сопоставлением любому обычному (2D) изображению информации об удаленности каждого пиксела от наблюдателя (Z-координата). Такое представление изображения называют « формат 2D+Z », а плоскость координат Z - «картой глубины». Это позволяет осуществить передачу стереоскопического видео с увеличением потока данных всего на 25-30%. Карта представляется в виде монохромного изображения, в котором градациями серого обозначается удаленность предметных точек от наблюдателя. При этом для расчета карты используется алгоритм анализа различий между двумя каналами видеосъемки. Полученные видеопотоки канала полного разрешения и синхронизированный с ним видеопоток монохромного изображения карты глубины Z по двум каналам связи передаются на приемную сторону.

Для реконструкции объемного изображения необходимо выполнить расчет серии кадров. Восстановление стереоскопического изображения происходит путем интерполяции исходного изображения с учетом карты глубины. Полученная серия кадров моделирует 3D-видео и затем демонстрируется на любом стереодисплее.

К основным недостаткам данного способа можно отнести необходимость применения сложных алгоритмов, требующих анализа кадровых изображений и больших вычислительных ресурсов, что увеличивает инерционность систем. Такой способ в основном применим для получения и воспроизведения только субъективных стереоскопических изображений. При такой технологии автоматическое измерение предметного пространства в реальном времени практически не реально. Достаточно проблематично применение такого способа в навигационных системах и системах управления транспортными средствами, в т.ч. дистанционного и автоматического управлений при работе в разных средах и в реальном времени.

Для определения образа всего предметного пространства с его измерением необходимо произвести расчет всех или большинства изображений предметных точек в кадрах стереопары. В известных способах реконструкции объекта по изображениям стереопары каждую измеряемую точку определяют с участием оператора, что требует много времени и может применяться только для статических изображений, например, в картографии при обработке на стереокомпараторе стереоснимков, выполненных аэрофотосъемкой.

Для автоматизации этого процесса было предложено много алгоритмов [3,4]. Однако задача эта очень сложна и, по-видимому, еще далека от решения: анализ стереопары предполагает наличие в памяти ЭВМ весьма обширных знаний о мире, без которых расшифровка стереопары в общем случае маловероятна. [5]

Целью предлагаемого способа является создание телевизионной стереосистемы на базе существующей телевизионной техники, в инвариантной системе отсчета, независимой от предметного пространства, его автоматическое измерение в реальном времени с минимально необходимым и достаточным объемом информации, передаваемой по каналу связи для использования в системах высокоточного управления и для показа объемных изображений в расширенной комфортной зоне наблюдения. Предлагаемый способ основан на зависимости (1), в которой все величины постоянны, кроме значения линейного параллакса, поэтому ее можно представить в виде:

L = K Δ l ,

где K - приборная передаточная функция конкретной стереосистемы.

Значение K для системы измеряется на метрологическом стенде по трехмерной калиброванной сцене и является постоянной величиной, учитывающей все особенности данной конструкции передающей стереотелевизионной видеокамеры.

Основной задачей для отображения и измерения трехмерного наблюдаемого предметного пространства остается измерение линейного параллакса в единицах, совместимых с используемой в системе метрикой.

Поставленная цель достигается тем, что для осуществления предлагаемого изобретения стереотелевизионная съемка осуществляется синхронизированной многоракурсной стереотелевизионной системой с симметрично центрированной пространственной структурой расположения видеокамер, оптические оси которых параллельны друг другу и расположены в одной плоскости, формированием карты глубины по измерениям мгновенных временных параллаксов между сигналами от изображений каждой точки предметного пространства и сопряженными с ним сигналами от их изображений в ракурсных строчных сигналах скоростью строчной развертки в сравнительной структуре строчных оперативно запомненных видеосигналов от одновременно наблюдаемой линии предметного пространства и построенной в единой временной системе отсчета с началом, задаваемым строчным синхроимпульсом стереосистемы, причем распознавание сопряженных сигналов осуществляется по подобию их расположения в сравнительной структуре строчных видеосигналов пространственной структуре расположения видеокамер и равенству уровня сопряженных сигналов в ракурсных видеокамерах с сигналом в центральной, с последующей передачей в канал связи видеосигналов полного разрешения и синхронизированных с ним сигналов карты глубины через приемное устройство на вычислительный блок, обеспечивающего реконструкцию строчных ракурсных видеосигналов сдвигом сигналов центральной видеокамеры на соответствующие временные параллаксы для построения стереокадров и многоракурсного воспроизведения объемных изображений на стереодисплеях, а покадровым анализом - построение пространственного цифрового образа предметного пространства с вычислением координат и динамических характеристик составляющих его объектов, необходимых для информационного обеспечения управляющих систем.

На Рис. 1 обозначено:

1. Строчный синхроимпульс, определяющий общую точку отсчета при измерении временных расстояний и временных интервалов - параллаксов;

2. Сигналы, передаваемые через канал связи;

3. Вычислительный блок;

4. Стереодисплей;

A и B - предметные точки в разных зонах наблюдения; b - общая база стереокамеры;

Ол; Оц; Оп - центральные точки объективов стереокамеры;

A'л; A'ц; A'п; B'л; B'ц; B'п - изображения предметных точек на видеоматрицах;

ΔB'л=ΔB'п - симметричные относительно точки B'ц линейные параллаксы;

t0 - общая точка отсчета временных расстояний и интервалов, задаваемая строчным синхроимпульсом;

t Л B ' ; t Ц B ' ; t П B ' - временные расстояния от строчного синхроимпульса до сигналов от изображений предметной точки B в левой, центральной и правой видеокамерах, измеренные скоростью развертки;

τ Л B ' ; τ П B ' ; - временные параллаксы для изображения предметной точки B, измеренные скоростью развертки;

J Л B ' = J Ц B ' = J П B ' - уровни сигналов от изображений «B'» предметной точки «B» в левой, центральной и правой видеокамерах.

Телевизионный способ передачи плоских двумерных изображений наблюдаемого предметного пространства в формате 2D широко используется как в вещательных, так и в промышленных целях. Передача объемных изображений в формате 3D оказалась достаточно не тривиальной и пока не имеет приемлемого технического решения для широкого применения. Стереоскопические кино и фото съемки известны давно, но используемые для этого способы мало подходят для телевизионной передачи динамических изображений в реальном времени. Принцип объемного восприятия человеком или животного с бинокулярным зрением наблюдаемого предметного пространства заключается в одновременном сравнительном анализе головным мозгом двухмерных изображений в обоих глазах. Сложность заключается в том, что изображения каждой точки наблюдаемого предметного пространства, полученные с разных ракурсов, отличаются друг от друга своим пространственным положением в самих изображениях, представляющих собой кадры стереопары. Эти изображения предметных точек в кадрах стереопары называют сопряженными, а их пространственное отличие параллаксом. Величина параллакса характеризует дальность до этой точки и дает возможность ее оценить и даже измерить. Однако, поскольку дальности до разных точек наблюдаемого пространства произвольные и постоянно меняются при любых движениях находящихся в них объектов, то и значения параллаксов постоянно меняются как по величине, так и их положению в изображениях. У человека и животных эта задача восприятия сознанием окружающего предметного пространства решается головным мозгом совместно с аппаратом бинокулярного зрения.

Целью предлагаемого изобретения является автоматическое распознавание сопряженных точек, их пространственное положение в телевизионных кадрах стереопары и измерение их параллаксов в общей пространственно-временной системе координат и метрикой. Формирование стереотелевизионного потока видеосигналов добавлением к передаваемым сигналам цветности синхронизированного параллаксного сигнала дальности. Использование полученного на приемной стороне информационного потока в системах управления и для реконструкции параллаксным сигналом второго кадра стереопары для воспроизведения на стереодисплее.

Для реализации способа вначале формируют пространственную симметрично-центрированную структуру стереосистемы. Для этого оптические оси центральной - полного разрешения и боковых - ракурсных, симметрично расположенных видеокамер выставляют в одной плоскости и параллельно друг другу. Управление камерами синхронизируют общим блоком развертки. Этим обеспечивается одновременное считывание видеокамерами одной и той же линии предметного пространства и сопряженность всех строк в единой временной системе отсчета создаваемой общим блоком развертки. Затем для нахождения в одновременно считанных строках, сопряженных с центральным сигналом боковых - ракурсных сигналов, строчные видеосигналы оперативно запоминаются и сравниваются по их строчному синхроимпульсу. В полученной сравнительной строчной структуре благодаря симметрично центрированной пространственной установке видеокамер боковые - ракурсные видеосигналы будут располагаться симметрично относительно центрального сигнала, при этом будет иметь место равенство линейных интервалов:

Δ B ' л = Δ B ' п , ( 2 )

являющееся пространственным топологическим признаком сопряженности для распознавания сигналов. Принимая за рабочую гипотезу равенство сигналов от изображаемой предметной точки во всех видеокамерах, получаем равенство:

J Л B ' = J Ц B ' = J П B ' J B ' ( 3 )

По этим отличительным признакам (2,3) вычислительный блок распознает комбинацию симметрично расположенных и равных боковых - ракурсных сигналов, сопряженных с центральным - ведущим сигналом, и измеряет скоростью строчной развертки временной параллакс между ними

τ Л B ' = τ П B ' = τ B ' . ( 4 )

Полученные значения временных параллаксов для всех видеосигналов центральной - ведущей видеокамеры полного разрешения формата 2D, представляющие собой строчные сигналы дальности в формате временных параллаксов, синхронно с полным видеосигналом передаются в канал связи в формате 2D+Z.

На приемной стороне по полученной информации формируется пространственный цифровой образ предметного пространства с вычислением координат и динамических характеристик составляющих его объектов по функциональной зависимости дальности от относительного расположения видеокамер, текущего значения фокусных расстояний объективов видеокамер и временных характеристик развертки для их использования в навигационных системах и системах управления.

Для реконструкции кадров стереопары и их многоракурсного воспроизведения объемного изображения на растровом стереодисплее, видеосигналы полного разрешения в каждой строке пространственно смещаются на линейную величину, определяемую собственной скоростью строчной развертки и соответствующим значением временного параллакса. Представление сигналов дальности в формате временных параллаксов обеспечивает совместимость со всеми приемными устройствами, имеющими такой же вид развертки с собственными скоростями развертки, сопряженными с собственными линейными размерами экранов.

Кроме того, при использовании растрового способа воспроизведения за счет небольшого увеличения числа боковых видеокамер можно значительно увеличить зону комфортного наблюдения объемных изображений.

ЛИТЕРАТУРА

1. RU 2065133 C 1. Способ автоматизированного измерения координат точек внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения.

2. Цифровое 3D-телевидение (Варианты построения системы объемной визуализации).

76/announce/l4.html.

3. Энциклопедия физики и техники. «Стереоскопическое изображение»,

http://www.articles/part_2/3889.html.

4. RU 2192104 C2, 27.10.2002 «Способ получения стереоскопических телевизионных изображений».

5. Математика стереоизображений. А.А. Веденов, М., 1991.

Телевизионный многоракурсный способ получения, передачи и приема стереоинформации о наблюдаемом пространстве с его автоматическим измерением, включающий стереоскопическую съемку с получением стереотелевизионного сигнала в формате 2D+Z, где Z - карта глубины, трансляцию потока стереовидеосигналов на приемную часть, использование информации в системах управления, восстановление видеосигналов кадров стереопары и их воспроизведение на стереомониторе, отличающийся тем, что для достижения технического результата стереотелевизионная съемка осуществляется синхронизированной многоракурсной стереотелевизионной системой с симметрично центрированной пространственной структурой расположения видеокамер, оптические оси которых параллельны друг другу и расположены в одной плоскости, формированием карты глубины по измерениям мгновенных временных параллаксов между сигналами от изображений каждой точки предметного пространства и сопряженными с ним сигналами от их изображений в ракурсных строчных сигналах скоростью строчной развертки в сравнительной структуре строчных оперативно запомненных видеосигналов от одновременно наблюдаемой линии предметного пространства и построенной в единой временной системе отсчета с началом, задаваемым строчным синхроимпульсом стереосистемы, причем распознавание сопряженных сигналов осуществляется по подобию их расположения в сравнительной структуре строчных видеосигналов пространственной структуре расположения видеокамер и равенству уровня сопряженных сигналов в ракурсных видеокамерах с сигналом в центральной, с последующей передачей в канал связи видеосигналов полного разрешения и синхронизированных с ним сигналов карты глубины через приемное устройство на вычислительный блок, обеспечивающего реконструкцию строчных ракурсных видеосигналов сдвигом сигналов центральной видеокамеры на соответствующие временные параллаксы для построения стереокадров и многоракурсного воспроизведения объемных изображений на стереодисплеях, а покадровым анализом - построение пространственного цифрового образа предметного пространства с вычислением координат и динамических характеристик составляющих его объектов, необходимых для информационного обеспечения управляющих систем.



 

Похожие патенты:

Изобретение относится к средствам записи стереоскопических изображений. Техническим результатом является повышение точности оценки движения объекта на изображении при трехмерной съемке изображения одной камерой.

Изобретение относится к средствам визуализации трехмерного изображения. Техническим результатом является создание свободного пространства в трехмерном изображении, обеспечивающего отображение дополнительных графических данных, не загораживающих трехмерные эффекты при отображении.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении гибкости передачи сигналов 3D видео на устройство отображения.

Изобретение относится к средствам обработки вывода информации. Техническим результатом является обеспечение декодирования и вывода видеоинформации и соответствующей 3D информации наложения.

Изобретение относится к технике радиосвязи, может быть использовано для цифрового стереотелевещания. Технический результат заключается в повышении яркости матрицы приемников изображений трех цветов В, G, R.

Изобретение относится к технике радиосвязи и может быть использовано для цифрового стереотелевещания. Техническим результатом является уменьшение объема передаваемых данных, позволяющее снизить потребление электроэнергии передатчиком радиосигналов.

Изобретение относится к цифровым фотографическим камерам и, в частности, к устройству формирования изображения, которое генерирует панорамное изображение. Техническим результатом является предоставление возможности легкого и простого способа генерирования панорамного изображения, наиболее предпочтительного для пользователя.

Изобретение относится к транспортированию кодированных видеоданных. Техническим результатом является улучшение кодирования нескольких изображений видео (MVC) в системе стандарта MPEG-2.

Изобретение относится к средствам обработки и воспроизведения контента. Технический результат заключается в уменьшении объема обработки в случае, когда требуется воспроизвести только один поток.

Изобретение относится к средствам передачи данных стереоскопического изображения. Техническим результатом является повышение точности передачи стереоскопического изображения за счет исключения конфликтов перспектив между объектами в изображении при отображении налагаемой информации.

Изобретение относится к средствам отображения трехмерного изображения. Техническим результатом является обеспечение автоматизированной адаптации трехмерного отображения с учетом определения присутствия пользователя.

Изобретение относится к средствам формирования и отображения стереоскопического изображения. Техническим результатом является повышение реалистичности воспроизведения трехмерного изображения за счет автоматизированного формирования из двухмерного вида сцены других видов изображения сцены под различными углами рассмотрения.

Изобретение относится к способам представления анимированных объектов. Техническим результатом является увеличение быстродействия и ресурсосбережения представления анимированного объекта при интерактивном изменении этого представления пользователем.

Изобретение относится к средствам воспроизведения стереоскопического изображения с носителя записи. Техническим результатом является обеспечение извлечения информации смещения из информации видеопотока.

Изобретение относится к средствам генерации анимационных эффектов на трехмерном дисплее. Техническим результатом является обеспечение автоматического создания трехмерных анимационных эффектов на изображении в режиме реального времени.

Изобретение относится к средствам записи стереоскопических изображений. Техническим результатом является повышение точности оценки движения объекта на изображении при трехмерной съемке изображения одной камерой.

Изобретение относится к средствам визуализации трехмерного изображения. Техническим результатом является создание свободного пространства в трехмерном изображении, обеспечивающего отображение дополнительных графических данных, не загораживающих трехмерные эффекты при отображении.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении гибкости передачи сигналов 3D видео на устройство отображения.

Группа изобретений относится к планарному преобразованию криволинейных структур. Технический результат заключается в обеспечении адаптации преобразований к разнообразным формам структур.

Изобретение относится к воспроизводящему устройству, способу воспроизведения и носителю для хранения программ, которые позволяют предоставлять видеоформат для 3D отображения.

Изобретение относится к средствам обработки цифровых изображений. Техническим результатом является получение резкого изображения объемного объекта с неограниченной глубиной резкости. В способе получают серию изображений объемного объекта с заданным шагом по глубине сцены и преобразуют их в пространственный спектр с помощью двумерного Фурье-преобразования, обрабатывают полученные пространственные спектры изображений в серии путем пространственно-частотной фильтрации, осуществляют взаимное согласование масштабов изображений в серии, суммируют отфильтрованные и отмасштабированные пространственные спектры изображений, производят реконструкцию резкого изображения объекта с помощью обратного двумерного Фурье-преобразования суммарного пространственного спектра изображения. 2 н. и 2 з.п. ф-лы, 4 ил.
Наверх