Способ различения фона и переднего плана сцены и способ замены фона в изображениях сцены
Владельцы патента RU 2572207:
Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг э.Ф. (DE)
Изобретение относится средствам обработки изображения. Техническим результатом является различение фона и переднего плана в записанных электронной камерой изображениях или фильмах сцены, а также замена фона в записанных изображениях или фильмах сцены при сохранении переднего плана. Результат достигается тем, что посредством кодирования фон отличают от некодированного переднего плана в сигнале, который формируется датчиком изображения камеры, записывающим изображения, кодирование включает фон, отображающий периодически чередующиеся различные компоненты изображения, при этом отображение компонент синхронизировано с экспонированием камеры таким образом, что камера записывает только одну из компонент в по меньшей мере одном периоде. 3 н. и 42 з.п. ф-лы, 8 ил.
Изобретение относится к способу различения фона и переднего плана в записанных электронной камерой изображениях или фильмах сцены. Кроме того, изобретение относится к способу замены фона в записанных изображениях или фильмах сцены при сохранении переднего плана.
Для разделения снятых камерой объектов или людей, которые стоят друг перед другом в реальной сцене и вследствие этого закрывают один другого, в известном уровне техники существуют различные способы. Наиболее широко распространен способ цветовой рирпроекции (Chroma-Keying), используемый уже долгое время и заключающийся в том, что фон в реальной сцене имеет определенный цвет, который не встречается в объектах переднего плана. Посредством простого цветового анализа записанного изображения этот фон может обнаруживаться и отделяться от переднего плана. Недостатком этого способа является то, что в реальной сцене фон обязательно должен быть определенного цвета, что не достигается во многих ситуациях.
Целью данного изобретения является обеспечение способа различения фона и переднего плана в записанных электронной камерой изображениях или фильмах сцены, который предоставляет свободную структуру фона и переднего плана. Кроме того, целью изобретения является обеспечение способа замены фона в изображении или фильме сцены, в котором фон и передний план могут иметь любую структуру.
Эта цель достигается посредством способа различения фона и переднего плана в записанных электронной камерой изображениях сцены по п.1 формулы, способа замены фона в изображении сцены по п.28 формулы и электронной системы отображения по п.29 формулы изобретения. Зависимые пункты формулы характеризуют предпочтительные варианты способов согласно изобретению.
Согласно изобретению предлагается способ, посредством которого в записанных электронной камерой изображениях сцены фон и передний план можно отличить друг от друга. При этом часть сцены, которая удалена от камеры, рассматривается как фон, а часть сцены вблизи камеры рассматривается как передний план. Сцена - это совокупность объектов фона и переднего плана. Изображения могут быть неподвижными изображениями или предпочтительно кадрами фильма. Ни фон, ни передний план изображения не обязательно должны полностью заполнять изображение и могут появляться также только в некоторых частях изображения или вообще не появляться в изображении. Согласно изобретению способ применим также в частичных областях изображений. Например, на снимках спортивных событий реклама на барьере по периметру поля может отличаться от стоящих перед ней игроков. В общем, предполагается, что передний план закрывает фон в некоторых областях с точки зрения камеры.
Согласно изобретению способ может выполняться как для неподвижных изображений, так и для фильмов сцены, записанных электронной камерой, например камерой с датчиком изображения на приборах с зарядовой связью (Charge-Coupled Device, CCD) или на комплементарной структуре металл-оксид-полупроводник (Complementary Metal-Oxide-Semiconductor, CMOS). В принципе, способ может быть реализован также на основе сигналов изображения, записанных аналоговыми электронными камерами, однако реализация с цифровыми камерами является предпочтительной.
Согласно изобретению фон может показывать произвольное изображение. Это может быть, например, изображение с множеством цветов и/или множеством градаций яркости. В частности, в данном описании монохромная поверхность однородной яркости предпочтительно не рассматривается как изображение.
Изображение фона показывают с кодированием, которое сохраняет распознаваемость изображения для непосредственного человеческого наблюдателя сцены или является даже полностью незаметным для наблюдателя сцены. То, что изображение с кодированием является распознаваемым для непосредственного наблюдателя сцены, означает то, что распознаваемость обеспечивается по меньшей мере тогда, когда наблюдатель рассматривает сцену непосредственно на месте и находится на достаточном расстоянии от фона, на котором он может распознавать содержание изображения. Кодирование изображения может включать структурирование изображения или фона при условии, что оно настолько мелкое, что наблюдатель на достаточном расстоянии распознает изображение без мешающего влияния или восприятия упомянутого структурирования.
Изображение или фильм сцены с фоном и кодированием, а также с находящимся перед фоном передним планом снимают с помощью электронной камеры. Датчик изображения камеры, записывающей изображения сцены, формирует сигнал. В этом сигнале фон отличают от переднего плана посредством кодирования. При этом используется то, что фон имеет кодирование, а передний план - нет.
Так как различение фона и переднего плана производится в сигнале того датчика изображения, который снимает изображения или фильм сцены для последующего отображения или дополнительной обработки или передачи, способ может быть реализован камерой только с одним датчиком, а именно датчиком, записывающим изображения, без необходимости использования множества датчиков изображения. Поэтому предпочтительно способ реализуют только с одним датчиком изображения. Поэтому согласно изобретению требуется также только один сигнал изображения от этого одного датчика изображения.
В некоторых формах осуществления изобретения для распознавания фона посредством кодирования может потребоваться подходящим образом модифицировать изображение, записываемое камерой или датчиком изображения. Если записанное изображение сцены модифицируют для хранения, последующей обработки или передачи, предпочтительно, чтобы модификация аннулировалась непосредственно перед съемкой изображения, так что по меньшей мере передний план в результирующем изображении будет казаться неподдельным, то есть таким, каким он выглядел бы в немодифицированном изображении.
В предпочтительной форме осуществления изобретения кодирование изображения или фона может включать фон, отображающий периодически чередующиеся различные компоненты изображения, причем компоненты одного периода составляют полное изображение. Длительность периода, то есть время, в пределах которого все компоненты изображения показывают один раз, выбирают настолько коротким, что полное изображение является распознаваемым для непосредственного наблюдателя сцены. Время экспонирования камеры синхронизируют с показом компонент так, что камера снимает всегда только одну компоненту изображения, которую выбирают таким образом, что она обеспечивает возможность различения переднего плана и фона посредством способа рирпроекции, предпочтительно рирпроекции на основе цвета, такой как цветовая рирпроекция (Chroma-Keying). Если m - это число компонент, на которые разделяют изображение, тогда, если камера из каждого периода записывает только одну компоненту, предпочтительно, чтобы частота, с которой чередуются компоненты при показе, была в m раз больше частоты экспонирования камеры.
При показе таких компонент по меньшей мере один параметр изображения, влияющий на воспроизведение изображения, может изменяться в течение одного периода. Под параметром изображения может пониматься, например, значение или группа значений весовых или масштабных коэффициентов, которые пригодны для управления каналами цветовых сигналов, контрастностью, яркостью и/или насыщенностью отдельных пикселей, группы пикселей (шаблона) или полного изображения.
Для осуществления рирпроекции, компонента фона, снимаемая во время экспонирования камеры, обеспечивает маску, которая позволяет отличать фон от переднего плана. Таким образом, например, экспонированная компонента может представлять определенную цветовую компоненту изображения фона усиленной или исключительной, причем эту цветовую компоненту выбирают предпочтительно таким образом, чтобы она отсутствовала или была слабой на переднем плане. В этом случае передний план можно отличить от фона, например, посредством рирпроекции на основе цвета, в частности посредством цветовой рирпроекции.
Согласно изобретению во всех его формах осуществления любой способ, обеспечивающий создание маски, посредством которой фон можно отличить от переднего плана, должен пониматься как процесс рирпроекции. В общем, "рирпроекция" описывает процесс обнаружения компонент в изображении или видеопоследовательности. Компоненты могут распознаваться и отфильтровываться (анализ изображения) и, возможно, заменяться другими источниками изображения (компоновка изображения). При анализе изображения обнаруживают конкретные признаки или кодирование в изображении и формируют маску, соответствующую обнаруживаемым компонентам изображения. Маска может служить при компоновке изображения в качестве трафарета. Расчет маски на основе свойства и кодирования не обязательно должен быть завершен и может дополняться последующими процессами обработки. Эти процессы включают, например, процессы анализа изображений, такие как оптический поток, сегментация изображения по цвету, границам и т.д. или эвристики (то есть предположения об объектах в сцене). В частности, информация может выводиться из слежения камерой, при котором угол обзора камеры в сцене известен, так что местоположение и размер фона или даже переднего плана в изображении могут быть заранее заданы.
В общем, к фону добавляют в качестве кодирования свойство, которое не встречается на переднем плане или является более слабым, так что в маске, основанной на этом свойстве, фон можно отличить от переднего плана.
В описанной выше форме осуществления изобретения компонента, используемая для экспонирования, предоставляет маску, используемую для рирпроекции. Другая компонента или другие компоненты одного периода дополняют изображение для формирования полного изображения для непосредственного наблюдателя сцены. Предпочтительно, во время показа этих других компонент камера не снимает.
Например, показываемая во время экспонирования компонента может представлять определенную цветовую компоненту изображения, усиленную или ослабленную так, что посредством этой цветовой компоненты передний план можно отличить от фона. Экспонированная компонента показывает эту цветовую компоненту усиленной, если передний план показывает ее ослабленной, или ослабленной, если передний план показывает ее усиленной. Этот или другие компоненты, которые фон показывает в одном периоде, могут показывать комплементарные цветовые компоненты соответственно ослабленными или усиленными, так что непосредственный наблюдатель сцены воспринимает фактические цвета изображения.
В одной предпочтительной форме осуществления изобретения изображение фона может соответственно разделяться точно на две компоненты, которые показывают чередующимися с определенной частотой. Камера может снимать синхронно с половинной частотой чередования. Таким образом, всегда показывают две компоненты изображения за время одного периода камеры. Частота, с которой меняется показываемая компонента, вдвое выше частоты экспонирования камеры.
В другом примере реализации описанной выше формы осуществления изобретения цвета могут разделяться на три компоненты, при этом только одна треть экспонируется. Камера снимает только одну из трех компонент. В этом случае частота, с которой меняется компонента, будет выбираться в три раза выше частоты экспонирования камеры.
Еще одна форма осуществления способа согласно изобретению предусматривает то, что кодирование изображения или фона включает фон, показывающий чередующиеся во времени шаблоны, которые дополняют друг друга в пределах одного периода для формирования полного изображения. Посредством периодически чередующихся шаблонов фон можно отличить от переднего плана в сигнале датчика изображения.
В предпочтительной форме осуществления изобретения в сигнале датчика изображения может выполняться обнаружение шаблона, например, на основе преобразования Фурье и/или фильтрации Фурье. Вследствие этого, фон можно отличить от переднего плана посредством частоты, с которой шаблоны показывают чередующимися. При преобразовании Фурье области фона показывают компоненту частоты чередования, которую не показывает передний план.
Шаблоны, которые показывает фон, предпочтительно могут быть периодическими в направлении сканирования датчика изображения и, в частности, могут быть, например, шахматным шаблоном. Отдельные области шаблона, например квадраты шахматного шаблона, могут колебаться между светлым и темным, а также между различными цветовыми компонентами.
Для создания колебательного шаблона фон может быть самосветящимся, например, может быть светодиодным дисплеем, или перед изображением фона может быть расположен управляемый соответствующий шаблону фильтр, который периодически поочередно закрывает различные части изображения.
В случае шахматного шаблона колебательный шаблон может показывать поочередно шахматный шаблон и обратный ему шахматный шаблон.
Предпочтительно, шаблон является бинарным, то есть переключается только между двумя состояниями. Данная область шаблона полностью пропускает свет изображения или светится с максимальной яркостью в одном состоянии и ослабляет свет изображения или светится с уменьшенной яркостью в другом состоянии. Ослабление может быть также полным ослаблением.
В еще одной форме осуществления изобретения кодирование изображения или фона может включать изображение, представляемое в виде сетки из цветных точек на заднем плане. При этом цветные точки вместе с окружающим их задним планом составляют цвет изображения в месте цветной точки. При этом также возможно, что задний план изображения имеет черный цвет, чтобы цвет изображения задавался именно цветом цветных точек.
Перед датчиком изображения или перед камерой расположен цветовой фильтр, который ослабляет или отфильтровывает цвета цветных точек и, возможно, пропускает без ослабления цвета фона. Так как на практике цвет фона не является полностью черным, цветовой фильтр, даже в случае черного фона, пропускает без ослабления те цвета, которые не являются цветами цветных точек.
В изображении, записанном датчиком изображения, цвет заднего плана изображения усилен по сравнению с цветами цветных точек в результате работы фильтра. Если теперь, как во всех формах осуществления изобретения на основе цвета, для заднего плана сцены выбирают цвет, который слабо присутствует или совсем отсутствует на переднем плане, то фон можно отличить от переднего плана посредством рирпроекции на основе цвета. Также можно выбрать цветовой фильтр таким образом, чтобы все цвета сцены за исключением цветов цветных точек можно было составить из цветов, пропускаемых цветовым фильтром.
Для представления переднего плана в результирующем изображении без цветового отклонения, влияние цветового фильтра, расположенного перед датчиком изображения, может быть устранено посредством вычислений.
В предпочтительной форме осуществления изобретения цветовой фильтр, расположенный перед датчиком изображения, может быть спектральным фильтром, в частности интерференционным фильтром, который отфильтровывает определенные диапазоны видимого спектра, распределенные по всему видимому диапазону. Перед каждой цветной точкой может быть расположен спектральный или интерференционный фильтр, который является комплементарным к фильтру, расположенному перед камерой, и пропускает цвета, равномерно распределенные в видимом спектре, таким образом, что из них могут быть отображены все цвета, необходимые для воспроизведения изображения. Тот факт, что цветовые фильтры цветных точек и камеры являются комплементарными, означает то, что они пропускают различные, по существу не перекрывающиеся, диапазоны видимого спектра. Вместо интерференционных фильтров могут также использоваться, например, узкополосные режекторные фильтры.
Из-за цветных точек фон представляет изображение в виде сетки. При этом разрешение сетки выбирают предпочтительно так, чтобы наблюдатель сцены распознавал изображение на определенном расстоянии.
Цветные точки фона могут быть выполнены отражающими или самосветящимися. Самосветящиеся цветные точки могут быть реализованы, например, посредством электрических ламп или светодиодов (Light Emitting Diode, LED). Так как светодиоды могут быть реализованы с монохромным светом, можно составлять цветные точки фона из светодиодов и посредством фильтра, расположенного перед датчиком изображения или камерой, например посредством интерференционного фильтра, точно отфильтровывать или ослаблять частоты, излучаемые светодиодами. Если не излучаемые светодиодами частоты пропускаются без ослабления фильтром, расположенным перед камерой, то из этих цветов может быть представлен задний план изображения, а также передний план.
В еще одной форме осуществления изобретения кодирование изображения может включать фон, излучающий или отражающий только те цвета, которые выбраны из по меньшей мере одного диапазона видимого спектра, предпочтительно по меньшей мере двух разнесенных друг от друга диапазонов видимого спектра. Перед датчиком изображения или камерой расположен цветовой фильтр, через который проходит исходящий от сцены свет перед попаданием на датчик изображения. Упомянутый цветовой фильтр выбирают таким образом, чтобы он ослаблял те диапазоны видимого спектра, из которых выбраны цвета изображения, но пропускал без ослабления диапазоны видимого спектра, лежащие между этими областями. Таким образом, фон представлен на датчике изображения ослабленным или темным, в то время как передний план составлен из тех цветов, которые пропускаются цветовым фильтром. Если отфильтровываемые или пропускаемые диапазоны спектра будут выбраны подходящим образом, могут быть представлены все цвета переднего плана. В частности, выбор пропускаемых диапазонов может зависеть также от цветов, встречающихся на переднем плане.
В изображении, записанном датчиком изображения, передний план можно отличить от фона посредством рирпроекции на основе ослабленных областей. Ослабление создает в этом случае маску рирпроекции. Если ослабление посредством фильтра, расположенного перед датчиком изображения, не является полным, то при необходимости ослабленные области, в частности передний план, могут реконструироваться с помощью вычислений для воспроизведения окончательного изображения.
Предпочтительно, кодирование фона может достигаться посредством помещения соответствующего цветового фильтра, например интерференционного фильтра, перед фоном и за передним планом, то есть между фоном и передним планом. Таким образом, исходящий от фона свет проходит через этот цветовой фильтр так, что по существу только такой свет от фона, который отфильтрован фильтром, расположенным между фоном и передним планом, попадает на цветовой фильтр, расположенный перед камерой. Цветовые компоненты, которые не отфильтровываются или не ослабляются фильтром, расположенным перед камерой, исходят только от переднего плана.
В еще одной возможной форме осуществления изобретения кодирование фона может включать фон, излучающий электромагнитное излучение по меньшей мере одного невидимого спектрального диапазона. Перед датчиком изображения или перед камерой может быть расположено устройство преобразования. Оно может иметь планарную конфигурацию с поверхностью, ориентированной по существу параллельно датчику изображения и/или параллельно поверхности входа света в камеру.
В этом случае устройство преобразования имеет области, в которых видимый свет может проходить через устройство преобразования беспрепятственно. В других областях устройство преобразования имеет элементы, которые осуществляют преобразование невидимого излучения в видимый свет и вводят преобразованный свет в траекторию пучка света, исходящего от фона. Ввод в траекторию пучка может происходить, например, с помощью одной или более подходящих линз, которые вводят элемент преобразования света в траекторию пучка объектива камеры таким образом, что он представляется камере как часть фона. Предпочтительно, каждому элементу преобразования света назначена отдельная линза такого типа.
Предпочтительно, элементы преобразования расположены на поверхности устройства преобразования в виде сетки. Они расположены на этой поверхности на равных расстояниях друг от друга. Видимый свет может проходить через упомянутое устройство между элементами преобразования.
Невидимое электромагнитное излучение может быть ультрафиолетовым или инфракрасным излучением.
В изображении, записанном датчиком изображения, устройство преобразования создает маску, с использованием которой посредством рирпроекции фон можно отличить от переднего плана, который не излучает или излучает в меньшей степени соответствующее невидимое излучение. Предпочтительно, устройство преобразования преобразует невидимое излучение в цвет, который не встречается на переднем плане или встречается в меньшей степени.
В качестве элементов преобразования света могут применяться точки из флуоресцирующего или фосфоресцирующего материала. Предпочтительно, для каждой точки предусматривается устройство для встраивания соответствующей точки в фон в траектории пучка камеры. Преобразование света флуоресцирующими или фосфоресцирующими материалами создает ненаправленный видимый свет определенного цвета. Поэтому предпочтительно используются линзы, помещенные и встроенные в фильтр, чтобы сфокусировать этот рассеянный свет в соответствии с оптическим путем. Для этого также могут использоваться перегородки в фильтре, которые соответственно дополняют функцию линз. Перегородки могут поглощать или отражать часть рассеянного света, которая не может быть сфокусирована в траекторию пучка камеры в результате ее направления линзами, так как она проходит, например, поперек траектории пучка. Для рассеянного света навстречу ходу пучка перегородка может быть полуотражающей (то есть падающее невидимое электромагнитное излучение пропускается, а рассеянный свет, преобразованный материалами, наоборот, отражается в противоположном направлении и снова отбрасывается в траекторию пучка).
В еще одной возможной форме осуществления данного изобретения кодирование изображения может включать фон или изображение, излучающее и/или отражающее поляризованный свет только одного определенного направления поляризации или вращения плоскости поляризации. Может использоваться линейная или круговая поляризация. В этом случае перед камерой или датчиком изображения расположены поляризационный фильтр и цветовой фильтр, через который проходит исходящий от сцены свет перед попаданием на датчик изображения. Предпочтительно, цветовой фильтр расположен перед поляризационным фильтром, так что исходящий от сцены свет проходит сначала через цветовой фильтр и затем через поляризационный фильтр перед попаданием на датчик изображения. Цветовой фильтр предпочтительно может ослаблять или усиливать цветовую компоненту.
При этом поляризационный фильтр, расположенный перед датчиком изображения, ориентируется таким образом, что он отфильтровывает свет с той же поляризацией, что и поляризация света, излучаемого или отражаемого изображением. В результате, различение фона и переднего плана может происходить посредством рирпроекции на основе темных компонент изображения в изображении, создаваемом датчиком изображения. Темные компоненты изображения, которые не имеют цветового тона цветового фильтра, служат в качестве маски для рирпроекции.
Следует отметить, что цветовой фильтр предпочтительно только ослабляет соответствующую цветовую компоненту, но не отфильтровывает ее полностью. Таким образом, черные области, которые возникают из-за того, что поляризационный фильтр отфильтровывает поляризованный свет фона, можно отличить от возможных черных областей переднего плана из-за того, что последние имеют более светлый черный цвет, чем цветовой тон цветового фильтра. Записанный черный цвет является в естественных сценах не полностью черным, а скорее темно-серым. Также из-за цветового фильтра объекты получают не воспринимаемый, но измеримый цветовой тон. Однако ограниченный поляризационным фильтром свет значительно поглощается независимо от цвета.
В еще одной возможной форме осуществления данного изобретения кодирование изображения или фона включает фон, излучающий электромагнитное излучение по меньшей мере одного невидимого спектрального диапазона, такое как ультрафиолетовое или инфракрасное излучение. В этом случае перед датчиком изображения расположено устройство преобразования, через которое проходит исходящий от сцены свет перед попаданием на датчик изображения. Это устройство преобразования преобразует невидимое электромагнитное излучение, которое исходит от сцены, в видимый свет и вставляет его в сцену с точки зрения датчика изображения.
Предпочтительно, устройство преобразования имеет разделитель пучка, через который свет проходит перед попаданием на датчик изображения и который отклоняет невидимое излучение по меньшей мере частично к устройству преобразования, обнаруживающему невидимое излучение и создающему соответствующий шаблон видимого света, точно соответствующий фону. Этот видимый свет может вводиться в траекторию пучка в направлении к датчику изображения, например, посредством полупрозрачного зеркала так, что датчик изображения просматривает сцену через полупрозрачное зеркало и разделитель пучка. Таким образом, в этой форме осуществления изобретения невидимое излучение по меньшей мере частично отклоняется разделителем пучка от траектории пучка, и изображение, соответствующее фону, вводится с помощью полупрозрачного зеркала.
Устройство преобразования может включать датчик изображения, а также оптическую систему линз, посредством которой изображение фона создается из невидимого излучения на датчике изображения. Устройство преобразования может создавать соответствующее видимое излучение, например, посредством дисплея, изображение которого вводится в траекторию пучка камеры. Вводимое изображение дисплея образует дополнительный цветовой тон или шаблон в области фона в изображении, создаваемом датчиком изображения камеры. Последующая рирпроекция создает из него маску, с помощью которой фон можно отличить от переднего плана.
Во всех формах осуществления изобретения расположение элемента перед камерой или перед датчиком изображения означает то, что этот элемент расположен между датчиком изображения и передним планом сцены. При этом элемент может быть помещен перед объективом камеры, в объективе камеры или между объективом камеры и датчиком изображения. То, что фильтр расположен перед фоном, означает то, что, с одной стороны, он расположен между изображением или фоном и, с другой стороны, передним планом.
Во всех формах осуществления изобретения, в которых показывают периодически чередующиеся компоненты фона или изображения фона, частота чередования предпочтительно выше максимально воспринимаемой частоты чередования 25 Гц, выше которой показываемые чередующиеся компоненты воспринимаются наблюдателем как одно изображение, которое составлено из компонент. Предпочтительно, частота чередования выше или равна 50 Гц.
Далее изобретение будет описано с помощью примеров со ссылкой на чертежи. Одинаковые номера позиций соответствуют одинаковым или аналогичным элементам. Показанные в примерах признаки также могут комбинироваться в различных примерах осуществления изобретения и могут быть реализованы независимо от конкретного примера.
На фиг.1 показана конструкция для реализации способа согласно первой форме осуществления данного изобретения.
На фиг.2 показана конструкция для реализации способа согласно второй форме осуществления данного изобретения.
На фиг.3 показана конструкция для реализации способа согласно третьей форме осуществления данного изобретения.
На фиг.4 показана конструкция для реализации способа согласно четвертой форме осуществления данного изобретения.
На фиг.5 показана конструкция для реализации способа согласно пятой форме осуществления данного изобретения.
На фиг.6 показана конструкция для реализации способа согласно шестой форме осуществления данного изобретения.
На фиг.7 показана конструкция для реализации способа согласно седьмой форме осуществления данного изобретения.
На фиг.8 показано схематическое представление двух спектров двух взаимно комплементарных интерференционных фильтров.
На фиг.1 показано устройство для реализации способа согласно первой форме осуществления изобретения. Сцена с передним планом 2 и фоном 3 снимается посредством камеры 1. Камера 1 имеет датчик изображения (не показан), создающий сигнал 4 изображения, который подается на устройство 5 анализа и/или обработки изображений. Камера 1 может иметь, например, объектив 1a для формирования изображения и корпус 1b камеры, в котором расположен датчик изображения.
Передний план 2 в показанном примере осуществления изобретения является простым кубиком. Во всех формах осуществления изобретения способ согласно изобретению выполним с любыми передними планами 2, в частности, например, со спортсменами в спортивном событии. Фон 3 также может быть любым фоном, допускающим кодирование в соответствии с изобретением. Например, фон может быть студийной кулисой или рекламой на барьере по периметру поля на стадионе.
В примере осуществления изобретения, показанном на фиг.1, фон 3 показывает изображение. Представлены периодически чередующиеся различные компоненты одного периода изображения, причем упомянутые компоненты составляют полное изображение. Показ компонент изображения в моменты времени t1, t2, t3…, t8, … синхронизирован с экспонированием камеры таким образом, что камера снимает по меньшей мере в одном периоде, предпочтительно в каждом периоде, только одну определенную компоненту из компонент t1, t3, t5, …, которая выбирается таким образом, что она обеспечивает возможность различения переднего плана и фона в сигнале изображения посредством рирпроекции. Рирпроекция может быть, например, рирпроекцией на основе цвета, предпочтительно цветовой рирпроекцией. Устройство 5 анализа затем отличает фон от переднего плана в изображении 4, записанном датчиком изображения камеры 1.
В показанном примере осуществления изобретения изображение фона может быть разделено, например, на два изображения, причем первое изображение содержит опционально уменьшенную цветовую компоненту из исходного изображения фона, а второе изображение - комплементарные цвета, так что при комбинации обоих изображений создается исходное изображение. Оба изображения могут чередоваться с такой высокой частотой (например, 100 Гц), что для наблюдателя они не воспринимаются по отдельности. Записывающая камера 1 может работать синхронно с половинной частотой (например, 50 Гц) и уменьшенным временем экспонирования (например, 1/100 с), так что она записывает только первое из двух изображений с выбранной цветовой компонентой. В этом случае способ может быть реализован также с пассивно отражающим фоном. Для этого перед фоном может быть расположен управляемый жидкокристаллический цветовой фильтр, который пропускает соответствующую компоненту изображения. В случае, когда фон является самосветящимся (например, как светодиодный дисплей), фон может управляться так, чтобы соответственно показывать компоненты изображения.
На фиг.2 показано еще одно предпочтительное устройство для реализации способа согласно изобретению. Фон показывает периодически чередующиеся шаблоны для кодирования, которые дополняют друг друга в пределах одного периода для формирования полного изображения. Если все шаблоны одного периода рассматриваются вместе, то получается полное изображение.
Сцена, включающая фон 3 и передний план 2, снимается датчиком изображения камеры 1, и сигнал 4 изображения анализируется посредством устройства 5 анализа. В изображении, записанном датчиком изображения, фон 3 можно отличить от переднего плана 2 с помощью периодически изменяющегося шаблона. Для этого, например, в сигнале 4 датчика изображения может выполняться преобразование Фурье, при этом фон 3 можно отличить от переднего плана 2 на основе частоты изменяющегося отображения шаблонов. Датчик изображения может сканироваться, например, построчно, и анализ может выполняться непосредственно в сигнале сканирования. Всегда при отображении фона периодически изменяющийся шаблон при преобразовании Фурье создает частотную составляющую с частотой изменения.
Анализ может выполняться как во времени посредством анализа последовательных изображений, так и в пределах одного изображения. Следовательно, может производиться поиск соответствующего шаблона при анализе изображения камеры 1. Анализ может поддерживаться информацией слежения камерой. Например, информация слежения камерой может помогать при определении размера шаблона.
Возможны различные шаблоны. В проиллюстрированном примере фон 3 показывает шахматный шаблон с чередующимися черными квадратами и квадратами, представляющими вырезки изображения в месте соответствующего квадрата. Показывают поочередно шахматный шаблон и комплементарный к нему шахматный шаблон, в котором черные квадраты и квадраты, показывающие изображение, изменены по сравнению с фактическим шахматным шаблоном.
Частота колебания выбирается настолько высокой, что она не может восприниматься наблюдателем (например, 50 Гц). Частота может привязываться также к частоте кадров камеры.
Шаблон фона может формироваться пассивно, например, посредством управляемого фильтра, такого как жидкокристаллический фильтр. Он может формироваться также активно как самосветящийся фон, например, как светодиодный дисплей.
На фиг.3 показано еще одно возможное предпочтительное устройство для реализации способа согласно изобретению. Для кодирования изображение представляется посредством цветных точек 6 на заднем плане 7. Цветные точки 6 на заднем плане 7 предпочтительно расположены в виде сетки. Цветные точки 6 соответственно вместе с окружающим их задним планом представляют цвет изображения в соответствующем месте. Задний план может быть также черного цвета, так что весь вклад в цвет изображения обеспечивается цветными точками. В этом случае перед датчиком изображения камеры 1, предпочтительно перед объективом 1a камеры 1, расположен цветовой фильтр 8, который ослабляет или отфильтровывает именно излучаемые цветными точками цвета. Предпочтительно, цвет заднего плана 7 фона 3 выбирают таким образом, что он не встречается или только в незначительной степени присутствует на переднем плане 2. Затем в сигнале 4 изображения, создаваемом датчиком изображения камеры 1, передний план 2 может быть отделен от фона 3 в устройстве 5 анализа посредством рирпроекции на основе цветового тона заднего плана 7. Задний план 7 образует здесь анализируемый цвет (или шаблон) для создания маски для рирпроекции.
Предпочтительно, точки расположены таким образом, что сетка не воспринимается непосредственным наблюдателем на определенном минимальном расстоянии. Это минимальное расстояние может быть обеспечено, например, обыкновенным местоположением наблюдателя сцены, в случае рекламы на барьере по периметру поля на стадионе, например, расстоянием самых близких сидений от рекламы на барьере. Если цветные точки 6 расположены в виде сетки на специально окрашенном или черном фоне 7 на небольшом расстоянии друг от друга, то фактическое изображение будет видимым для наблюдателя. Кроме того, сетка должна быть выбрана настолько мелкой, чтобы она не могла быть обнаружена камерой на определенном минимальном расстоянии. Как для камеры, так и для наблюдателя сцены желаемое восприятие цвета возникает на соответствующем расстоянии от фона.
Цветные точки излучают только определенные длины волн из видимого диапазона света, которые точно отфильтровываются цветовым фильтром 8, расположенным перед датчиком изображения, так что на датчике изображения остается по существу только цвет заднего плана.
Предпочтительно может быть реализовано показанное на фиг.3 решение с интерференционным фильтром, описанное более подробно ниже со ссылкой на фиг.8. Перед каждой цветной точкой 6 расположен интерференционный фильтр, который пропускает только часть частот видимого спектра. Эта часть предпочтительно имеет множество разнесенных друг от друга областей, которые распределены по видимому спектру таким образом, что из них можно составлять цвета изображения. Цветовой фильтр 8 является интерференционным фильтром, комплементарным к цветовым фильтрам, расположенным перед цветными точками 6, при этом интерференционный фильтр отфильтровывает или ослабляет те цвета, которые пропускаются без ослабления цветовыми фильтрами, расположенными перед цветными точками 6. Цветные точки 6 предпочтительно являются самосветящимися, например электрическими лампами или светодиодами.
На фиг.4 показана еще одна возможная форма осуществления способа согласно изобретению. Между фоном 3 и передним планом 2 расположен цветовой фильтр 9, который излучает только те цвета, которые выбраны из по меньшей мере одного диапазона видимого спектра, предпочтительно по меньшей мере двух разнесенных друг от друга диапазонов видимого спектра. Перед датчиком изображения или объективом 1a камеры 1 расположен другой цветовой фильтр 8, через который исходящий от сцены свет проходит по пути к датчику изображения. Этот цветовой фильтр 8 отфильтровывает или ослабляет именно те области спектра, которые пропускаются цветовым фильтром 9. В результате, фон на датчике изображения оказывается ослабленным или черным по сравнению с передним планом 2, который излучает, в частности, свет тех диапазонов частот, которые пропускаются цветовым фильтром 8. Поэтому темные области образуют в сигнале 4 изображения датчика изображения маску, с помощью которой может выполняться рирпроекция на основе темных областей и, следовательно, в отношении фона. Таким образом, устройство 5 анализа изображения может отличать фон 3 от переднего плана 2.
В этой форме осуществления изобретения фильтры 8 и 9 предпочтительно являются взаимно комплементарными интерференционными фильтрами, то есть прозрачными для различных, предпочтительно не перекрывающихся, диапазонов видимого спектра.
Фильтр 9 может не использоваться, если фон 3 излучает только свет определенных диапазонов частот, которые отфильтровываются фильтром 8. Такой самосветящийся фон может быть реализован, например, светодиодами, которые излучают заданный спектр. Цветовой фильтр 8 тогда конструируется таким образом, что он ослабляет или отфильтровывает именно излучаемые светодиодами частоты.
Фильтр 9 может выбираться таким образом, что пропускаемые им цветовые области видимого спектра достаточны для отображения цветов, появляющихся на фоне. Соответственно, цветовой фильтр 8 также может выбираться таким образом, что пропускаемые им частоты являются достаточными для отображения цветов, встречающихся на переднем плане 2. Таким образом, изображение, создаваемое датчиком изображения, может использоваться далее без коррекции. Однако в изображении, записанном датчиком изображения, всегда возможна также коррекция цветов переднего плана, которая корректирует возможные цветовые отклонения из-за фильтра 8.
На фиг.5 показано еще одна конструкция для реализации способа согласно изобретению. Для кодирования фон излучает невидимое излучение 10, которое может быть, например, ультрафиолетовым или инфракрасным излучением. Перед датчиком изображения или перед объективом 1a камеры 1 расположено планарное устройство 11 преобразования, пропускающее падающее на него излучение в некоторых местах и имеющее в некоторых местах элементы 15, например флюоресцирующие или фосфоресцирующие, посредством которых невидимое излучение 10 преобразуется в видимый свет 13. Элементы 15 могут быть расположены равномерно, в частности, в виде сетки на поверхности устройства 11, так что в каждой области, с одной стороны, может проходить видимый свет 12, и, с другой стороны, невидимое излучение 10 может преобразовываться в видимый свет. Все излучение, попадающее на датчик изображения, проходит через устройство 11. На датчике изображения представлен, с одной стороны, свет, проходящий через устройство без изменения, а с другой стороны, свет 13, образованный посредством преобразования невидимого излучения 10. Так как невидимое излучение 10 исходит от фона 3, то датчик изображения камеры 1 снимает свет 13 именно там, где отображается фон 3. Предпочтительно цвет света 13, создаваемого устройством 11, выбирается таким образом, чтобы он был отличим от цветов, встречающихся на переднем плане 2. Создаваемый свет 13 образует маску, посредством которой фон 3 можно отличить от переднего плана 2 с помощью процесса рирпроекции.
При условии, что элементы 15 для преобразования невидимого излучения в видимый свет 13 излучают ненаправленный свет 13, каждому из элементов 15 может быть назначена линза 14, которая расположена таким образом, что она представляет непреобразованный свет 13 в фоне 3 с точки зрения датчика изображения. Предпочтительно, для каждого элемента может быть предусмотрено также экранирование, которое позволяет свету проходить только в направлении траектории оптического пучка.
На фиг.6 показано еще одно возможное устройство для реализации способа согласно изобретению. Фон 3 излучает поляризованный свет 16 с определенным направлением поляризации. Перед датчиком изображения камеры 1 расположены цветовой фильтр 17, а также поляризационный фильтр 18, направление пропускания которого перпендикулярно направлению поляризации излучаемого фоном света 16. При использовании круговой поляризации пропускаемое направление вращения будет комплементарным к вращению плоскости поляризации. Предпочтительно, свет, исходящий от сцены, перед попаданием на датчик изображения проходит сначала через цветовой фильтр 17 и затем через поляризационный фильтр 18. При таком расположении, в изображении, записанном датчиком изображения, фон выглядит темным без цветового тона. Для непосредственных наблюдателей сцены фон 3 появляется в нормальных цветах, так как эти наблюдатели могут воспринимать поляризованный свет 16. Затем цветовой тон, который передний план 2 имеет в изображении, создаваемом датчиком изображения камеры 1, из-за цветового фильтра 17 может компенсироваться в сигнале 4 изображения с помощью компьютера.
В этой форме осуществления способа темные компоненты изображения без цветового тона, то есть те компоненты изображения, которые происходят от фона 3, образуют маску, посредством которой может выполняться рирпроекция для различения фона 3 и переднего плана 2.
На фиг.7 показано еще одно устройство для реализации способа согласно изобретению. Фон 3 дополнительно к фактическому изображению излучает невидимое излучение 10, например ультрафиолетовое или инфракрасное излучение. В этой форме осуществления изобретения перед датчиком изображения, предпочтительно в направлении траектории пучка, за формирующим изображение объективом 1a камеры 1, расположено устройство 19 преобразования, посредством которого из невидимого света может создаваться видимое изображение фона 3. Устройство 19 имеет разделитель 20 пучка и полупрозрачное зеркало 21, которые расположены последовательно в траектории пучка света, падающего на датчик изображения от сцены. Разделитель 20 пучка отклоняет невидимый свет по меньшей мере частично на датчик 22 изображения устройства 19 преобразования. Преобразователь 24 снимает изображение, создаваемое датчиком 22 изображения из невидимого излучения 10, и создает на дисплее 23 изображение видимого света, которое соответствует изображению, записанному датчиком изображения и поэтому точно показывает шаблон, который заранее задается невидимым излучением 10. Произведенное дисплеем изображение затем вводится посредством полупрозрачного зеркала 21 в траекторию пучка света, падающего на датчик изображения камеры 1 от сцены, и служит в сигнале изображения, создаваемом датчиком изображения камеры 1, в качестве шаблона для создания маски рирпроекции, посредством которой можно отличать передний план 2 от фона 3.
На фиг.8 в верхней и нижней части схематически показаны спектры двух взаимно комплементарных интерференционных фильтров. На горизонтальной оси нанесена частота света, которая в показанном примере должна покрывать по существу видимый диапазон. На вертикальной оси нанесена интенсивность, которую имеет свет, прошедший через соответствующий интерференционный фильтр, если интерференционный фильтр облучается белым светом, который содержит все частоты в показанном диапазоне с равной интенсивностью. Можно заметить, что интерференционные фильтры пропускают разнесенные диапазоны видимого света в спектре. Области проходящего света могут быть выбраны в обоих интерференционных фильтрах таким образом, что из них можно составлять все необходимые цвета фона 3 или переднего плана 2. Оба показанных интерференционных фильтра взаимно комплементарны, что означает то, что те области спектра, которые пропускаются показанным в верхней части интерференционным фильтром, точно отфильтровываются показанным в нижней части интерференционным фильтром, в то время как те частоты, которые отфильтровываются верхним интерференционным фильтром, точно пропускаются нижним интерференционным фильтром. Необходимо указать на то, что фильтры не обязательно должны отфильтровывать соответствующие цветовые компоненты полностью для осуществления способа согласно изобретению. Простого ослабления может быть достаточно. Не требуется также, чтобы диапазоны частот были отделены друг от друга так явно, как это схематически представлено на фиг.8. Допустима определенная степень перекрытия пропускаемых различными фильтрами диапазонов.
1. Способ различения фона и переднего плана сцены в изображениях, записанных электронной камерой,
в котором фон показывает произвольное изображение, кодированное посредством кодирования так, что изображение видимо для непосредственного наблюдателя фона,
при этом посредством кодирования фон отличают от некодированного переднего плана в сигнале, который формируется датчиком изображения камеры, записывающим изображения,
кодирование включает фон, отображающий периодически чередующиеся различные компоненты изображения, и
отображение компонент синхронизировано с экспонированием камеры таким образом, что камера записывает только одну из компонент в по меньшей мере одном периоде.
2. Способ по п. 1, в котором отображение компонент синхронизировано с экспонированием камеры таким образом, что камера записывает только одну из компонент в каждом периоде.
3. Способ по п. 1, в котором упомянутое кодирование включает фон, показывающий изображение как периодическую последовательность компонент, составляющих изображение, при этом в течение каждого периода изменяют по меньшей мере один параметр изображения, влияющий на воспроизведение изображения, причем экспонирование датчика изображения камеры происходит синхронно с воспроизведением заданной компоненты.
4. Способ по п. 3, в котором усреднение во времени кодированного изображения по меньшей мере за один период соответствует упомянутому изображению.
5. Способ по п. 3 или 4, в котором длительность периода цикла записи датчика изображения меньше или равна длительности периода периодической последовательности отображения компонент.
6. Способ по любому из пп. 1-4, в котором компоненты соответственно каждого периода составляют полное изображение.
7. Способ по п. 6, в котором компоненту, записанную камерой, выбирают таким образом, что она обеспечивает возможность различения переднего плана и фона посредством рирпроекции,
при этом в изображениях, записанных датчиком изображения, фон отличают от переднего плана посредством рирпроекции.
8. Способ по п. 7, в котором рирпроекция представляет собой цветовую рирпроекцию.
9. Способ по п. 7, в котором компонента одного периода, записанная датчиком изображения, отображает усиленной цветовую компоненту, по существу не появляющуюся на переднем плане, а другие компоненты отображают эту цветовую компоненту соответственно ослабленной, так что вместе эти компоненты составляют цвета изображения.
10. Способ по п. 3 или 4, в котором две компоненты показывают чередующимися с частотой, которая вдвое выше частоты экспонирования камеры.
11. Способ по любому из пп. 1-4, отличающийся тем, что упомянутое кодирование изображения включает фон, отображающий периодически изменяющиеся шаблоны, которые дополняют друг друга в пределах одного периода для формирования полного изображения, при этом фон отличают от переднего плана в сигнале датчика изображения посредством периодически изменяющегося шаблона.
12. Способ по п. 11, в котором частота экспонирования датчика изображения и отображение шаблона синхронизированы друг с другом, и/или в сигнале датчика изображения выполняют преобразование Фурье, при этом фон отличают от переднего плана посредством частоты изменяющегося отображения шаблонов.
13. Способ по п. 11, в котором шаблон имеет математически различимую структуру.
14. Способ по п. 13, в котором математически различимая структура шаблона является периодической в направлении сканирования датчика изображения.
15. Способ по п. 13, в котором шаблон является шахматным шаблоном.
16. Способ по п. 11, в котором каждый из шаблонов одного периода является бинарным шаблоном, который имеет области, полностью пропускающие свет или самосветящиеся, и области, менее пропускающие свет или менее прозрачные для света одного цвета, или непрозрачные для соответствующего света, или светящиеся слабее, или вообще не светящиеся в соответствующем цвете.
17. Способ по п. 1, в котором упомянутое кодирование включает фон, отображающий изображение только с теми цветами, которые выбраны из одного или более разнесенных друг от друга диапазонов видимого спектра, при этом исходящий от фона свет перед попаданием на датчик изображения проходит через цветовой фильтр, который отфильтровывает или ослабляет указанные диапазоны видимого спектра и пропускает без ослабления другие диапазоны видимого спектра.
18. Способ по п. 17, в котором цветовой фильтр представляет собой интерференционный фильтр.
19. Способ по п. 1 или 17, отличающийся тем, что упомянутое кодирование включает изображение, представленное в виде сетки из цветных точек на заднем плане, при этом цветные точки соответственно вместе с окружающим их задним планом составляют цвет изображения,
причем перед датчиком изображения расположен цветовой фильтр, который ослабляет цвета цветных точек, при этом фон отличают от переднего плана посредством рирпроекции на основе цвета заднего плана.
20. Способ по п. 19, в котором цветовой фильтр, который ослабляет цвета цветных точек, пропускает без ослабления цвета заднего плана.
21. Способ по п. 19, в котором рирпроекция представляет собой цветовую рирпроекцию.
22. Способ по п. 19, в котором цвета цветных точек и цвета заднего плана формируют непересекающиеся части видимого спектра, причем расположенный перед датчиком изображения фильтр представляет собой спектральный фильтр, который является комплементарным к интерференционному фильтру или фильтрам, расположенным перед цветными точками.
23. Способ по п. 22, в котором свет от цветных точек проходит через по меньшей мере один спектральный фильтр, через который не проходит излучаемый от заднего плана свет.
24. Способ по п. 22, в котором по меньшей мере один спектральный фильтр, расположенный перед цветными точками, и спектральный фильтр, расположенный перед датчиком изображения, представляют собой интерференционные фильтры.
25. Способ по п. 19, в котором цветные точки являются самосветящимися.
26. Способ по п. 25, в котором цветные точки являются светодиодами.
27. Способ по п. 1 или 17, в котором упомянутое кодирование включает фон, излучающий только те цвета, которые выбраны из одного или более разнесенных друг от друга диапазонов видимого спектра,
причем исходящий от сцены свет перед попаданием на датчик изображения проходит через цветовой фильтр, который ослабляет те диапазоны видимого спектра, из которых выбраны цвета изображения, и пропускает без ослабления другие диапазоны видимого спектра, при этом фон отличают от переднего плана посредством рирпроекции на основе диапазонов спектра, ослабленных указанным цветовым фильтром, расположенным перед датчиком изображения.
28. Способ по п. 27, в котором в сцене за передним планом и перед упомянутым изображением расположен интерференционный фильтр, который ослабляет диапазоны видимого спектра, не являющиеся диапазонами, из которых выбраны цвета фона, причем упомянутый цветовой фильтр, через который свет проходит перед попаданием на датчик изображения, является интерференционным фильтром, комплементарным к упомянутому интерференционному фильтру.
29. Способ по п. 1, в котором упомянутое кодирование включает фон, излучающий, пропускающий или отражающий электромагнитное излучение по меньшей мере одного невидимого спектрального диапазона, при этом перед датчиком изображения расположено устройство преобразования, которое преобразует невидимое электромагнитное излучение в видимый свет, воспринимаемый датчиком изображения.
30. Способ по п. 29, в котором устройство преобразования является планарным и преобразует по меньшей мере на части своей поверхности невидимое излучение, которое излучается, пропускается или отражается фоном в видимый свет, воспринимаемый датчиком изображения,
при этом фон отличают от переднего плана посредством рирпроекции на основе преобразованного света.
31. Способ по п. 30, в котором упомянутый фильтр имеет точки из флуоресцирующего или фосфоресцирующего материала, распределенные по его поверхности, причем эти точки испускают излучение определенных длин волн при возбуждении невидимым излучением, а также устройство, назначенное каждой из точек, для отображения соответствующих флуоресцирующих или фосфоресцирующих точек на датчике изображения.
32. Способ по п. 31, в котором указанные точки из флуоресцирующего или фосфоресцирующего материала расположены в виде сетки.
33. Способ по п. 31, в котором устройство для отображения соответствующих флуоресцирующих или фосфоресцирующих точек на датчике изображения представляет собой линзу.
34. Способ по п. 1, в котором упомянутое кодирование включает фон, излучающий или отражающий поляризованный свет только определенного направления поляризации или вращения плоскости поляризации,
при этом исходящий от сцены свет перед попаданием на датчик изображения проходит через цветовой фильтр и поляризационный фильтр, который ориентирован таким образом, что он отфильтровывает свет той поляризации, которая излучается и отражается фоном,
причем различение фона и переднего плана происходит посредством рирпроекции на основе более темных областей изображения, записанного датчиком изображения, которые не имеют цветового тона упомянутого цветового фильтра.
35. Способ по п. 34, в котором свет, исходящий от сцены, проходит сначала через цветовой фильтр и затем через поляризационный фильтр.
36. Способ по п. 29, в котором исходящее от сцены электромагнитное излучение перед попаданием на датчик изображения проходит через устройство преобразования, которое преобразует невидимое электромагнитное излучение в видимый свет и вставляет его в сцену в местоположении фона с точки зрения камеры.
37. Способ по п. 36, в котором исходящее от сцены электромагнитное излучение проходит через устройство преобразования после прохождения через формирующий изображение объектив камеры.
38. Способ по п. 36, в котором устройство преобразования имеет разделитель пучка, отклоняющий часть излучения и/или невидимого электромагнитного излучения на преобразователь, который вставляет посредством излучаемого электромагнитного излучения соответствующее фону изображение в траекторию пучка перед датчиком изображения.
39. Способ по п. 38, в котором преобразователь вставляет посредством излучаемого электромагнитного излучения соответствующее фону изображение в траекторию пучка перед датчиком изображения посредством частично прозрачного зеркала.
40. Способ по любому из пп. 1-4, в котором упомянутое кодирование изображения включает колебание в последовательности изображений, которое учитывают при различении переднего плана и фона.
41. Способ по любому из пп. 1-4, в котором после различения фона и переднего плана передний план реконструируют в сигнале изображения.
42. Способ по любому из пп. 1-4, в котором изображение с помощью слежения камерой локализуют в изображении датчика изображения, и/или слежение камерой поддерживает различение фона и переднего плана.
43. Способ замены фона в изображении сцены, в котором фон отличают от переднего плана посредством способа по любому из предыдущих пунктов и заменяют этот фон другим фоном.
44. Электронная система отображения, содержащая по меньшей мере один дисплей, а также по меньшей мере одну камеру, причем эта электронная система отображения выполнена с возможностью осуществления способа по любому из пп. 1-42.
45. Электронная система отображения по п. 44, которая также выполнена с возможностью замены фона в изображении сцены другим фоном.
