Способ модификации изображения объекта, снимаемого телевизионной камерой
Изобретение относится к способу модификации изображения объекта, снимаемого с помощью телевизионной камеры, и может быть использовано для освещения различных спортивных соревнований или рекламы по телевидению. Способ модификации изображения объекта, снимаемого телевизионной камерой, характеризуется тем, что объект маркируют посредством одной или более маркировочной поверхности, идентифицируют маркировочные поверхности, которые видны на изображении, с использованием по меньшей мере одного идентифицирующего детектора, определяют положение, форму и размер областей объекта, которые видны на телевизионном изображении, модифицируют заранее заданным способом видеосигнал телевизионного изображения для областей, соответствующих указанным видимым областям объекта. 2 н. и 20 з.п. ф-лы, 3 ил.
Настоящее изобретение относится к способу модификации изображения объекта, снимаемого с помощью телевизионной камеры.
Способ согласно изобретению предназначен для использования, в частности, на различных спортивных соревнованиях и аналогичных общественных мероприятиях, освещение которых по телевидению с включением соответствующей рекламы составляет значительную часть дохода от всего мероприятия.
В настоящее время реклама все больше подпадает под национальные или региональные ограничения. Во многих странах запрещена реклама алкогольных напитков или табачных изделий. Отношение к рекламе людей в разных странах неодинаково. Какая-либо реклама может быть очень успешной и эффективной в одних странах и в то же время в другой культурной среде она может вызвать неудовольствие или даже попасть под запрет.
Поэтому реклама становится относительно нейтральной или даже банальной, а телетрансляция некоторых общественных мероприятий на определенные страны вообще оказывается невозможной лишь потому, что по телевидению пришлось бы показать запрещенную рекламу.
Еще одной проблемой, особенно при больших международных трансляциях, является то, что реклама становится эффективной и стоит затрат рекламодателей, только если рекламируемые продукты имеют глобальное распространение. Поэтому размещать рекламу продуктов, распространяемых в более узкой рыночной сфере, при таких трансляциях невыгодно.
Другим источником проблем при телевизионных трансляциях является быстрый темп спортивных соревнований, в результате которого, особенно в играх с мячом и т.п., трудно различить на экране игровой предмет, например хоккейную шайбу. Это затрудняет слежение за спортивным событием, что сокращает число телезрителей, а это также имеет определенное экономическое значение для организаторов мероприятия.
Целью настоящего изобретения является преодоление вышеупомянутых проблем. Конкретной целью изобретения является создание способа, посредством которого можно модифицировать телевизионное изображение желаемым образом как в отношении рекламы, так и в отношении показа быстро перемещающихся объектов, например в спортивных играх.
Признаки изобретения изложены в формуле изобретения.
В способе согласно изобретению объект, снимаемый с помощью телевизионной камеры, маркируют с помощью одной (или более) маркировочной поверхности, расположенной в области объекта или в непосредственной близости от него, причем эти поверхности могут быть идентифицированы на основе излучения, отличающегося от другого излучения в снимаемой области. По меньшей мере одна из этих маркировочных поверхностей отличается по излучению от окружающей среды на основе какого-либо иного признака, чем видимый цвет. В предлагаемом способе маркировочную поверхность идентифицируют с использованием по меньшей мере одного идентифицирующего детектора, отдельного от детекторов телевизионной камеры, посредством которого объект снимают по существу в направлении его съемки телевизионной камерой. Определяя зависимость между координатами изображения, получаемого от телевизионной камеры, и координатами изображения, получаемого от идентифицирующего детектора, можно с помощью обнаруженных маркировочных поверхностей определить области, которые будут видны в телевизионном изображении объекта. После этого видеосигнал телевизионного изображения для областей, соответствующих этому объекту, модифицируют заранее заданным образом и передают модифицированный видеосигнал.
Таким образом, в способе согласно настоящему изобретению изображение объекта, снятое телевизионной камерой, может быть модифицировано путем обработки изображения так, что желаемая область в телевизионном изображении, например реклама, видимая на изображении, может быть заменена на другую рекламу. Аналогично, если объект, который должен быть модифицирован на телевизионном изображении, является относительно небольшим и движущимся, его различимость на телевизионном изображении можно улучшить, усиливая или изменяя оттенки цвета объекта в телевизионном изображении.
В способе согласно изобретению области, видимые на телевизионном изображении, предпочтительно определяют с помощью мест расположения и форм обнаруженных маркировочных поверхностей, с помощью положений маркировочных поверхностей относительно объекта и с помощью зависимости между координатами телевизионной камеры и координатами идентифицирующего детектора.
Маркировочная поверхность, используемая в способе согласно изобретению, отражает, пропускает или испускает излучение иначе, чем окружающая среда. Так, маркировочная поверхность на объекте или поблизости от него может состоять из одной или более пленки, поверхности или источника излучения, отражающих, пропускающих или испускающих излучение, которое отличается от фонового по своим свойствам, например по спектру или поляризации, и поэтому может быть легко обнаружено. Излучение маркировочной поверхности отличается от излучения окружающей среды; например, она поглощает излучение заданной длины волны или заданных длин волн в инфракрасной области спектра.
Если изображение сфокусировано на идентифицирующем детекторе тем же объективом, который используется в телевизионной камере, то зависимость между координатами изображений, получаемых от идентифицирующего детектора и телевизионной камеры, останется постоянной при повороте камеры, изменении съемочного расстояния или изменении масштаба изображения. Таким образом, существует жесткая зависимость между системой координат изображения, формируемого идентифицирующим детектором, и системой координат телевизионного изображения, так что координаты изображения, формируемого идентифицирующим детектором, преобразуются в координаты телевизионного изображения посредством простой функции преобразования. С другой стороны, если идентифицирующий детектор имеет иной объектив, чем объектив телевизионной камеры, то связь между системами координат детекторов зависит от свойств этих объективов, их расположения друг относительно друга, их наведения и масштаба изображения.
Если линзы объективов почти одинаковы и расположены рядом друг с другом, если они перемещаются совместно и меняют масштаб изображения одинаковым образом, то зависимость между системами координат детекторов будет меняться незначительно и приблизительное значение координат телевизионного изображения может быть получено с использованием координат детектора. Приближенное значение можно определить и в том случае, если объективы различны или если они не перемещаются или не меняют увеличения одинаковым образом, при условии, что положение и увеличение объективов и воздействие этих параметров на координатные системы известно.
Как только положения маркировочных поверхностей и объекта в телевизионном изображении приближенно определены, их можно уточнить следующим образом.
Если на снимаемом объекте или поблизости от него находится один или большее количество реперных объектов, расположенных в известных положениях относительно снимаемого объекта и маркировочных поверхностей и поддающихся идентификации на телевизионном изображении на основе яркости, контраста, цвета или формы, то его (их) положение в телевизионном изображении можно определить с помощью программной функции локализации (функции определения местоположения). Перед определением местоположения реперного объекта его изображение может быть модифицировано для обеспечения приблизительного соответствия координатам телевизионного изображения. Функция локализации осуществляется только вблизи приближенно определенного положения.
Если изображение и окружение объекта меняются так, что невозможно использовать заранее заданный реперный объект, то образцовое изображение может быть взято из изображения, полученного от идентифицирующего детектора или детектора, связанного с ним, с использованием того же самого объектива, из области объекта или прилегающей к нему области или маркировочной поверхности. Образцовое изображение модифицируют так, чтобы оно приблизительно соответствовало координатам телевизионного изображения, а функцию локализации применяют к телевизионному изображению только около приближенно определенного положения.
Как только положения маркировочных поверхностей в телевизионном изображении установлены, местоположение и другие параметры объекта можно определить на основе взаимного положения маркировочных поверхностей и объекта.
В способе согласно изобретению в зависимости от идентифицируемых объектов и их природы, то есть испускаемого ими излучения, можно использовать один или большее количество расщепителей луча, посредством которых желаемое излучение направляют в один или большее количество идентифицирующих детекторов. Таким образом, компоненты лучей с различными параметрами могут быть направлены расщепителями луча в различные детекторы. В дополнение к расщепителям луча, или частично вместо них, можно также использовать соответствующие фильтры.
В способе согласно изобретению границы объекта и его видимые области в телевизионном изображении можно определить, как описано выше, с использованием, когда это необходимо, следующей информации:
- форма объекта,
- зависимость между координатами маркеров и координатами объекта,
- свойства излучения, испускаемого объектом и/или маркерами,
- свойства и относительное положение реперных объектов относительно объекта, который может быть идентифицирован в телевизионном изображении,
- зрительные преграды, идентифицированные на основе излучения, испускаемого объектом,
- координаты излучения, испускаемого объектом или маркерами, на изображении, сформированном идентифицирующим детектором,
- положение и увеличение объектива телевизионной камеры и объектива идентифицирующего детектора,
- зависимость между координатами телевизионного изображения и координатами изображения, формируемого идентифицирующим детектором,
- точное или приближенное положение объекта или маркеров в телевизионном изображении и
- положение реперных объектов в телевизионном изображении.
В способе согласно изобретению можно снабдить рекламу кодом, указывающим, что представляет собой эта реклама или рекламное место. Код может быть любым видимым кодом или он может состоять из поверхности или поверхностей, отличающихся от окружающей среды по параметрам излучения; эту поверхность или поверхности обнаруживают и интерпретируют с помощью системы опознавания. Например, код может задавать изображение, которое нужно использовать для замены рекламы, которая снабжена этим кодом.
Всю область рекламы или ее часть можно, кроме того, обработать так, что излучение, испускаемое ею, будет отличаться от другого излучения, так что это может быть обнаружено устройством обнаружения. На основе этого система способна определить, какая часть объекта является видимой, а какая его часть закрыта зрительной преградой. Тогда усиление или изменение изображения выполняют только для той части объекта, которая видна. Таким образом, если видна только часть рекламы, то система вставит в это место соответствующую часть замещающего изображения.
Способ согласно изобретению имеет значительные преимущества по сравнению с известными способами. Если место для объекта, например рекламы, заполняется в телевизионном изображении другим изображением, то одно и то же рекламное пространство может быть поделено по времени или по целевым регионам между различными рекламами или рекламодателями. Замещающее изображение может быть неподвижным или подвижным изображением и оно может быть получено из запоминающего устройства, имеющегося в системе или от другой камеры.
Изображение можно изменять в зависимости от событий в телевизионной программе или согласно заданному расписанию. Например, в гонках "Формулы-1", пока гоночные машины круг за кругом движутся по одной и той же трассе, реклама табачных или алкогольных изделий, расположенная вдоль трассы, при трансляции на некоторые страны может заменяться в телевизионном изображении на другие рекламные объявления. Аналогично, в том же самом рекламном пространстве на различных кругах можно показывать различные рекламные объявления.
Аналогично, например, в хоккее с шайбой, в особенности, когда время экспозиции, используемое в идентифицирующем детекторе, значительно короче, чем время экспозиции, используемое в телевизионной камере, размытое изображение быстро перемещающейся шайбы, которое обычно создается телевизионной камерой, может быть заменено на лучше сфокусированное и более четкое изображение шайбы, которое, кроме того, можно показать с усиленным цветом или интенсивностью цвета или как мигающий объект, чтобы за ним было легче следить.
Ниже изобретение будет описано подробно со ссылками на сопровождающие чертежи, где:
на фиг.1 представлена схема, иллюстрирующая способ согласно настоящему изобретению,
на фиг.2 показана схема, иллюстрирующая другой вариант реализации способа, и
на фиг.3 показаны некоторые варианты конструкции объекта, снимаемого согласно предложенному способу.
На фиг.1 снимаемый объект 1 представляет собой неподвижную рекламу прямоугольной формы с лампой 2 инфракрасного света, помещенной позади рекламы так, чтобы излучение проходило через нее по всей площади рекламы. Окружающее освещение не содержит никакой значительной компоненты инфракрасного света. По углам рекламы расположены синие лампы 3, испускающие свет в направлении телевизионной камеры 4.
Вспомогательная камера 5 снабжена идентифицирующим детектором 6, который идентифицирует инфракрасный свет на коротком расстоянии. Вспомогательная камера фиксировано нацелена на рекламу 1. Кроме того, вспомогательная камера 5 и телевизионная камера 4 используют одновременную экспозицию при съемке своих изображений.
Сигнал 7, полученный из телевизионной камеры 4, делится так, что он поступает в элемент 8 задержки и в компьютер 9. В компьютер 9 также поступает сигнал 10, идущий из вспомогательной камеры 5.
Компьютерная система 9 сравнивает значения излучения, получаемые от пикселов вспомогательной камеры 5, с некоторым заданным уровнем, например с заранее заданным эталонным пределом, и генерирует масочное изображение, указывающее, какая часть области, занятой рекламой 1, не видна камере. Другими словами, масочное изображение определяет область, где имеется зрительная преграда между рекламой 1 и камерой, например идущий или стоящий человек 11.
Компьютерная система идентифицирует положение и масштаб изображения (увеличение) телевизионной камеры и на основе этой информации способна установить приблизительное положение рекламы 1 в телевизионном изображении. Точное положение угловых точек рекламы устанавливают, определяя положение синих ламп 3 на основе значений яркости различных цветовых компонент пикселов. Как только положение угловых точек рекламы 1 установлено, область рекламы в телевизионном изображении становится известной. Кроме того, на основе масочного изображения, сформированного вспомогательной камерой 5, становятся известны области изображения, которые скрыты зрительной преградой 11.
В памяти компьютера 9 может содержаться изображение, которое нужно использовать для замещения некоторой области в рекламе. Замещающее изображение модифицируют так, чтобы оно вписалось в область изображения рекламы. В то же самое время учитывается положение зрительных преград. Другая возможность состоит в том, что замещающее изображение поступает в компьютер из внешнего источника, например из телевизионной камеры, расположенной в соответствующем месте и снимающей замещающую рекламу.
В течение времени, затрачиваемого компьютерной системой на обработку изображения, поступающего из вспомогательной камеры 5 и телевизионной камеры 4, копия изображения, снятого телевизионной камерой, хранится в элементе 8 задержки. Модифицированное замещающее изображение и телевизионное изображение от камеры, хранимое в элементе задержки, вводят в блок 12 объединения, где замещающее изображение добавляется к исходному изображению, заменяя видимые области рекламы. После этого модифицированное телевизионное изображение пропускается для трансляции 13.
На фиг.2 показан другой вариант выполнения настоящего изобретения, в котором изображение фокусируется одним объективом 14 как на детекторе 15 телевизионной камеры, так и на идентифицирующем детекторе 16. В этом случае излучение 17, прошедшее через объектив 14, разделяется в расщепителе 18 луча для подачи его в детектор 15 телевизионной камеры и в идентифицирующий детектор 15. Перед идентифицирующим детектором можно дополнительно установить фильтр 19, пропускающий в идентифицирующий детектор только излучение заданного типа. В этом случае зависимость между координатами изображения, формируемого идентифицирующим детектором, и координатами изображения, получаемого от телевизионной камеры, постоянна, что позволяет преобразовывать координаты идентифицирующего детектора в координаты телевизионного изображения с помощью простой функции преобразования.
На фиг.3 поясняются различные способы, с помощью которых можно маркировать область рекламы, которая должна быть снята камерой и модифицирована. Показана прямоугольная реклама, у которой все углы отмечены реперными объектами 20, например кругами заданного цвета, посредством которых положение объекта в телевизионном изображении может быть определено с высокой точностью.
Вся поверхность рекламы может быть окружена рамкой 21, то есть маркировочной поверхностью, отличающейся по излучению от окружающей ее среды на основе иного признака, нежели видимый цвет. Аналогично, рамка может содержать отдельный код 22, который можно использовать для опознавания данного рекламного щита. Кроме того, рамка или другие части поверхности рекламы могут иметь локализационные коды 23, которые обеспечивают более точное указание определенной позиции в данном объекте. Дополнительная возможность состоит в том, чтобы покрыть всю поверхность 24 рекламы пленкой, которая прозрачна для видимого света, но излучение от поверхности которой отличается от излучения окружающей среды своими поляризационными характеристиками. Как понятно из вышеописанных примеров, поверхность с изображением, которое нужно обработать и модифицировать, может быть маркирована или выполнена различными способами. Существенным является лишь то, что маркировочная поверхность отражает, пропускает или испускает излучение, которое отличается от излучения окружающей среды в такой степени, что эта поверхность может быть надежно обнаружена и локализована с использованием подходящих средств.
Выше изобретение было описано на примерах его осуществления со ссылками на сопровождающие чертежи, однако возможны различные варианты осуществления изобретения в рамках изобретательской концепции, которые определены формулой изобретения.
1. Способ модификации изображения объекта, снимаемого телевизионной камерой, отличающийся тем, что объект маркируют посредством одной или более маркировочной поверхности, расположенной в области объекта или рядом с ним, причем указанные маркировочные поверхности являются такими, что их можно идентифицировать на основе излучения, отличающегося от другого излучения в снимаемой области, и по меньшей мере одна из указанных маркировочных поверхностей отличается по излучению от окружающей среды каким-либо иным признаком, чем видимый цвет, идентифицируют маркировочные поверхности, которые видны на изображении, с использованием по меньшей мере одного идентифицирующего детектора, который является отдельным от детекторов телевизионной камеры и с помощью которого объект снимают, по существу, с того же самого направления, что и телевизионной камерой, определяют положение, форму и размер областей объекта, которые видны на телевизионном изображении, с помощью известной зависимости между координатами изображения, получаемого от телевизионной камеры, и координатами изображения, получаемого от идентифицирующего детектора или детекторов, модифицируют заранее заданным способом видеосигнал телевизионного изображения для областей, соответствующих указанным видимым областям объекта.
2. Способ по п.1, отличающийся тем, что посредством указанного идентифицирующего детектора объект снимают через ту же линзу, которая используется в телевизионной камере.
3. Способ по п.1, отличающийся тем, что области объекта, которые видны на телевизионном изображении, определяют на основе положений и формы обнаруженных маркировочных поверхностей, взаимного расположения маркировочных поверхностей и объекта, а также зависимости между координатами телевизионной камеры и координатами идентифицирующего детектора.
4. Способ по п.1, отличающийся тем, что снимаемый объект, который должен быть модифицирован, является рекламой, которую заменяют на другую рекламу.
5. Способ по п.1, отличающийся тем, что маркировочная поверхность отражает, пропускает или испускает излучение, отличающееся от излучения окружающей среды.
6. Способ по п.1, отличающийся тем, что изображение фокусируют на идентифицирующем детекторе посредством того же объектива, который используется в телевизионной камере, так что зависимость между координатами изображения, получаемого от идентифицирующего детектора, и координатами изображения, получаемого от телевизионной камеры, остается неизменной при повороте камеры, изменении съемочного расстояния или изменении масштаба изображения.
7. Способ по п.1, отличающийся тем, что изображение фокусируют на идентифицирующем детекторе посредством объектива, отдельного от объектива, используемого в телевизионной камере, при этом зависимость между координатами телевизионного изображения и координатами изображения, формируемого идентифицирующим детектором, получают в виде приближенных значений на основе данных, определяющих положение, фокусировку и увеличение камер, а положение объекта в телевизионном изображении определяют путем обнаружения в телевизионном изображении по меньшей мере одного реперного объекта на снимаемом объекте или рядом с ним на основе контраста, яркости, цвета или формы.
8. Способ по п.7, отличающийся тем, что внешний вид реперного объекта, который должен быть обнаружен в телевизионном изображении, известен заранее.
9. Способ по п.7, отличающийся тем, что реперный объект, который должен быть обнаружен в телевизионном изображении, берут из изображения, получаемого от идентифицирующего детектора, или из изображения, получаемого от детектора, на котором изображение фокусируется тем же объектом, что и на идентифицирующем детекторе.
10. Способ по п.6, отличающийся тем, что изображение направляют на один или более идентифицирующий детектор с использованием по меньшей мере одного расщепителя луча, установленного между объективом телевизионной камеры и детектором изображения.
11. Способ по любому из пп.6-10, отличающийся тем, что компоненты излучения, имеющие различные свойства, направляют на различные детекторы посредством расщепителей луча.
12. Способ по любому из пп.6-11, отличающийся тем, что излучения с различными параметрами фильтруют с помощью фильтров, установленных перед идентифицирующими детекторами.
13. Способ по п.1, отличающийся тем, что передачу видеосигнала изображения, снимаемого телевизионной камерой, задерживают так, чтобы позволить модифицировать видеосигнал в области, соответствующей объекту, до передачи видеосигнала.
14. Способ по п.1, отличающийся тем, что данные о положении объекта запоминают.
15. Способ по п.1, отличающийся тем, что излучение маркировочной поверхности отличается от излучения окружающей среды характеристиками поляризации.
16. Способ по п.1, отличающийся тем, что излучение маркировочной поверхности отличается от излучения окружающей среды тем, что она поглощает излучение заданной длины волны или заданных длин волн в инфракрасной области спектра.
17. Способ по п.1, отличающийся тем, что объект маркируют идентифицирующим его кодом.
18. Способ по п.1, отличающийся тем, что область объекта или ее границы содержат коды (23), указывающие положение кода относительно объекта.
19. Способ по любому из пп.1-12, отличающийся тем, что положение маркировочной поверхности или поверхностей в изображении в идентифицирующем детекторе определяют путем сравнения яркости пикселов с яркостью соседних пикселов путем сравнения яркости пикселов с хранимым эталонным изображением и/или путем сравнения яркости пикселов различных идентифицирующих детекторов друг с другом.
20. Способ по любому из пп.7-9, отличающийся тем, что изображение реперного объекта модифицируют перед его поиском так, чтобы оно соответствовало координатам телевизионного изображения.
21. Способ по п.1, отличающийся тем, что время экспозиции для идентифицирующего детектора существенно меньше, чем время экспозиции для телевизионной камеры.
22. Способ модификации изображения объекта, снимаемого телевизионной камерой, при котором объект маркируют посредством маркировочной поверхности, расположенной в области объекта, причем указанная маркировочная поверхность является такой, что ее можно идентифицировать на основе излучения, отличающегося от другого излучения в снимаемой области, и указанная маркировочная поверхность отличается по излучению от окружающей среды каким-либо иным признаком, чем видимый цвет, идентифицируют маркировочную поверхность с использованием по меньшей мере одного идентифицирующего детектора, который является отдельным от детекторов телевизионной камеры и с помощью которого объект снимают, по существу, с того же самого направления, что и телевизионной камерой, определяют зависимость между координатами изображения, получаемого от телевизионной камеры, и координатами изображения, получаемого от идентифицирующего детектора, определяют с помощью обнаруженной маркировочной поверхности области объекта, которые видны на телевизионном изображении, и модифицируют заранее заданным способом видеосигнал телевизионного изображения для областей, соответствующих объекту, отличающийся тем, что изображение фиксируют на идентифицирующем детекторе посредством того же объектива, который используется в телевизионной камере, так что зависимость между координатами изображения, получаемого от идентифицирующего детектора, и координатами изображения, получаемого от телевизионной камеры, остается неизменной, когда камера поворачивается или когда съемочное расстояние или масштаб изображения изменяются, и снимаемый объект, изображение которого должно быть модифицировано, является относительно малым и перемещающимся объектом, различимость которого в телевизионном изображении улучшают путем усилия или изменения оттенков цвета этого объекта в телевизионном изображении.
