Способ изменения содержания телевизионного изображения

Изобретение относится к обработке содержания телевизионного изображения путем вставки дополнительной графики и замещающего содержания в определенные области телевизионного изображения. Техническим результатом является создание способа, позволяющего осуществлять вставку замещающего содержания в определенную часть телевизионного изображения в одном из последующих звеньев цепи передачи сигнала, сохраняя при этом без изменений в финальном телевизионном изображении вид графики, добавленной в одном из начальных звеньев цепи передачи сигнала. Результат достигается тем, что способ изменения содержания целевой области (11) в телевизионном изображении (7) включает генерацию сигнала исходного изображения (PGM1) посредством камеры (1), обработку сигнала исходного изображения путем добавления графики (9) в телевизионное изображение, определение целевой области в телевизионном изображении, передачу далее сигнала обработанного изображения (PGM2) и определяющих целевую область данных и вставку в одном из последующих звеньев (14) цепи передачи сигнала замещающего содержания (15а, 15b) в целевую область в соответствии с определяющими целевую область данными. В соответствии с настоящим изобретением графику (9) добавляют в телевизионное изображение (7) в соответствии с заранее заданной процентной долей перекрытия графикой; и в область (13), общую для целевой области и области дополнительной графики, вставляют замещающее содержание (15а, 15b) в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой. 3 н. и 4 з.п. ф-лы, 2 ил.

 

Область техники

Настоящее изобретение относится к изменению содержания телевизионного изображения путем вставки дополнительной графики и замещающего содержания в определенные области телевизионного изображения.

Предпосылки создания изобретения

Существует множество ситуаций, когда требуется изменить телевизионное изображение, полученное из снятой телевизионной камерой сцены, путем замещения некоторой части изображения новым содержанием. Характерным примером может служить реклама в месте проведения спортивного мероприятия. Телевизионный сигнал спортивного мероприятия может передаваться по всему миру. Для различных групп зрителей или для различных географических областей часто требуется отдельная настройка рекламной информации в финальном телевизионном изображении.

Для вставки замещающего содержания в телевизионное изображение необходима информация о местоположении изменяемой области в упомянутом изображении. Эта информация может генерироваться, например, с использованием маркирующей поверхности, расположенной вблизи цели, предназначенной для замены в телевизионном изображении, при этом маркирующая поверхность идентифицируется на основании отличий ее излучения от остального излучения в снятой камерой области. С помощью регистрации, посредством специальных детекторов, этого отличающегося излучения могут быть определены координаты цели, предназначенной для изменения в телевизионном изображении. Указанный способ маркировки изменяемой цели детально описан в более ранней заявке WO 01/58147, поданной данным заявителем. Если известны координаты изменяемой цели, возможно, например, осуществлять изменение цели, предназначенной для изменения, отдельно для различных групп зрителей, формируемых с использованием определенного критерия группирования, например национальности. Кроме координат изменяемой цели, важно также установить, не существует ли препятствий, скрывающих часть цели, для того, чтобы выполнять изменение только в видимых на изображении областях изменяемой цели. Для этого в WO 01/58147 описана генерация маскирующего изображения, определяющего фактически видимые на изображении области упомянутой целевой области.

После того как информация о местоположении изменяемой цели в телевизионном изображении сгенерирована, эта информация может быть передана вместе с текущим телевизионным сигналом, что позволяет осуществлять изменение цели, предназначенной для изменения, в телевизионном изображении в одном из последующих звеньев цепи передачи сигнала. При таком подходе предъявляются меньшие требования к пропускной способности канала, по сравнению со случаем, когда сигнал изменяется уже в начале цепи передачи сигнала и осуществляется совместная передача всех измененных сигналов. Основной принцип такого подхода описан в более ранней заявке WO 03/021957, поданной данным заявителем.

Часто перед передачей обработанного телевизионного сигнала далее в телевизионное изображение добавляется графика. Добавленная в одном из начальных звеньев цепи передачи сигнала графика обычно не должна изменяться в последующих звеньях передачи сигнала. Для обеспечения этого, в заявке на патент US 2001/0017671 А1 описан способ, в котором замещающее содержание вставляется только в те части целевой изменяемой области, которые не включают добавленной ранее графики. Упомянутое ограничение свободными от графики областями порождает необходимость передачи информации о местоположении графики. Удовлетворять данную необходимость предлагается, например, путем передачи, совместно с сигналом изображения с добавленной графикой, также и сигнала исходного необработанного изображения, и последующего сравнения этих сигналов для определения местоположения графики. Это, очевидно, предъявляет высокие требования к пропускной способности канала передачи данных, что делает упомянутую процедуру непрактичной. В качестве альтернативного подхода описан способ, при котором могут передаваться только данные, определяющие местоположение графики.

Кроме высоких требований к пропускной способности канала передачи данных, предъявляемых некоторыми известными способами, общей проблемой известных решений, описанных, например, в упомянутой заявке US 2001/001767 А1, является их ограничение случаями, где дополнительная графика полностью заменяет, в своей области, исходное содержание телевизионного изображения. Однако во многих случаях требуется иметь добавленную графику и при этом, иногда, частично прозрачное замещающее содержание, обеспечивающее также видимость предшествующего содержания, расположенного в том же месте.

Цель изобретения

Целью настоящего изобретения является создание способа, позволяющего осуществлять вставку замещающего содержания в определенную часть телевизионного изображения в одном из последующих звеньев цепи передачи сигнала, сохраняя при этом без изменений в финальном телевизионном изображении вид графики, добавленной в одном из начальных звеньев цепи передачи сигнала, при этом способ предпочтительно предъявляет минимальные требования к пропускной способности канала передачи данных.

Сущность изобретения

Настоящее изобретение охарактеризовано в п.1 формулы изобретения.

Предложенный способ изменения содержания целевой области в телевизионном изображении включает генерацию сигнала исходного изображения посредством камеры, обработку сигнала исходного изображения путем добавления графики в упомянутое изображение, определение целевой области в упомянутом изображении, передачу далее сигнала обработанного изображения и определяющих целевую область данных, и вставку, в одном из последующих звеньев цепи передачи сигнала, замещающего содержания в целевую область в соответствии с определяющими целевую область данными.

Изменяемая целевая область может быть, например, рекламным модулем, видимым на захватываемом камерой изображении. Упомянутое изменение может включать, например, настройку содержания в области упомянутого модуля в видимом финальном изображении отдельно для зрителей из различных зрительских групп. Графика может включать любое дополнительное графическое содержание, например, различные типы фигур, букв и т.п. Для определения целевой области, то есть ее формы и местоположения в телевизионном изображении, может использоваться, например, маркирующая поверхность, описанная в WO 01/58147. Посредством способа, изложенного в WO 01/58147, может определяться также область потенциального маскирования, то есть область, расположенная внутри целевой области, которая не видна на телевизионном изображении и в которую, следовательно, не требуется вставлять замещающее содержание. В случае нескольких целевых областей в изображении, информация, необходимая для идентификации каждой из них, также должна быть определена и передана. Фактическая вставка упомянутого замещающего содержания в изображение в одном из последующих звеньев цепи передачи сигнала выполняется затем в соответствии с определяющими целевую область данными, передающимися совместно с сигналом обработанного изображения. Под последующим звеном цепи передачи сигнала понимается любое звено после первоначальной передачи сигнала обработанного изображения и данных, определяющих целевую область. Например, в случае распространения сигнала глобального телевидения вставка замещающего содержания может выполняться отдельно в каждой принимающей стране. Генерация и передача далее сигнала обработанного изображения, а также определяющих целевую область данных может, в свою очередь, выполняться, например, уже в месте генерации сигнала исходного изображения.

В соответствии с настоящим изобретением, графика добавляется в телевизионное изображение в соответствии с заранее заданной процентной долей наложения графики; способ также включает определение общей области для целевой области и области дополнительной графики в телевизионном изображении, а также последующую передачу, совместно с сигналом обработанного изображения и определяющими целевую область данными, данных, определяющих общую область, и данных, пропорциональных упомянутой процентной доле наложения графики; и в общую область, то есть в пересечение целевой области и дополнительной графики, вставляется замещающее содержание в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой.

Под процентной долей наложения здесь понимается доля добавочного содержания в каждой точке изображения. Другими словами, процентная доля наложения определяет, какую долю каждого пикселя или группы смежных пикселей изображения составляет добавленная графика, остальное же содержание этого пикселя остается прежним. Общая область для целевой области и дополнительной графики в телевизионном изображении является областью, расположенной внутри целевой области и включающей добавленную графику. Передача определяющих общую область данных и данных, пропорциональных процентной доле наложения графики, может выполняться, например, путем передачи исходной графики и управляющего сигнала, используемого для регулировки процентной доли наложения графики. Данные, пропорциональные процентной доле наложения графики, могут быть представлены, например, как остаточная процентная доля, оставшаяся после наложения графики. Вставка замещающего содержания в общую область в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой, означает, что поддерживается заданная процентная доля наложения графики. Например, если заранее заданная процентная доля наложения графики составляет 80%, остается 20-процентная доля для наложения исходного и замещающего содержания в общей области. Возможно, что желаемая доля наложения замещающего содержания составляет менее 100%. Это означает, что остаточная процентная доля наложения в общей области, не занятая добавленной графикой, сформирована одновременно из содержания исходного изображения и содержания замещающего изображения. Это требует передачи исходной графики совместно с сигналом обработанного изображения. Требуемая процентная доля наложения замещающего содержания может быть определена уже на стадии передачи и передана затем вместе с остальными данными.

Ключевым признаком настоящего изобретения является возможность добавления частично прозрачной графики в целевую изменяемую область, сохраняя при этом заранее заданную процентную долю наложения графики, в том числе и после вставки замещающего содержания в целевую область. Это является значительным усовершенствованием по сравнению с технологиями существующего уровня техники, ограниченными вставкой с полным наложением, то есть без прозрачности.

С целью снижения требований к пропускной способности канала передачи данных, в предпочтительном варианте осуществления настоящего изобретения графика добавляется в общую область с полным наложением, независимо от заранее заданной процентной доли наложения графики. В таком случае не требуется передача исходной графики. Это является очевидным преимуществом с точки зрения требований к пропускной способности для данных. Замена содержания целевой области замещающим содержанием в обрабатываемом таким образом изображении в соответствии с упомянутой остаточной процентной долей наложения всегда приводит к получению результирующего изображения, в котором общая область включает графику с заранее заданной процентной долей наложения, а оставшаяся часть наложения при этом сформирована из замещающего содержания.

В предпочтительном варианте настоящего изобретения определяющие целевую область данные, определяющие общую область данные и данные, пропорциональные процентной доле наложения графики, передают во вспомогательном сигнале изображения, содержание изображения которого организовано в соответствии с упомянутыми данными. Другими словами, содержание изображения организовано в соответствии с геометрией и местоположением целевой области и общей области и содержит также информацию о процентной доле наложения графики. Вспомогательный сигнал изображения является прямым и простым в обработке для систем обработки сигналов в цепи передачи телевизионного сигнала. Также, предпочтительно, вместе со вспомогательным сигналом изображения передается информация об области потенциального маскирования, а также информация, соответствующая планируемой процентной доле наложения замещающего содержания. Таким образом, вспомогательный сигнал изображения может содержать, например, одноцветное изображение, яркость которого в различных областях, то есть в целевой области, общей области, а также в области потенциального маскирования, регулируется в соответствии с планируемой процентной долей наложения. Также, предпочтительно, совместно со вспомогательным сигналом изображения передают координаты углов или иных опорных точек целевой области в телевизионном изображении. Такой тип вспомогательного сигнала изображения, несущий всю необходимую для дальнейшей вставки замещающего содержания информацию, делает собственно вставку очень простой процедурой, не требующей сложных систем обработки данных. Очевидно, что можно не осуществлять определение процентной доли наложения замещающего содержания до последующего звена цепи передачи сигнала.

Область изображения во вспомогательном сигнале изображения предпочтительно ограничена исключительно целевой областью для дальнейшего снижения требований к пропускной способности для данных. В рассматриваемом варианте осуществления изобретения, информация о местоположений такого типа целевой области ограниченного размера в телевизионном изображении передается совместно со вспомогательным сигналом изображения в виде координат избранных точек целевой области.

Краткое описание чертежей

Далее настоящее изобретение будет описано более подробно с помощью прилагаемых чертежей, иллюстрирующих предпочтительный вариант осуществления настоящего изобретения.

Фиг.1 иллюстрирует принцип генерации исходного телевизионного изображения и определения местоположения изменяемой целевой области в упомянутом изображении.

Фиг.2 представляет, в виде блок-схемы, шаги варианта осуществления изобретения на передающей и принимающей стороне цепи передачи сигнала, соответственно.

Подробное описание изобретения

Фиг.1 иллюстрирует отправную точку для примера осуществления настоящего изобретения. Телевизионная камера 1 снимает сцену, включающую рекламный модуль 2, содержание которого требуется изменить в финальном телевизионном изображении. Между камерой и модулем находится человек 3, закрывающий от камеры часть модуля. Для маркировки области модуля в захватываемом камерой изображении и, следовательно, для предоставления информации, необходимой для определения его области в телевизионном изображении, то есть целевой изменяемой области, за модулем расположен источник 4 излучения, излучающий инфракрасное излучение 5 по всей области модуля. (В соответствии с описанием WO 01/58147, очевидно, что излучение может быть любого типа, если оно достаточно отличается от остального излучения). Модуль выполнен таким образом, чтобы перенаправлять это излучение на фронтальную сторону модуля. Следовательно, со стороны камеры область модуля выглядит как плоский источник инфракрасного излучения. Инфракрасное излучение от области модуля регистрируется специальным детектором 6, подключенным к камере. На основе данных, захваченных детектором, если известны отношения между координатами изображения, получаемого датчиком, и изображения, получаемого камерой, можно определить целевую область в телевизионном изображении. Также можно определить маску, образованную скрывающим часть модуля человеком. В рассматриваемом варианте осуществления изобретения, описанное выше комбинируется с целью формирования маскирующего изображения 10, показанного на фиг.2, определения формы и размера целевой области 11, а также расположенной внутри нее области 12 маскирования. Кроме геометрической информации, содержание маскирующего изображения включает также планируемую процентную долю наложения замещающего содержания, которая в данном случае составляет 100%, за исключением области маскирования, для которой она, очевидно, составляет 0%. В частности, в данном варианте осуществления изобретения, маскирующее изображение является одноцветным изображением, яркость различных областей которого выбирается пропорционально их процентной доле наложения.

В соответствии с фиг.2, исходное телевизионное изображение 7, захваченное камерой и преобразованное в исходный телевизионный сигнал PGM1 передающего звена 8 цепи передачи сигнала, включает упомянутый модуль 2, часть которого скрыта за человеком 3, стоящим между модулем и камерой в исходном месте проведения съемки. На передающее звено подается также сигнал GRAPH_KEY управления графикой. В примере на фиг.2 этот сигнал управления графикой определяет графику 9, также подаваемую в передающее звено, при этом графика должна быть добавлена в правую часть области изображения с процентной долей наложения, составляющей 70%. Третьим сигналом, подающимся в передающее звено, является первый вспомогательный сигнал изображения AUX1, содержащий вышеописанное маскирующее изображение 10. Область изображения в маскирующем изображении с целью экономии пропускной способности для передачи данных ограничена исключительно целевой областью. Естественно, затем вместе с первым вспомогательным сигналом изображения AUX1 должны быть переданы также и координаты углов или иных опорных точек целевой области в области телевизионного изображения. В данном примере целевая область разделена на две подобласти 11а и 11b, например, для возможной вставки двух различных рекламных модулей в качестве замещающего содержания в целевой области. Вместе с первым вспомогательным сигналом изображения AUX1 передается также идентификационная информация о подобластях.

В передающем звене 8 цепи передачи сигнала, маскирующее изображение 10, графика 9 и сигнал GRAPH_KEY управления графикой комбинируются для определения общей области 13, в которой добавленная графика перекрывает целевую область 11. В варианте осуществления изобретения на фиг.2, при добавлении графики в изображение в соответствии с текущим сигналом управления графикой, в упомянутой общей области процентная доля наложения графики установлена равной 100%, независимо от процентной доли, определяемой сигналом GRAPH_KEY управления графикой. Планируемая процентная доля наложения замещающего содержания для упомянутой общей области устанавливается в соответствии с остаточной процентной долей, не перекрытой после наложения графики. В данном случае она составляет 100%×(100%-70%)=30%.

В качестве выходных сигналов передающего звена 8 далее передаются два сигнала: обработанный телевизионный сигнал PGM2, включающий добавленную в изображение 7 описанным выше способом графику 9; и второй вспомогательный сигнал изображения AUX2, изображение которого отличается от изображения первого вспомогательного сигнала изображения тем, что яркость в общей области 13 установлена в соответствии с определенной выше остаточной процентной долей наложения. Эти два сигнала затем принимаются в принимающем звене 14 цепи передачи сигнала для финальной обработки телевизионного изображения перед его демонстрацией зрителям. При упомянутой обработке требуемое замещающее содержание 15а, 15b вставляется в изображение 7 телевизионного сигнала PGM2 в соответствии с информацией, передаваемой со вторым вспомогательным сигналом изображения AUX2. Это означает, что замещающее содержание вставляется в целевую область 11, определяемую маскирующим изображением 10 и упомянутыми координатами целевой области. В данном случае это означает, что осуществляется вставка двух отдельных содержаний 15а, 15b в две подобласти 11 а, 11b целевой области, при этом подобласти идентифицируются с помощью идентификационной информации, также передаваемой вместе со вторым вспомогательным сигналом изображения. Вставка осуществляется с процентными долями наложения, определяемыми яркостями различных областей изображения второго вспомогательного сигнала изображения. В часть целевой области, располагающуюся вне области 12 маскирования и вне общей области 13, замещающее содержание вставляется с полным наложением. Очевидно, что в область 12 маскирования не осуществляется вставки замещающего содержания. Наконец, ранее упомянутая процентная доля наложения, составляющая 30%, используется для общей области 13 с полным наложением добавленной графики в обработанном телевизионном сигнале 13. Как результат, общая область 13 телевизионного изображения 7 третьего телевизионного сигнала PGM3, формируемого принимающим звеном 14, состоит из добавленной графики с 70-процентной долей наложения и замещающего содержания с 30-процентной долей наложения. Это означает, что содержание финального телевизионного изображения в выходном сигнале PGM3 точно такое, как если бы замещающее содержание располагалось на месте рекламного модуля в исходном месте проведения съемки.

Предпочтительно, границы между различными областями телевизионного изображения смягчают путем использования переходной зоны, содержание которой изменяется от содержания одной области до содержания другой. Другими словами, например, на границе между целевой областью и областью изображения вне ее содержание исходного изображения подменяется замещающим содержанием в переходной зоне ограниченной ширины. Резкое изменение без сглаживания могло бы произвести нереалистичное впечатление. Ширина переходной зоны предпочтительно регулируется в соответствии с движением объектов в телевизионном изображении таким образом, чтобы для быстро движущихся объектов она была шире, чем для стационарных.

Важно иметь в виду, что процедура, иллюстрируемая на фиг.2 и описанная выше, представляет собой только один пример осуществления изобретения. Реальные типы сигналов и варианты представления информационного содержания, необходимые для упомянутого способа, могут существенно меняться, не выходя за рамки формулы изобретения. Идея настоящего изобретения применима как в аналоговых, так и в цифровых системах. Возможна также передача дополнительной информации для последующей вставки замещающего содержания совместно с телевизионным изображением, в одном и том же сигнале. Как известно специалистам в данной области, некоторые стандарты телевизионных сигналов определяют изначально пустые блоки данных, пригодные для этих целей. Кроме того, настоящее изобретение не ограничивается каким-либо конкретным вариантом его осуществления. Все вышеописанные шаги обработки сигналов могут управляться компьютером автоматически с использованием стандартного или специализированного оборудования, либо также путем регулировки сигналов, по меньшей мере в некоторой степени, вручную.

Одним из возможных изменений в процедуре на фиг.2 может быть передача с сигналом обработанного изображения PGM2, вместо второго вспомогательного сигнала AUX2, исходной графики и сигнала GRAPH_KEY управления графикой, и определение на их основе общей области в одном из последующих звеньев цепи передачи сигнала. Такой способ позволяет устанавливать каждую из процентных долей - замещающего содержания и добавленной графики - одновременно менее 100%. Кроме того, при таком подходе процентная доля наложения может определяться только в принимающем звене. Недостатком данного способа может быть возможное повышение требований к пропускной способности канала для данных графической информации.

1. Способ изменения содержания целевой области (11) в телевизионном изображении (7), включающий генерацию сигнала исходного изображения (PGM1) посредством камеры (1), обработку сигнала исходного изображения путем добавления графики (9) в телевизионное изображение, определение целевой области в телевизионном изображении, передачу далее сигнала обработанного изображения (PGM2) и определяющих целевую область данных, а также вставку, в одном из последующих звеньев (14) цепи передачи сигнала, замещающего содержания (15а, 15b) в целевую область в соответствии с определяющими целевую область данными, отличающийся тем, что:
графику (9) добавляют в телевизионное изображение (7) в соответствии с заранее заданной процентной долей наложения графики; и
способ также включает:
определение общей области (13) для целевой области (11) и области (9) дополнительной графики в телевизионном изображении, и
передачу далее, совместно с сигналом обработанного изображения (PGM2) и определяющими целевую область данными, данных, определяющих общую область, и данных, пропорциональных процентной доле наложения графики; при этом
замещающее содержание (15а, 15b) вставляют в общую область (13) в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой.

2. Способ по п.1, отличающийся тем, что в общую область (13) графику (9) добавляют с полным наложением, независимо от заранее заданной процентной доли наложения графики.

3. Способ по п.1 или 2, отличающийся тем, что определяющие целевую область данные, определяющие общую область данные и данные, пропорциональные процентной доле наложения графики, передают во вспомогательном сигнале изображения (AUX2), содержание изображения которого соответствует упомянутым данным.

4. Способ по п.3, отличающийся тем, что для снижения требований к пропускной способности канала передачи данных область изображения вспомогательного сигнала изображения (AUX2) ограничена целевой областью (11), и информацию о местоположении целевой области в телевизионном изображении (7) передают в виде координат избранных точек целевой области.

5. Способ изменения содержания целевой области (11) в телевизионном изображении (7), включающий генерацию сигнала исходного изображения (PGM1) посредством камеры (1), обработку сигнала исходного изображения путем добавления графики (9) в телевизионное изображение, определение целевой области в телевизионном изображении и передачу далее сигнала обработанного изображения (PGM2) и определяющих целевую область данных, чтобы сделать возможной вставку, в одном из последующих звеньев (14) цепи передачи сигнала, замещающего содержания (15а, 15b) в целевую область в соответствии с определяющими целевую область данными, отличающийся тем, что:
графику (9) добавляют в телевизионное изображение (7) в соответствии с заранее заданной процентной долей наложения графики; и способ также включает:
определение общей области (13) для целевой области (11) и области (9) дополнительной графики в телевизионном изображении, и
передачу далее данных, определяющих общую область, и данных, пропорциональных процентной доле наложения графики, чтобы сделать возможной вставку замещающего содержания (15а, 15b) в общую область (13) в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой.

6. Способ по п.5, содержащий вставку в одном из последующих звеньев (14) цепи передачи сигнала замещающего содержания (15а, 15b) в целевую область в соответствии с определяющими целевую область данными, при этом замещающее содержание (15а, 15b) вставляют в общую область (13) в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой.

7. Способ изменения содержания целевой области (11) в телевизионном изображении (7), включающий
прием сигнала обработанного изображения (PGM2), данных, определяющих целевую область, данных, определяющих общую область, и данных, пропорциональных процентной доле наложения графики, как определено в п.5, и
вставку замещающего содержания (15а, 15b) в целевую область в соответствии с определяющими целевую область данными,
отличающийся тем, что замещающее содержание (15а, 15b) вставляют в общую область (13) в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой.