Способ выявления двумерного экранного меню на стерео видеопоследовательности

Изобретение относится к способу обработки видео данных, в частности к выявлению двумерного экранного меню на стереокадре. Техническим результатом является обеспечение обнаружения экранного меню, сформированного сторонним устройством для корректного отображения упомянутого меню на экране трехмерного дисплея. Результат достигается тем, что разделяют стереокадр на два цветных изображения, цветокалибруют изображения, сравнивают гистограммы пары первоначальных цветных изображений и пары цветокалиброванных изображений, при этом вычисляют скалярную величину разности гистограмм и выбирают минимальную разность гистограмм двух пар, классифицируют данный стереокадр как экранное меню, если минимальная разность гистограмм двух пар превосходит первый предопределенный порог T₁, значение которого задают в пределах диапазона T₁∈[0…5], классифицируют данный стереокадр как не являющийся экранным меню, если минимальная разность гистограмм двух пар меньше второго предопределенного порога Т₂, значение которого задают в пределах диапазона Т₂∈[150…200], выполняют поиск геометрических элементов на изображениях, при этом, если минимальная величина разности гистограмм больше или равна первому предопределенному порогу T₁ и больше второго предопределенного порога Т₂, выполняют дополнительные операции. 6 з.п. ф-лы, 6 ил.

 

Заявляемое изобретение относится к способу обработки видео данных, а более конкретно к способу определения характера искажений в стерео видеопоследовательности при отображении в стерео режиме, и может применяться для определения типа экранного меню, которое наложено на стерео видео последовательность.

Экранное меню - это изображение, наложенное на картинку на экране, содержащее элементы управления и часто используемое в современном телевидении, видеомагнитофонах и DVD плеерах для отображения информации о настройках звука, текущем канале, времени и т.д. При двумерном воспроизведении видео последовательности отображение экранного меню не является проблемой, но в 3D режиме отображение экранного меню может вызвать множество видимых искажений и порождает серьезные проблемы из-за ошибок в алгоритме оценки глубины и дальнейшего генерирования изображения. Это приводит к неудовлетворенности пользователей качеством трехмерных (3D) и 3D-ready дисплеев.

В настоящее время экранное меню используется в большинстве устройств, которые могут быть подключены к телевизору. Но в случае стереоскопического (3D) телевизора экранное меню должно быть сформировано в специальном трехмерном формате. В настоящее время DVD-устройства и Blue-ray плееры не умеют различать моно видео последовательности и стерео видео последовательности, то есть экранное меню отображается в моно формате для обоих случаев. Когда стерео последовательность с таким моноэкранным меню анализируется встроенными блоками стереоскопического телевизора, возникает множество искажений.

Следует принимать во внимание тот факт, что современный рынок телевизионных устройств развивается за счет использования новых технологий воспроизведения изображения, в частности, на основе новых типов стереоскопических (известных также под названием трехмерных или 3D) дисплеев. В связи с этим приходится решать многочисленные проблемы, относящиеся к обработке стерео видео последовательностей для таких трехмерных дисплеев. На протяжении последних пяти лет опубликовано большое число изобретений по этой тематике. Одна из проблем, возникшая в связи с появлением стереоскопических телевизоров, состоит в правильном отображении экранного меню в случае стерео видео последовательностей. Если экранное меню отображается самим телевизором, то информация о текущем типе видео последовательностей и само экранное меню будут отображаться корректно. Но в случае, если экранное меню открывается другим устройством, например, DVD проигрывателем, то информация о том, является ли данная видеопоследовательность с наложенным экранным меню стерео видео последовательностью или нет, недоступна и обычно отображается экранное меню в монорежиме. Моноэкранное меню формируется как одноцветный или многоцветный прямоугольник с текстом и пиктограммами. Экранное меню может быть различного уровня прозрачности и различных цветов. Добавление простого моноэкранного меню ведет к появлению искажений в процессе обработки видео. По этой причине возникает необходимость в применении некоторых «умных» процедур для выявления этих случаев.

Опубликованная заявка на европейский патент ЕР 2091241 [1] описывает предназначенный для домашних кинотеатров способ отображения прозрачных экранных меню, основанный на выявлении изменений движения в пределах последовательных видео кадров отображаемого видео. Это техническое решение позволяет пользователям легко просматривать видео в фоновом режиме одновременно с отображением экранного меню.

Патентная заявка США 20040027267 [2] описывает систему для выборочного воспроизведения изображений для просмотра стереоизображений или моноизображений, причем такая система включает в себя стереоскопическую систему обработки стерео изображений, переключатель моно/стерео режимов и дисплей, способный отображать моно и стерео изображения. Система обработки стереоизображений выполнена с возможностью генерации сигналов для управления дисплеем на основе входных видеосигналов, состояния переключателя моно/стерео режимов и типа дисплея. Это позволяет определять и корректировать характер экранного меню для различных режимов отображения видео.

Патентная заявка США 20090060280 [3] предлагает систему стереоскопического изображения, которая включает модуль предобработки изображения для предобработки правого и левого изображений и модель сопоставления стереопары для выполнения стерео сопоставления правого и левого изображений для получения карты глубины правого и левого изображений при низком разрешении и информации о расстоянии правого и левого изображений высокого разрешения после обнаружения объекта в пределах диапазона расстояний на основе информации о расстоянии при низком разрешении. Патентная заявка США 20080089577 [4] относится к формированию трехмерного векторного объекта, представляющего одну из характеристик в пределах сцены, путем анализа двумерных векторных объектов, представляющих эту характеристику в стереопаре. Двумерные векторные объекты анализируются с помощью алгоритмов стереоскопического зрения для формирования трехмерного векторного объекта. Результаты анализа позволяют получать данные, касающиеся трехмерного положения соответствующих точек двумерных векторных объектов. Трехмерный векторный объект формируется на основе результатов анализа стереоизображения. Трехмерный векторный объект может быть сопоставлен с трехмерной моделью цифровой точки. Трехмерный векторный объект также может быть сопоставлен с другим трехмерным векторным объектом, сформированным из стереопары и отснятым при других условиях. Этот способ, недостатком которого является сложность его практической реализации, наиболее близок к заявляемому решению и поэтому выбран в качестве прототипа.

Задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы разработать более простой и надежный в работе способ выявления экранного меню на стерео видеопоследовательности и определения его характера. При этом новый способ должен обеспечивать возможность обнаруживать присутствие моноэкранного меню на стерео видео последовательностях в различных форматах и не вносить искажений в работу устройства отображения (DVD проигрывателя или телевизора) в случаях, когда экранное меню корректно отображается для стерео видео последовательностей.

Технический результат достигается за счет выбора подхода, основанного на применении алгоритма обнаружения «Да/Нет» (в специальной литературе нередко используется терминология "OSD/non", т.е. "on screen display/non") к экранным меню для оценки, присутствует ли экранное меню на текущем кадре. Если такое меню будет обнаружено, предлагается выключать стерео режим и показывать видеопоследовательность в монорежиме до момента, когда экранное меню исчезнет. При этом заявляемый способ предусматривает выполнение следующих операций:

- разделяют стереокадр на два цветных изображения;

- цветокалибруют изображения;

- сравнивают гистограммы пары первоначальных цветных изображений и пары цветокалиброванных изображений, при этом вычисляют скалярную величину разности гистограмм и выбирают минимальную разность гистограмм двух пар;

- классифицируют данный стереокадр как экранное меню, если минимальная разность гистограмм двух пар превосходит первый предопределенный порог T₁, значение которого задают в пределах диапазона Т₁∈[0…5];

- классифицируют данный стереокадр как не являющийся экранным меню, если минимальная разность гистограмм двух пар меньше второго предопределенного порога Т₂, значение которого задают в пределах диапазона T₂∈[150…200];

- выполняют поиск геометрических элементов на изображениях, если минимальная величина разности гистограмм больше или равна первому предопределенному порогу T₁ и больше второго предопределенного порога T₂, выполняя следующие шаги:

- вычисляют разности двух пар изображений, а именно пары первоначальных изображений и пары цветокалиброванных изображений, путем применения формулы

где - первое первоначальное изображение, - второе первоначальное изображение, и - цветокалиброванные изображения, W - ширина и Н - высота этих изображений, R, G, В - цветовые компоненты;

- вычисляют минимальную разность D=min(D₁,D₂) между разностями пар первоначальных и цветокалиброванных изображений;

- вычисляют двоичное изображение путем установления порога вычисленной минимальной разности, применяя соотношение

,

при этом выбирают значение порога Т в зависимости от величины разности гистограмм:

,

где const₁>const₂, причем выбирают константы из соответствующих диапазонов значений, а именно: const₁∈[25…40], const₂∈[15…35];

- выполняют морфологическую обработку вычисленного двоичного изображения путем применения к D_T операции размыкания и последующего замыкания, при этом структурированный элемент SE_opening для размыкания D_T имеет размер 1 на 2 и состоит из "1":

SE_opening=[1 1]

где D_O - двоичное изображение-результат применения операции размыкания к D_T, а замыкание производят для соединения частей горизонтальных линий, которые сохранились в процессе размыкания, при этом структурированный элемент SE_closing для замыкания имеет размер 1 на 5 и также состоит из "1":

SE_closing=[1 1 1 1 1],

где D_M - двоичное изображение-результат применения операции размыкания к D_O;

- подсчитывают количество геометрических элементов на итоговом двоичном изображении D_M;

- сравнивают полученное на предыдущем шаге значение с предопределенным порогом Т₃, значение которого задают в пределах диапазона T₃∈[1…5], причем если эта величина больше предопределенного порога Т₃, то данный стереокадр относят к категории экранного меню; в противном случае данный стереокадр не относят к категории экранного меню.

В случае, когда величина разности гистограмм не слишком велика или не слишком мала, выполняют поиск геометрических элементов на изображениях с помощью вычисления разности изображений, вычисляя двоичное изображение путем установления порога вычисленной разности, морфологически обрабатывая вычисленное двоичное изображение, учитывая ненулевые элементы итогового изображения и сравнивая это число с предопределенным порогом.

Далее существо изобретения поясняется в деталях с привлечением графических материалов.

Фиг.1. Основные этапы способа выявления экранного меню.

Фиг.2. Пояснение разделения видео кадра на два изображения и цветокалибровки изображений.

Фиг.3. Пояснение разделения изображений на блоки.

Фиг.4. Пояснение промежуточных изображений, полученных в процессе выполнения процесса, изображенного на Фиг.1.

Фиг.5. Процесс вычисления числа геометрических элементов на двоичном изображении, полученном после установления порога для разности изображений.

Фиг.6. Вариант устройства для реализации заявленного способа.

Схема на Фиг.1 описывает способ более подробно. Входная стерео видео последовательность может быть представлена в различных форматах: лево-право, верх-низ, в шахматном порядке и т.д. На шаге 101 входной стерео кадр стерео видеопоследовательности (стерео-пара) разделяют на два цветных изображения, это заключается в том, что половину стерео-пары копируют в один буфер памяти, а вторую половину - в другой буфер памяти. Эти изображения, т.е. первое изображение и второе изображение, могут уменьшаться в процессе копирования способом ближайшего соседства, это означает, что только каждый n-ый элемент каждой n-ой строки копируется вместо копирования каждого элемента. Число n может варьироваться от 2 до 10, в зависимости от ресурсов памяти. В данном примере осуществления изобретения n равняется 8. На шаге 102 одно из двух получаемых в результате изображений цветокалибруют (подгоняют по цвету) к другому изображению (тогда пара цветокалиброванных изображений состоит из одного первоначального и цветокалиброванного к нему второго изображения), используя, например, способ растяжения или способ сопоставления гистограмм (оба способа описаны, в частности, в опубликованной работе Gonzales and Woods "Обработка цифровых изображений", Prentice Hall, Upper Saddle River, New Jersey 07458, ISBN 0-201-18075-8) [5], и сохраняют в дополнительном буфере памяти (Фиг.2 поясняет шаги 101 и 102.) На шаге 103 ко всем трем изображениям, а именно к двум первоначальным цветным изображениям и одному цветокалиброванному изображению, применяют горизонтальное размытие. Процедура размытия тоже детально изложена в [5]. В данном случае размытие применяется с использованием фильтра с ядром F размера 1, разделенного на m:

Такой фильтр, примененный построчно, позволяет производить быструю обработку, так как изображения хранятся в памяти по строкам. На шаге 104 пара первоначальных изображений сравнивается с помощью вычисленной разности гистограмм ΔH₁. Сначала, каждое изображение (исходное первое и исходное второе) разделяют на 9 частей одинакового размера (три горизонтально и три вертикально), и 9 частей изображения затем сравниваются (см. Фиг.3 для пояснения).

Для каждой части изображения вычисляют три гистограммы (для каждого из трех цветных компонентов, обозначенных, как R, G и В), для каждого из двух изображений, , , для первого изображения и , , для второго изображения. Все гистограммы сортируются по возрастанию. Это помогает преодолеть большую разность из-за сдвига освещенности. Затем разность гистограмм для текущей части изображения ΔH_part вычисляют в соответствии со следующей формулой:

Максимальную разность гистограмм ΔH₁ между всеми частями изображений вычисляют в соответствии со следующей формулой:

На шаге 105 процедуру шага 104 повторяют для пары цветокалиброванных изображений. В результате вычисляют разность гистограмм ΔH₂. В конечном счете, на шаге 106 общую разность гистограмм выбирают как наименьшую между ΔH₁ и ΔH₂:

На шаге 107 ΔH сравнивают с предопределенным порогом T₁. Это означает, что если разность гистограмм достаточно мала, то текущий кадр относят к категории «non». Если разность достаточно велика, т.е. больше некоторого предопределенного порога Т₂, то текущий кадр относят к категории «OSD». Это условие проверяют на шаге 108. В противном случае, когда невозможно сделать заключение на основе величины разности гистограмм, то для анализа применяют следующие шаги (109-112).

На шаге 109 вычисляют разность отображений между кадрами. Пусть первое первоначальное изображение обозначается как , второе первоначальное изображение обозначается как и цветокалиброванные изображения обозначаются как и . Ширина и высота этих изображений одинакового размера обозначается как W и Н соответственно, цветовые компоненты обозначаются как R, G, В. Затем вычисляют две величины, D₁ и D₂:

Затем, на шаге 110 вычисляют минимальную разность изображений

На шаге 111 устанавливают порог для разности изображений D:

,

Выбирают порог Т в зависимости от величины разности гистограмм:

где const₁>const₂. На шаге 112 применяют морфологическую операцию размыкания и последующего замыкания к D_T. Операция размыкания - это дилатация эрозии набора. Эта операция применяется для удаления небольших точек и вкраплений. Структурированный элемент для размыкания D_T имеет размер 1 на 2 и состоит из "1":

Замыкание производится для соединения частей горизонтальных линий, которые сохранились в процессе размыкания. Структурированный элемент для замыкания имеет размер 1 на 5 и также состоит из "1":

После морфологических операций производят поиск геометрических элементов в D_T (шаг 113). Этот процесс проиллюстрирован на Фиг.5. На шаге 114 N сравнивают с предопределенным порогом T₃. В случае, если N больше Т₃, то текущий кадр относят к категории «non» (шаг 115). В противном случае, текущий кадр относят к категории «OSD» (шаг 116).

Фиг.4 показывает промежуточные изображения, полученные в процессе выполнения процесса, изображенного на Фиг.1.

Фиг.5 раскрывает в деталях процесс поиска геометрических элементов (Шаг 112). На шаге 501 i, j, N задают некоторыми i_start, ≥0,0 и 0 соответственно. На шаге 502 num (номер) задают как 0. На шаге 503 проверяют условие, является ли num больше предопределенной константы S. Если нет, то выполняют следующий шаг 506. В случае, если D_M(i, j) равен 1 (условие 506), то num увеличивают на 1 (см. шаг 507). Затем проверяют условие 508, т.е. достиг ли процесс конца текущей линии. Если нет, то i увеличивают на 1 (шаг 504), и процесс переходит к условию 503. Если результат 503 является положительным, то N увеличивают на 1 (см. шаг 505). На шаге 510 проверяют, достиг ли способ последней допустимой линии изображения. Если нет, то i увеличивают на 1 (см. шаг 509). Если да, то на следующем шаге 511 на выход подают полученное значение N.

Необходимо отметить, что значения T1, T2, Т3, K, L, const₁, const₂ задают некоторыми константами. Эти константы могут выбираться из следующих диапазонов:

T₁∈[0…5], Т₂∈[150…200], Т₃∈[1…5], K∈[1…5], L=[5…15], const₁∈[25…40], const₂∈[15…35], S∈[10…30].

Заявляемый способ реализуется с помощью известных из уровня техники устройств, В частности в простейшем варианте (см. Фиг.6) такое устройство состоит из процессора (или множества процессоров) 601, памяти 602 и шины данных 603, по которой данные передаются из памяти в процессор и обратно. В начале исходный стерео-кадр записывают в память, и устройство начинает обработку, ответ записывается также в память и может быть оттуда считан.

Изобретение может быть использовано в стерео телевидении для предобработки видеопотоков до отображения изображений в трехмерном режиме, в частности в случаях, когда телевизор подключен к DVD или Blue-ray плееру, и когда невозможно определить тип видео последовательности.

Следует отметить, что специалисты должны учитывать и возможность других вариантов реализации изобретения, не выходящих за рамки формулы изобретения. Таким образом, чертежи и описание могут рассматриваться лишь в качестве иллюстраций заявленного решения.

1. Способ выявления двумерного экранного меню на стереокадре, отличающийся тем, что предусматривает выполнение следующих операций:
- разделяют стереокадр на два цветных изображения;
- цветокалибруют изображения;
- сравнивают гистограммы пары первоначальных цветных изображений и пары цветокалиброванных изображений, при этом вычисляют скалярную величину разности гистограмм и выбирают минимальную разность гистограмм двух пар;
- классифицируют данный стереокадр как экранное меню, если минимальная разность гистограмм двух пар превосходит первый предопределенный порог T₁, значение которого задают в пределах диапазона Т₁∈[0…5];
- классифицируют данный стереокадр как не являющийся экранным меню, если минимальная разность гистограмм двух пар меньше второго предопределенного порога Т₂, значение которого задают в пределах диапазона Т₂∈[150…200];
- выполняют поиск геометрических элементов на изображениях, при этом, если минимальная величина разности гистограмм больше или равна первому предопределенному порогу T₁ и больше второго предопределенного порога Т₂, выполняют следующие шаги:
- вычисляют разности двух пар изображений, а именно пары первоначальных изображений и пары цветокалиброванных изображений путем применения формулы

,
где - первое первоначальное изображение, - второе первоначальное изображение, и - цветокалиброванные изображения, W - ширина и Н - высота этих изображений, R, G, В - цветовые компоненты;
- вычисляют минимальную разность D=min(D₁,D₂) между разностями пар первоначальных и цветокалиброванных изображений;
- вычисляют двоичное изображение путем установления порога вычисленной минимальной разности, применяя соотношение
, при этом выбирают значение порога Т в зависимости от величины разности гистограмм:
, где const₁>const₂, причем выбирают константы из соответствующих диапазонов значений, а именно:
const₁∈[25…40], const₂∈[15…35];
- выполняют морфологическую обработку вычисленного двоичного изображения путем применения к d_t операции размыкания и последующего замыкания, при этом структурированный элемент SE_opening для размыкания d_t имеет размер 1 на 2 и состоит из "1":
SE_opening=[1 1]
,
где D_O - двоичное изображение-результат применения операции размыкания к d_t, а замыкание производят для соединения частей горизонтальных линий, которые сохранились в процессе размыкания, при этом структурированный элемент SE_closing для замыкания имеет размер 1 на 5 и также состоит из "1":
SE_closing=[1 1 1 1 1],
,
где d_m - двоичное изображение-результат применения операции размыкания к D_O;
- подсчитывают количество геометрических элементов на итоговом двоичном изображении d_m,
сравнивают полученное на предыдущем шаге значение с предопределенным порогом Т₃, значение которого задают в пределах диапазона Т₃∈[1…5], причем, если эта величина больше предопределенного порога Т₃, то данный стереокадр относят к категории экранного меню; в противном случае данный стереокадр не относят к категории экранного меню.

2. Способ по п.1, отличающийся тем, что цветокалибровку выполняют способом растяжения гистограмм.

3. Способ по п.1, отличающийся тем, что цветокалибровку выполняют способом сопоставления гистограмм.

4. Способ по п.1, отличающийся тем, что изображения размывают до сравнения гистограмм.

5. Способ по п.1, отличающийся тем, что изображения разделяют на блоки и в каждом блоке вычисляют гистограммы, затем вычисляют сумму абсолютных разностей для всех каналов цвета и всех блоков; выбирают максимальную сумму абсолютных разностей в качестве скалярной величины разности гистограмм.

6. Способ по п.5, отличающийся тем, что сортируют каждую гистограмму по возрастанию до вычисления суммы абсолютных разностей.

7. Способ по п.1, отличающийся тем, что геометрические элементы представляют собой короткие горизонтальные отрезки в двоичном изображении, длина которых варьируется в пределах 10-30 ненулевых элементов двоичного изображения.