Способ идентификации кадров-вставок в потоке мультимедийных данных



Способ идентификации кадров-вставок в потоке мультимедийных данных
Способ идентификации кадров-вставок в потоке мультимедийных данных
Способ идентификации кадров-вставок в потоке мультимедийных данных
Способ идентификации кадров-вставок в потоке мультимедийных данных
Способ идентификации кадров-вставок в потоке мультимедийных данных

 


Владельцы патента RU 2506640:

Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) (RU)

Изобретение относится к средствам обработки данных изображений. Техническим результатом является уменьшение количества ошибочных распознаваний кадров-вставок в потоке мультимедийных данных. В способе вычисляют суммарную дифференциальную яркость каждого кадра-разности и пороговое значение яркости трех предыдущих кадров-разностей, сравнивают яркостные характеристики кадра-разности с вычисляемым по ходу смены кадров видеопотока пороговым значением суммарной дифференциальной яркости, идентифицируют первую границу кадра-вставки и идентифицируют кадр-вставку указанного потока. 5 ил.

 

Изобретение относится к области вычислительной техники, а именно к системам анализа изображений, и предназначено для использования в сфере обработки данных изображений.

Способ идентификации кадров-вставок в потоке мультимедийных данных необходим для предотвращения негативного воздействия на уровень бессознательного восприятия человека с помощью подпороговых стимулов. Указанное воздействие зачастую применяется скрытно в виде дополнительных кадров, вставленных в поток мультимедийных данных.

Под кадрами-вставками понимаются кадры количеством от 1 до 3, добавленные в любое место видеопотока и отличающиеся от кадров текущей сюжетной линии (сцены) визуально и статистически.

Концепция идентификации и сравнения кадров в потоке мультимедийных данных включает в себя ряд методов. Большинство из них в качестве статистического признака для выявления скрытых кадров-вставок в видеопотоке используют величину интегральной яркости кадров, сравнивая ее с некоторым эталонным значением.

Известны устройство для обработки изображений и способ определения линейного сдвига изображения (патент RU 2138851 С1, опубл. 05.08.1993 г. Авторы: Кристоф Айзенбарт (DE), Ира Финкельштайн (US), Дэннис Мак Ги (US), Эдвард Панофский (US)), которые позволяют обнаруживать несовпадение фактического изображения относительно опорного и обеспечивать их максимальное совпадение. Этот технический результат достигается благодаря тому, что воспринимают два участка фактического изображения, запоминают два аналогичных участка опорного изображения, сравнивают соответствующие участки фактического и опорного изображений и определяют наличие сдвига, причем повторяют сравнение для тех же участков после сдвига фактического изображения на заранее заданное число пикселей по осям Х и Y, при этом вычисляют абсолютные значения разностей между соответствующими участками фактического и опорного изображений для каждого сдвига и сохраняют в памяти как полученные абсолютные значения, так и их сумму.

Недостатком данного аналога является то, что при идентификации видеовставки в процессе сравнения невозможно выделить опорное изображение, участки кадра для сравнения и пороговое значение линейного сдвига, так как оно будет динамически изменяться в результате смены сюжетов в видеопотоке.

Наиболее близкими по технической сущности и выполняемым функциям к заявляемому изобретению (прототипом) являются способ идентификации подлинных серий изображений и устройство для его осуществления (патент RU 2216044 С2, опубл. 10.11.2003. Автор Шульце Клаус (DE)), которые позволяют получить технический результат в виде повышения эффективности процедур учета и хронометрирования рекламных сообщений, видеоклипов, политических выступлений.

Этот результат достигается за счет того, что для отдельных изображений из серий изображений определяют признаки яркости, преобразуют их в цифровую форму и сравнивают с эталоном, при этом признаки яркости декоррелируют квазистохастическим отбором по множеству изображений.

Недостатком прототипа является низкая эффективность определения кадров-вставок в видеопотоке, обусловленная тем, что по одному изображению, определяющему эталонные признаки яркости, невозможно получить полную статистическую информацию, характеризующую яркостные свойства каждой из наблюдаемых динамически меняющихся сцен видеопотока в силу их значительных отличий по цвету и яркости.

Задачей изобретения является создание способа идентификации кадров-вставок в потоке мультимедийных данных, позволяющего уменьшить количество ошибочных распознаваний как кадров-вставок, так и кадров отдельных сюжетных линий (сцен).

Эта задача решается тем, что способ идентификации кадров-вставок в потоке мультимедийных данных, включающий в себя операции определения яркости кадров, цифрового сравнения по яркостным составляющим двух кадров, согласно изобретению дополнены операции попиксельного сравнения двух изображений по определению кадра-разности и вычисления суммарной дифференциальной яркости каждого кадра-разности и порогового значения яркости трех предыдущих кадров-разностей, а также операции сравнения яркостных характеристик кадра-разности с вычисляемым по ходу смены кадров видеопотока пороговьм значением суммарной дифференциальной яркости предыдущих трех кадров-разностей.

Результат предлагаемого способа достигается за счет формирования и выполнения математического критерия R:

;

при ограничениях:

- количество кадров в визуальной вставке не превышает трех;

- первые четыре кадра сюжетной линии не являются вставкой;

- вставка не располагается на границе двух сюжетных линий, где

- - множество кадров в видеопотоке, l=1(1)N; N - количество кадров; р=1(1)Р - количество сюжетов;

- - множество кадров-разностей, l=1(1)N-1;

- Ω={Ω12} - множество классов кадров видеопотока, Ω1 - кадр-вставка; Ω2 - обычный кадр сюжетной линии.

Перечисленная новая совокупность операций обеспечивает возможность снижения количества ошибочно идентифицированных кадров-вставок и кадров отдельных сюжетных линий при различной скорости смены сцен в видеопотоке.

Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного технического решения, отсутствуют, что указывает на соответствие заявленного способа условию патентоспособности "новизна".

Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность отличительных существенных признаков, обусловливающих тот же технический результат, который достигнут в заявляемом способе. Следовательно, заявленное изобретение соответствует условию патентоспособности "изобретательский уровень".

Заявленный способ поясняется чертежами, на которых показано:

фиг.1 - общая схема операций, реализующих в совокупности способ идентификации кадров-вставок;

фиг.2 - результат действия логической операции по формированию кадров-разностей;

фиг.3 - алгоритм вычисления порогового значения яркости Lp;

фиг.4 - алгоритм идентификации кадров видеопотока методом сравнения яркостных характеристик кадров-разностей с их пороговым значением Lp;

фиг.5 - принцип работы методики экстремальной суммарной дифференциальной яркости.

Общая схема последовательности операций заявленного способа, представленная на фиг.1, работает следующим образом.

На блок присвоения номеров кадрам видеопотока и сюжетам 2 подается упорядоченная последовательность видеокадров с блока преобразования видеопотока в кадры RGB 1. (Видеокадры из фильма Роберта Родригеса "От заката до рассвета" (From Durk Till Dawn).)

Цифровой кадр в видеопотоке представляет функцию распределения яркости или цвета на двумерной плоскости: f(i,j), где i и j - декартовы координаты, описывающие плоскость кадра. С математической точки зрения кадр представляет собой двумерную матрицу Im[i,j] размера (DimH×DimW), где i=1(1)H - целое число, описывающее номер элемента в строке, а j=1(1)W - номер строки матрицы, в которой расположен элемент. Элемент кадра (пиксель) имеет целочисленное значение, пропорциональное значению функции распределения яркости f(i,j) в данной точке плоскости. Обозначается пиксель кадра р-го сюжета с координатами (i,j) и цветовыми составляющими Red, Green, Blue в виде , где W - ширина кадра в пикселях, а H - его высота. Значения Н и W экспортируются в блок инициализации 3.

В блоке логической побитовой разности последовательно идущих кадров видеопотока 4 производится операция, которая в пикселях текущего кадра оставляет единичными только те биты, которые отсутствуют в соответствующих пикселях последующего , в соответствии со значениями Н и W, поступающими с выхода блока инициализации, по правилу F,:

, l=1(1)N-1, p=1(1)P,

F - правило построения кадров разностей:

, i=1(1)H, j=1(1)W, p=1(1)P.

Результат действия данной операции показан на фиг.2. (Визильтер Ю.В., Желтов С.Ю., Князь В.А. и др. Обработка и анализ цифровых изображений с примерами на Lab VIEW IMAQ Vision. - M.: ДМК Пресс, 2007. - 464 с.).

В блоке 4, определяются кадры разности для и , и , и кадров видеопотока , , , поступающие в блок вычисления суммарной дифференциальной яркости каждого кадра разности - 5. В блоке 5 осуществляется вычисление суммарных яркостей , , кадров разностей по выражению

.

Исследование кадров видеопотока показало, что по одному статическому изображению проблематично получить всю необходимую информацию, характеризующую яркостные свойства наблюдаемых динамически меняющихся сцен, так как у всех они разные. Следовательно, возникает необходимость в определении среднего значения яркости, свойственного каждой сюжетной линии.

В блоке 6 осуществляется вычисление порогового значения яркости Lp p-го сюжета трех предыдущих кадров разностей по выражению

,

где Δ - абсолютная погрешность дифференциальной яркости, определяемая эмпирически, поступающая из блока инициализации 3.

Схема операции вычисления порогового значения яркости Lp р-го сюжета представлена на фиг.3

После определения порогового значения яркости в блоке 7 происходит сравнение суммарных дифференциальных яркостей последующих кадров-разностей с пороговым значением по следующему правилу:

1. В блоке 4 определяется кадр-разность для и кадров видеопотока , а в блоке 5 вычисляется его суммарная дифференциальная яркость .

При неравенстве идентифицируется первая граница:

- кадра-вставки;

- подлежащих выделению кадров видеопотока;

- нового p+1 сюжета.

При выполнении условия исследуется следующий кадр данного сюжета l=l+1 и в блоке 6 вычисляется новое пороговое значения яркости Lp как среднее арифметическое значение суммарных дифференциальных яркостей трех кадров-разностей: , и

.

2. В блоках 4 и 5 определяются кадр-разность для и кадров видеопотока и его суммарная дифференциальная яркость .

При неравенстве идентифицируется , кадр-вставка, поступающий в блок выделения кадров видеопотока 8, а при суммарной яркости , в блоках 4 и 5 определяются кадр-разность для и кадров видеопотока и его суммарная дифференциальная яркость .

3. При выполнении условия выделяются и кадры видеопотока, поступающие в блок 8, а при в блоках 4 и 5 определяются кадр-разность для и кадров видеопотока и суммарная дифференциальная яркость .

4. При условии вьщеляются , и кадры видеопотока, поступающие в блок 8, иначе в блоке 2 осуществляется переход на р+1 сюжет и в блоке 6 пересчитывается пороговое значение яркости относительно , , и кадров видеопотока.

Выделенные кадры из видеопотока хранятся в блоке 9. (Выделенные видеокадры из фильма Роберта Родригеса "От заката до рассвета" (From Durk Till Dawn)).

Алгоритм, поясняющий критерий идентификации видеокадров в мультимедийном потоке информации, отражен на фиг.4.

Принцип работы методики экстремальной суммарной дифференциальной яркости представлен на фиг.5.

Экспериментальная проверка способа идентификации кадров-вставок была выполнена на ЭВМ в пакете прикладной математики Matlab 2008b при следующих исходных данных:

1) 100 видеороликов без кадров-вставок длительностью от 1 до 5 минут с различным количеством сюжетных линий;

2) 100 видеороликов с размещенными через каждые 100 кадров кадрами-вставками (количество подряд идущих кадров-вставок от 1 до 3);

3) кадры видеороликов и кадры-вставки не искажены и имеют высокое качество.

Результаты экспериментов показали, что в условиях отсутствия априорных сведений о наличии в анализируемом видеопотоке кадров-вставок известный способ (прототип) правильно идентифицировал 10% кадров-вставок при ошибочном распознавании сюжетных линий в 67%, а с помощью заявленного способа удалось правильно идентифицировать 89% кадров-вставок при ошибочном распознавании сюжетных линий в 12%. Это подтверждает существенный положительный эффект от внедрения нового способа.

Полученные результаты дают основания для вывода, что заявленный способ идентификации кадров-вставок в потоке мультимедийных данных имеет лучшие характеристики по точности распознавания кадров-вставок по сравнению с прототипом.

Таким образом, при такой совокупности существенных признаков в процессе идентификации кадров-вставок в видеопотоке обеспечивается уменьшение количества ошибочно идентифицированных кадров-вставок и кадров отдельных сюжетных линий в видеопотоке.

Промышленная применимость изобретения обусловлена тем, что устройство, реализующее предложенный способ, может быть осуществлено с помощью современной элементной базы, с достижением указанного в изобретении назначения.

Способ идентификации кадров-вставок в потоке мультимедийных данных, заключающийся в определении признаков яркости и сравнении их значений с пороговым, отличающийся тем, что дополнительно вычисляют суммарную дифференциальную яркость каждого кадра-разности и пороговое значение яркости трех предыдущих кадров-разностей, сравнивают яркостные характеристики кадра-разности с вычисляемым по ходу смены кадров видеопотока пороговым значением суммарной дифференциальной яркости, при этом, если суммарная дифференциальная яркость , идентифицируют первую границу кадра-вставки, а если суммарная дифференциальная яркость , идентифицируют кадр-вставку указанного потока, где и являются кадрами указанного потока, а является пороговым значением яркости сюжета.



 

Похожие патенты:

Изобретение относится к области сегментации изображений. Техническим результатом является обеспечение одновременной сегментации объектов близко друг к другу при одновременном обеспечении требуемых пространственных соотношений, а также минимизация вероятности нарушения требуемых пространственных соотношений сеток, адаптированных к этим объектам.

Изобретение относится к средствам детектирования копий видеоданных. Техническим результатом является повышение точности детектирования копий видеоданных за счет построения траектории представляющих интерес устойчивых точек.

Изобретение относится к области формирования анатомических изображений. Техническим результатом является обеспечение точности карты коррекции затухания, а также устранение неопределенности между воздушными элементами трехмерного изображения и костными элементами объемного изображения в основанной на магнитного резонанса (MR) карте коррекции затухания.

Изобретение относится к средствам отображения окружающей среды. Техническим результатом является повышение точности отображения искусственных объектов на изображении окружающей среды в реальном времени за счет анализа динамических изменений окружающей среды.

Изобретение направлено на построение 3D модели при использовании минимального количества изображений гистологических срезов (слоев) с использованием средств приведения изображений к виду, удобному для распознавания специфических нейронов и последующей реконструкции их трехмерных распределений.

Изобретение относится к средствам моделирования трехмерного видеоизображения. Техническим результатом является повышение четкости вокруг контуров предметов при отображении объемного реконструированного изображения.

Изобретение относится к сегментации изображений и, в частности, к определению контуров анатомической структуры в изображении, вычисленном по слою данных изображения, и дополнительно к определению контуров анатомической структуры в данных изображения.

Изобретение относится к области дистанционного контроля процесса в производственном оборудовании. Техническим результатом является улучшение контроля над технологическим процессом.

Изобретение относится к средствам диагностики нейродегенеративных заболеваний. Установка содержит модуль получения изображений, получающий визуальные данные о состоянии головного мозга пациента, и анализатор изображений, выполненный с возможностью определения на основании визуальных данных с использованием вероятностной маски для определения исследуемых областей на изображении, заданном визуальными данными, количественного показателя, указывающего на степень развития нейродегенеративной болезни мозга пациента.

Изобретение относится к устройству и способу обработки изображений для оценивания для зафиксированного изображения состояния фиксации изображения. Технический результат - более точная и эффективная оценка входного изображения.

Изобретение относится к медицинской технике, а именно к ультразвуковым диагностическим системам формирования изображений. Устройство содержит зонд, выполненный с возможностью передачи ультразвуковых волн в сердце и приема ответных эхо-сигналов, процессор изображений, реагирующий на эхо-сигналы, выполненный с возможностью производить последовательность изображений миокарда в течение, по меньшей мере, части сердечного цикла, анализатор движения миокарда, реагирующий на последовательность изображений, который определяет движение множества сегментов миокарда, процессор задействования, реагирующий на движение сегментов, который производит индикатор совокупного участия множества сегментов в процентном отношении от полного смещения миокарда во время сердечного цикла и относительных промежутков времени участия сегментов в движении миокарда относительно процентного отношения от полного смещения во время сердечного цикла, и дисплей, соединенный с процессором задействования, который отображает индикатор. Использование изобретения позволяет повысить эффективность и точность идентификации потери синхронности при движении миокарда. 14 з.п. ф-лы, 8 ил.

Изобретение относится к применению многомерного анализа изображения для выявления дефектов на производственной линии, производящей продукт питания. Техническим результатом является обеспечение контроля производственной линии для продуктов питания путем выявления дефектов продуктов питания, и избирательное удаление дефектных продуктов питания без удаления недефектных продуктов питания. Способ выявления дефектов в процессе производства продуктов питания, имеющем блок обработки, содержит этапы: захвата изображения указанных продуктов питания в видимом спектре; выполнения многомерного анализа изображения над полученным изображением для установления набора данных; определения наличия дефекта на основе указанного набора данных; при этом указанный дефект возникает, когда указанные продукты питания имеют содержание влаги более чем около 2,0 мас.%; при этом указанный дефект существует, когда указанный набор данных выявляет, что, по меньшей мере, около 10% от отображаемой области указанных отображаемых продуктов питания содержат мягкий центр; отбраковки указанных продуктов питания, имеющих указанные дефекты; и при этом указанный многомерный анализ изображения осуществляют посредством алгоритма, программируемого в вентильной матрице, программируемой пользователем. 3 н. и 10 з.п. ф-лы, 6 ил.

Изобретение относится к способу идентификации и анализа устойчивых рассеивателей (PS) в последовательности цифровых изображений, полученных с помощью радиолокатора с синтезированием апертуры (SAR). Техническим результатом является повышение эффективности идентификации PS, снижение ошибок обработки цифровых изображений. Предложен способ идентификации PS в цифровых изображениях, полученных с помощью радиолокатора с SAR, области земной поверхности, каждое из которых сделано в соответствующее время. Способ содержит обработку цифровых изображений для создания цифровых обобщенных дифференциальных интерферограмм, при этом анализируют свойства пар пикселей в цифровых обобщенных дифференциальных интерферограммах для идентификации отдельных пикселей, изображающих PS. 3 н. и 11 з.п. ф-лы, 1 ил.

Изобретение относится к средствам обработки видеоизображений в виртуальной сетевой среде. Техническим результатом является обеспечение точного соответствия между реальными видеоданными пользователя и его виртуального персонажа в виртуальной сетевой среде. В способе получают видеоданные пользователя, отображают на экране клиента видеоизображение, соответствующее указанным видеоданным в виртуальной среде, в заранее заданное время сбора определяют, зафиксированы ли видеоданные пользователя, удовлетворяющие заранее заданному требованию, запрещают пользователю выполнять действие в виртуальной сетевой среде, если видеоданные пользователя, удовлетворяющие заранее заданному требованию, не зафиксированы. 4 н. и 21 з.п. ф-лы, 6 ил.

Настоящее изобретение относится к области электрофизиологии. Техническим результатом является обеспечение возможности более точно определять положение объекта, тем самым повышая качество локализации. Устройство включает блок (25) совмещения для совмещения (120) 3D отображения субъекта, которое включает множество сегментов, соответствующих множеству структурных областей субъекта, с 2D изображением (200), причем блок совмещения выполнен с возможностью определения множества зон (205, 210, 215) на изображении с тем, чтобы, по меньшей мере, одна зона из множества зон была связана с соответствующей областью из множества областей, и блок (30) локализации для локализации (125) объекта, извлекая индикацию объекта из изображения путем обработки изображения, причем обработка изображения ограничивается зоной объекта из множества зон, которая связана с заданной областью объекта. 3 н. и 9 з.п. ф-лы, 3 ил.

Изобретение относится к сегментации изображений. Техническим результатом является улучшение очерчивания контуров эндокарда и эпикарда сердца. Заявлена система (200) для очерчивания контуров эндокарда и эпикарда сердца на изображении, рассчитанном по данным изображений по длинной оси с использованием шаблона создания кривых для очерчивания эндокардиальных и эпикардиальных контуров на изображении, система (200) содержит блок (205) позиционирования шаблона для позиционирования шаблона на основе данных изображений по короткой оси, блок (210) инициализации карты рубцов для инициализации карты рубцов для использования при адаптации шаблона для изображения на основе предыдущей сегментации поверхностей эндокарда и эпикарда на основе данных изображений по короткой оси и блок (220) адаптации для адаптации шаблона для изображения с использованием функции критерия, функция критерия содержит члены, описывающие приближение шаблона к особенностям изображения, и члены, описывающие внутренние взаимодействия внутри шаблона, и в которой по меньшей мере один член функции критерия создан на основе карты рубцов. 5 н. и 7 з.п. ф-лы, 11 ил.

Изобретение относится к средствам анализа цифровых изображений. Техническим результатом является обеспечение классификации объектов по геометрическим признакам в лабиринтных структурах. В способе определяют количество объектов на изображении структуры, в качестве морфологических признаков используют коэффициенты округлости и заполнения для каждого из объектов, формируют нечеткую базу знаний для разделения объектов на круглые, эллиптические и гантелеобразные с использованием треугольной функции принадлежности, а для некруглых полосовых и ветвистых объектов - с использованием трапециевидной функции принадлежности на основе экспериментальных данных значений указанных коэффициентов округлости и заполнения, проводят распознавание доменов, формируют нечеткий классификатор разделения объектов по форме на круглые, эллиптические, гантелеобразные, полосовые и ветвистые объекты на основе соотношения коэффициента округлости и коэффициента заполнения объекта, проводят классификацию формы объектов. 1 з.п. ф-лы, 6 ил, 2 табл., 1 пр.

Изобретение относится к средствам цифровой обработки изображений. Техническим результатом является повышение точности обнаружения прямолинейных границ объектов на изображении за счет получения локальных максимумов. В способе на основе градиентного поля проводится формирование трех изображений, которые затем подвергаются преобразованию Радона и объединяются в одно изображение посредством поточечного взвешенного суммирования трех преобразований Радона от изображений.

Изобретение относится к системе и способу наблюдения за взлетно-посадочной полосой (ВПП). Техническим результатом является обеспечение обнаружения повреждений от посторонних предметов в условиях естественной освещенности как в дневное, так и в ночное время без использования дополнительного освещения, например от инфракрасных или лазерных световых приборов. Система включает одну или несколько камер, фиксирующих изображения ВПП; и систему обработки изображений для обнаружения повреждений от посторонних предметов на ВПП на основе адаптивной обработки изображений, отснятых камерами, и для использования способов улучшения качества изображений для повышения их четкости; при этом система обработки изображений сформирована таким образом, чтобы обнаружить движения в отснятых изображениях, изучить фон, используя только изображения, на которых движение отсутствует, разработать сводную карту контуров во время изучения фона; при этом сводная карта контуров фона состоит из карты контуров адаптивного фона и ранее изученной карты фона, а также дополнительной сезонной разметки, создаваемой для конкретного времени года или погодных условий; при этом система наблюдения адаптивно пригодна для обнаружения повреждений от посторонних предметов в условиях наружной освещенности как в дневное, так и в ночное время без принудительного освещения, включая инфракрасные или лазерные световые приборы. 2 н. и 28 з.п. ф-лы, 10 ил.

Изобретения относятся к средствам визуализации интересующего объекта вместе с устройством, применяемым для лечения пациента. Технический результат заключается в обеспечении возможности компенсировать движение устройства, применяемого для лечения и находящегося внутри интересующего объекта, с помощью временной интеграции. Устройство содержит блок формирования изображений, выполненный с возможностью предоставления информации об изображении интересующего объекта и устройства, находящегося внутри, блок обработки и дисплей, который выполнен с возможностью визуализации изображения, являющегося сочетанием информации об изображении устройства и улучшенной информации об изображении интересующего объекта. При этом он выполняет обнаружение и сегментацию устройства на основе информации об изображении, обеспечиваемой блоком формирования изображений; стирание информации об изображении устройства; обнаружение интересующего объекта на основе предоставленной информации об изображении; улучшение за счет временной интеграции информации об изображении интересующего объекта с повторным добавлением информации об изображении устройства. 4 н. и 7 з.п. ф-лы, 1 ил.
Наверх