Способ и устройство категоризации видео
Изобретение относится к средствам категоризации видео. Технический результат заключается в улучшении точности категоризации видео. Получают ключевой кадр, содержащий лицо на видео. Получают черты лица в ключевом кадре. Получают одно или нескользкого черт лица, соответствующих одной или нескольким категориям изображений; в соответствии с чертой лица в ключевом кадре и одной или несколькими чертами лица, соответствующими одной или нескольким категориям изображений. Определяют категорию изображений, к которой принадлежит данное видео. Присваивают видео категории изображения, к которой принадлежит видео. 3 н. и 8 з.п. ф-лы, 9 ил.
[0001] Настоящая заявка основана на и испрашивает приоритет китайской патентной заявки №201510867436.5, поданной 1 декабря 2015 года, полное содержание которой включается в настоящий документ посредством ссылки.
ОБЛАСТЬ ТЕХНИКИ
[0002] Настоящее изобретение относится к кластеризации мультимедиа, в частности, к способу и устройству категоризации видео.
УРОВЕНЬ ТЕХНИКИ
[0003] В настоящий момент пользователи могут захватывать мультимедийные данные, такие как видео и фото, при помощи устройства захвата медиа. Что касается фотографий, то на данный момент имеется технология кластеризации лиц, при помощи которой можно создать фотоальбом для всех фотографий, на которых появляется один и тот же человек. Однако сегодня не существует технологии для кластеризации лиц на видео и фотографиях, на которых появляется один и тот же человек. Пользователь должен вручную распределять видео по категориям. Такой способ является долгим и малоэффективным.
СУЩНОСТЬ
[0004] Варианты осуществления настоящего изобретения представляют следующий способ и устройство категоризации видео.
[0005] В соответствии с первым аспектом вариантов осуществления настоящего изобретения, предоставляется способ категоризации видео. Способ содержит:
получение ключевого кадра, содержащего лицо на видео;
получение черты лица в ключевом кадре;
получение одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений;
в соответствии с чертой лица в ключевом кадре и черт лица, соответствующих категориям изображений - определение категории изображений, к которой принадлежит данное видео; и
присвоение видео определенной категории изображений, к которой принадлежит данное видео.
[0006] В одном варианте осуществления получение ключевого кадра, который содержит лицо на видео, включает:
получение из видео по меньшей мере одного видеокадра, содержащего одно или несколько лиц;
определение параметра лица для каждого из по меньшей мере одного видеокадра, причем параметр лица включает величину и расположение лица по отдельности или вместе; и
определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра.
[0007] В одном варианте осуществления определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра включает:
в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра, определение одного или нескольких неповторяющихся видеокадров, каждый из которых имеет параметр лица, которая не появляется на других видеокадрах; и
определение по меньшей мере одного неповторяющегося видеокадра как ключевого кадра.
[0008] В одном варианте осуществления определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра включает:
в соответствии с параметром лица для каждого из по меньшей мере одного видео-кадра, определение по меньшей мере одной группы повторяющихся видео-кадров, имеющих тот же параметр лица, причем каждая группа повторяющихся видео-кадров включает по меньшей мере два видео-кадра, а разница между временем захвата последнего захваченного видео-кадра и самого первого захваченного видео-кадра в каждой группе повторяющихся видео-кадров меньше или равна заданному промежутку времени, и все видео-кадры в каждой группе повторяющихся видео-кадров имеют один и тот же параметр лица;
определение по меньшей мере одной группы повторяющихся видеокадров как ключевого кадра.
[0009] В одном варианте осуществления в соответствии с чертой лица в ключевом кадре и одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений, определение категории изображений, к которой принадлежит данное видео, включает:
если имеется по меньшей мере два видео - определение черты лица в ключевом кадре в каждом видео; выполнение кластеризации лица для по меньшей мере двух видео в соответствии с чертой лица в ключевом кадре в каждом видео для получения по меньшей мере одной категории лица; и в соответствии с чертой лица, соответствующей каждой из по меньшей мере одной категории, и одной или несколькими чертами лицами, соответствующими одной или нескольким категориям изображения -определение категории изображения, соответствующей той же черте лица, что и категория из по меньшей мере одной категории; и
присвоение видео определенной категории изображений, к которой принадлежит данное видео, включает:
включение каждого видео из по меньшей мере одной категории видео в категорию изображений, соответствующую той же черте лица, что и категория из по меньшей мере одной категории видео.
[0010] В одном варианте осуществления в соответствии с чертой лица в ключевом кадре и одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений, определение категории изображений, к которой принадлежит данное видео, включает:
на основании одной или нескольких категорий изображений, которые соответствуют одной или нескольким чертам лица, определение категории изображений, соответствующей черте лица в ключевом кадре; и
определение соответствующей категории изображений в качестве категории изображений, к которой принадлежит данное видео.
[0011] В одном варианте осуществления способ также содержит:
получение времени захвата и места захвата видео;
определение эталонного изображения, которое имеет такое же время и место захвата, что и видео; и
присвоение видео определенной категории, к которой принадлежит эталонное изображение.
[0012] В соответствии со вторым аспектом вариантов осуществления настоящего изобретения, предоставляется устройство категоризации видео. Устройство содержит:
первый модуль получения, настроенный на получение ключевого кадра, содержащего лицо на видео;
второй модуль получения, настроенный на получение черты лица в ключевом кадре, полученном при помощи первого модуля получения;
третий модуль получения, настроенный на получение одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений;
первый модуль определения, настроенный в соответствии с чертой лица в ключевом кадре, полученным вторым модулем получения, и одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений и полученных третьим модулем получения, на определение категории изображений, к которой принадлежит данное видео; и
первый модуль присвоения, настроенный на присвоение видео категории изображения, к которой принадлежит данное видео и которая была определена первым модулем определения.
[0013] В одном варианте осуществления первый модуль получения содержит:
субмодуль получения, настроенный на получение из видео по меньшей мере одного видеокадра, содержащего одно или несколько лиц;
первый субмодуль определения, настроенный на определение параметра лица для каждого из по меньшей мере одного видеокадра, полученного субмодулем получения, причем параметр лица включает величину и расположение лица по отдельности или вместе; и
второй субмодуль определения, настроенный на определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра.
[0014] В одном варианте осуществления второй субмодуль определения дополнительно настроен на определение, в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра, одного или нескольких неповторяющихся видеокадров, каждый из которых имеет параметр лица, не появляющийся на других видеокадрах, а также этот модуль настроен на определение по меньшей мере одного неповторяющегося видеокадра в качестве ключевого кадра.
[0015] В одном варианте осуществления второй субмодуль определения также настроен на:
в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра, определение по меньшей мере одной группы повторяющихся видеокадров, имеющих тот же параметр лица, причем каждая группа повторяющихся видеокадров включает по меньшей мере два видеокадра, а разница между временем захвата подледного захваченного видеокадра и самого первого захваченного видеокадра в каждой группе повторяющихся видеокадров меньше или равна заданному промежутку времени, и все видеокадры в каждой группе повторяющихся видеокадров имеют один и тот же параметр лица; и
определение по меньшей мере одной группы повторяющихся видеокадров как ключевого кадра.
[0016] В одном варианте осуществления первый модуль определения содержит третий субмодуль определения, настроенный на:
определение черты лица в ключевом кадре в каждом видео, когда имеется по меньшей мере два видео;
выполнение кластеризации лица для по меньшей мере двух видео в соответствии с чертой лица в ключевом кадре в каждом видео для получения по меньшей мере одной категории видео; и
в соответствии с чертой лица, соответствующей каждой черте лица из по меньшей мере одной видео категории, и с чертами лица, соответствующими категориям изображения - определение категории изображения, соответствующей той же черте лица, что и категория из по меньшей мере одной видео категории; и
первый модуль присвоения содержит первый субмодуль присвоения, настроенный на включение каждого видео из по меньшей мере одной категории видео, определенной третьим субмодулем определения, в категорию изображений, соответствующую той же черте лица, что и категория из по меньшей мере одной категории видео.
[0017] В одном варианте осуществления первый модуль определения содержит:
четвертый субмодуль определения, настроенный на определение на основании одной или нескольких категорий изображений, которые соответствуют одной или нескольким чертам лица, категории изображений, соответствующей черте лица в ключевом кадре; и
второй субмодуль присвоения, настроенный на определение соответствующей категории изображений, определенной четвертым субмодулем определения, как категории, к которой принадлежит видео.
[0018] В одном варианте осуществления устройство также содержит:
четвертый модуль получения, настроенный на получение времени захвата и места захвата видео;
второй модуль определения, настроенный на определение эталонного изображения, имеющее то же время захвата и место захвата, что и видео, полученное четвертым модулем получения; и
второй модуль присвоения, настроенный на присвоение видео категории изображения, к которой принадлежит эталонное изображение, определенное вторым модулем определения.
[0019] В соответствии с третьим аспектом вариантов осуществления настоящего изобретения, предоставляется устройство категоризации видео. Устройство содержит:
процессор; и
память для хранения инструкций, выполняемых процессором,
причем процессор настроен на:
получение ключевого кадра, содержащего лицо на видео;
получение черты лица в ключевом кадре;
получение одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений;
в соответствии с чертой лица в ключевом кадре и одной или несколькими чертами лица, соответствующими одной или нескольким категориям изображений, определение категории изображений, к которой принадлежит данное видео; и
присвоение видео определенной категории изображений, к которой принадлежит данное видео.
[0020] Технические решения, представленные в вариантах осуществления настоящего изобретения, могут помочь в достижении следующих положительных эффектов.
[0021] В вышеописанных технических решениях видео можно эффективно и автоматически классифицировать по категории изображения, соответствующие пользователю, появляющемуся на видео, что не только устраняет необходимость ручного распределения по категориям, но также улучшает точность категоризации.
[0022] Следует понимать, что вышеприведенное общее описание и приведенное ниже подробное описание даются в качестве примера и для пояснения, и они никоим образом не ограничивают изобретение.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0023] Сопроводительные чертежи, включенные в настоящий документ и являющиеся его частью, иллюстрируют примеры вариантов осуществления в соответствии с изобретением и вместе с описанием служат для пояснения принципов изобретения.
[0024] Фиг. 1 представляет собой схему, демонстрирующую способ категоризации видео в соответствии с примером осуществления настоящего изобретения;
[0025] Фиг. 2 представляет собой схему, демонстрирующую другой способ категоризации видео в соответствии с примером осуществления настоящего изобретения;
[0026] Фиг. 3 представляет собой схему, демонстрирующую еще один способ категоризации видео в соответствии с примером осуществления настоящего изобретения;
[0027] Фиг. 4 представляет собой блок-схему, демонстрирующую устройство категоризации видео в соответствии с примером осуществления настоящего изобретения;
[0028] Фиг. 5 представляет собой блок-схему, демонстрирующую другое устройство категоризации видео в соответствии с примером осуществления настоящего изобретения;
[0029] Фиг. 6 представляет собой блок-схему, демонстрирующую еще одно устройство категоризации видео в соответствии с примером осуществления настоящего изобретения;
[0030] Фиг. 7 представляет собой блок-схему, демонстрирующую еще одно другое устройство категоризации видео в соответствии с примером осуществления настоящего изобретения;
[0031] Фиг. 8 представляет собой блок-схему, демонстрирующую еще одно дополнительное устройство категоризации видео в соответствии с примером осуществления настоящего изобретения;
[0032] Фиг. 9 представляет собой блок-схему, демонстрирующую устройство категоризации видео в соответствии с примером осуществления настоящего изобретения;
ПОДРОБНОЕ ОПИСАНИЕ
[0033] Ниже приводится подобное описание вариантов осуществления, чьи примеры изображены на сопроводительных чертежах. Следующее описание относится к сопроводительным чертежам, в которой те же номера на разных чертежах представляют те же или аналогичные элементы, если не указано иное. Варианты осуществления, приведенные ниже в описании примеров вариантов осуществления, не представляют все варианты осуществления, соответствующие изобретению. Они являются всего лишь примерами устройств и способов, соответствующих аспектам, связанным с раскрытием, как указано в прилагаемой формуле.
[0034] Варианты осуществления настоящего изобретения представляют способ и технологию категоризации видео. При помощи этой технологии видео можно эффективно и автоматически классифицировать по категории изображения, соответствующей пользователю, появляющемуся на видео, что не только устраняет необходимость ручной категоризации, но также улучшает точность категоризации.
[0035] Перед описанием способа в соответствии с вариантами осуществления настоящего изобретения, здесь описываются категории изображений и способ их создания. Одна категория изображения соответствует одному лицу. Изображения в каждой категории изображений содержат одно и то же лицо. Другими словами, одна категория изображения соответствует одному лицу. Поэтому каждая категория изображений содержит группу изображений, имеющих одну и ту же черту лица. В вариантах осуществления настоящего изобретения может использоваться следующий способ кластеризации лиц для создания категорий изображений. Однако настоящее изобретение не ограничивается этим способом.
[0036] Обычно в способе кластеризации лиц во время первой операции кластеризации используется кластеризация полной величины, а для последующих операций кластеризации используется пошаговая кластеризация. Способ кластеризации лица может содержать следующие этапы от А1 до А5.
[0037] На этапе А1 получаются черты лица, включенные в N изображений, причем N больше или равно 2. В начале кластеризации каждое лицо берется в качестве категории. Таким образом, изначально имеется N категорий.
[0038] На этапе А2 вычисляются расстояния между каждыми двумя категориями среди N категорий. Расстояние между двумя категориями - это расстояние между лицами, принадлежащими категориям, соответственно.
[0039] На этапе A3 устанавливается порог расстояния 9; если расстояние между двумя категориями составляет менее 0, то считается, что две категории соответствуют одному и тому же лицу; и две категории объединяются в одну новую категорию в данной итерации.
[0040] На этапе А4 этап A3 многократно повторяется для выполнения цикличного процесса, которой завершается, когда в ходе итерации не создаются новые категории.
[0041] На этапе 5 создается общее количество категорий М, причем каждая категория содержит по меньшей мере одно лицо, и одна категория представляет одного человека.
[0042] Фиг. 1 представляет собой схему, демонстрирующую способ категоризации видео в соответствии с примером осуществления настоящего изобретения. Способ можно осуществить при помощи программного приложения для управления мультимедийными файлами. В данном случае видео, категории изображений и изображения принадлежат к категории изображений, для которой применяется способ, и относятся к видео, категориям изображений и изображениям в категории изображений, которые хранятся на устройстве, на котором установлено программное приложение. Кроме того, способ также можно осуществить при помощи электронного устройства, на котором хранятся файлы мультимедиа. В данном случае видео, категории изображений и изображения в категории изображений, для которой применяется способ, относятся к видео, категориям изображений и изображениям в категории изображений, которые хранятся на электронном устройстве. Программное приложение или электронное устройство может автоматически запускать способ на периодической основе, при получении инструкции от пользователя, либо автоматически, когда программа обнаруживает, что создано по меньшей мере одно новое видео. Может быть несколько вариантов для выбора времени запуска способа, включая, помимо прочего, описанные выше. При этом конечная цель заключается в категоризации видео и экономии трудовых ресурсов при использовании этого способа. Как показан на Фиг. 1, способ содержит этапы c S101 по S105.
[0043] На этапе S101 получают ключевой кадр, содержащей лицо на видео.
[0044] В одном варианте осуществления из видео можно выбрать один или несколько видеокадров, содержащих лицо, в качестве ключевых кадров. В качестве альтернативы, ключевой кадр можно получить, как изображено на Фиг. 2. Как показано на Фиг. 2, этап S101 можно выполнить как следующие этапы S201-S203.
[0045] На этапе S201 из видео получают по меньшей мере один видеокадр, содержащих одно или несколько лиц.
[0046] На этапе S202 определяется параметр лица для каждого из по меньшей мере одного видеокадра, причем параметр лица включает величину и расположение лица по отдельности или вместе.
[0047] На этапе S203 определяется ключевой кадр на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра.
[0048] Этап S203 можно выполнить при помощи одного из двух указанных ниже способов.
[0049] Способ 1: определение, в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра, одного или нескольких неповторяющихся видеокадров, каждый из которых имеет параметр лица, не появляющийся на других видеокадрах, а также этот модуль настроен на определение по меньшей мере одного неповторяющегося видеокадра в качестве ключевого кадра.
[0050] Если быть точнее, то неповторяющийся видеокадр - это видеокадр, имеющий параметр лица, отличный от параметра на любом другом видеокадре, а именно такой кадр, который содержит лицо, отсутствующее на других видеокадрах. Поэтому в качестве ключевых кадров можно выбрать один или несколько неповторяющихся видеокадров.
[0051] Способ 2: в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра, определение по меньшей мере одной группы повторяющихся видеокадров, имеющих тот же параметр лица, причем каждая группа повторяющихся видеокадров включает по меньшей мере два видеокадра, а разница между временем захвата подледного захваченного видеокадра и самого первого захваченного видеокадра в каждой группе повторяющихся видеокадров меньше или равна заданному промежутку времени, и все видеокадры в каждой группе повторяющихся видеокадров имеют один и тот же параметр лица; и определение любого кадра из каждой группы повторяющихся видеокадров в качестве ключевого кадра.
[0052] Предустановленную длительность можно настроить заранее. Так как одно и то же изображения на видео обычно не присутствует в течение длительного времени, предустановленную длительность не должна быть слишком большой. С учетом того, видео отображается с частотой 24 кадра в секунду, предустановленную длительность можно контролировать в рамках N/24 секунд, причем N больше или равно 1 и меньше или равно 24 (или 36, или иному значению, которое может быть задано при необходимости). Чем короче предустановленная длительность, тем более точным является выбранный ключевой кадр. Таким образом, видеокадры в каждой группе повторяющихся видеокадров содержат те же лица, т.е., одно и то же лицо появляется на множестве видеокадров. Поэтому любой видеокадр в каждой группе повторяющихся видеокадров можно выбрать в качестве ключевого кадра, что устраняет повторяемость и улучшает эффективность выбора ключевого кадра.
[0053] Способы 1 и 2 могут применяться по отдельности или в комбинации.
[0054] На этапе S102 получают черты лица в ключевом кадре.
[0055] На этапе S103 получают одну или несколько черт лица, соответствующих одной или нескольким категориям изображений.
[0056] На этапе S104 определяется категория изображений, к которой принадлежит видео, в соответствии с чертой лица в ключевом кадре и одной или несколькими чертами лицам, соответствующими одной или нескольким категориям изображений.
[0057] На этапе S105 видео присваивается определенной категории изображений, к которой принадлежит данное видео.
[0100] При помощи способа, указанного в вариантах осуществления настоящего изобретения, видео можно эффективно и автоматически классифицировать по категории изображений в соответствии с пользователем, появляющимся на видео, что устраняет необходимость ручного распределения по категориям. Кроме того, так как распределение по категориям производится на основании черты лица, улучшается точность этого процесса.
[0101] В одном варианте осуществления этап S104 можно выполнить как этапы В1-В3. На этапе В1 на основании одной или нескольких категорий изображений, которые соответствуют одной или нескольким чертам лица, определяются категории изображений, соответствующие черте лица в ключевом кадре. К примеру, можно выполнить этапы А1-А5, описанные выше. При помощи кластеризации лиц определяется категория изображений, к которой принадлежит ключевой кадр, в соответствии с чертой лица в ключевом кадре. Категория изображения, к которой принадлежит ключевой кадр - это категория, соответствующая черте лица в ключевом кадре. На этапе В2 определяется соответствующая категория изображений в качестве категории изображений, к которой принадлежит данное видео.
[0102] В другом варианте осуществления этап S104 можно выполнить как этапы С1-С3.
[0103] На этапе С1 определяются черты лица в ключевом кадре в каждом видео, когда имеется по меньшей мере два видео; на этапе С2 выполняется кластеризации лиц для по меньшей мере двух видео в соответствии с чертой лица в ключевом кадре в каждом видео для получения по меньшей мере одной категории видео. Если быть точнее, то по меньшей мере одну категорию можно получить путем кластеризации лиц для каждого ключевого кадра в соответствии со способом кластеризации лица, содержащего этапы А1-А5, указанные выше. Здесь категория - это категория видео, и поэтому каждая категория видео соответствует черте лица; категория видео, к которой принадлежит ключевой кадр видео - это категория, к которой принадлежит видео. На этапе С3 в соответствии с чертой лица, соответствующей каждой черте лица из по меньшей мере одной видео категории, и с чертами лица, соответствующими категориям изображения, определяется категория изображения, соответствующая той же черте лица, что и категория из по меньшей мере одной видео категории. Соответствующим образом, этап S105 можно использовать для включения каждого видео из по меньшей мере одной категории видео в категорию изображений, соответствующую той же черте лица, что и категория из по меньшей мере одной категории видео. В соответствии с данным вариантом осуществления распределение видео по категориям осуществляется при помощи кластеризации лиц для видео для получения категорий видео, кластеризации лиц для категорий видео и категорий изображений для определения категории изображений для каждой категорий видео, которая соответствует тем же чертам лица, что и категория видео, и при помощи присвоения каждому видео в категории видео категории изображения, которая соответствует тому же лицу, что и категория видео.
[0104] В одном варианте осуществления вышеописанный способ может заключаться в распределении видео по категориям следующим образом, когда кластеризация лиц не осуществляется. Вместо этого считается, что если видео и изображение имеют одинаковое время захвата и место захвата, то на видео и изображении появляется один и тот же человек, и их можно классифицировать по одной категории. Таким образом, распределение по категориям можно выполнить быстро и с определенной точностью. Как показан на Фиг. 3, вышеуказанный способ содержит этапы с S301 по S303. На этапе S301 получают время захвата и место захвата видео. На этапе S302 определяют эталонное изображение, которое имеет такое же время и место захвата, что и видео. На этапе S303 видео присваивается определенной категории изображений, к которой принадлежит эталонное изображение.
[0105] Второй аспект вариантов осуществления настоящего изобретения представляет устройство категоризации видео. Устройство может использоваться при помощи программного приложения для управления мультимедийными файлами. В данном случае видео, категории изображений и изображения, для которых применяется устройство, относятся к видео, категориям изображений и изображениям в категории изображений, которые хранятся на устройстве, на котором установлено программное приложение. Кроме того, устройство также можно использовать при помощи электронного устройства, на котором хранятся файлы мультимедиа. В данном случае видео, категории изображений и изображения в категории изображений, для которой применяется устройство, относятся к видео, категориям изображений и изображениям в категории изображений, которые хранятся на электронном устройстве. Программное приложение или электронное устройство может автоматически запускать устройство на периодической основе, при получении инструкции от пользователя, либо автоматически, когда программа обнаруживает, что создано по меньшей мере одно новое видео. Может быть несколько вариантов для выбора времени запуска устройства, включая, помимо прочего, описанные выше. При этом конечная цель заключается в категоризации видео и экономии трудовых ресурсов при использовании этого способа. Как показано на Фиг. 4, устройство содержит:
первый модуль 41 получения, настроенный на получение ключевого кадра, содержащего лицо на видео;
второй модуль 42 получения, настроенный на получение черты лица в ключевом кадре, полученном при помощи первого модуля получения;
третий модуль 43 получения, настроенный на получение одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений;
первый модуль 44 определения, настроенный, в соответствии с чертой лица в ключевом кадре, полученным вторым модулем 42 получения, и одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений и полученных третьим модулем 43 получения, на определение категории изображений, к которой принадлежит данное видео; и
первый модуль 45 присвоения, настроенный на присвоение видео категории изображения, к которой принадлежит данное видео и которая была определена первым модулем 41 определения.
[0106] При помощи устройства, указанного в вариантах осуществления настоящего изобретения, видео можно эффективно и автоматически классифицировать по категории изображений в соответствии с пользователем, появляющимся на видео, что устраняет необходимость ручного распределения по категориям. Кроме того, так как распределение по категориям производится на основании черты лица, улучшается точность этого процесса.
[0107] В варианте осуществления, указанном на Фиг. 5, первый модуль 41 получения содержит:
субмодуль 51 получения, настроенный на получение из видео по меньшей мере одного видеокадра, содержащего одно или несколько лиц;
первый субмодуль 52 определения, настроенный на определение параметра лица для каждого из по меньшей мере одного видеокадра, полученного субмодулем получения, причем параметр лица включает величину и расположение лица по отдельности или вместе; и
второй субмодуль 53 определения, настроенный на определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра.
[0108] В одном варианте осуществления второй субмодуль 53 определения дополнительно настроен на определение, в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра, одного или нескольких неповторяющихся видеокадров, каждый из которых имеет параметр лица, не появляющийся на других видеокадрах, а также этот модуль настроен на определение по меньшей мере одного неповторяющегося видеокадра в качестве ключевого кадра. Если быть точнее, то неповторяющийся видеокадр - это видеокадр, имеющий параметр лица, отличный от параметра на любом другом видеокадре, а именно такой кадр, который содержит лицо, отсутствующее на других видеокадрах. Поэтому в качестве ключевых кадров можно выбрать один или несколько неповторяющихся видеокадров.
[0109] В одном варианте осуществления второй субмодуль 53 определения также настроен на:
в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра, определение по меньшей мере одной группы повторяющихся видеокадров, имеющих тот же параметр лица, причем каждая группа повторяющихся видеокадров включает по меньшей мере два видеокадра, а разница между временем захвата подледного захваченного видеокадра и самого первого захваченного видеокадра в каждой группе повторяющихся видеокадров меньше или равна заданному промежутку времени, и все видеокадры в каждой группе повторяющихся видеокадров имеют один и тот же параметр лица; и
определение по меньшей мере одной группы повторяющихся видеокадров как ключевого кадра.
[0110] Предустановленную длительность можно настроить заранее. Так как одно и то же изображения на видео обычно не присутствует в течение длительного времени, предустановленная длительность не должна быть слишком большой. С учетом того, что видео отображается с частотой 24 кадра в секунду, предустановленную длительность можно контролировать в рамках N/24 секунд, причем N больше или равно 1 и меньше или равно 24 (или 36, или иному значению, которое может быть задано при необходимости). Чем короче предустановленная длительность, тем более точным является выбранный ключевой кадр. Таким образом, видеокадры в каждой группе повторяющихся видеокадров содержат те же лица, т.е., одно и то же лицо появляется на множестве видеокадров. Поэтому любой видеокадр в каждой группе повторяющихся видеокадров можно выбрать в качестве ключевого кадра, что устраняет повторяемость и улучшает эффективность выбора ключевого кадра.
[0111] В варианте осуществления, указанном на Фиг. 6, первый модуль 44 получения содержит третий субмодуль определения 61.
[0112] Третий субмодуль 61 определения настроен на: определение черты лица в ключевом кадре в каждом видео, если имеется по меньшей мере два видео; выполнение кластеризации лиц, по меньшей мере, для двух лиц в соответствии с чертой лица в ключевом кадре в каждом видео для получения по меньшей мере одной категории видео, причем одна категория видео соответствует одному лицу. Если быть точнее, то по меньшей мере одну категорию можно получить путем кластеризации лиц для каждого ключевого кадра в соответствии со способом кластеризации лица, содержащего этапы А1-А5. Здесь категория - это категория видео, и поэтому каждая категория видео соответствует черте лица; категория видео, к которой принадлежит ключевой кадр видео - это категория, к которой принадлежит видео. Третий субмодуль 61 определения настроен на определение категории изображения, соответствующей той же черте лица, что и категория из по меньшей мере одной категории видео, в соответствии с чертой лица, соответствующей каждой черте лица из по меньшей мере одной категории видео, и с чертами лица, соответствующими категориям изображения.
[0113] Первый модуль 45 присвоения содержит:
первый субмодуль 62 присвоения, настроенный на включение каждого видео из по меньшей мере одной категории видео, определенной третьим субмодулем определения 61, в категорию изображений, соответствующую той же черте лица, что и категория из по меньшей мере одной категории видео.
[0114] Данное устройство осуществялет распределение видео по категориям осуществляется при помощи кластеризации лиц для видео для получения категорий видео, кластеризации лиц для категорий видео и категорий изображений для определения категории изображений для каждой категории видео, которая соответствует тем же чертам лица, что и категория видео, и при помощи присвоения каждому видео в категории видео категории изображения, которая соответствует тому же лицу, что и категория видео.
[0115] В варианте осуществления, указанном на Фиг. 7, первый модуль определения 44 содержит:
четвертый субмодуль 77 определения, настроенный на определение на основании одной или нескольких категорий изображений, которые соответствуют одной или нескольким чертам лица, категории изображений, соответствующей черте лица в ключевом кадре; и
второй субмодуль 72 присвоения, настроенный на определение соответствующей категории изображений, определенной четвертым субмодулем 71 определения, как категории, к которой принадлежит видео.
[0116] В варианте осуществления, указанном на Фиг. 8, дополнительное устройство содержит:
четвертый модуль 81 получения, настроенный на получение времени захвата и места захвата видео;
второй модуль 82 определения, настроенный на определение эталонного изображения, имеющее то же время захвата и место захвата, что и видео, полученное четвертым модулем 81 получения; и
второй модуль 83 присвоения, настроенный на присвоение видео категории изображения, к которой принадлежит эталонное изображение, определенное вторым модулем определения.
[0117] Для данного устройства не требуется кластеризация лиц, однако считается, что если видео и изображение имеют одинаковое время захвата и место захвата, то на видео и изображении появляется один и тот же человек, и их можно классифицировать по одной категории. Таким образом, распределение по категориям можно выполнить быстро и с определенной точностью.
[0118] В соответствии с третьим аспектом вариантов осуществления настоящего изобретения, предоставляется устройство категоризации видео. Устройство содержит:
процессор; и
память для хранения инструкций, выполняемых процессором,
причем процессор настроен на:
получение ключевого кадра, содержащего лицо на видео;
получение черты лица в ключевом кадре;
получение одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений;
в соответствии с чертой лица в ключевом кадре и одной или несколькими чертами лица, соответствующими одной или нескольким категориям изображений, определение категории изображений, к которой принадлежит данное видео; и
присвоение видео определенной категории изображений, к которой принадлежит данное видео.
[0119] Фиг. 9 представляет собой блок-схему, демонстрирующую устройство 800 для категоризации видео в соответствии с примером осуществления настоящего изобретения. К примеру, устройство 800 может быть мобильным телефоном, компьютером, цифровым трансляционным терминалом, устройством для передачи сообщений, игровой консолью, планшетом, медицинским прибором, тренировочным оборудованием, личным цифровым ассистентом и тому подобное.
[0120] Что касается Фиг. 9, то устройство 800 может включать один или несколько из следующих компонентов: компонент 802 обработки, память 804, компонент 806 питания, компонент 808 мультимедиа, компонент 810 звука, интерфейс 812 ввода/вывода, датчик 814 и компонент 816 для связи.
[0121] Компонент 802 обработки обычно контролирует все операции устройства 800, к примеру, операции, связанные с изображением, телефонными вызовами, передачей данных, работой камеры и записью данных. Компонент 802 обработки может включать один или несколько процессоров 820 для выполнения всех или некоторых этапов описанных выше способов. Кроме того, компонент 802 обработки может включать один или несколько модулей, которые упрощают взаимодействие между компонентом 802 обработки и другими компонентами. К примеру, компонент 802 обработки может включать модуль мультимедиа для упрощения взаимодействия между компонентом 808 мультимедиа и компонентом 802 обработки.
[0122] Память 804 предназначена для хранения различных типов данных для поддержки работы устройства 800. Примеры таких данных включают инструкции для любого вида применения или способа, используемого устройством 800, контактные данные, данные телефонной книги, сообщения, изображения, видео и тому подобное. Память 804 может быть реализована в виде устройств энергозависимой или энергонезависимой памяти любого типа или их комбинаций, к примеру, статическая оперативная память (SRAM), электрически стираемая программируемая постоянная память (EEPROM), стираемая программируемая постоянная память (EPROM), программируемая постоянная память (PROM), постоянная память (ROM), магнитная память, флэш-память, магнитный или оптический диск.
[0123] Компонент 806 питания предоставляет питание для различных компонентов устройства 800. Компонент 806 питания включает систему управления питанием, один или несколько источников питания и другие компоненты, связанные с генерацией, управлением и распределением питания в устройстве 800.
[0124] Компонент 808 мультимедиа включает экран, представляющий собой интерфейс между устройством 800 и пользователем. В некоторых вариантах осуществления экран может включать жидкокристаллический дисплей и сенсорную панель. Если экран имеет сенсорную панель, то он может использоваться как сенсорная панель для приема входных сигналов от пользователя. Сенсорная панель включает один или несколько сенсорных датчиков для обнаружения касаний, проведения по панели и жестов на сенсорной панели. Сенсорные датчики могут не только обнаруживать сам факт касания или проведения по панели, но также время и давление такого касания или проведения. В некоторых вариантах осуществления компонент 808 мультимедиа включает фронтальную камеру и/или заднюю камеру. Фронтальная камера и/или задняя камера может получать внешние мультимедиа данные, когда устройство 800 находится в режиме работы, к примеру, в режиме фотографирования или съемки видео. Каждая фронтальная камера и задняя камера может представлять собой систему фиксированных оптических линз, а также иметь возможность фокусировки или оптического приближения.
[0125] Компонент 810 звука предназначен для вывода и/или ввода звуковых сигналов. К примеру, компонент 810 звука включает микрофон (MIC), настроенный на получение внешнего звукового сигнала, когда устройство 800 находится в режиме работы, к примеру, в режиме вызова, записи или распознавания голоса. Полученный звуковой сигнал можно сохранить в памяти 804 или передать при помощи компонента 816 связи. В некоторых вариантах осуществления компонент 810 звука также включает динамик для вывода звуковых сигналов.
[0126] Интерфейс 812 ввода/вывода представляет собой интерфейс между компонентом 802 обработки и модулем периферийного интерфейса, к примеру, клавиатурой, мышью, кнопкой и тому подобное. Кнопки могут включать, помимо прочего, кнопку возврата на главный экран, кнопку громкости, кнопку пуска и кнопку блокировки.
[0127] Датчик 814 включает один или несколько датчиков для оценки различных аспектов работы устройства 800. К примеру, датчик 814 может обнаружить статус включения/отключения устройства 800, относительное положение компонентов, к примеру, дисплея и клавиатуры, устройства 800; также датчик 814 может обнаруживать изменение положения устройства 800 или его компонента, наличие или отсутствие контакта пользователя с устройством 800, ориентацию или ускорение/замедление устройства 800 и изменение температуры устройства 800. Датчик 814 может включать датчик приближения, предназначенный для обнаружения предметов, находящихся рядом, без физического контакта. Датчик 814 также может включать датчик света, к примеру, датчик изображений CMOS или CCD для использования с изображениями. В некоторых вариантах осуществления датчик 814 может также включать измеритель ускорения, гироскоп, магнитный датчик, датчик давления или температуры.
[0128] Компонент 816 связи предназначен для обеспечения связи (проводной или беспроводной) между устройством 800 и другими устройствами. Устройство 800 может получить доступ к беспроводной сети на основании такого стандарта связи, как WiFi, 2G или 3G, или их комбинации. В одном примере осуществления компонент 816 связи принимает трансляционный сигнал или соответствующую информацию от внешней системы управления трансляциями через широкополосный канал. В одном примере осуществления компонент 816 связи также включать модуль ближней бесконтактной связи (NFC) для связи на коротком расстоянии. К примеру, модуль NFC может быть реализован на основе технологии радиочастотной идентификации (RFID), ассоциации передачи данных в инфракрасном диапазоне (IrDA), сверхширокой полосы пропускания (UWB) и других технологий.
[0129] В примерах осуществления устройство 800 может иметь одну или несколько интегральных схем прикладной ориентации (ASIC), процессоров цифровых сигналов (DSP), устройств обработки цифровых сигналов (DSPD), программируемых логических устройств (PLD), перепрограммируемых пользователем компонентов массива (FPGA), контроллеров, микроконтроллеров, микропроцессоров или других электронных компонентов для выполнения описанных выше способов.
[0130] В примерах осуществления также имеется непереходный машиночитаемый носитель данных, содержащий инструкции, к примеру, включенные в память 804, исполняемые процессором 820 в устройстве 800 для выполнения описанных выше способов. К примеру, непереходным машиночитаемым носителем данных может быть ROM, оперативное запоминающее устройство (RAM), постоянная память на компакт-диске (CD-ROM), магнитная пленка, флоппи-диск, оптическое устройство хранения данных и тому подобное.
[0131] Предусматривается непереходный машиночитаемый носитель данных. Во время выполнения процессором мобильного терминала инструкций, хранящихся на носителе данных, этот терминал осуществляет способ категоризации видео, который содержит:
получение ключевого кадра, содержащего лицо на видео;
получение черты лица в ключевом кадре;
получение одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений;
в соответствии с чертой лица в ключевом кадре и одной или несколькими чертами лица, соответствующими одной или нескольким категориям изображений, определение категории изображений, к которой принадлежит данное видео; и
присвоение видео определенной категории изображений, к которой принадлежит данное видео.
[0132] Другие варианты осуществления настоящего изобретения будут очевидны для специалистов в данной области техники после изучения спецификации и практического применения вариантов осуществления, раскрываемых в настоящей заявке. Настоящая заявка описывает все вариации, виды применения или адаптации настоящего изобретения в соответствии с их общими принципами, включая такие отклонения от настоящего изобретения, которые могут возникнуть при применении общедоступных знаний или стандартных технических средств, имеющихся при современном уровне технике. Подразумевается, что спецификация и варианты осуществления считаются примерными, и действительный объем и характер настоящего изобретения указывается в прилагаемой формулы.
[0133] Подразумевается, что настоящее изобретение не ограничено точной конструкцией, описанной выше и продемонстрированной на сопроводительных чертежах, и что можно сделать различные изменения без отклонения от объема изобретения. Объем настоящего изобретения указан только в прилагаемой формуле.
1. Способ категоризации видео, включающий:
получение ключевого кадра, содержащего лицо на видео;
получение черты лица в ключевом кадре;
получение одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений;
в соответствии с чертой лица в ключевом кадре и одной или несколькими чертами лица, соответствующими одной или нескольким категориям изображений, определение категории изображений, к которой принадлежит данное видео; и
присвоение видео определенной категории изображений, к которой принадлежит данное видео, отличающийся тем, что получение ключевого кадра, содержащего лицо на видео, содержит:
получение из видео по меньшей мере одного видеокадра, содержащего одно или несколько лиц;
определение параметра лица для каждого из по меньшей мере одного видеокадра, причем параметр лица включает величину и расположение лица по отдельности или вместе; и
определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра,
причем определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра содержит:
в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра определение одного или нескольких неповторяющихся видеокадров, каждый из которых имеет параметр лица, который не появляется на других видеокадрах; и
определение по меньшей мере одного неповторяющегося видеокадра как ключевого кадра.
2. Способ по п. 1, отличающийся тем, что определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра содержит:
в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра определение по меньшей мере одной группы повторяющихся видеокадров, имеющих тот же параметр лица, причем каждая группа повторяющихся видеокадров включает по меньшей мере два видеокадра, а разница между временем захвата подледного захваченного видеокадра и самого первого захваченного видеокадра в каждой группе повторяющихся видеокадров меньше или равна заданному промежутку времени, и все видеокадры в каждой группу повторяющихся видеокадров имеют один и тот же параметр лица;
определение по меньшей мере одной группы повторяющихся видеокадров как ключевого кадра.
3. Способ по п. 1, отличающийся тем, что
в соответствии с чертой лица в ключевом кадре и одной или несколькими чертами лица, соответствующими одной или нескольким категориям изображений, определение категории изображений, к которой принадлежит данное видео, содержит:
определение черты лица в ключевом кадре в каждом видео, когда имеется по меньшей мере два видео;
выполнение кластеризации лица для по меньшей мере двух видео в соответствии с чертой лица в ключевом кадре в каждом видео для получения по меньшей мере одной категории видео; и
в соответствии с чертой лица, соответствующей каждой черте лица из по меньшей мере одной категории видео, и с чертами лица, соответствующими категориям изображения - определение категории изображения, соответствующей той же черте лица, что и категория из по меньшей мере одной категории видео.
присвоение видео определенной категории изображений, к которой принадлежит данное видео, включает:
включение каждого видео из по меньшей мере одной категории видео в категорию изображений, соответствующую той же черте лица, что и категория из по меньшей мере одной категории видео.
4. Способ по п. 1, отличающийся тем, что в соответствии с чертой лица в ключевом кадре и одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений, определение категории изображений, к которой принадлежит данное видео, содержит:
на основании одной или нескольких категорий изображений, которые соответствуют одной или нескольким чертам лица, определение категории изображений, соответствующей черте лица в ключевом кадре; и
определение соответствующей категории изображений в качестве категории изображений, к которой принадлежит данное видео.
5. Способ по п. 1, отличающийся тем, что способ также содержит:
получение времени захвата и места захвата видео;
определение эталонного изображения, которое имеет такое же время и место захвата, что и видео; и
присвоение видео определенной категории, к которой принадлежит эталонное изображение.
6. Устройство категоризации видео, отличающееся тем, что оно содержит:
первый модуль получения, настроенный на получение ключевого кадра, содержащего лицо на видео;
второй модуль получения, настроенный на получение черты лица в ключевом кадре, полученном при помощи первого модуля получения;
третий модуль получения, настроенный на получение одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений;
первый модуль определения, настроенный в соответствии с чертой лица в ключевом кадре, полученным вторым модулем получения, и одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений и полученных третьим модулем получения, на определение категории изображений, к которой принадлежит данное видео; и
первый модуль присвоения, настроенный на присвоение видео категории изображения, к которой принадлежит данное видео и которая была определена первым модулем определения,
причем
первый модуль получения содержит:
субмодуль получения, настроенный на получение из видео по меньшей мере одного видеокадра, содержащего одно или несколько лиц;
первый субмодуль определения, настроенный на определение параметра лица для каждого из по меньшей мере одного видеокадра, полученного субмодулем получения, причем параметр лица включает величину и расположение лица по отдельности или вместе; и
второй субмодуль определения, настроенный на определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра,
и
второй субмодуль определения дополнительно настроен на определение, в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра, одного или нескольких неповторяющихся видеокадров, каждый из которых имеет параметр лица, не появляющийся на других видеокадрах, а также этот модуль настроен на определение по меньшей мере одного неповторяющегося видеокадра в качестве ключевого кадра.
7. Устройство по п. 6, отличающееся тем, что второй субмодуль определения дополнительно настроен на:
в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра определение по меньшей мере одной группы повторяющихся видеокадров, имеющих тот же параметр лица, причем каждая группа повторяющихся видеокадров включает по меньшей мере два видеокадра, а разница между временем захвата подледного захваченного видеокадра и самого первого захваченного видеокадра в каждой группе повторяющихся видеокадров меньше или равна заданному промежутку времени, и все видеокадры в каждой группе повторяющихся видеокадров имеют один и тот же параметр лица; и
определение по меньшей мере одной группы повторяющихся видеокадров как ключевого кадра.
8. Устройство по п. 6, отличающееся тем, что
первый модуль определения содержит третий субмодуль определения, настроенный на:
определение черты лица в ключевом кадре в каждом видео, когда имеется по меньшей мере два видео;
выполнение кластеризации лица для по меньшей мере двух видео в соответствии с чертой лица в ключевом кадре в каждом видео для получения по меньшей мере одной категории видео; и
в соответствии с чертой лица, соответствующей каждой черте лица из по меньшей мере одной категории видео, и с чертами лица, соответствующими категориям изображения, - определение категории изображения, соответствующей той же черте лица, что и категория из по меньшей мере одной категории видео; и
первый модуль присвоения содержит первый субмодуль присвоения, настроенный на включение каждого видео из по меньшей мере одной категории видео, определенной третьим субмодулем определения, в категорию изображений, соответствующую той же черте лица, что и категория из по меньшей мере одной категории видео.
9. Устройство по п. 6, отличающееся тем, что первый модуль получения содержит:
четвертый субмодуль определения, настроенный на определение на основании одной или нескольких категорий изображений, которые соответствуют одной или нескольким чертам лица, категории изображений, соответствующей черте лица в ключевом кадре; и
второй субмодуль присвоения, настроенный на определение соответствующей категории изображений, определенной четвертым субмодулем определения, как категории, к которой принадлежит видео.
10. Устройство по п. 6, отличающееся тем, что устройство также содержит:
четвертый модуль получения, настроенный на получение времени захвата и места захвата видео;
второй модуль определения, настроенный на определение эталонного изображения, имеющее то же время захвата и место захвата, что и видео, полученное четвертым модулем получения; и
второй модуль присвоения, настроенный на присвоение видео категории изображения, к которой принадлежит эталонное изображение, определенное вторым модулем определения.
11. Устройство категоризации видео, отличающееся тем, что оно содержит:
процессор; и
память для хранения инструкций, выполняемых процессором,
причем процессор настроен на:
получение ключевого кадра, содержащего лицо на видео;
получение черты лица в ключевом кадре;
получение одной или нескольких черт лица, соответствующих одной или нескольким категориям изображений;
в соответствии с чертой лица в ключевом кадре и одной или несколькими чертами лица, соответствующими одной или нескольким категориям изображений, определение категории изображений, к которой принадлежит данное видео; и
присвоение видео определенной категории изображений, к которой принадлежит данное видео,
причем получение ключевого кадра, содержащего лицо на видео, содержит:
получение из видео по меньшей мере одного видеокадра, содержащего одно или несколько лиц;
определение параметра лица для каждого из по меньшей мере одного видеокадра, причем параметр лица включает величину и расположение лица по отдельности или вместе; и
определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра,
причем определение ключевого кадра на видео в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра содержит:
в соответствии с параметром лица для каждого из по меньшей мере одного видеокадра, определение одного или нескольких неповторяющихся видеокадров, каждый из которых имеет параметр лица, который не появляется на других видеокадрах; и
определение по меньшей мере одного неповторяющегося видеокадра как ключевого кадра.
видеокадров меньше или равна заданному промежутку времени, и все видеокадры в каждой группу повторяющихся видеокадров имеют один и тот же параметр лица;
определение по меньшей мере одной группы повторяющихся видеокадров как ключевого кадра.
