Основанный на правилах анализ важности видео - заявка 2016148407 на патент на изобретение в РФ

1. Один или более машиночитаемых носителей, хранящих машиноисполняемые команды, которые исполняются для предписания одному или более процессорам выполнять действия, содержащие этапы, на которых:
декодируют (402) видеофайл для получения по меньшей мере видеокадра или видеокадра и звуковых данных, связанных с видеокадром;
анализируют (404) одну или более высокоуровневых особенностей по меньшей мере видеокадра или видеокадра и звуковых данных, связанных с видеокадром, на основе по меньшей мере одного из локального правила и глобального правила для получения одной или более оценок особенностей для видеокадра, причем эти одна или более высокоуровневых особенностей включают в себя по меньшей мере одну особенность, которая связана с перемещением или расположением человеческого лица на видеокадре;
объединяют (412) упомянутые одну или более оценок особенностей видеокадра для получения оценки важности кадра для видеокадра;
сегментируют (416) видеофайл на видеофрагменты с разными значениями важности фрагмента, основываясь, по меньшей мере, на оценках важности кадра, соответствующих видеокадру, и других оценках важности кадра, соответствующих дополнительным видеокадрам видеофайла;
ранжируют (420) видеофрагменты согласно значениям важности фрагментов; и
когда попытка ранжирования заканчивается неудачно из-за недостаточного наличия высокоуровневых особенностей в видеокадре, получают оценки особенностей как для высокоуровневых особенностей, так и для низкоуровневых особенностей видеокадров для выполнения ранжирования.
2. Один или более машиночитаемых носителей по п. 1, при этом действия дополнительно содержат этапы, на которых:
вычисляют значение важности видео для видеофайла, основываясь, по меньшей мере, на оценках важности кадра всех видеокадров в видеофайле; и
ранжируют видеофайл по отношению к дополнительным видеофайлам, основываясь, по меньшей мере, на значении важности видео, соответствующем видеофайлу, и других значениях важности видео, соответствующих дополнительным видеофайлам.
3. Один или более машиночитаемых носителей по п. 1, при этом анализ включает в себя этапы, на которых:
выполняют обнаружение лиц в видеокадре для обнаружения одного или более человеческих лиц;
выполняют отслеживание лиц для отслеживания этих одного или более человеческих лиц;
назначают отрицательное или положительное смещение оценки видеокадру, основываясь, по меньшей мере, на размере лица, расположении лица или одной или более характерных особенностях лица для по меньшей мере одного человеческого лица в видеокадре, каковые одна или более характерных особенностей лица включают в себя отсутствие или присутствие по меньшей мере одного из улыбки и открытых глаз на по меньшей мере одном человеческом лице;
выполняют по меньшей мере одно из распознавания лиц и группирования лиц в отношении по меньшей мере одного человеческого лица из упомянутых одного или более человеческих лиц;
идентифицируют одного или более главных героев, основываясь на по меньшей мере одном из данных группирования лиц и данных распознавания лиц;
назначают дополнительно положительное смещение оценки видеокадру в случае присутствия главного героя в видеокадре; и
вычисляют оценку важности лица для видеокадра, которая учитывает отрицательное смещение оценки и положительное смещение оценки.
4. Компьютерно-реализуемый способ, содержащий этапы, на которых:
декодируют (402) видеофайл для получения по меньшей мере видеокадра или видеокадра и звуковых данных, связанных с видеокадром;
анализируют (404) одну или более высокоуровневых особенностей по меньшей мере видеокадра или видеокадра и звуковых данных, связанных с видеокадром, на основе по меньшей мере одного из локального правила и глобального правила для получения одной или более оценок особенностей для видеокадра;
объединяют (412) эти одну или более оценок особенностей видеокадра для получения оценки важности кадра для видеокадра;
вычисляют (504) значение важности видео для видеофайла, основываясь, по меньшей мере, на оценках важности кадра, соответствующих видеокадру, и других оценках важности кадра, соответствующих дополнительным видеокадрам из видеофайла;
ранжируют (508) видеофайл относительно дополнительных видеофайлов, основываясь, по меньшей мере, на значениях важности видео, соответствующих видеофайлу, и других значениях важности видео, соответствующих дополнительным видеофайлам; и
когда попытка ранжирования заканчивается неудачно из-за недостаточного наличия высокоуровневых особенностей в видеокадре, получают оценки особенностей как для высокоуровневых особенностей, так и для низкоуровневых особенностей видеокадров для выполнения ранжирования.
5. Компьютерно-реализуемый способ по п. 4, дополнительно содержащий этап, на котором сегментируют (416) видеофайл на видеофрагменты с разной важностью фрагмента, основываясь, по меньшей мере, на оценках важности кадра всех видеокадров в видеофайле или данных перемещений, связанных со множеством видеокадров в видеофайле.
6. Компьютерно-реализуемый способ по п. 4, в котором сегментация видеофайла на основе, по меньшей мере, данных перемещения, связанных со множеством видеокадров в видеофайле, включает в себя этапы, на которых:
обнаруживают (706) характерные точки в видеокадре видеофайла посредством обнаружения общих точек между множеством субдискретизированных изображений;
сопоставляют (710) характерные точки в видеокадре с дополнительным набором характерных точек в предыдущем видеокадре видеофайла;
вычисляют (712) матрицу гомографического преобразования, которая описывает перемещение характерных точек между видеокадрами;
вычисляют (714) данные перемещения для видеокадра исходя из матрицы гомографического преобразования, причем данные перемещения включают в себя величину и направление компонентов масштабирования и вертикального линейного перемещения характерных точек;
объединяют данные перемещения для видеокадра с данными перемещения для одного или более оставшихся кадров в видеофайле;
вычисляют (716) скользящее среднее для данных перемещения видеокадров в видеофайле;
устанавливают (718) зоны пересечения нуля для поиска информации локальных максимумов и минимумов для данных перемещения, основываясь, по меньшей мере, на скользящем среднем; и
определяют (720) видеофрагменты видео файла, основываясь, по меньшей мере, на информации локальных максимумов и минимумов данных перемещения.
7. Компьютерно-реализуемый способ по п. 4, в котором анализ включает в себя этапы, на которых:
выполняют (602) обнаружение лиц в видеокадре для обнаружения одного или более человеческих лиц;
выполняют (604) отслеживание лиц для отслеживания этих одного или более человеческих лиц;
назначают (608) отрицательное смещение оценки или положительное смещение оценки видеокадру, основываясь, по меньшей мере, на размере лица, расположении лица или одной или более характерных особенностях лица по меньшей мере одного человеческого лица в видеокадре, причем эти одна или более характерных особенностей лица включают в себя отсутствие или присутствие по меньшей мере одного из улыбки и открытых глаз на по меньшей мере одном человеческом лице;
выполняют (610) по меньшей мере одно из распознавания лиц и группирования лиц в отношении по меньшей мере одного человеческого лица из упомянутых одного или более человеческих лиц;
идентифицируют (612) одного или более главных героев, основываясь на по меньшей мере одном из данных группирования лиц и данных распознавания лиц;
назначают (614) положительное смещение оценки видеокадру в случае присутствия главного героя в видеокадре; и
вычисляют (616) оценку важности лица для видеокадра, которая учитывает отрицательное смещение оценки и положительное смещение оценки.
8. Система, содержащая
один или более процессоров;
память, которая включает в себя множество машиноисполняемых компонентов, которые исполняются одним или более процессорами для выполнения множества действий, каковое множество действий содержат действия, чтобы:
декодировать (402) видеофайл для получения по меньшей мере видеокадра или видеокадра и звуковых данных, связанных с видеокадром;
анализировать (404) одну или более особенностей по меньшей мере видеокадра или видеокадра и звуковых данных, связанных с видеокадром, на основе по меньшей мере одного из локального правила и глобального правила для получения одной или более оценок особенностей для видеокадра, причем локальное правило влияет на назначение важности особенности для видеокадра, и глобальное правило влияет на назначение важности особенности для множества видеокадров в видеофайле, который включает в себя видеокадр;
объединять (412) одну или более оценок особенностей видеокадра для получения оценки важности кадра для видеокадра;
сегментировать (418) видеофайл на видеофрагменты с разной важностью фрагмента, основываясь, по меньшей мере, на данных перемещения, связанных с видеокадром и дополнительными видеокадрами в видеофайле;
ранжировать (420) видео фрагменты согласно значениям важности фрагмента для видеофрагментов, которые вычисляются, основываясь, по меньшей мере, на оценках важности кадра видеокадра и дополнительных видеокадров в видеофайле; и
когда попытка ранжирования заканчивается неудачно из-за недостаточного наличия высокоуровневых особенностей на видеокадре, получать оценки особенностей как для высокоуровневых особенностей, так и для низкоуровневых особенностей видеокадров для выполнения ранжирования.
9. Система по п. 8, в которой действия дополнительно содержат:
вычисление значения важности видео для видеофайла, основываясь, по меньшей мере, на оценках важности кадра для видеокадров в видеофайле; и
ранжирование видеофайла по отношению к дополнительным видеофайлам, основываясь, по меньшей мере, на значении важности видео, соответствующем видеофайлу, и других значениях важности видео, соответствующих дополнительным видеофайлам.
Наверх