Способ и устройство для воспроизведения видеоконтента из любого местоположения и с любого момента времени
Изобретение относится к области технологий взаимодействия «человек-машина» и, в частности, к устройству для воспроизведения видеоконтента с любого местоположения и с любого времени. Техническим результатом является обеспечение воспроизведения видеоконтента с любого местоположения или времени, так что наблюдатель может адаптированно и произвольно наблюдать объект или сцену в видеоконтенте с каждого местоположения. Предложен способ воспроизведения, включающий этапы: получают сигнал управления, вводимый пользователем, который отражает намерение пользователя выполнить действие; определяют способ отображения видеоконтента согласно сигналу управления, введенному пользователем; определяют инструкции управления воспроизведением видео в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео включает в себя начальную позицию воспроизведения и способ воспроизведения; и воспроизводят видеоконтент под управлением инструкции управления воспроизведением видео. Поскольку инструкцию управления определяют в соответствии со способом отображения воспроизводимого видео, видео может воспроизводиться с любого местоположения и с любого момента времени. 2 н. и 13 з.п. ф-лы, 7 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к области технологий взаимодействия «человек-машина» и, в частности, к способу взаимодействия и устройству для воспроизведения видеоконтента с любого местоположения и с любого времени.
Уровень техники
По мере развития технологий и возрастания потребностей людей увеличивается объем видеоконтента и количество их просмотров. Однако в настоящее время воспроизведение видео представляет собой процесс только воспроизведения и отображения видеоисточника. Как правило, видео воспроизводится по мере его захвата. Когда человек намеревается всесторонне наблюдать объект или сцену, если наблюдатель и наблюдаемый объект не находятся в одном и том же месте, то требуется захватить все ракурсы объекта для воспроизведения видео, и наблюдатель наблюдает детали объекта или сцены под любым углом, просматривая видео. Например, типичным сценарием является случай, когда: владелец интернет-магазина планирует продемонстрировать товар, то владельцу необходимо использовать только обычное устройство для фотографирования, такое как мобильный телефон, чтобы захватить все ракурсы видео, обходя вокруг товара, так что покупатель может получить полное представление о внешнем виде товара, как если бы он просматривал фактический объект. Недостатком такого способа является то, что наблюдатель может просматривать только захваченное видео, при этом последовательность и способ воспроизведения видеоконтента фиксированы, и сфотографированный объект или сцена не может быть просмотрена из любого местоположения и в любой момент времени.
Раскрытие сущности изобретения
Варианты осуществления настоящего изобретения обеспечивают способ взаимодействия для воспроизведения видеоконтента с любого местоположения или с любого времени, так что наблюдатель может адаптировано и произвольно наблюдать объект или сцену в видеоконтенте с каждого местоположения.
Первый аспект вариантов осуществления настоящего изобретения обеспечивает способ воспроизведения видео, включающий в себя этапы, на которых:
получают сигнал управления, вводимый пользователем, при этом сигнал управления отражает намерение пользователя; определяют способ отображения видеоконтента в соответствии с сигналом управления, введенным пользователем; определяют инструкцию управления воспроизведением видео согласно информации характеристики видеоконтента и способу отображения видеоконтента, при этом инструкция управления воспроизведением видео включает в себя местоположение начала воспроизведения и способ воспроизведения; и воспроизводят видеоконтент под управлением инструкции управления воспроизведением видео.
В варианте осуществления первого аспекта способ может дополнительно включать в себя этап, на котором: получают видеоисточник, при этом видеоисточник включает в себя видеоконтент; и до получения сигнала управления, вводимого пользователем, отображают изображение для предварительного просмотра видео или воспроизведения видеоконтента.
В способе осуществления первого аспекта этап получения сигнала управления, вводимого пользователем, включает в себя подэтапы, на которых: принимают голосовую команду пользователя и осуществляют анализ голосовой команды для получения сигнала управления; обнаруживают действие пользователя и осуществляют анализ действия управления для получения сигнала управления; обнаруживают изменение точки фокусировки или изменение направления фокусировки линии взгляда пользователя для получения сигнала управления; или получают сигнал управления путем обнаружения операции, выполняемой пользователем на устройстве ввода.
В способе осуществления первого аспекта сигнал управления регулируют в соответствии со скоростью действия или скоростью действия операции, выполняемой пользователем на устройстве ввода; а способ отображения видеоконтента включает в себя этапы, на которых: воспроизводят видео с ускоренной скоростью, с замедлением или с нормальной скоростью; воспроизводят видео с переходом к определенному местоположению или времени, или воспроизводят видео с определенного местоположения или времени.
Со ссылкой на любой из вышеперечисленных способов в варианте реализации способ отображения видеоконтента дополнительно включает в себя этапы, на которых: осуществляют прямое воспроизведение, обратное воспроизведение, замкнутое воспроизведение или остановку воспроизведения; а этап определения способа отображения видеоконтента в соответствии с сигналом управления, введенным пользователем, включает в себя подэтапы, на которых: выполняют прямое воспроизведение, обратное воспроизведение, замкнутое воспроизведение или остановку воспроизведения видеоконтента в соответствии с сигналом управления, введенным пользователем.
В способе осуществления первого аспекта этап определения способа отображения видеоконтента в соответствии с сигналом управления, введенным пользователем, включает в себя подэтапы, на которых: определяют требования целевого изображения и требования направления перемещения воспроизведения видеоконтента в соответствии с сигналом управления, введенным пользователем, при этом целевое изображение соответствует целевому кадру; и определяют способ отображения видеоконтента в соответствии с требованием целевого изображения и требованием направления перемещения воспроизведения видеоконтента.
Со ссылкой на любой из вышеперечисленных способов в варианте реализации способ дополнительно включает в себя этапы, на которых: осуществляют анализ видеоисточника для получения видеокадра из видеоисточника, номер кадра каждого видеокадра и характеристическую информацию видеоконтента; а этап определения инструкции управления воспроизведением видео в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента включает в себя подэтапы, на которых: определяют номер кадра подлежащего воспроизведению целевого кадра в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом номер кадра целевого кадра соответствует местоположению начала воспроизведения видео или местоположению продолжения воспроизведения видео; и определяют последовательность воспроизведения для воспроизведения целевого кадра в соответствии с номером кадра целевого кадра и способом отображения видеоконтента, при этом последовательность воспроизведения соответствует способу воспроизведения целевого кадра.
Дополнительно, характеристическая информация видеоконтента включает в себя информацию перемещения целевого контента; а этап анализа видеоисточника для получения характеристической информации видеоконтента включает в себя подэтапы, на которых: осуществляют анализ видеоисточника для получения направления сканирования для захвата видео, при этом направлением сканирования является информация перемещения целевого контента; или анализ видеоисточника для получения траектории перемещения идентифицированной точки и получения информации перемещения целевого контента в соответствии с траекторией перемещения идентифицированной точки.
В конкретной реализации вышеупомянутых конкретных вариантов реализации по первому аспекту информация перемещения целевого контента включает в себя: характеристику перемещения целевого контента, при этом характеристика перемещения включает в себя поворот объекта слева направо, справа налево, сверху вниз или снизу вверх.
Второй аспект вариантов осуществления настоящего изобретения обеспечивает способ воспроизведения видео, при этом способ включает в себя этап, на котором: получают видеоисточник, причем видеоисточник включает в себя видеоконтент; осуществляют анализ видеоконтента в видеоисточнике для генерирования трехмерного изображения, при этом трехмерное изображение используют для отображения объекта, записанного в видеоконтенте; получают сигнал управления, вводимый пользователем, при этом сигнал управления отражает намерение пользователя выполнить действие; и определяют способ отображения трехмерного изображения и отображают трехмерное изображение в соответствии с сигналом управления, введенным пользователем.
В варианте осуществления второго аспекта этап получения сигнала управления, вводимого пользователем, включает в себя подэтапы, на которых: принимают голосовую команду пользователя и осуществляют анализ голосовой команды для получения сигнала управления; обнаруживают действие пользователя и осуществляют анализ действия управления для получения сигнала управления; обнаруживают изменение точки фокусировки или изменение направления фокусировки линии взгляда пользователя для получения сигнала управления; или получают сигнал управления путем обнаружения операции, выполняемой пользователем на устройстве ввода.
В конкретной реализации вышеизложенных конкретных вариантов осуществления второго аспекта этап определения способа отображения трехмерного изображения и отображения трехмерного изображения в соответствии с сигналом управления, вводимым пользователем, включает в себя подэтапы, на которых: отображают трехмерное изображение, в соответствии с сигналом управления; отображают трехмерное изображение после регулировки угла обзора в соответствии с сигналом управления; и отображают трехмерное изображение после регулировки масштаба увеличения в соответствии с сигналом управления.
Третий аспект вариантов осуществления настоящего изобретения обеспечивает оконечное устройство, включающее в себя:
схему приемника, выполненную с возможностью получения сигнала управления, вводимого пользователем, при этом сигнал управления отражает намерение пользователя выполнить действие; процессор, выполненный с возможностью определения способа отображения видеоконтента согласно сигналу управления, введенному пользователем, и определения инструкции управления воспроизведением видео согласно характеристической информации видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео управления включает в себя местоположение начала воспроизведения и способ воспроизведения; и устройство отображения, выполненное с возможностью отображения и воспроизведения видеоконтента под управлением инструкции управления воспроизведением видео.
В варианте осуществления третьего аспекта схема приемника дополнительно выполнена с возможностью получения видеоисточника, при этом видеоисточник включает в себя видеоконтент; а устройство отображения дополнительно выполнено с возможностью: до получения схемой приемника, сигнала управления, введенного пользователем, отображения изображения предварительного просмотра видео или воспроизведения видеоконтента.
В варианте осуществления дополнительно схема приемника конкретно выполнена с возможностью: приема голосовой команды пользователя и анализа голосовой команды для получения сигнала управления; обнаружения действия пользователя и анализа действия управления для получения сигнала управления; обнаружения изменения точки фокусировки или изменения направления фокусировки линии взгляда пользователя для получения сигнала управления; или получения сигнала управления посредством обнаружения операции, выполняемой пользователем на устройстве ввода.
В варианте осуществления третьего аспекта схема приемника дополнительно выполнена с возможностью регулировки сигнала управления в соответствии со скоростью действия или скоростью действия операции, выполняемой пользователем на устройстве ввода; а процессор выполнен с возможностью определения способа отображения видеоконтента в соответствии с сигналом управления, введенным пользователем, и определения инструкции управления воспроизведением видео в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео включает в себя местоположение начала воспроизведения и способ воспроизведения, а способ отображения видеоконтента включает в себя этапы, на которых: выполняют прямое воспроизведение, обратное воспроизведение, замкнутое воспроизведение или остановку воспроизведения; или воспроизведение видео при ускоренной скорости, уменьшенной скорости или при нормальной скорости, воспроизведение видео после перехода на конкретное местоположение или момент времени, или воспроизведение видео из конкретного местоположения или в момент времени.
Дополнительно, в способе реализации третьего аспекта процессор конкретно выполнен с возможностью: определения требования целевого изображения и требования направления движения воспроизведения видеоконтента в соответствии с сигналом управления, введенным пользователем, при этом целевое изображение соответствует целевому кадру; определения способа отображения видеоконтента в соответствии с требованиями целевого изображения и требованиями направления перемещения воспроизведения видеоконтента; и определения инструкции управления воспроизведением видео в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео включает в себя начальное местоположение воспроизведения и способ воспроизведения.
Со ссылкой на любой из вышеперечисленных вариантов, в варианте реализации третьего аспекта процессор дополнительно выполнен с возможностью анализа видеоисточника для получения видеокадра из видеоисточника, номера кадра каждого видеокадра и характеристической информации видеоконтента; определения номера кадра подлежащего воспроизведению целевого кадра в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом номер кадра целевого кадра соответствует начальному местоположению воспроизведения видео или местоположению продолжения воспроизведения видео; и определения последовательности воспроизведения для воспроизведения целевого кадра в соответствии с номером кадра целевого кадра и способом отображения видеоконтента, причем последовательность воспроизведения соответствует способу воспроизведения целевого кадра.
Четвертый аспект вариантов осуществления настоящего изобретения обеспечивает оконечное устройство, включающее в себя:
схему приемника, выполненную с возможностью получения видеоисточника и сигнала управления, вводимого пользователем, при этом видеоисточник включает в себя видеоконтент, а сигнал управления отражает намерение пользователя осуществить действие; процессор, выполненный с возможностью анализа видеоконтента в видеоисточнике для генерирования трехмерного изображения, при этом трехмерное изображение используют для отображения объекта, записанного в видеоконтенте, и определения способа отображения трехмерного изображения в соответствии с сигналом управления, введенным пользователем; и устройство отображения, выполненное с возможностью отображения трехмерного изображения под управлением процессора.
В варианте осуществления четвертого аспекта схема приемника конкретно выполнена с возможностью получения видеоисточника и дополнительно конкретно выполнена с возможностью: приема голосовой команды пользователя и анализа голосовой команды для получения сигнала управления; обнаружения действия пользователя и анализа действия управления для получения сигнала управления; обнаружения изменения точки фокусировки или изменения направления фокусировки линии взгляда пользователя для получения сигнала управления; или получения сигнала управления посредством обнаружения операции, выполняемой пользователем на устройстве ввода.
В вариантах осуществления настоящего изобретения инструкция управления воспроизведением видео определяют в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента. Способ отображения видеоконтента определяют в соответствии с сигналом управления, введенным пользователем; поэтому пользователь может адаптивно воспроизводить видеоконтент и может просматривать объект в широком диапазоне изменения угла просмотра видео под любым углом в соответствии с намерением пользователя (оператора, наблюдателя или человека, который воспроизводит видео). Поэтому, процесс взаимодействия является более удобным, что для оператора эквивалентно прямому управлению объектом на видео, тем самым, обеспечивая более реальное взаимодействие и реализуя выбор способа воспроизведения контента в видеоисточнике индивидуальным образом и с учетом потребностей пользователя. С помощью способов в вариантах осуществления настоящего изобретения вместо простого воспроизведения записанного видеоконтента пользователь может отображать видеоконтент источника под любым углом обзора, согласно любой последовательности воспроизведения или любого способа воспроизведения. Пользователь может определять способы отображения и воспроизведения видеоконтента, вводя инструкцию управления, чтобы воспроизводимый видеоконтент и способ воспроизведения выбирались в соответствии с намерением человека, который воспроизводит видео.
Краткое описание чертежей
С целью подробного описания технических решений в вариантах осуществления настоящего изобретения, ниже кратко описаны сопровождающие чертежи, необходимые для описания вариантов осуществления настоящего изобретения. Очевидно, что прилагаемые чертежи в нижеследующем описании показывают только некоторые варианты осуществления настоящего изобретения, и специалист в данной области техники может все еще получать другие чертежи из этих сопроводительных чертежей без творческих усилий.
Фиг. 1 является блок-схемой алгоритма способа взаимодействия для воспроизведения видео с любого местоположения и с любого момента времени согласно варианту осуществления настоящего изобретения;
фиг. 2 является схемой операции скольжения согласно варианту осуществления настоящего изобретения;
фиг. 3 является схемой воспроизведения объекта с широким диапазоном изменения угла обзора при повороте слева направо согласно варианту осуществления настоящего изобретения;
фиг. 4 является схемой воспроизведения объекта с широким диапазоном изменения угла обзора при повороте справа налево согласно варианту осуществления настоящего изобретения;
фиг. 5 является схемой воспроизведения объекта с широким диапазоном изменения угла обзора при повороте сверху вниз согласно варианту осуществления настоящего изобретения;
фиг. 6 является схемой воспроизведения объекта с широким диапазоном изменения угла обзора при повороте снизу вверх согласно варианту осуществления настоящего изобретения; и
фиг. 7 является блок-схемой схема интеллектуального терминала для осуществления воспроизведения видео из любого местоположения и в любое время согласно варианту осуществления настоящего изобретения.
Осуществление изобретения
С целью более четкого и доступного для понимания описания задач, технических решений и преимуществ настоящего изобретения нижеследующее изложение дополнительно подробно описывает настоящее изобретение со ссылкой на прилагаемые чертежи и варианты осуществления. Следует понимать, что конкретные варианты осуществления, описанные здесь, просто используются для объяснения настоящего изобретения, но не предназначены для ограничения настоящего изобретения.
В варианте осуществления настоящего изобретения, например, видеоисточник получают путем выполнения видеосъемки объекта, изображения или окружающей среды с охватом 360 градусов (или приблизительно 360 градусов), так что может быть получена относительно всеобъемлющая видеозапись объекта или изображения. Видеоконтент в видеоисточнике воспроизводится индивидуально и адаптировано к требованиям пользователя (местоположение воспроизведения, последовательность воспроизведения, способ воспроизведения или угол просмотра при воспроизведении видео) в соответствии со способом отображения видеоконтента, который определяется в соответствии с сигналом управления, введенным пользователем. В этом варианте осуществления настоящего изобретения вместо простого воспроизведения видео можно установить способ воспроизведения, местоположение воспроизведения видеоконтента и т.п.
Видеоконтент, захваченный из исходного видеоисточника, может представлять собой всеобъемлющую информацию об обширной окружающей среде. В обширной окружающей среде находятся множество целевых предметов или объектов. Для каждого целевого предмета или объекта выполняется видеозапись с охватом 360 градусов (или приблизительно 360 градусов). В процессе воспроизведения видеоконтента, целевые предметы или объекты могут быть полностью последовательно отображены. Дополнительно, в процессе воспроизведения видео, если принимается инструкция или сигнал жестов управления, целевой объект или период времени видео может быть пропущен для продолжения отображения всеобъемлющей информации о следующем целевом объекте, и этот целевой объект может отображаться в видеоконтенте индивидуально или адаптировано к требованиям пользователя. Этот процесс может быть реализован путем поиска или сопоставления видеоконтента.
В этом варианте осуществления настоящего изобретения, на основании вводимой пользователем инструкции, видео может воспроизводиться с любого местоположения и с любой временной точки видеоконтента или во время воспроизведения видео любой клип в видеоконтенте может быть пропущен. Например, в варианте реализации введенная пользователем инструкция может быть инструкцией ускоренной прокрутки. Во время обработки видео устанавливают период времени ускоренной прокрутки для отображения информации, относящейся к целевому объекту. Следовательно, сигнал управления ускоренной прокрутки может соответствовать переходу от текущего целевого объекта к следующему целевому объекту или целевому объекту, заданному пользователем, и видеоконтент, соответствующий следующему целевому объекту, воспроизводится в соответствии с режимом воспроизведения, управляемым пользователем. Пользователь также может просматривать изображение конкретной сцены или объекта с помощью голосового ввода, и после сопоставления начинать воспроизведение из соответствующего местоположения, на которое оно переместилось.
С целью дополнительного описания технических решений в вариантах осуществления настоящего изобретения, ниже приводится описание с использованием конкретных вариантов осуществления.
На фиг. 1 показан процесс реализации способа воспроизведения видеоконтента из любого местоположения и с любого момента времени согласно варианту осуществления настоящего изобретения, и способ включает в себя:
S101: получают сигнал управления, вводимый пользователем, при этом сигнал управления отражает намерение пользователя выполнить действие.
Сигнал управления, вводимый пользователем, инициируется и генерируется путем обнаружения операции (например, операции на сенсорном экране), выполняемой пользователем на интеллектуальном терминале, такой как скольжение по сенсорному экрану; или сигнал управления, вводимый пользователем, может инициироваться и генерироваться путем обнаружения действия управления пользователя, такого как взмах руки, перемещение пальцем, круговое движение пальцем, открытие ладони и поворот запястья, пристальный взгляд или отклонение линии взгляда, движение головой или движение телом; или сигнал управления, вводимый пользователем, также может быть голосовым вводом, и голосовой ввод определяется с помощью микрофона.
Сигнал управления отражает намерение пользователя выполнить действие, то есть, сигнал управления отражает операцию, которую пользователь хочет выполнить на видео, и является сигналом управления, полученным после того, как намерение пользователя выполнить операцию будет сигнализировано.
Принимают сигнал управления, вводимый пользователем. Например, скольжение на сенсорном экране включает в себя скольжение влево, вправо, вверх и вниз (фиг. 2а, фиг. 2с, фиг. 2е и фиг. 2g) и скольжение приблизительно влево, вправо, вверх и вниз. Например, левая кривая (фиг. 2b) также может рассматриваться как скольжение приблизительно влево, правая кривая (фиг. 2d) также может рассматриваться как скольжение приблизительно вправо, верхняя кривая (фиг. 2f) также может рассматриваться как скольжение приблизительно вверх и нисходящая кривая (фиг. 2h) также может считаться скольжением приблизительно вниз.
Аналогичным образом, взмах рукой или перемещение пальцем включают в себя взмахи или перемещения влево, вправо, вверх и вниз и взмахи или перемещения влево или влево, вправо, вверх и вниз. Например, взмах или перемещения по извилистой траектории влево также могут рассматриваться как приблизительно взмах или перемещение влево; аналогично вправо, вверх и вниз.
Получают ввод пользователя с использованием датчика, при котором круговое движение пальцем включает в себя закругление влево, закругление вправо, закругление вверх и круговое движение вниз.
Получают ввод пользователя с использованием датчика, в котором открытие ладони и поворот запястья включает в себя поворот слева направо, поворот справа налево, поворот сверху вниз и поворот снизу вверх.
Получают ввод пользователя с использованием датчика, в котором пристальный взгляд или отклонение линии взгляда включает в себя пристальный взгляд на верхнюю часть изображения видео или отклонение линии взгляда от передней к верхней части. Аналогичным образом, пристальный взгляд или отклонение линии взгляда дополнительно включает в себя пристальный взгляд на нижнюю часть, левую часть или правую часть изображения видео или отклонение линии взгляда от передней к нижней части, к левой части или в правой части.
Голосовой ввод пользователя получают с использованием микрофона, при этом голосовая команда включает в себя инструкцию, такую как «перемещение влево» и «поворот влево», или инструкцию аналогичного значения, а также инструкции вправо, вверх и вниз аналогичны вышесказанному. Голосовая команда для воспроизведения определенного изображения, например, воспроизведение видео объекта X на верхнем углу и воспроизведение панорамы объекта Y слева направо, также может выводиться для определения местоположения видео.
Ввод пользователя получают с помощью датчика, в котором движение головы включает в себя движение головы влево, движение головы вправо, глядя вверх или вниз.
Ввод пользователя получают с помощью датчика, в котором перемещение тела включает в себя перемещение влево или вперед, перемещения тела вверх или перемещение вниз.
Упомянутые направления пользователь используется в качестве ссылки. Вышеупомянутая левая сторона является левой стороной относительно пользователя, и упомянутая правая сторона является правой стороной относительно пользователя. Разумеется, некоторые пользователи привыкли использовать объект на изображении видео в качестве ссылки для описания понятий «слева» и «справа», и в этом случае, «левый» и «правый» можно переключить в соответствующей голосовой команде.
В этом варианте осуществления один способ или комбинация нескольких способов следующего может использоваться для получения ввода пользователя, включающего в себя: получение движения скольжения пальца пользователя, используя сенсорный датчик; получение движения жестов пользователя или направление движения головы или перемещения тела пользователя путем анализа изображений, захваченных камерой, или с использованием таких технологий, как технология инфракрасного излучения и технология ультразвуковых волн; получение изменения точки фокусировки или изменение направления отклонения линии зрения пользователя с использованием датчика отслеживания линии зрения; и получение голосовой команды пользователя с помощью микрофона. Дополнительно, в случае, когда действие скольжения пальца пользователя определяют с помощью сенсорного датчика, ввод пользователя может также включать в себя определение степени давления пальца пользователя, полученное с помощью датчика давления.
В варианте реализации, например, если пользователь хочет посмотреть объект в видеоизображении, пользователь может выполнить операцию над объектом на изображении с помощью сенсорного экрана или жеста для управления видео для воспроизведения видео соответствующего объекту, например, поворот объекта и воспроизведение изображения объекта слева направо.
В этом варианте осуществления перед получением сигнала управления, вводимого пользователем, способ дополнительно включает в себя: отображение предварительного просмотра видео или воспроизведение видео.
S102: определяют способ отображения видеоконтента согласно сигналу управления, введенным пользователем.
Способ отображения видеоконтента отражает намерение пользователя (наблюдателя или человека, который воспроизводит видео). Способ отображения видеоконтента включает в себя: угол обзора для воспроизведения контента на изображении видео, направление поворота целевого контента, способ воспроизведения, пропуск целевого контента для продолжения воспроизведения или тому подобное.
Требование целевого изображения и требование направления перемещения для воспроизведения видеоконтента определяют в соответствии с сигналом управления, введенным пользователем, при этом целевое изображение соответствует целевому кадру, и способ отображения видеоконтента определяют в соответствии с требованием целевого изображения и требованиям направления перемещения воспроизведения видеоконтента. Целевой кадр определяется первым, и после определения целевого кадра может быть определено местоположение видео, и затем в соответствии с сигналом управления можно определить, должна ли выполняться ускоренная прокрутка или повторный просмотр, или должно ли воспроизводиться видео с угла обзора последовательности слева направо или тому подобное. Требование целевого изображения и требование направления перемещения воспроизведения видеоконтента получают согласно сигналу управления.
Определение требования к углу обзора для просмотра контента на изображении видео предпочтительно включает в себя: определение изменения угла просмотра в соответствии с направлением перемещения и приращением величины перемещения, которые вводятся пользователем, для определения требования угла обзора для просмотра.
Приращение величины перемещения конкретно включает в себя увеличение величины смещения начальной точки траектории скольжения и увеличение величины смещения начальной точки траектории перемещения взмаха руки или перемещения пальцем; изменение угла перемещения пальцем во время поворота пальца; изменение угла поворота запястья во время открытия ладони и поворота запястья; увеличение величины смещения линии взгляда от начальной точки взгляда до конечной точки просмотра во время пристального взгляда или отклонения линии взгляда; изменение заданного угла обзора во время вывода каждой голосовой команды; увеличение величины смещения начальной точки траектории перемещения во время движения головой; и увеличение величины смещения начальной точки траектории движения тела.
Например, приращение DeltV угла обзора определяется использованием приращения DeltX перемещения, и параметр V_i угла обзора получают посредством накопления. V_i = V_i - 1 + DeltV = V_i - 1 + alfa * DeltX, где alfa> 0 и интервал значений V_i равен [0, 1].
Определение требования направления поворота объекта на изображении видео включает в себя: получение направления перемещения, вводимого пользователем, при этом требование направления поворота объекта на изображении видео является таким же, как направление перемещения, введенным пользователем.
S103: определяют инструкцию управления воспроизведением видео в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео включает в себя место начала воспроизведения и способ воспроизведения.
Инструкция управления воспроизведением используется для реализации намерения пользователя, например, требования угла обзора для просмотра объекта на изображении видео и требования направления поворота объекта на изображении видео пользователя.
Инструкция управления воспроизведением видео включает в себя местоположение начала воспроизведения и способ воспроизведения. Местоположение начала воспроизведения соответствует целевому кадру для воспроизведения, и местоположение начала воспроизведения или местоположение продолжения воспроизведения могут быть определены путем определения целевого кадра. Способ воспроизведения может быть направлением вперед (вперед), обратным направлением (назад), быстрой прокруткой, перемоткой и т.п., или может быть способом воспроизведения видео с угла обзора при повороте вокруг объекта или целевого предмета.
В варианте реализации характеристическая информация видео может включать в себя информацию о местоположении объекта и информацию перемещения целевого контента на изображении видео. Информация перемещения может представлять собой, например, информацию поворота; и характеристика поворота объекта на изображении видео включает в себя поворот слева направо (фиг. 3а-фиг. 3f), справа налево (фиг. 4а-фиг. 4f), сверху вниз (фиг. 5a-5f) и снизу вверх (фиг. 6a-6f) при воспроизведении видео.
В варианте осуществления настоящего изобретения предлагается способ определения характеристики поворота объекта на изображении видео. В этом способе необходимо обеспечить запись дополнительной информации направления поворота во время процесса видеосъемки. В процессе фотографирования фотографирующее устройство должно быть оснащено датчиком состояния перемещения, таким как трехосный гироскоп, направление, в котором фотографирующее устройство фотографирует сфотографированный объект, записывается в видеофайл, и данные направления считываются при анализе видеофайла, так что определяется характеристика поворота сфотографированного объекта.
В другом варианте осуществления настоящего изобретения предлагается другой способ анализа характеристики поворота объекта в любом видео. В этом способе во время процесса фотографирования не требуется дополнительная регистрация данных. В частности, объект в видео может быть проанализирован. Определяют идентифицированную точку на объекте, отслеживают траекторию перемещения идентифицированной точки во время нормального воспроизведения видео, и характеристика поворота объекта определяется согласно направлению траектории перемещения.
В конкретном варианте реализации видеоисточник получают путем выполнения видеосъемки на 360 градусов (или приблизительно 360 градусов) объекта или изображения для получения всеобъемлющей видеозаписи объекта или изображения. Видеоконтент в видеоисточнике воспроизводится индивидуальным образом в соответствии со способом отображения видеоконтента, определенного согласно сигналу управления, введенным пользователем.
Определение инструкции управления воспроизведением видео включает в себя: определение соответствующего местоположения воспроизведения видео и соответствующего способа воспроизведения видео.
Инструкция управления воспроизведением видео может конкретно реализовать прямое воспроизведение или обратное воспроизведение видео; местоположение начала воспроизведения или время начала воспроизведения; угол обзора воспроизведения и местоположение воспроизведения или время после быстрой прокрутки или перехода; замкнутое воспроизведение видео; воспроизведение видео с ускоренной скоростью, с замедлением или с нормальной скоростью; и приостановку или остановку воспроизведения видео.
Видео, сгенерированное в процессе фотографирования объекта, представляет собой, по существу, последовательность изображений, образованных изображениями всех углов (360 градусов или приблизительно 360 градусов) объекта, и три элемента данных записывают в видеофайл, включающие в себя: P', то есть последовательность сжатого изображения, Q, то есть, направление сканирования (0 указывает слева направо, 1 указывает справа налево, 2 указывает сверху вниз и 3 указывает снизу вверх) и N + 1, т.е. количество изображений. Последовательность изображений представлена Pi, где i находится в диапазоне от 0 до N, и N является целым числом. То есть, последовательные номера изображений являются P0, P1, P2, ... и PN. Направление сканирования определяется и получается трехосевым гироскопом на фотографирующем устройстве. Общее количество снимков равно N + 1.
Терминал воспроизведения анализирует видеофайл для получения трех элементов данных: P', то есть, последовательность сжатого изображения, Q, то есть, направление сканирования и N + 1, то есть, количество изображений.
Согласно углу Vi обзора, определенному на этапе S102, целевой кадр O_i вычисляется с использованием следующей формулы:
Q = 0 или Q = 2, O_i = V_i * (N + 1); и
Q = 1 или Q = 3, O_i = (1-V_i) * (N + 1).
Иногда видео просматривается после завершения фотосъемки, и в этом случае терминал для фотографирования также является терминалом для воспроизведения. После передачи видео терминал для воспроизведения отличается от терминала для фотографирования. В варианте реализации процесс анализа видеофайла для получения различных типов информации видеокадра может быть завершен на терминале для воспроизведения, который принимает видео; или может быть завершен на терминале для фотографирования или промежуточном сервисном устройстве. Различные типы информации видеокадра и видеоконтента отправляют вместе на принимающий терминал, действующий как терминал для воспроизведения.
Способ определения соответствующего способа воспроизведения видео сравнивает требование направления поворота объекта на изображении видео и характеристику поворота объекта на изображении видео; и когда они совпадают, то воспроизводят видео в прямом направлении; или когда они противоположны, воспроизводят видео в обратном направлении.
Например, ввод пользователя, являясь перемещением скольжения слева направо, и указывает, что требование направления поворота, указанное пользователем, представляет собой поворот слева направо, и объект на изображении видео также поворачивается слева направо. В этом случае, требование направления поворота, указанное пользователем, совпадает с характеристикой поворота объекта. Поэтому видео воспроизводится на целевой кадр в прямом направлении. Если объект на изображении видео поворачивается справа налево, то требование направления поворота, указанное пользователем, и характеристика поворота объекта противоположны, и видео воспроизводится на целевой кадр в обратном направлении.
Фиг. 4 используется в качестве примера для описания. Если текущий кадр воспроизведения видео является 4a и целевой кадр является 4c, и характеристика поворота объекта на изображении видео является направление слева направо, и предполагается, что видео воспроизводится на устройстве с сенсорным экраном, когда пользователь осуществляет скользящие перемещение вправо на видео, то есть, направление перемещения, введенное пользователем является таким же, как характеристика поворота объекта на изображении видео, то видео воспроизводится в последовательности 4a-4b-4c, то есть, видео воспроизводится на целевой кадр 4c в прямом направлении. Когда пользователь осуществляет скользящее перемещение влево на видео, то есть, направление перемещения, введенное пользователем, противоположно характеристике поворота объекта на изображении видео, то видео воспроизводится в последовательности 4a/4f-4e-4d- 4с, то есть, видео воспроизводится на целевой кадр 4с в обратном направлении.
Инструкция управления воспроизведением видео может дополнительно включать в себя замкнутое воспроизведение видео. В частности, когда видео воспроизводится до конца или начала, видео может продолжать воспроизводиться с начала или конца, так что пользователь может воспринимать воспроизведение видео так, что объект поворачивается непрерывно.
Инструкция управления воспроизведением видео включает в себя воспроизведение видео с ускоренной скоростью, с замедлением или с нормальной скоростью. В частности, когда ввод пользователя представляет собой скользящее перемещение по сенсорному экрану, то взмах руки или перемещение пальца, поворот пальца, открытие ладони и поворот запястья то видео воспроизводится с ускоренной скоростью, с замедлением или при нормальной скорости в зависимости от скорости ввода пользователя. Когда ввод пользователя скользит по сенсорному экрану, видео воспроизводится с ускоренной скоростью, с замедлением или с нормальной скоростью согласно степени давления при вводе пользователя.
Инструкция управления воспроизведением видео включает в себя приостановку или остановку воспроизведения видео. В частности, когда пользователь приостанавливает или останавливает ввод, видео также приостанавливается или останавливается, поэтому вместо просмотра видео пользователь фактически пристально просматривает объект. То есть, видео может не воспроизводиться полностью, и воспроизводится в соответствии с действием пользователя. Используя фиг. 5 в качестве примера, объект, показанный на фиг. 5, поворачивается справа налево, текущий кадр воспроизведения является 5a и целевой кадр является 5d, ввод пользователя скользит справа налево. Поэтому видео воспроизводится в прямом направлении. Предполагается, что когда видео воспроизводится до 5d, то пользователь приостанавливает ввод, то есть, видео воспроизводится в соответствии с последовательностью 5a-5b-5c-5d и приостанавливается на 5d, а затем ввод пользователя скользит слева направо, и видео воспроизводится с 5d в обратном направлении. Предполагается, что пользователь приостанавливает ввод при воспроизведении видео на 5b, то есть, видео воспроизводится в соответствии с последовательностью 5d-5c-5b и приостанавливается на 5d.
S104: воспроизводят видеоконтент под управлением инструкции управления воспроизведением видео.
Дополнительно, в другом варианте осуществления настоящего изобретения, поскольку процессы взаимодействия, реализованные в настоящем изобретении, находятся в видеофайле и объем памяти, занимаемый видеофайлом, относительно велик, требование к объему памяти устройства пользователя относительно высоки или оказывает влияние на скорость работы устройство пользователя. С целью повышения практической применимости настоящего изобретения, может быть выполнено трехмерное моделирование объекта на изображении видео в настоящем изобретении, и после того, как принят видеоисточник, видеоисточник видео анализируют и восстанавливают трехмерное изображение. Видеоконтент в видеоисточнике анализируют для генерирования трехмерного изображения, при этом трехмерное изображение используют для отображения объекта, записанного в видеоконтенте. Дисплей отображает трехмерное изображение, и устройство пользователя принимает сигнал управления, вводимый пользователем, с использованием вышеописанного способа, при этом сигнал управления отражает намерение пользователя осуществить действие. Способ отображения трехмерного изображения определяют согласно сигналу управления, введенным пользователем, и отображается трехмерное изображение.
В этом варианте осуществления устройство, которое должно принимать видео со всех углов обзора, оснащено датчиком удаленности, и на устройстве устанавливают программное обеспечение для регистрации информации трехмерного изображения сцены и программное обеспечение для слияния и сопоставления текстурных элементов изображения. В процессе фотосъемки датчик удаленности активирован, так что камера устройства, которая фотографирует видео со всех углов обзора и датчик удаленности работают синхронно, и фотограф, держащий фотокамеру, выполняет непрерывную съемку сцены, для которой требуется моделирование. В конкретном процессе реализации может быть задан временной интервал, и датчик удаленности выполняет съемку для получения одного кадра 3D-данных облака точек перед датчиком удаленности на каждом временном интервале, при этом точка облачных данных, полученная с помощью фотографирования во временной момент t, представлена Ft. Камера захватывает изображение сцены, то есть, данные текстуры, в тот же временной момент, при этом данные текстуры представлены It. После завершения фотосъемки на фотографирующем устройстве сохраняется последовательность облака точек и последовательность изображений, последовательность облака точек регистрируется в плотном облаке точек с использованием программного обеспечения для регистрации информации трехмерной сцены, и это облако точек отражает информацию трехмерного пространства целевой сцены.
Локальная регистрация между соседними кадрами выполняется сначала в последовательности облака точек, для каждой точки u_i в облаке точек F_j, F_ (j + 1) выполняется поиск точки v_i, ближайшей к u_i и устанавливают соответствие (u_i, v_i). Согласно взаимосвязи между всеми соответствующими точками в облаках точек двух кадров, устанавливается следующая целевая функция:
где n - количество всех соответствующих точечных пар в облаках F_j и F_ (j + 1) точек. Когда E минимизируется, ошибка квадратичного евклидова расстояния между соответствующими точками, минимизируется и, когда оптимизация завершается, могут быть получены параметры изменения R и t между облаками точек из двух кадров, тем самым, реализуя регистрацию между соседними кадрами.
Параметры изменения ориентации облаков точек соседних кадров вычисляются с использованием локального алгоритма регистрации, целая последовательность облака точек может быть интегрирована в плотное облако точек целевой сцены в соответствии с этими параметрами, и используется T_k (∙) для указания, что операция изменения отношения выполняется в данном облаке точек в соответствии с параметром (p_k) изменения отношения между F_k и F_ (k + 1),
т.е. T_k (∙) = R_k (∙) + t_k, и переопределяется следующая операция изменения отношения:
,
где k = {1, 2, ..., N-2}, и накопленное облако точек представлено F':
Поскольку относительные угловые ориентации камеры на фотографирующем устройстве и датчике удаленности являются детерминированными, и данные изображения и данные облака точек одновременно получают посредством фотографирования, когда получают параметр пространственной ориентации датчика удаленности, снимающего каждый кадр облака точек, также получают параметр пространственной ориентации камеры, фотографирующей каждое изображение. Поэтому может быть получено соответствие между данными текстуры (изображением), полученными посредством фотографирования камерой и облаком точек с плотной областью сцены, и данные текстуры высокой четкости воспроизводят на трехмерную модель сцены с использованием программного обеспечения для слияния и сопоставления текстурных элементов изображения для формирования высокоточной трехмерной модели реконструкции сцены.
В этом случае на этапе S102 требование угла обзора пользователя для просмотра может быть непосредственно определено в соответствии с вводом пользователя. На этапе S103 в конкретном способе определения целевого кадра в видео целевой кадр в видео определяется в соответствии с параметром пространственной ориентации каждого кадра в видео, который соответствует требованиям углу обзора для просмотра. В частности, соответствующий параметр пространственной ориентации может быть определен в соответствии с углом обзора для наблюдения, параметр пространственной ориентации, ближайший к соответствующему параметру пространственной ориентации, получают из набора параметров пространственной ориентации кадров в видео посредством сопоставления, и кадр, соответствующий сопоставленному параметру пространственной ориентации, является целевым кадром.
На фиг. 7 показан интеллектуальный терминал 70 для реализации вышеописанных способов в соответствии с вариантом осуществления настоящего изобретения. Интеллектуальный терминал может быть оконечным устройством, имеющим функцию воспроизведения мультимедийного контента, таким как смартфон, мобильный персональный компьютер, мультимедийный проигрыватель и портативное аудио-видео устройство. Для удобства описания показана только часть, относящаяся к этому варианту осуществления. Интеллектуальный терминал может выполнять соматосенсорное взаимодействие. Интеллектуальный терминал 70 представляет собой устройство или оборудование для реализации вышеописанных вариантов осуществления способа, и поэтому каждый компонент или физическое функциональное оборудование интеллектуального терминала 70 может реализовать каждый этап в вышеупомянутых вариантах осуществления способа и может выполнять каждый процесс в вариантах осуществления вышеописанного способа. Поэтому, интеллектуальный терминал использует вышеупомянутый способ для воспроизведения видеоконтента с любого местоположения и с любого времени.
Интеллектуальный терминал 70 включает в себя антенну 701, схему 702 передатчика, схему 703 приемника, устройство 704 отображения, процессор 705, память 706, шину 707 и тому подобное. Компоненты интеллектуального терминала 70 соединены вместе с использованием системной шины 707. В дополнение к шине данных системная шина 707 дополнительно включает в себя шину питания, шину управления и шину состояния сигнала. Однако в целях упрощения описания различные шины на чертеже обозначены как системная шина 707. Однако в терминале для реализации этого варианта осуществления настоящего изобретения, например, схема 702 передатчика может быть возможной или ненужной. Интеллектуальный терминал 70 выполнен с возможностью принимать видеоисточник и сигнал, но не отправлять видеоисточник или сигнал. В этом варианте осуществления настоящего изобретения антенна также является возможной или ненужной. Этот вариант осуществления настоящего изобретения может быть реализован проводным образом. Хотя некоторые функции могут быть реализованы в этом решении, проводной способ также является опцией. Память 706 может быть выполнена с возможностью хранить полученный видеоисточник.
В варианте реализации предоставленный интеллектуальный терминал 70 включает в себя:
схему 703 приемника, выполненную с возможностью получения сигнала управления, введенного пользователем, при этом сигнал управления отражает намерение пользователя выполнить действие;
процессор 705, выполненный с возможностью определять способ отображения видеоконтента согласно сигналу управления, введенным пользователем, и определять инструкции управления воспроизведением видео в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео включает в себя местоположения начала воспроизведения и способ воспроизведения; и
устройство 704 отображения, выполненное с возможностью отображения и воспроизведения видеоконтента под управлением инструкции управления воспроизведением видео.
Дополнительно, таким образом, схема 703 приемника дополнительно выполнена с возможностью получать видеоисточник, при этом видеоисточник включает в себя видеоконтент. В решении этого способа дисплей 704 дополнительно выполнен с возможностью: до того, как схема приемника получит сигнал управления, введенный пользователем, отображать изображение предварительного просмотра видео или воспроизводить видеоконтент. В другом варианте осуществления схема 703 приемника может принимать голосовую команду пользователя и анализировать голосовую команду для получения сигнала управления; обнаружить действие пользователя и анализировать действие управления для получения сигнала управления; обнаруживать изменения точки фокусировки или изменение направления фокусировки линии взгляда пользователя для получения сигнала управления; или получать сигнал управления путем обнаружения операции, выполняемой пользователем на устройстве ввода, подключенном к схеме приемника.
В способе, который может быть объединен с вышеизложенным способом, схема 703 приемника дополнительно выполнена с возможностью регулировать сигнал управления в соответствии со скоростью действия или скоростью действия операции, выполняемой пользователем на устройстве ввода, подключенного к схеме приемника. Кроме того, процессор 705 выполнен с возможностью определять способ отображения видеоконтента согласно сигналу управления, введенным пользователем; и определять инструкцию управления воспроизведением видео в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео включает в себя начальное местоположение воспроизведения и способ воспроизведения. Способ отображения видеоконтента включает в себя: прямое воспроизведение, обратное воспроизведение, замкнутое воспроизведение или остановку воспроизведения; или воспроизводить видео с ускоренной скоростью, с замедлением или с нормальной скоростью, воспроизводить видео после определенного местоположения или времени, или воспроизводить видео из определенного местоположения или времени.
Процессор 705 может определять требование целевого изображения и требование направления перемещения воспроизведения видеоконтента согласно сигналу управления, введенным пользователем, при этом целевое изображение соответствует целевому кадру; определяют способ отображения видеоконтента в соответствии с требованиями целевого изображения и требованиями направления перемещения воспроизведения видеоконтента; и определяют инструкцию управления воспроизведением видео в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео включает в себя начальное местоположение воспроизведения и способ воспроизведения.
Процессор может дополнительно анализировать видеоисточник для получения видеокадра из видеоисточника, номера кадра каждого видеокадра и характеристическую информацию видеоконтента; определяют номер кадра подлежащего воспроизведению целевого кадра в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом номер кадра целевого кадра соответствует месту начала воспроизведения видео или место продолжения воспроизведения видео; и определяют последовательность воспроизведения для воспроизведения целевого кадра в соответствии с номером кадра целевого кадра и способом отображения видеоконтента, при этом последовательность воспроизведения соответствует способу воспроизведения целевого кадра.
В другом варианте осуществления, используемом для описания решения, схема 703 приемника выполнена с возможностью получать ввод пользователя. Предпочтительно, схема 703 приемника выполнена с возможностью: получать информацию о перемещении посредством скольжения пальца пользователя, используя сенсорный датчик; получать информацию о жестах пользователя или о направлении движения головы или движения тела путем анализа изображений, захваченных камерой, или с использованием таких технологий, как технология инфракрасного излучения и технология ультразвуковых волн; получать данные об изменении точки фокусировки или изменении направления фокусировки линии взгляда пользователя с помощью датчика отслеживания линии взгляда; и получать голосовую команду пользователя с помощью микрофона, при этом ввод пользователя конкретно включает в себя операцию скольжения по сенсорному экрану; взмах руки или перемещения пальца; круговые движения пальцами, открытие ладони и поворот запястья, пристальный взгляд или отклонение от линии взгляда, подачу голосовой команды, движение головой и движение телом. Ввод пользователя может также включать в себя изменение степени оказываемого давления при выполнении операции пользователя.
Ввод пользователя получают посредством скольжения пальца на сенсорном экране, которое включает в себя скольжение влево, вправо, вверх и вниз (фиг. 2а, фиг. 2с, фиг. 2е и фиг. 2g) и скольжение приблизительно влево, вправо, вверх и вниз. Например, левая кривая (фиг. 2b) также может рассматриваться как скольжение приблизительно влево, правая кривая (фиг. 2d) также может рассматриваться как скольжение приблизительно вправо, верхняя кривая (фиг. 2f) также может рассматриваться как скольжение приблизительно вверх и нисходящая кривая (фиг. 2h) также может считаться скольжением приблизительно вниз.
Аналогичным образом, взмах руки или перемещение пальцем включают в себя взмах или перемещение влево, вправо, вверх и вниз, и приблизительные перемещения или взмах влево, вправо, вверх и вниз. Например, левая кривая траектории взмаха или перемещения также могут рассматриваться как приблизительно взмах или перемещение влево; и взмах или перемещение в направлении вправо, вверх, вниз могут также рассматриваться как приблизительные перемещения или взмахи в направлении вправо, вверх или вниз.
Ввод пользователя получают посредством поворота пальцем, что включает в себя круговое движение влево, круговое движение вправо, круговое движение вверх и круговое движение вниз.
Ввод пользователя получают посредством открытия ладони и поворотом запястья, что включают в себя поворот слева направо, справа налево, сверху вниз и снизу вверх.
Ввод пользователя получают и пристальный взгляд или отклонение линии взгляда включает в себя пристальный взгляд на верхнюю часть изображения видео или линии взгляда отклоняется от передней части к верхней части. Аналогично, пристальный взгляд или отклонение линии взгляда дополнительно включает в себя пристальный взгляд на нижнюю часть, левую часть и правую часть изображения видео, или линия взгляда отклоняется от передней части к нижней части, левой части или правой части.
Ввод пользователя получен, голосовая команда включает в себя инструкцию, такую как «перемещение влево» и «поворот влево», или инструкцию того же значения, и инструкции вправо, вверх и вниз аналогичны вышеизложенному.
Получают ввод пользователя, и движение головой включает в себя движение головы к левому переднему краю, движение головы вправо, вверх или вниз.
Ввод пользователя получают, и движение тела включает в себя движение влево или вперед, движение по направлению вверх или движение по направлению вниз.
Упомянутые направления пользователь использует в качестве ссылки. Вышеупомянутая левая сторона является левой стороной относительно пользователя, и упомянутая правая сторона является правой стороной относительно пользователя. Очевидно, некоторые пользователи привыкли использовать объект в изображении видео в качестве ссылки для описания понятий «левый» и «правый», и в этом случае, в соответствующей голосовой команде «левый» и «правый» могут быть переключены.
Процессор 705 выполнен с возможностью определять намерения пользователя в соответствии с вводом пользователя и определять инструкцию управления воспроизведением видео в соответствии с намерением пользователя и характеристикой видео. Определение намерения пользователя включает в себя: определение требования к углу обзора для просмотра объекта на изображении видео и требования к направлению поворота объекта на изображении видео. Определение требования к углу обзора для просмотра объекта на изображении видео возможно включает в себя: определение изменения угла обзора просмотра в соответствии с направлением перемещения и приращением величины перемещения, которое вводится пользователем, и затем определение требования к углу обзора для просмотра. Определение требования к направлению поворота объекта на изображении видео включает в себя: получение направления перемещения, вводимого пользователем, при этом требование к направлению поворота объекта на изображении видео такое же, как направление перемещения, вводимое пользователем. Определение инструкции управления воспроизведением видео включает в себя: определение соответствующего местоположения воспроизведения и соответствующего способа воспроизведения. Инструкция управления воспроизведением видео включает в себя: прямое воспроизведение или обратное воспроизведение видео, замкнутое воспроизведение видео, воспроизведение видео с ускоренной скоростью, с замедлением или с нормальной скоростью; и приостановку или остановку воспроизведения видео. Способ определения соответствующего местоположения воспроизведения видео определяет целевой кадр в видео, в соответствии с требованием угла обзора для просмотра объекта на изображении видео. Способ определения соответствующего способа воспроизведения видео сравнивает требование направления поворота объекта на изображении видео и характеристику поворота объекта на изображении видео; и когда они совпадают, воспроизведение видео в прямом направлении или когда они противоположны, воспроизведение видео в обратном направлении.
Процессор 705 выполнен с возможностью выполнять инструкцию управления воспроизведением видео и управлять дисплеем 704 для отображения соответствующего изображения видео. Процессор 705 может дополнительно определять местоположение и характеристику поворота объекта на изображении видео. Характеристика поворота объекта на изображении видео включает в себя поворот слева направо (фиг. 3), справа налево (фиг. 4), сверху вниз (фиг. 5) и снизу вверх (фиг. 6).
Дополнительно, в другом варианте осуществления трехмерного изображения в способе реализации структура интеллектуального устройства может быть структурой, показанной на фиг. 7. В качестве нового интеллектуального терминала 70’, интеллектуальный терминал 70' включает в себя: схему 703 приемника, выполненную с возможностью получать видеоисточник и сигнал управления, вводимого пользователем, при этом видеоисточник включает в себя видеоконтент и сигнал управления отражает намерение пользователя; процессор 705', выполненный с возможностью анализировать видеоконтент в видеоисточнике для генерирования трехмерного изображения, при этом трехмерное изображение используется для отображения объекта, записанного в видеоконтенте, и определять способ отображения трехмерного изображения, в соответствии с сигналом управления, введенным пользователем; и дисплей 704', выполненный с возможностью отображать трехмерное изображение под управлением процессора.
В решении варианте реализации схема 703' приемника выполнена с возможностью получать видеоисточник; и дополнительно выполнена с возможностью: принимать голосовую команду пользователя и анализировать голосовую команду для получения сигнала управления; обнаруживать действие пользователя и анализировать управляющее действие для получения сигнала управления; обнаруживать изменения точки фокусировки или изменение направления фокусировки линии взгляда пользователя для получения сигнала управления; или получать сигнал управления путем обнаружения операции, выполняемой пользователем на устройстве ввода, подключенном к схеме приемника.
В каждом варианте осуществления интеллектуального терминала подробное описание процесса функционирования терминала или осуществления воспроизведения видео на терминале не приводится, поскольку детали уже описаны в вариантах осуществления способа. Все этапы выполнения способа могут быть унаследованы для реализации интеллектуальным терминалом способа воспроизведения видео в этом варианте осуществления настоящего изобретения. С целью выполнения всех этапов и функций способа процессор может взаимодействовать с другими компонентами.
В этом варианте осуществления настоящего изобретения инструкция управления воспроизведением видео определяется в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента. Способ отображения видеоконтента определяется в соответствии с сигналом управления, введенным пользователем; поэтому пользователь может воспроизводить видеоконтент с учетом потребности пользователя и может просматривать объект в широком диапазоне измерения угла просмотра видео под любым углом в соответствии с намерением пользователя (оператора, наблюдателя или человека, который воспроизводит видео). Поэтому процесс взаимодействия более удобен, что для оператора эквивалентно прямому управлению объектом в видео, тем самым, обеспечивая более реальное взаимодействие и реализуя выбор способа индивидуального воспроизведения контента в видеоисточнике.
1. Способ воспроизведения видео, содержащий этапы, на которых:
получают сигнал управления, вводимый пользователем, причем сигнал управления отражает намерение пользователя выполнить действие;
определяют способ отображения видеоконтента согласно сигналу управления, введенному пользователем;
определяют инструкции управления воспроизведением видео согласно характеристической информации видеоконтента и способу отображения видеоконтента, причем инструкция управления воспроизведением видео содержит начальную позицию воспроизведения и способ воспроизведения; и
воспроизводят видеоконтент под управлением инструкции управления воспроизведением видео;
причем способ дополнительно содержит этап, на котором:
осуществляют анализ видеоисточника для получения видеокадра из видеоисточника, номера кадра каждого видеокадра и характеристической информации видеоконтента; а
этап определения инструкции управления воспроизведением видео согласно характеристической информации видеоконтента и способу отображения видеоконтента содержит подэтапы, на которых:
определяют номер кадра целевого кадра, подлежащего воспроизведению, в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, причем номер кадра целевого кадра соответствует начальной позиции воспроизведения видео или местоположению продолжения воспроизведения видео; и
определяют последовательность воспроизведения для воспроизведения целевого кадра в соответствии с номером кадра целевого кадра и способом отображения видеоконтента, причем последовательность воспроизведения соответствует способу воспроизведения целевого кадра.
2. Способ по п. 1, дополнительно содержащий этапы, на которых:
получают видеоисточник, при этом видеоисточник содержит видеоконтент; и
до получения сигнала управления, вводимого пользователем, отображают изображение предварительного просмотра видео или воспроизводят видеоконтент.
3. Способ по п. 1, в котором этап получения сигнала управления, вводимого пользователем, содержит подэтапы, на которых:
принимают голосовую команду пользователя и осуществляют анализ голосовой команды для получения сигнала управления;
обнаруживают действие пользователя и осуществляют анализ управляющего действия для получения сигнала управления;
обнаруживают изменение точки фокусировки или изменение направления фокусировки линии взгляда пользователя для получения сигнала управления; или
получают сигнал управления посредством обнаружения операции, выполняемой пользователем на устройстве ввода.
4. Способ по п. 3, в котором сигнал управления регулируют согласно скорости действия или скорости действия операции, выполняемой пользователем на устройстве ввода; а
способ отображения видеоконтента содержит этапы, на которых: воспроизводят видео с ускоренной скоростью, с замедлением или с нормальной скоростью, воспроизведение видео после определенного местоположения или времени, к которому происходит переход, или воспроизводят видео с определенного местоположения или момента времени.
5. Способ по п. 1, в котором способ отображения видеоконтента содержит этап, на котором:
осуществляют прямое воспроизведение, обратное воспроизведение, замкнутое воспроизведение или остановку воспроизведения; а
этап определения способа отображения видеоконтента согласно сигналу управления, введенному пользователем, содержит подэтап, на котором:
осуществляют прямое воспроизведение, обратное воспроизведение, замкнутое воспроизведение или остановку воспроизведения видеоконтента согласно сигналу управления, введенному пользователем.
6. Способ по п. 1, в котором этап определения способа отображения видеоконтента согласно сигналу управления, введенному пользователем, содержит подэтапы, на которых:
определяют требования целевого изображения и требования направления перемещения воспроизведения видеоконтента согласно сигналу управления, введенному пользователем, причем целевое изображение соответствует целевому кадру; и
определяют способ отображения видеоконтента в соответствии с требованием целевого изображения и требованием направления перемещения воспроизведения видеоконтента.
7. Способ по п. 1, в котором характеристическая информация видеоконтента содержит информацию перемещения целевого контента; а
этап осуществления анализа видеоисточника для получения характеристической информации видеоконтента содержит подэтапы, на которых:
осуществляют анализ видеоисточника для получения направления сканирования для захвата видео, причем направление сканирования представляет собой информацию перемещения целевого контента; или
осуществляют анализ видеоисточника для получения траектории перемещения идентифицированной точки и получения информации перемещения целевого контента согласно траектории перемещения идентифицированной точки.
8. Способ по п. 7, в котором информация перемещения целевого контента содержит:
характеристику перемещения целевого контента, при этом характеристика перемещения содержит поворот целевого контента слева направо, справа налево, сверху вниз или снизу вверх.
9. Способ по п. 1, содержащий этапы, на которых:
осуществляют анализ видеоконтента в видеоисточнике для генерирования трехмерного изображения, при этом трехмерное изображение используют для отображения объекта, записанного в видеоконтенте.
10. Оконечное устройство, содержащее:
схему приемника, выполненную с возможностью получения сигнала управления, вводимого пользователем, причем сигнал управления отражает намерение пользователя выполнить действие;
процессор, выполненный с возможностью определения способа отображения видеоконтента согласно сигналу управления, введенному пользователем, и определения инструкции управления воспроизведением видео согласно характеристической информации видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео содержит начальную позицию воспроизведения и способ воспроизведения; при этом
процессор выполнен с возможностью анализа видеоисточника для получения видеокадра из видеоисточника, номера кадра каждого видеокадра и характеристической информации видеоконтента; определения номера кадра целевого кадра, подлежащего воспроизведению, в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, причем номер кадра целевого кадра соответствует начальной позиции воспроизведения видео или местоположению продолжения воспроизведения видео; и определения последовательности воспроизведения для воспроизведения целевого кадра в соответствии с номером кадра целевого кадра и способом отображения видеоконтента, причем последовательность воспроизведения соответствует способу воспроизведения целевого кадра; и
устройство отображения, выполненное с возможностью отображения и воспроизведения видеоконтента под управлением инструкции управления воспроизведением видео.
11. Оконечное устройство по п. 10, в котором
схема приемника дополнительно выполнена с возможностью получения видеоисточника, причем видеоисточник содержит видеоконтент; а
устройство отображения дополнительно выполнено с возможностью: до получения схемой приемника сигнала управления, введенного пользователем, отображения изображения предварительного просмотра видео или воспроизведения видеоконтента.
12. Оконечное устройство по п. 10, в котором схема приемника дополнительно выполнена с возможностью:
приема голосовой команды пользователя и анализа голосовой команды для получения сигнала управления;
обнаружения действия пользователя и анализа управляющего действия для получения сигнала управления;
обнаружения изменения точки фокусировки или изменения направления фокусировки линии взгляда пользователя для получения сигнала управления; или
получения сигнала управления посредством обнаружения операции, выполняемой пользователем на устройстве ввода, соединенном со схемой приемника.
13. Оконечное устройство по п. 10, в котором схема приемника дополнительно выполнена с возможностью регулировки сигнала управления в соответствии со скоростью действия или скоростью действия операции, выполняемой пользователем на устройстве ввода, соединенном со схемой приемника; а
процессор, выполненный с возможностью определения способа отображения видеоконтента согласно сигналу управления, введенному пользователем, и определения инструкции управления воспроизведением видео в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео содержит начальную позицию воспроизведения и способ воспроизведения, а способ отображения видеоконтента содержит этапы, на которых: осуществляют прямое воспроизведение, обратное воспроизведение, замкнутое воспроизведение или остановку воспроизведения; или воспроизводят видео с ускоренной скоростью, с замедлением или с нормальной скоростью, воспроизведение видео после перехода к определенному местоположению или моменту времени, или воспроизведение видео из определенного местоположения или момента времени.
14. Оконечное устройство по п. 10, в котором процессор дополнительно выполнен с возможностью:
определения требования целевого изображения и требования направления перемещения воспроизведения видеоконтента согласно сигналу управления, введенному пользователем, при этом целевое изображение соответствует целевому кадру;
определения способа отображения видеоконтента в соответствии с требованиями целевого изображения и требованиями направления перемещения воспроизведения видеоконтента; и
определения инструкции управления воспроизведением видео в соответствии с характеристической информацией видеоконтента и способом отображения видеоконтента, при этом инструкция управления воспроизведением видео содержит начальную позицию воспроизведения и способ воспроизведения.
15. Оконечное устройство по п. 10, в котором процессор дополнительно выполнен с возможностью анализа видеоконтента в видеоисточнике для генерирования трехмерного изображения, причем трехмерное изображение используют для отображения объекта, записанного в видеоконтенте.
