Способ и устройство для обработки видеоинформации
Изобретение относится к области технологий связи. Технический результат заключается в обеспечении избытка видеоконтента, возможности переключения целевого видеоизображения, повышении качества контента прямой видеотрансляции. Способ обработки видеоинформации, выполняемый мобильным терминалом, используемым для прямой видеотрансляции, и включающий захват локального видеоизображения упомянутым мобильным терминалом, используемым для прямой видеотрансляции, прием множества каналов видеоизображения, переданных по отдельности от множества других мобильных терминалов, отображение упомянутого локального видеоизображения и упомянутого множества каналов видеоизображения, получение инструкции выбора, введенной пользователем, при этом инструкция выбора содержит идентификатор целевого видеоизображения, причем целевое видеоизображение включает по меньшей мере одно изображение из упомянутого локального видеоизображения и упомянутого множества каналов видеоизображения и передачу целевого видеоизображения в другой терминал. 3 н. и 8 з.п. ф-лы, 11 ил.
Перекрестные ссылки на связанные заявки
[0001] Настоящая заявка ссылается на приоритет заявки на патент Китайской Народной Республики №201610258583.7, на которой она основана и которая была зарегистрирована 22 апреля 2016 года. При этом содержимое упомянутой заявки полностью включено в настоящий документ путем ссылки.
Область техники
[0002] Настоящее изобретение относится, в общем, к области технологий связи, а именно, к способу и устройству для обработки видеоинформации.
Предпосылки создания изобретения
[0003] Прямые видеотрансляции (широковещательную передачу видеоинформации в реальном времени) реализуют, как правило, при помощи Интернет-технологий и технологий потоковой передачи мультимедийной информации. Прямые видеотрансляции становятся все более популярным методом донесения информации в Интернете благодаря возможности интеграции с огромным множеством различных элементов, таких как изображения, текст или звук, а также благодаря высокой эффективности воздействия аудио-визуальных презентаций.
[0004] Прямые видеотрансляции с мобильных телефонов позволяют делиться информацией с места событий со зрителями с использованием смартфона в любое время и в любом месте, при помощи видеосъемки на смартфон в режиме реального времени. Однако по состоянию на сегодняшний день прямые видеотрансляции, выполняемые при помощи мобильных телефонов, однообразны по своему содержимому, и следовательно, не обеспечивают хорошего уровня пользовательского восприятия.
Сущность изобретения
[0005] С целью преодоления недостатков, имеющихся на существующем уровне техники, в настоящем изобретении предложены способ и устройство для обработки видеоинформации.
[0006] В соответствии с первым аспектом вариантов осуществления настоящего изобретения предложен способ обработки видеоинформации, включающий:
прием множества каналов видеоизображения, переданных по отдельности от множества мобильных терминалов;
отображение упомянутого множества каналов видеоизображения;
получение инструкции выбора, введенной пользователем, при этом инструкция выбора содержит идентификатор целевого видеоизображения, причем целевое видеоизображение включает по меньшей мере один канал из упомянутого множества каналов видеоизображения; и
передачу целевого видеоизображения в другой терминал.
[0007] В одном из вариантов осуществления настоящего изобретения перед отображением множества каналов видеоизображения способ дополнительно включает:
захват локального видеоизображения; и
при этом отображение множества каналов видеоизображения включает:
отображение локального видеоизображения и упомянутого множества каналов видеоизображения.
[0008] В одном из вариантов осуществления настоящего изобретения, когда целевое видеоизображение включает два или более каналов из упомянутого множества каналов видеоизображения, передача целевого видеоизображения в другой терминал включает:
выполнение процедуры наложения или стыковки для двух или более каналов из упомянутого множества каналов видеоизображения в целевом видеоизображении и передача полученного видеоизображения в другой терминал.
[0009] В одном из вариантов осуществления настоящего изобретения способ дополнительно включает:
получение инструкции переключения, введенной пользователем; и
передачу целевого видеоизображения, на которое было выполнено переключение, в другой терминал.
[0010] В одном из вариантов осуществления настоящего изобретения инструкция выбора и/или инструкция переключения представляют собой инструкции голосового управления.
[0011] В одном из вариантов осуществления настоящего изобретения способ дополнительно включает:
прием множества каналов аудиоинформации, переданных по отдельности от множества мобильных терминалов;
сглаживание упомянутого множества каналов аудиоинформации, в результате чего получают целевую аудиоинформацию; и
передачу целевой аудиоинформации в другой терминал.
[0012] В соответствии со вторым аспектом вариантов осуществления настоящего изобретения предложено устройство для обработки видеоинформации, включающее:
первый модуль приема, сконфигурированный для приема множества каналов видеоизображения, переданных по отдельности от множества мобильных терминалов;
модуль отображения, сконфигурированный для отображения множества каналов видеоизображения, принятых первым модулем приема;
модуль получения, сконфигурированный для получения инструкции выбора, введенной пользователем, при этом инструкция выбора содержит идентификатор целевого видеоизображения, причем целевое видеоизображение включает по меньшей мере один канал из множества каналов видеоизображения, отображаемых при помощи модуля отображения; и
первый модуль передачи, сконфигурированный для передачи целевого видеоизображения в другой терминал.
[0013] В одном из вариантов осуществления настоящего изобретения устройство дополнительно включает:
модуль захвата, сконфигурированный для захвата локального видеоизображения перед отображением упомянутого множества каналов видеоизображения в модуле отображения; и
при этом модуль отображения сконфигурирован для отображения локального видеоизображения и упомянутого множества каналов видеоизображения.
[0014] В одном из вариантов осуществления настоящего изобретения, когда целевое видеоизображение включает два или более каналов из упомянутого множества каналов видеоизображения, первый модуль передачи сконфигурирован:
для выполнения процедуры наложения или стыковки для двух или более каналов из упомянутого множества каналов видеоизображения в целевом видеоизображении и для передачи полученного видеоизображения в другой терминал.
[0015] В одном из вариантов осуществления настоящего изобретения устройство дополнительно включает:
модуль получения и передачи, сконфигурированный для получения инструкции переключения, введенной пользователем, и для передачи целевого видеоизображения, на которое было выполнено переключение, в другой терминал.
[0016] В одном из вариантов осуществления настоящего изобретения инструкция выбора и/или инструкция переключения представляют собой инструкции голосового управления.
[0017] В одном из вариантов осуществления настоящего изобретения устройство дополнительно включает:
второй модуль приема, сконфигурированный для приема множества каналов аудиоинформации, переданных по отдельности от множества мобильных терминалов;
модуль обработки данных, сконфигурированный для сглаживания упомянутого множества каналов аудиоинформации, принятых вторым модулем приема, в результате чего получают целевую аудиоинформацию; и
второй модуль передачи, сконфигурированный для передачи целевой аудиоинформации, полученной при помощи модуля обработки данных, в другой терминал.
[0018] В соответствии с третьим аспектом вариантов осуществления настоящего изобретения предложено устройство для обработки видеоинформации, включающее:
процессор; и
память, сконфигурированную для хранения инструкций, исполняемых процессором;
при этом процессор сконфигурирован для выполнения следующего:
прием множества каналов видеоизображения, переданных по отдельности от множества мобильных терминалов;
отображение упомянутого множества каналов видеоизображения;
получение инструкции выбора, введенной пользователем, при этом инструкция выбора содержит идентификатор целевого видеоизображения, причем целевое видеоизображение включает по меньшей мере один канал из упомянутого множества каналов видеоизображения; и
передача целевого видеоизображения в другой терминал.
[0019] Техническое решение, предложенное в вариантах осуществления настоящего изобретения, позволяет, по меньшей мере частично, получить следующие полезные результаты:
[0020] за счет отображения множества каналов видеоизображения, переданных от множества мобильных терминалов, и передачи целевого видеоизображения в другие терминалы, после получения введенной пользователем инструкции выбора, которая указывает на целевое видеоизображение, из упомянутого множества каналов видеоизображения в качестве целевого видеоизображения для прямой видеотрансляции может быть выбрано любое желаемое видеоизображение. Таким образом для пользователя обеспечивается избыток видеоконтента, и соответственно, пользовательское восприятие может быть значительно улучшено.
[0021] Вместе с приемом множества каналов видеоизображения, переданных, соответственно, из множества мобильных терминалов, выполняют также захват локального видеоизображения, при этом отображают одновременно и локальное видеоизображение, и упомянутое множество каналов видеоизображения, благодаря чему в качестве целевого видеоизображения для прямой видеотрансляции может быть выбрано любое желаемое видеоизображение, - локальное видеоизображение или упомянутое множество каналов видеоизображения. Таким образом обеспечивается избыток контента для прямой видеотрансляции, что позволяет улучшить пользовательское восприятие.
[0022] Благодаря выполнению процедуры наложения или стыковки для множества каналов видеоизображения в целевом видеоизображении может быть повышено качество контента прямой видеотрансляции и упрощена его презентация, и следовательно, может быть значительно улучшено пользовательское восприятие.
[0023] После получения введенной пользователем инструкции переключения, указывающей на целевое видеоизображение, видеоизображение, на которое было выполнено переключение, передают в другие терминалы, то есть обеспечивается возможность переключения целевого видеоизображения, и следовательно, может быть значительно улучшено пользовательское восприятие.
[0024] Поскольку и инструкция выбора, и инструкция переключения, указывающие на целевое видеоизображение, могут быть реализованы в виде инструкций голосового управления, пользователю может быть обеспечено удобство выбора и переключения целевого видеоизображения.
[0025] Целевая аудиоинформация может быть получена путем сглаживания множества каналов аудиоинформации, и затем может быть передана в другие терминалы, что позволяет улучшить пользовательское восприятие от прямой видеотрансляции.
[0026] Нужно понимать, что и предшествующее общее описание, и подробное описание, приведенное ниже, являются исключительно иллюстративными и пояснительными и не ограничивают настоящее изобретение.
Краткое описание чертежей
[0027] На приложенных чертежах, которые входят в состав настоящего описания и являются его неотъемлемой частью, проиллюстрированы варианты осуществления, соответствующие настоящему изобретению. Приложенные чертежи, вместе с описанием, служат для разъяснения замысла настоящего изобретения:
[0028] Фиг. 1 представляет собой блок-схему алгоритма, иллюстрирующую способ обработки видеоинформации в соответствии с одним из примеров осуществления настоящего изобретения.
[0029] Фиг. 2 представляет собой эскизную блок-схему, иллюстрирующую сценарий применения способа обработки видеоинформации в соответствии с одним из примеров осуществления настоящего изобретения.
[0030] Фиг. 3 представляет собой блок-схему алгоритма, иллюстрирующую способ обработки видеоинформации в соответствии с другим примером осуществления настоящего изобретения.
[0031] Фиг. 4 представляет собой блок-схему алгоритма, иллюстрирующую способ обработки видеоинформации в соответствии с еще одним из примеров осуществления настоящего изобретения.
[0032] Фиг. 5 представляет собой блок-схему алгоритма, иллюстрирующую способ обработки видеоинформации в соответствии с еще одним из примеров осуществления настоящего изобретения.
[0033] Фиг. 6А представляет собой блок-схему алгоритма, иллюстрирующую процедуру, выполняемую для множества каналов видеоизображения, с получением целевого видеоизображения, в соответствии с одним из примеров осуществления настоящего изобретения.
[0034] Фиг. 6В представляет собой эскизную блок-схему, иллюстрирующую интерфейс для процедуры стыковки множества каналов видеоизображения в соответствии с одним из примеров осуществления настоящего изобретения.
[0035] Фиг. 6С представляет собой эскизную блок-схему, иллюстрирующую интерфейс для процедуры наложения множества каналов видеоизображения в соответствии с одним из примеров осуществления настоящего изобретения.
[0036] Фиг. 7 представляет собой блок-схему, иллюстрирующую устройство для обработки видеоинформации в соответствии с одним из примеров осуществления настоящего изобретения.
[0037] Фиг. 8 представляет собой блок-схему, иллюстрирующую устройство для обработки видеоинформации в соответствии с другим примером осуществления настоящего изобретения.
[0038] Фиг. 9 представляет собой блок-схему, иллюстрирующую устройство для обработки видеоинформации в соответствии с другим примером осуществления настоящего изобретения.
[0039] Фиг. 10 представляет собой блок-схему, иллюстрирующую устройство для обработки видеоинформации в соответствии с еще одним из примеров осуществления настоящего изобретения.
[0040] Фиг. 11 представляет собой блок-схему, иллюстрирующую устройство, которое может применяться для обработки видеоинформации в соответствии с одним из примеров осуществления настоящего изобретения.
Подробное описание изобретения
[0041] Далее настоящее изобретение будет описано более подробно с помощью конкретных примеров его осуществления, которые проиллюстрированы на приложенных чертежах. Приведенное ниже описание выполнено со ссылками на приложенные чертежи, где, если не указано обратное, аналогичными обозначениями на различных чертежах обозначены одинаковые или аналогичные элементы. Реализации примеров осуществления настоящего изобретения, рассмотренные в приведенном ниже описании, не являются всеми возможными реализациями, соответствующими настоящему изобретению. Напротив, они являются исключительно примерами устройств и способов, соответствующих настоящему изобретению, которое определено приложенной формулой изобретения.
[0042] Фиг. 1 представляет собой блок-схему алгоритма, иллюстрирующую способ обработки видеоинформации в соответствии с одним из примеров осуществления настоящего изобретения. Данный способ обработки видеоинформации может применяться в мобильном терминале, который может представлять собой, в качестве неограничивающего примера, мобильный телефон. В соответствии с иллюстрацией фиг. 1, способ обработки видеоинформации включает шаги S101-S104, описанные ниже.
[0043] На шаге S101 принимают множество каналов видеоизображения, переданных по отдельности от множества мобильных терминалов.
[0044] В одном из вариантов осуществления настоящего изобретения один терминал из упомянутого множества мобильных терминалов выполняет функцию мобильного терминала, ведущего прямую видеотрансляцию, и способен принимать множество каналов видеоизображения от остальных терминалов по технологии связи в ближней зоне (Near Field Communication, NFC), например, по стандарту «беспроводной точности» (Wireless Fidelity, Wi-Fi), а также предоставлять это множество каналов видеоизображения в совместный доступ другим пользователям.
[0045] В настоящем изобретении мобильным терминалом может быть мобильный телефон, при этом упомянутое множество каналов видеоизображения от мобильных терминалов может содержать любые видеоизображения, относящиеся к различным сценам съемки одновременно, видеоизображения, относящиеся к различным точкам съемки одновременно, а также видеоизображения, относящиеся к различным сценам съемки и различным точкам съемки одновременно, однако без ограничения перечисленным.
[0046] На шаге S102 отображают упомянутое множество каналов видеоизображения.
[0047] Мобильный терминал, ведущий прямую видеотрансляцию, может отображать множество каналов видеоизображения после их приема.
[0048] На шаге S103 получают введенную пользователем инструкцию выбора, указывающую на целевое видеоизображение.
[0049] Инструкция выбора может содержать в себе идентификатор целевого видеоизображения. В настоящем изобретении целевое видеоизображение может содержать по меньшей мере один канал из упомянутого множества каналов видеоизображения. Другими славами, хост-терминал может выбирать, из множества каналов видеоизображения, по меньшей мере один канал видеоизображения для прямой видеотрансляции.
[0050] На шаге S104, целевое видеоизображение передают в другой терминал.
[0051] В одном из вариантов осуществления настоящего изобретения после приема инструкции выбора, введенной пользователем, мобильный терминал, ведущий прямую видеотрансляцию, может передавать целевое видеоизображение в другие терминалы, и таким образом, обеспечивают прямую видеотрансляцию.
[0052] Ниже настоящее изобретение будет проиллюстрировано на примере фиг. 2. В соответствии с иллюстрацией фиг. 2, мобильный телефон 21, ведущий прямую видеотрансляцию, принимает четыре канала видеоизображения от мобильных телефонов 22, 23, 24, 25 и отображает эти четыре канала видеоизображения. Если хост-терминал желает транслировать видеоизображения с мобильного телефона 22, то после получения идентификатора видеоизображения, которое принимают от мобильного телефона 22, мобильный телефон 21 может передавать целевое видеоизображение, с мобильного телефона 22, в другой терминал через сервер, и таким образом, обеспечивают прямую видеотрансляцию. В одном из вариантов осуществления настоящего изобретения, как можно видеть из приведенного выше описания, избыточность видеоконтента обеспечивается при помощи приема множества каналов видеоизображения от множества мобильных терминалов, при этом для прямой видеотрансляции может быть выбрано любое представляющее интерес видеоизображение, что позволяет значительно улучшить пользовательское восприятие.
[0053] В одном из вариантов осуществления описанного выше способа обработки видеоинформации, путем отображения множества каналов видеоизображения, переданных от множества мобильных терминалов, и передачи целевого видеоизображения в другой терминал, после получения введенной пользователем инструкции выбора, которая указывает на целевое видеоизображение, из упомянутого множества каналов видеоизображения в качестве целевого видеоизображения для прямой видеотрансляции может быть выбрано любое видеоизображение, представляющее интерес для пользователя. Таким образом для пользователя обеспечивается избыток видеоконтента, и соответственно, пользовательское восприятие может быть значительно улучшено.
[0054] Фиг. 3 представляет собой блок-схему алгоритма, иллюстрирующую способ обработки видеоинформации в соответствии с еще одним из примеров осуществления настоящего изобретения. В соответствии с иллюстрацией фиг. 3, способ включает следующие шаги.
[0055] На шаге S301 принимают множество каналов видеоизображения, переданных по отдельности от множества мобильных терминалов.
[0056] На шаге S302 выполняют захват локального видеоизображения.
[0057] В одном из вариантов осуществления настоящего изобретения вместе с приемом множества каналов видеоизображения, переданных по отдельности от множества мобильных терминалов, может также выполняться захват локального видеоизображения.
[0058] На шаге S303 отображают локальное видеоизображение и упомянутое множество каналов видеоизображения.
[0059] На шаге S304 получают введенную пользователем инструкцию выбора, указывающую на целевое видеоизображение.
[0060] В настоящем изобретении инструкция выбора может представлять собой инструкцию голосового управления. Также, при этом, инструкция выбора может содержать в себе идентификатор целевого видеоизображения. Целевое видеоизображение может включать по меньшей мере один канал из упомянутого множества каналов видеоизображения. Другими славами, хост-терминал может выбирать, из множества каналов видеоизображения, по меньшей мере один канал видеоизображения для прямой видеотрансляции.
[0061] На шаге S305, целевое видеоизображение передают в другой терминал.
[0062] Когда целевое видеоизображение содержит два или более каналов из упомянутого множества каналов видеоизображения, в целевом видеоизображении для этих двух или более из множества каналов видеоизображения может быть выполнена процедура наложения или стыковки, и обработанное таким образом видеоизображение может быть передано в другие терминалы.
[0063] В соответствии с одним из вариантов осуществления описанного выше способа обработки видеоинформации, вместе с приемом множества каналов видеоизображения, переданных, соответственно, из множества мобильных терминалов, выполняют также захват локального видеоизображения, при этом отображают одновременно и локальное видеоизображение, и упомянутое множество каналов видеоизображения, благодаря чему может в качестве целевого видеоизображения для прямой видеотрансляции может быть выбрано необходимое видеоизображение, - локальное видеоизображение или упомянутое множество каналов видеоизображения. Таким образом обеспечивается избыток контента для прямой видеотрансляции, что позволяет улучшить пользовательское восприятие.
[0064] Фиг. 4 представляет собой блок-схему алгоритма, иллюстрирующую способ обработки видеоинформации в соответствии с еще одним из примеров осуществления настоящего изобретения. В соответствии с иллюстрацией фиг. 4, после шага S104 способ включает дополнительные шаги, описанные ниже.
[0065] На шаге S105, когда получена введенная пользователем инструкция переключения, указывающая на целевое видеоизображение, целевое видеоизображение, на которое было выполнено переключение передают в другой терминал.
[0066] В настоящем изобретении инструкция переключения может представлять собой инструкцию голосового управления.
[0067] На примере четырех каналов видеоизображения, показанных на фиг. 2, если допустить, что видеоизображением текущей прямой видеотрансляции является видеоизображение 1, пользователь может пожелать транслировать видеоизображение 3. После выдачи голосовой инструкции переключения, указывающей на необходимость переключения на видеоизображение 3, она может быть принята мобильным телефоном 21, ведущим прямую видеотрансляцию, который может выполнить переключение на видеоизображение 3 для прямой видеотрансляции в другие терминалы.
[0068] В соответствии с одним из вариантов осуществления описанного выше способа обработки видеоинформации, после получения введенной пользователем инструкции переключения, указывающей на целевое видеоизображение, переключенное видеоизображение передают в другие терминалы, то есть, обеспечивается возможность переключения целевого видеоизображения, и следовательно, может быть значительно улучшено пользовательское восприятие.
[0069] Фиг. 5 представляет собой блок-схему алгоритма, иллюстрирующую способ обработки видеоинформации в соответствии с еще одним из примеров осуществления настоящего изобретения. Данный способ основан на варианте осуществления настоящего изобретения, показанном на фиг. 4, при этом в соответствии с иллюстрацией фиг. 5 способ включает шаги, описанные ниже.
[0070] На шаге S501 принимают множество каналов аудиоинформации, переданных по отдельности от множества мобильных терминалов.
[0071] В одном из вариантов осуществления настоящего изобретения упомянутое множество каналов аудиоинформации, переданных по отдельности от множества мобильных терминалов, принимают в дополнение к множеству каналов видеоизображения, переданных по отдельности от множества мобильных терминалов.
[0072] На шаге S502 для упомянутого множества каналов аудиоинформации выполняют процедуру сглаживания, в результате чего получают целевую аудиоинформацию.
[0073] В одном из вариантов осуществления настоящего изобретения процедуру сглаживания выполняют для упомянутого множества каналов аудиоинформации с целью устранения в них шума, благодаря чему может быть повышена ясность целевой аудиоинформации.
[0074] На шаге S503, целевую аудиоинформацию передают в другой терминал.
[0075] В соответствии с описанным выше вариантом осуществления настоящего изобретения целевая аудиоинформация может быть получена в виде чистого сигнала, при помощи выравнивания множества каналов аудиоинформации, и затем может быть передана в другие терминалы, благодаря чему может быть улучшено пользовательское восприятие от прямой видеотрансляции.
[0076] Фиг. 6А представляет собой блок-схему алгоритма, иллюстрирующую процедуру, выполняемую для множества каналов видеоизображения, с получением целевого видеоизображения, в соответствии с одним из примеров осуществления настоящего изобретения. В соответствии с иллюстрацией фиг. 6А, процедура включает следующие шаги.
[0077] На шаге S601 определяют, присутствуют ли среди множества каналов видеоизображения идентичные изображения, и если это так, выполняют шаг S602, а в противном случае выполняют шаг S603.
[0078] В одном из вариантов осуществления настоящего изобретения в двух различных каналах видеоизображения могут присутствовать идентичные изображения, когда точки съемки двух или более мобильных телефонов, применяемых для захвата видеоизображения, идентичны друг другу.
[0079] На шаге S602 устраняют дублирование идентичных изображений.
[0080] На шаге S603 определяют структуру множества каналов видеоизображения. Когда множество каналов видеоизображения имеют структуру видеонаблюдения, выполняют шаг S604. Когда множество каналов видеоизображения имеют структуру типа «картинка в картинке» (Picture in Picture, PIP) видеонаблюдения, выполняют шаг S605.
[0081] В одном из вариантов осуществления настоящего изобретения структура множества каналов видеоизображения может быть определена на основе типа события, соответствующего видеоизображению, а тип события может быть определен за счет обработки содержимого множества каналов видеоизображения при помощи алгоритма машинного обучения или нейросетевого алгоритма.
[0082] К примеру, исходя из содержимого множества каналов видеоизображения может быть определено, что текущее событие представляет собой соревнования или празднование. Если данное событие -это соревнования, то может быть определено, что множество каналов видеоизображения имеют структуру PIP. Если данное событие - это празднование, то может быть определено, что множество каналов видеоизображения имеют структуру видеонаблюдения.
[0083] Соответственно, за счет определения структуры множества каналов видеоизображения на основе типа события может быть достигнута простора реализации и высокая точность.
[0084] На шаге S604 выполняют процедуру стыковки множества каналов видеоизображения, после чего выполнение алгоритма завершается.
[0085] В одном из вариантов осуществления настоящего изобретения процедура стыковки может выполняться для множества каналов видеоизображения, когда определено, что множество каналов видеоизображения имеют структуру видеонаблюдения.
[0086] К примеру, для события, относящегося к типу празднования, множество каналов видеоизображения, сформированных для различных сцен съемки в одно и то же время, объединяют в одно изображение. В соответствии с иллюстрацией фиг. 6В, два канала видеоизображения, сформированные для сцен съемки А и В, стыкуют в одном изображении, в результате чего может быть обеспечена прямая видеотрансляция празднования.
[0087] На шаге S605 выполняют процедуру наложения множества каналов видеоизображения, после чего выполнение алгоритма завершается.
[0088] В одном из вариантов осуществления настоящего изобретения процедура наложения может выполняться для множества каналов видеоизображения, когда определено, что множество каналов видеоизображения имеют структуру PIP.
[0089] К примеру, когда событие - это соревнования, один из каналов видеоизображения может быть наложен на другой канал, в результате чего получают канал PIP. В соответствии с иллюстрацией фиг. 6С, видеоизображение С накладывают на видеоизображение D, и таким образом, обеспечивают прямую видеотрансляцию соревнований.
[0090] В соответствии с данным вариантом осуществления способа обработки видеоинформации, описанным выше, для множества каналов видеоизображения, в зависимости от структуры множества каналов видеоизображения, выполняют либо процедуру стыковки, либо процедуру наложения. Таким образом, прямая видеотрансляция может быть реализовано гибко, с высокой достоверностью и высокой эффективностью.
[0091] В настоящем изобретении предложены также варианты осуществления устройства для обработки видеоинформации, которые соответствуют описанным выше вариантам способа обработки видеоинформации.
[0092] Фиг. 7 представляет собой блок-схему, иллюстрирующую устройство для обработки видеоинформации в соответствии с одним из примеров осуществления настоящего изобретения. В соответствии с иллюстрацией фиг. 7 устройство для обработки видеоинформации включает первый модуль 71 приема, модуль 72 отображения, модуль 73 получения и первый модуль 74 передачи.
[0093] Первый модуль 71 приема сконфигурирован для приема множества каналов видеоизображения, переданных по отдельности от множества мобильных терминалов.
[0094] В одном из вариантов осуществления настоящего изобретения один из упомянутого множества мобильных терминалов выполняет функцию мобильного терминала, ведущего прямую видеотрансляцию, и способен принимать множество каналов видеоизображения от остальных терминалов по технологии связи в ближней зоне (Near Field Communication, NFC), например, по стандарту «беспроводной точноти» (Wireless Fidelity, Wi-Fi), а также предоставлять это множество каналов видеоизображения в совместный доступ другим пользователям.
[0095] В настоящем изобретении мобильным терминалом может быть мобильный телефон, при этом упомянутое множество каналов видеоизображения от мобильных терминалов может содержать любые видеоизображения, относящиеся к различным сценам съемки одновременно, видеоизображения, относящиеся к различным точкам съемки одновременно, а также видеоизображения, относящиеся к различным сценам съемки и различным точкам съемки одновременно, однако без ограничения перечисленным.
[0096] Модуль 72 отображения сконфигурирован для отображения упомянутого множества каналов видеоизображения, принятых первым модулем 71 приема.
[0097] Модуль 73 получения сконфигурирован для получения введенной пользователем инструкции выбора, которая указывает на целевое видеоизображение, при этом инструкция выбора содержит в себе идентификатор целевого видеоизображения, которое включает по меньшей мере один канал из упомянутого множества каналов видеоизображения, отображаемого при помощи модуля отображения 72.
[0098] Первый модуль 74 передачи сконфигурирован для передачи целевого видеоизображения в другой терминал.
[0099] В данном варианте осуществления настоящего изобретения после приема введенной пользователем инструкции выбора целевое видеоизображение может быть передано, при помощи первого модуля 74 передачи, в другие терминалы, и таким образом, обеспечивается прямая видеотрансляция.
[00100] В одном из вариантов осуществления настоящего изобретения, когда целевое видеоизображение содержит несколько каналов видеоизображения, первый модуль 74 передачи сконфигурирован для выполнения процедуры наложения или стыковки для двух или более каналов из множества каналов видеоизображения в целевом видеоизображении и затем - для передачи полученного видеоизображения в другой терминал.
[00101] Поскольку устройство, показанное на фиг. 7, применяют для реализации шагов способа, показанного на фиг. 1, соответствующее описание может быть одинаковым в обоих случаях, и следовательно, повторено здесь в деталях не будет.
[00102] В соответствии с одним из вариантов осуществления описанного выше устройства для обработки видеоинформации, за счет отображения множества каналов видеоизображения, переданных от множества мобильных терминалов, и передачи целевого видеоизображения в другой терминал, после получения введенной пользователем инструкции выбора, которая указывает на целевое видеоизображение, из упомянутого множества каналов видеоизображения в качестве целевого видеоизображения для прямой видеотрансляции может быть выбрано любое видеоизображение, представляющее интерес для пользователя. Таким образом для пользователя обеспечивается избыток видеоконтента, и соответственно, пользовательское восприятие может быть значительно улучшено.
[00103] Фиг. 8 представляет собой блок-схему, иллюстрирующую устройство для обработки видеоинформации в соответствии с еще одним из примеров осуществления настоящего изобретения. В соответствии с иллюстрацией фиг. 8, устройство, которое основано на варианте осуществления настоящего изобретения, показанном на фиг. 7, дополнительно включает модуль 75 захвата.
[00104] Модуль 75 захвата сконфигурирован для захвата локального видеоизображения перед отображением упомянутого множества каналов видеоизображения в модуле 72 отображения.
[00105] В данном варианте осуществления настоящего изобретения, вместе с приемом множества каналов видеоизображения, переданных по отдельности от множества мобильных терминалов, может также выполняться захват локального видеоизображения.
[00106] В данном случае модуль 72 отображения может быть сконфигурирован для отображения локального видеоизображения и упомянутого множества каналов видеоизображения.
[00107] Поскольку устройство, показанное на фиг. 8, применяют для реализации шагов способа, показанного на фиг. 3, соответствующее описание может быть одинаковым в обоих случаях, и следовательно, повторено здесь в деталях не будет.
[00108] В соответствии с одним из вариантов осуществления описанного выше устройства для обработки видеоинформации, вместе с приемом множества каналов видеоизображения, переданных, соответственно, из множества мобильных терминалов, выполняют также захват локального видеоизображения, при этом отображают одновременно и локальное видеоизображение, и упомянутое множество каналов видеоизображения, благодаря чему в качестве целевого видеоизображения для прямой видеотрансляции может быть выбрано любое желаемое видеоизображение, - локальное видеоизображение или упомянутое множество каналов видеоизображения. Таким образом обеспечивается избыток контента для прямой видеотрансляции, что позволяет улучшить пользовательское восприятие.
[00109] Фиг. 9 представляет собой блок-схему, иллюстрирующую устройство для обработки видеоинформации в соответствии с еще одним из примеров осуществления настоящего изобретения. В соответствии с иллюстрацией фиг. 9, устройство, которое основано на варианте осуществления настоящего изобретения, показанном на фиг. 7, дополнительно включает модуль 76 получения и передачи.
[00110] Модуль 76 получения и передачи сконфигурирован для получения инструкции переключения, введенной пользователем, и для передачи целевого видеоизображения, на которое было выполнено переключение, в другой терминал.
[00111] В настоящем изобретении инструкция переключения может представлять собой инструкцию голосового управления.
[00112] На примере четырех каналов видеоизображения, показанных на фиг. 2, если допустить, что видеоизображением текущей прямой видеотрансляции является видеоизображение 1, пользователь может пожелать транслировать видеоизображение 3. После выдачи пользователем голосовой инструкции переключения, указывающей на необходимость переключения на видеоизображение 3, она может быть принята мобильным телефоном 21, ведущим прямую видеотрансляцию, который может выполнить переключение на видеоизображение 3 для прямой видеотрансляции в другие терминалы.
[00113] Поскольку устройство, показанное на фиг. 9, применяют для реализации шагов способа, показанного на фиг. 4, соответствующее описание может быть одинаковым в обоих случаях, и следовательно, повторено здесь в деталях не будет.
[00114] В соответствии с одним из вариантов осуществления описанного выше устройства для обработки видеоинформации, после получения введенной пользователем инструкции переключения, указывающей на целевое видеоизображение, видеоизображение, на которое было выполнено переключение, передают в другие терминалы, то есть, обеспечивается возможность переключения целевого видеоизображения, и следовательно, может быть значительно улучшено пользовательское восприятие.
[00115] Фиг. 10 представляет собой блок-схему, иллюстрирующую устройство для обработки видеоинформации в соответствии с еще одним из примеров осуществления настоящего изобретения. В соответствии с иллюстрацией фиг. 10 устройство, которое основано на варианте осуществления настоящего изобретения, показанного на фиг. 9, дополнительно включает второй модуль 77 приема, модуль 78 обработки информации, и второй модуль 79 передачи.
[00116] Второй модуль 77 приема сконфигурирован для приема множества каналов аудиоинформации, переданных по отдельности от множества мобильных терминалов.
[00117] В одном из вариантов осуществления настоящего изобретения множество каналов аудиоинформации, переданных по отдельности от множества мобильных терминалов, принимают в дополнение к множеству каналов видеоизображения, переданных по отдельности от множества мобильных терминалов.
[00118] Модуль 78 обработки данных сконфигурирован для выполнения процедуры сглаживания для множества каналов аудиоинформации, принятых вторым модулем 77 приема, в результате чего получают целевую аудиоинформацию.
[00119] В одном из вариантов осуществления настоящего изобретения процедуру сглаживания выполняют для упомянутого множества каналов аудиоинформации с целью устранения в них шума, благодаря чему может быть повышена чистота сигнала целевой аудиоинформации.
[00120] Второй модуль 79 передачи сконфигурирован для передачи целевой аудиоинформации, полученной при помощи модуля 78 обработки данных, в другой терминал.
[00121] Поскольку устройство, показанное на фиг. 10, применяют для реализации шагов способа, показанного на фиг. 5, соответствующее описание может быть одинаковым в обоих случаях, и следовательно, повторено здесь в деталях не будет.
[00122] В соответствии с описанным выше вариантом осуществления настоящего изобретения целевая аудиоинформация может быть получена в виде чистого сигнала, при помощи выравнивания множества каналов аудиоинформации, и затем может быть передана в другие терминалы, благодаря чему может быть улучшено пользовательское восприятие от прямой видеотрансляции.
[00123] Конкретные методы выполнения операций соответствующими модулями были описаны в вариантах осуществления настоящего изобретения, относящимися к способу настоящего изобретения, поэтому в отношении устройства по описанному выше варианту осуществления изобретения, они подробно описаны не будут.
[00124] Фиг. 11 представляет собой блок-схему, иллюстрирующую устройство, которое может применяться для обработки видеоинформации в соответствии с одним из примеров осуществления настоящего изобретения. Например, устройство 1100 может представлять собой мобильный телефон, компьютер, терминал цифрового вещания, устройство приема и передачи сообщений, центр управления играми, планшетное устройство, медицинское устройство, тренажерное оборудование, карманный персональный компьютер и т.п.
[00125] В соответствии с иллюстрацией фиг. 11, устройство 1100 может включать один или более следующих компонентов: процессорный компонент 1102, память 1104, компонент 1106 электропитания, мультимедийный компонент 1108, аудиокомпонент 1110, интерфейс 1112 ввода-вывода (input/output, I/O), измерительный компонент 1114 и компонент 1116 связи.
[00126] Процессорный компонент 1102, как правило, управляет работой устройства 1100 в целом, например, управляет операциями, связанными с отображением, совершением телефонных вызовов, передачей данных, фотографированием и видеозаписью. Процессорный компонент 1102 может включать один или более процессоров 1120, исполняющих инструкции с целью выполнения всех шагов описанных выше способов или части этих шагов. Также, процессорный компонент 1102 может включать один или более модулей, обеспечивающих взаимодействие между процессорным компонентом 1102 и другими компонентами. Например, процессорный компонент 1102 может включать мультимедийный модуль, обеспечивающий взаимодействие между мультимедийным компонентом 1108 и процессорным компонентом 1102.
[00127] Память 1104 сконфигурирована для хранения различных типов данных с целью поддержки функционирования устройства 1100. Примерами данных могут быть любые инструкции для выполнения приложений или способов в устройстве 100, контактные данные, данные телефонной книге, сообщения, изображения, видеоданные и т.п. Память 1104 может быть энергозависимым или энергонезависимым устройством любого типа, а также их комбинацией, например, статической памятью с произвольным доступом (static random access memory, SRAM), электрически перепрограммируемой памятью в режиме «только для чтения» (erasable programmable read-only memory, EPROM), программируемой памятью в режиме «только для чтения» (programmable read-only memory, PROM), памятью в режиме «только для чтения», магнитной памятью, флэш-памятью, магнитным или компакт-диском.
[00128] Компонент 1106 электропитания обеспечивает электропитание различных компонентов устройства 1100. Компонент 1106 электропитания может включать систему управления электропитанием, один или более источников питания, а также другие соответствующие компоненты, связанные с производством, управлением и распределением электрической энергии в устройстве 1100.
[00129] Мультимедийный компонент 1108 включает экран, который обеспечивает интерфейс вывода между устройством 1100 и пользователем. В некоторых из вариантов осуществления настоящего изобретения экран может включать дисплей на жидких кристаллах (liquid crystal display, LCD) и сенсорную панель (touch panel, TP). Если экран включает сенсорную панель, то такой экран может быть реализован как сенсорный экран для приема сигналов ввода от пользователя. Сенсорная панель включает один или более датчиков касания, предназначенных для регистрации касаний, скольжений и других жестов на сенсорной панели. Датчики касания могут не только регистрировать границы траектории касания или скольжения, но также определять временную длительность и величину давления, связанные с операциями касания или скольжения. В некоторых вариантах осуществления настоящего изобретения мультимедийный компонент 1108 включает фронтальную камеру и/или тыловую камеру. Фронтальная камера и/или тыловая камера могут принимать внешние мультимедийные данные, когда приспособление 1100 находится в определенном режиме работы, например, в режиме фотографирования или в режиме видеосъемки. Как фронтальная камера, так и тыловая камера могут представлять собой фиксированные системы оптических линз или иметь возможность изменения расстояния фокусировки и оптического зуммирования.
[00130] Аудиокомпонент 1110 сконфигурирован для вывода и/или ввода аудиосигналов. Например, аудиокомпонент 1110 включает микрофон (MIC); когда устройство 1100 находится в соответствующем режиме работы, например, в режиме вызова, в режиме записи или в режиме распознавания голоса, причем микрофон сконфигурирован для приема внешнего аудиосигнала. Принятый аудиосигнал может затем быть сохранен в памяти 1104 или передан вовне при помощи компонента 1116 связи. В некоторых из вариантов осуществления настоящего изобретения аудиокомпонент 1110 может дополнительно включать громкоговоритель для вывода аудиосигнала.
[00131] Интерфейс 1112 ввода/вывода может обеспечивать интерфейс между процессорным компонентом 1102 и модулями периферийных интерфейсов. Модуль периферийного интерфейса может представлять собой клавиатуру, поворотно-нажимной переключателя («колесо»), кнопок и т.п.Кнопки могут включать, без ограничения перечисленным: кнопку «домой», кнопку регулировки громкости, кнопку «пуск» и кнопку блокировки.
[00132] Измерительный компонент 1114 включает один или более датчиков для оценки состояния различных элементов устройства 1100. К примеру, измерительный компонент 1114 может определять состояние «включено» или «отключено» устройства 1100, относительное местоположение его компонентов, например, относительное местоположения дисплея и клавиатуры устройства 1100. Измерительный компонент 1114 может также регистрировать изменение положения компонентов устройства 1100 или изменение положение самого устройства 1100, обнаруживать соприкосновение между пользователем и устройством 1100, определять направление движения или ускорение/замедление устройства 1100, а также изменение температуры устройства 1100. Измерительный компонент 1114 может включать датчик близости, сконфигурированный для обнаружения присутствия приближенных объектов без физического контакта с ними. Измерительный компонент 1114 может также включать в себя светочувствительный датчик, например, датчик изображений CMOS или CCD, для использования в приложениях формирования изображений. В некоторых из вариантов осуществления настоящего изобретения измерительный компонент 1114 может также включать акселерометрический датчик ускорения, гироскопический датчик, магнитный датчик, датчик давления или датчик температуры.
[00133] Компонент 1116 связи сконфигурирован для обеспечения связи, проводной или беспроводной, между устройством 1100 и другими устройствами. Устройство 1100 может иметь соединение с беспроводной сетью, основанной на таких стандартах связи, как «беспроводная точность» (Wireless Fidelity, WiFi), к сетям второго поколения (2G), третьего поколения (3G), или их комбинации. В одном из примеров осуществления настоящего изобретения компонент 1116 связи принимает, при помощи широковещательного канала, широковещательный сигнал или соответствующую широковещательную информацию от внешней широковещательной системы управления. В одном из примеров осуществления настоящего изобретения компонент 1116 связи дополнительно включает также модуль ближней бесконтактной связи (near field communication, NFC) для обеспечения связи в ближней зоне. Например, NFC-модуль может быть реализован на базе технологии радиочастотной идентификации (radio frequency identification, RFID), технологии ассоциации передачи данных в инфракрасном диапазоне (infrared data association, IrDA), технологии сверхширокой полосы пропускания (ultra-wideband, UWB), технологии Bluetooth (ВТ) или других технологий.
[00134] В примерах осуществления настоящего изобретения устройство 1100 может быть реализовано с использованием одной или более заказных интегральных схем (ASIC), цифровых сигнальных процессоров (DSP), цифровых устройств обработки сигналов (digital signal processing devices, DSPD), программируемых логических устройств (programmable logic devices, PLD), электрически программируемых вентильных матриц (field programmable gate arrays, FPGA), контроллеров, микроконтроллеров, микропроцессоров или других электронных компонентов, с целью выполнения описанного выше способа.
[00135] В примерах осуществления настоящего изобретения предложен также машиночитаемый носитель, включающий инструкции, например, память 1104, включающая инструкции. С целью реализации описанного выше способа упомянутые инструкции могут исполняться процессором 1120 устройства 1100. К примеру, машиночитаемый носитель может представлять собой память ROM, память с произвольным доступом (random access memory, RAM), CD-ROM, магнитную ленту, гибкий диск, оптическое запоминающее устройство для хранения данных и т.п.
[00136] Специалистами в настоящей области техники, по прочтении описания или после практического применения изобретения, описанного в настоящем документе, могут быть найдены другие варианты его осуществления. Настоящая заявка призвана охватить все изменения, применения или модификации настоящего изобретения, не отступающие от его основного замысла, включая все отступления от настоящего изобретения, которые известны на существующем уровне техники или традиционно применяются в настоящей области техники. Приведенное описание и примеры следует считать исключительно иллюстративными, при этом истинный объем и сущность настоящего изобретения заданы приведенной ниже формулой изобретения.
[00137] Нужно понимать, что настоящее изобретение не ограничено конкретной конструкцией, описанной выше и проиллюстрированной на приложенных чертежах, а также, что в пределах объема настоящего изобретения могут быть выполнены множество различных модификаций и изменений. Предполагается, что объем настоящего изобретения ограничен только приложенной формулой изобретения.
1. Способ обработки видеоинформации, выполняемый мобильным терминалом, используемым для прямой видеотрансляции, и включающий:
захват локального видеоизображения упомянутым мобильным терминалом, используемым для прямой видеотрансляции;
прием множества каналов видеоизображения, переданных по отдельности от множества других мобильных терминалов;
отображение упомянутого локального видеоизображения и упомянутого множества каналов видеоизображения;
получение инструкции выбора, введенной пользователем, при этом инструкция выбора содержит идентификатор целевого видеоизображения, причем целевое видеоизображение включает по меньшей мере одно изображение из упомянутого локального видеоизображения и упомянутого множества каналов видеоизображения; и
передачу целевого видеоизображения в другой терминал.
2. Способ по п. 1, в котором, когда целевое видеоизображение включает два или более каналов из множества каналов видеоизображения, передача целевого видеоизображения в другой терминал включает:
выполнение процедуры наложения или стыковки для двух или более каналов из упомянутого множества каналов видеоизображения в целевом видеоизображении и передачу полученного видеоизображения в другой терминал.
3. Способ по п. 1, также включающий:
получение инструкции переключения, введенной пользователем, и передачу целевого видеоизображения, на которое было выполнено переключение, в другой терминал.
4. Способ по п. 3, в котором инструкция выбора и/или инструкция переключения представляют собой инструкцию голосового управления.
5. Способ по п. 3, также включающий:
прием множества каналов аудиоинформации, переданных по отдельности от множества мобильных терминалов;
сглаживание упомянутого множества каналов аудиоинформации, в результате чего получают целевую аудиоинформацию; и
передачу целевой аудиоинформации в другой терминал.
6. Устройство для обработки видеоинформации для мобильного терминала, используемого для прямой видеотрансляции, включающее:
первый модуль приема, сконфигурированный для приема множества каналов видеоизображения, переданных по отдельности от множества других мобильных терминалов;
модуль отображения, сконфигурированный для отображения упомянутого множества каналов видеоизображения, принятых первым модулем приема;
модуль получения, сконфигурированный для получения инструкции выбора, введенной пользователем, при этом инструкция выбора содержит идентификатор целевого видеоизображения, причем целевое видеоизображение включает по меньшей мере один канал из множества каналов видеоизображения, отображаемых при помощи модуля отображения; и
первый модуль передачи, сконфигурированный для передачи целевого видеоизображения в другой терминал,
при этом устройство также включает:
модуль захвата, сконфигурированный для захвата локального видеоизображения перед отображением упомянутого множества каналов видеоизображения в модуле отображения;
при этом модуль отображения дополнительно сконфигурирован для отображения локального видеоизображения.
7. Устройство по п. 6, в котором, когда целевое видеоизображение включает два или более из множества каналов видеоизображения, первый модуль передачи сконфигурирован:
для выполнения процедуры наложения или стыковки для двух или более каналов из упомянутого множества каналов видеоизображения в целевом видеоизображении и для передачи полученного видеоизображения в другой терминал.
8. Устройство по п. 6, также включающее
модуль получения и передачи, сконфигурированный для получения инструкции переключения, введенной пользователем, и для передачи целевого видеоизображения, на которое было выполнено переключение, в другой терминал.
9. Устройство по п. 8, в котором инструкция выбора и/или инструкция переключения представляют собой инструкцию голосового управления.
10. Устройство по п. 8, также включающее:
второй модуль приема, сконфигурированный для приема множества каналов аудиоинформации, переданных по отдельности от множества мобильных терминалов;
модуль обработки данных, сконфигурированный для сглаживания множества каналов аудиоинформации, принятых вторым модулем приема, в результате чего получают целевую аудиоинформацию; и
второй модуль передачи, сконфигурированный для передачи целевой аудиоинформации, полученной при помощи модуля обработки данных, в другой терминал.
11. Устройство для обработки видеоинформации для мобильного терминала, используемого для прямой видеотрансляции, включающее:
процессор; и
память, сконфигурированную для хранения инструкций, исполняемых процессором;
при этом процессор сконфигурирован для выполнения следующего:
захват локального видеоизображения упомянутым мобильным терминалом, используемым для прямой видеотрансляции;
прием множества каналов видеоизображения, переданных по отдельности от множества других мобильных терминалов;
отображение упомянутого локального видеоизображения и упомянутого множества каналов видеоизображения;
получение инструкции выбора, введенной пользователем, при этом инструкция выбора содержит идентификатор целевого видеоизображения, причем целевое видеоизображение включает по меньшей мере одно изображение из упомянутого локального видеоизображения и упомянутого множества каналов видеоизображения; и
передача целевого видеоизображения в другой терминал.
