Способ озвучивания видеотрансляции

Авторы патента:

G10L21/0356 - Обработка сигналов речи для получения иного слышимого или неслышимого сигнала, например визуального, осязаемого, для того, чтобы модифицировать их качество или их разборчивость (G10L 19/00 имеет преимущество)

Владельцы патента RU 2527732:

Чирков Денис Юрьевич (RU)

Изобретение относится к способу озвучивания видеотрансляций. Технический результат заключается в формировании отдельных каналов с одинаковой видеодорожкой и разными аудиодорожками от разных комментаторов с возможностью автоматически либо вручную переключаться между каналами, при этом комментарии могут осуществляться на разных языках. Исходный медиапоток поступает от источника видеосигнала на устройства комментаторов. Формируются уникальные медиапотоки, которые затем микшируются с вычисленной задержкой с исходным медиапотоком. Через транслятор поступают зрителям в виде отдельных каналов, между которыми можно переключиться. 1 з.п. ф-лы, 1 ил.

Изобретение относится к видеотрансляциям, в частности, к многопользовательскому комментированию видеопотока.

В настоящее время существует практика прямой трансляции событий по следующему общему сценарию: ведется видеосъемка события, при необходимости редактором накладывается звук, меняется источник видео (несколько камер), и на выходе с пульта полученный сигнал формируется в единый медиапоток (цифровой или аналоговый), который через ретрансляторы передается зрителю.

Из уровня техники известен способ видеотрансляции (см., например, US 8136133, 13.03.2012), который заключается в любом изменении исходного сигнала (видео, аудио, телеметрического) перед доставкой измененного контента пользователю. Изменение заключается в замедлении события, в изменении яркости, контрастности, и т.п., в изменении исходного звука, ракурса съемки, блокирование недопустимого содержимого в трансляции благодаря некоторой задержке, и т.п.

То есть, по сути это все то же, чем занимается современное телевидение за исключением добавления "замедления" в реальном времени (то есть, не замедленный повтор, а именно замедление во время первого появления события), что, по версии авторов, добавит остроты переживаниям зрителя (если это, например, спортивное событие, где секундный интервал может определить исход всей игры, соответственно, он очень важен, и важно продлить эту секунду).

Техническим результатом предложения является то, что способ позволяет добавить в цепочку нескольких комментаторов, микшер и транслятор, благодаря чему зрителю будет доступна трансляция того же события, но с разными комментаторами. Зрителю доступен как самостоятельный выбор между комментаторами, так и автоматический.

Технический результат достигается тем, что способ озвучивания видеотрансляции характеризуется тем, что исходный медиапоток поступает от источника(-ов) на устройства комментаторов, после чего на устройствах комментаторов формируются уникальные медиапотоки, которые затем микшируются с вычисленной задержкой с исходным медиапотоком и через транслятор поступают зрителям в виде отдельных каналов, между которыми можно переключиться.

На чертеже представлен пример реализации способа озвучивания видеотрансляции.

Заявленный способ позволяет добавить в цепочку нескольких комментаторов 2, микшер 3 и транслятор 4, благодаря чему зрителю 5 будет доступна трансляция того же события 1, но с разными комментаторами. Зрителю доступен как самостоятельный выбор между комментаторами (например, на основании симпатии), так и автоматический (например, выбор языкового перевода трансляции в зависимости от географического положения зрителя). Комментатор может воспроизводить исходный медиапоток на любом устройстве, способном воспроизвести исходный медиапоток (например, телевизор, компьютер). При этом комментатор должен иметь технические устройства, позволяющие записать (либо синтезировать) аудио, видео и/или текст (так называемый, уникальный медиапоток комментатора), которые смогут в дальнейшем быть добавлены к исходному медиапотоку.

Комментатор может находиться как в специальной студии, оснащенной специальным оборудованием, так и в любом другом месте, где есть условия записи аудио, видео и/или текстовой информации, и дальнейшей отправки ее на микшер.

Далее на микшере происходит смешивание исходного медиапотока с медиапотоком комментатора (например, звук исходного медиапотока приглушается и смешивается с голосом комментатора, в результате чего зритель слушает комментатора, но в фоне слышит звуки исходного медиапотока, например, шум окружающей среды, фоновую музыку и т.п.). Комментатор может иметь возможность регулировать параметры микширования медиапотоков, например, такие как громкость, вывод своего изображения либо видео, цвет текста, и т.п. Эта информация передается в качестве служебной на микшер.

Например, в случае трансляции концерта, комментатор-переводчик может включать свой микрофон только на время разговора ведущих, приглушая их громкость, а во время выступлений отключать как свое видео, так и аудио, при этом оставляя текстовые комментарии, которые не мешают воспроизведению композиции.

Пример реализации способа.

В определенный момент времени где-то происходит какое-то событие, например, спортивное соревнование, конференция, и т.п. В месте проведения этого события расположена аппаратура, позволяющая транслировать медиапоток (например, содержащий аудио и видео). При этом не имеет значения ни формат сигнала, ни способ передачи, важно только то, что комментатор, находящийся, например, у себя дома, может просмотреть этот медиапоток.

Предположим, что он смотрит трансляцию события по сети Интернет с помощью своего компьютера. Соответственно, его компьютер воспроизводит видео и аудио с места событий с некоторой задержкой, которая может быть зафиксирована программой, записывающей голос комментатора.

Далее голос комментатора отправляется на микшер, куда также приходит и исходный медиапоток, и на микшере происходит замещение аудиодорожки исходного медиапотока аудиодорожкой с микрофона комментатора. Комментаторов может быть несколько, соответственно на выходе микшера образуется несколько не связанных между собой медиапотоков с одинаковой видеодорожкой и разными аудиодорожками (от разных комментаторов).

Далее все медиапотоки (включая исходный) отправляются на транслятор, и оттуда могут быть доставлены непосредственно зрителю. Зритель при подключении к данному медиапотоку видит, что существует несколько комментаторов, и может выбрать любого из них. Выбирая комментатора, зритель тем самым просто «переключается» на медиапоток с аудиодорожкой от выбранного комментатора. Комментаторы могут владеть разными языками и вести комментарий в переводе на другой язык, таким образом, у зрителей есть возможность просматривать событие с переводом на несколько языков.

Комментатор может воспроизводить исходный медиапоток на любом своем оборудовании, будь то телевизор, компьютер или любое другое устройство, способное воспроизвести исходный медиапоток. При этом комментатор должен иметь технические устройства записи звука - компьютер, телефон, смартфон, планшет, Bluetooth-гарнитура, или любые другие устройства, позволяющие преобразовать звук в цифровой или аналоговый сигнал.

Комментатор может находиться в специальной студии, оснащенной как оборудованием, воспроизводящим исходный медиапоток в реальном времени или с некоторой задержкой, так и звукозаписывающим оборудованием, позволяющим преобразовать звук комментатора в цифровой сигнал

Полученный цифровой медиасигнал передается на микшер, находящийся как в непосредственной близости к комментатору, так и в любом другом месте (например, в студии, или в дата-центре, или в любом другом месте). Микшером может являться любое оборудование, например, за которым находится непосредственно комментатор, то есть, это не обязательно отдельное устройство.

На вход микшера подаются исходный медиапоток, медиапоток комментатора и служебная информация, позволяющая сформировать корректный результирующий медиапоток путем смешивания исходного медиапотока с медиапотоком комментатора.

На выходе микшера получается результирующий медиапоток, включающий в себя медиапоток комментатора (полностью либо частично) и/или исходный медиапоток (полностью, частично, либо никак). Результирующий медиапоток поступает на вход транслятора, и оттуда доставляется зрителю. Возможно включение в один результирующий медиапоток одновременно нескольких медиапотоков от комментаторов, находящихся в разных местах, таким образом зритель может слышать диалог двух и более комментаторов, которые не находятся рядом друг с другом.

Транслятор - один или несколько программных либо аппаратных, либо программно-аппаратных комплексов, позволяющих дублировать один или несколько медиапотоков на множество копий с целью доставки одного медиапотока большому количеству зрителей. Транслятор может представлять собой как отдельный комплекс, предназначенный только для целей трансляции, так и быть совмещенным с любыми другими функциями, например, функциями микшера. Трансляторы могут находиться в одном или нескольких местах и могут быть соединены с помощью любых средств и протоколов, позволяющих передать исходные медиапотоки на каждый из трансляторов. Возможно использование в качестве трансляторов сервисы сторонних фирм, например, такие как CDN (сеть доставки контента).

1. Способ озвучивания видеотрансляции, характеризующийся тем, что исходный медиапоток поступает от, по меньшей мере, одного источника видеосигнала на устройства воспроизведения нескольких комментаторов, после чего на устройствах записи каждого из комментаторов формируется уникальный медиапоток, содержащий аудиодорожку конкретного комментатора, который затем вместе с вычисленным значением задержки воспроизведения исходного медиапотока и служебной информацией передается на микшер, где происходит смешивание каждого уникального медиапотока от каждого из комментаторов с исходным медиапотоком по отдельности, образуя отдельные каналы с одинаковой видеодорожкой и разными аудиодорожками от разных комментаторов, при этом между каналами можно автоматически либо вручную переключиться, при этом комментарии могут осуществляться на разных языках.

2. Способ по п. 1, отличающийся тем, что в качестве служебной информации могут быть использованы следующие параметры: громкость, цвет текста, вывод изображения либо видео комментатора.

Изобретение относится к мобильным вычислительным устройствам. Технический результат заключается в предоставлении максимальной величины целевой поверхности экрана для начала прослушивания блока распознавания речи.

Электронно-вычислительное устройство // 2523220

Изобретение относится к вычислительной технике. Технический результат заключается в распознавании речи злектронно-вычислительным устройством, используя чтение по губам.

Устройство вставки цифровой информации в аудиосигнал // 2492579

Изобретение относится к технике передачи цифровых сообщений, встроенных в аудио программу радиостанций аналогового вещания. .

Способ передачи речевых сигналов (варианты) // 2490727

Изобретение относится к многоканальным системам связи, а именно к системам, в которых применяется сужение спектра частот отдельных сигналов и последующее расширение этого спектра.

Способ, система и пользовательский интерфейс для автоматического создания атмосферы, в частности освещенной атмосферы, на основании ввода ключевого слова // 2479018

Изобретение относится к автоматическому созданию атмосферы, в частности, атмосферы освещения, на основании ввода ключевого слова, например ключевого слова, набранного или произнесенного пользователем.

Устройство для ввода-вывода речевой информации // 1704571

Способ вокодерных преобразований речевых сигналов и устройство для его осуществления // 1525731

Способ ускоренного воспроизведения речевых сообщений и устройство для его осуществления // 1406636

Устройство для измерения давления // 1276931

Изобретение относится к контрольно-измерительной технике и позволяет повысить точность и надежность измерения за счет устранения перегрузок дифференциального датчика 1давления (ДДД).

Устройство для цифровой записи-считывания звуковых сигналов // 1205176

Способ выделения речевого сигнала в условиях наличия помех и устройство для его осуществления // 2536343

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности выделения речевого сигнала в условиях наличия помех. Способ выделения речевого сигнала в условиях наличия помех, в котором входную смесь акустического сигнала и помехи преобразуют в электрический сигнал, фильтруют полосовым фильтром, получив смесь речевого сигнала и помехи с заданной полосой частот, которую усиливают в усилителе низкой частоты (УНЧ), в аналогово-цифровом преобразователе (АЦП) формируют отсчеты смеси сигнала и помехи в цифровом виде и подают их в вычислительное устройство, где формируют пары сумм амплитуд отсчетов определенным образом и рассчитывают амплитуды сигнала для каждого момента времени с использованием полученных результатов суммирования путем решения соответствующих систем линейных уравнений. 2 ил., 1 табл.

Синхронизация беспроводных наушников // 2551816

Изобретение относится к средствам для синхронизации беспроводных наушников. Технический результат заключается в уменьшении эффекта Хааса. В одном варианте осуществления один громкоговоритель действует как главный, а другой громкоговоритель действует как подчиненный. Главный громкоговоритель принимает цифровые аудиоданные от источника и, в дополнение к воспроизведению цифрового аудио, принятого от источника, главный громкоговоритель ретранслирует цифровое аудио подчиненному громкоговорителю. Главный громкоговоритель дополнительно отправляет данные синхронизации подчиненному громкоговорителю, такие как данные, которые указывают состояние буфера или позицию воспроизведения главного громкоговорителя. Подчиненный громкоговоритель использует данные синхронизации от главного громкоговорителя, чтобы регулировать, например, состояние своего буфера или позицию воспроизведения, так что два громкоговорителя воспроизводят аудио синхронно (например, в пределах тридцати миллисекунд). В одном варианте осуществления главный громкоговоритель использует протокол на основе соединения, такой как TCP/IP, чтобы передавать буферизованные аудиоданные подчиненному громкоговорителю, и использует протокол без соединения, такой как UDP или ICMP, для данных синхронизации. Кроме того, громкоговорители могут менять роли главного и подчиненного. 2 н. и 34 з.п. ф-лы, 6 ил.

Устройство для расширения полосы частот // 2552184

Изобретение относится к средствам для расширения полосы частот. Технический результат заключается в улучшении восприятия расширенного звукового сигнала. Генерируют сигнал возбуждения на основе звукового сигнала, при этом звуковой сигнал содержит множество частотных компонентов. Выделяют вектор признаков из звукового сигнала, при этом вектор признаков содержит по меньшей мере один признак компонента в частотной области и по меньшей мере один признак компонента во временной области. Определяют по меньшей мере один параметр формы спектра на основе вектора признаков, при этом по меньшей мере один параметр формы спектра соответствует сигналу поддиапазона, содержащему частотные компоненты, которые принадлежат дополнительному множеству частотных компонентов. Генерируют сигнал поддиапазона путем фильтрации сигнала возбуждения с помощью банка фильтров и взвешивания отфильтрованного сигнала возбуждения с использованием по меньшей мере одного параметра формы спектра. 3 н. и 18 з.п. ф-лы, 10 ил.

Способ и система передачи цифровой информации в канале радиовещания // 2554507

Заявленное изобретение относится к технике передачи цифровых сообщений, встроенных в аудиопрограмму радиостанций аналогового вещания. Технический результат изобретения заключается в возможности передавать большие объемы информации без потери субъективного качества звучания за минимальное время. Способ передачи цифровой информации в канале радиовещания заключается в том, что одновременно с передачей осуществляют декодирование суммарного аудиосигнала, а вставку кодированного информационного сообщения повторяют до успешного восстановления этого сообщения при упомянутом декодировании. 2 н. и 7 з.п. ф-лы, 6 ил.

Передискретизация выходных сигналов аудиокодеков на основе квадратурных зеркальных фильтров (qmf) // 2562434

Изобретение относится к средствам передискретизации выходных сигналов аудиокодеков на основе квадратурных зеркальных фильтров. Технический результат заключается в расширении арсенала технических средств для передискретизации аудиосигнала. Устройство содержит конфигурируемый первый процессор аудиосигнала для обработки аудиосигнала в соответствии с различными параметрами конфигурации для получения обработанного аудиосигнала, причем это устройство выполнено так, что различные параметры конфигурации приводят к различным частотам дискретизации обработанного аудиосигнала. Устройство дополнительно содержит набор из n фильтров анализа, имеющий первое количество каналов набора фильтров анализа, набор фильтров синтеза, имеющий второе количество каналов набора фильтров синтеза, второй аудиопроцессор, адаптированный для приема и обработки аудиосигнала, имеющего заданную частоту дискретизации, и контроллер для регулирования первого количества каналов набора фильтров анализа или второго количества каналов набора фильтров синтеза в соответствии с параметрами конфигурации. 4 н. и 10 з.п. ф-лы, 22 ил.

Адаптивная обработка несколькими узлами обработки медиаданных // 2568372

Изобретение относится к адаптивной обработке медиаданных. Технический результат - улучшение представления и обработки содержимого медиаданных. Способ обработки медиаданных, включающий этапы, на которых: определяют первым устройством в цепочке обработки медиаданных то, выполнялась ли на выходной версии медиаданных операция обработки медиаданных; в ответ на определение первым устройством того, что операция обработки медиаданных была выполнена на выходной версии медиаданных, выполняют: создание или модифицирование первым устройством состояния медиаданных, где состояние указывает тип обработки медиаданных, выполненной на выходной версии медиаданных; передачу выходной версии медиаданных и состояния медиаданных из первого устройства во второе устройство в нисходящем направлении по цепочке обработки медиаданных. 6 н. и 24 з.п. ф-лы, 26 ил.

Система компандирования и способ для снижения шума квантования с использованием усовершенствованного спектрального расширения // 2600527

Изобретение относятся к области обработки звуковых сигналов. Техническим результатом является снижение шума квантования. Процесс упаковки уменьшает исходный динамический диапазон первоначального звукового сигнала посредством процесса упаковки, который делит первоначальный звуковой сигнал на совокупность сегментов с использованием определенной формы окна, вычисляет коэффициент усиления в широкой полосе частот в частотной области с использованием основанного не на энергии среднего значения дискретных значений частотной области первоначального звукового сигнала и применяет отдельные коэффициенты усиления для усиления сегментов с относительно низкой интенсивностью и ослабления сегментов с относительно высокой интенсивностью. 5 н. и 16 з.п. ф-лы, 8 ил.

Способы и системы для эффективного восстановления высокочастотного аудиоконтента // 2601188

Изобретение относится к области техники кодирования, декодирования и обработки аудиосигнала, в частности, он относится к средствам восстановления высокочастотного контента аудиосигнала из низкочастотного контента того же аудиосигнала. Технический результат заключается в обеспечении возможности уменьшения сложности вычислений при аудиокодировании на основе систем со спектральным расширением. Определеяют первое значение полосовой тональности для первой частотной субполосы. Первое значение полосовой тональности используют для аппроксимации высокочастотной компоненты аудиосигнала на основании низкочастотной компоненты этого аудиосигнала. Определяют набор коэффициентов преобразования в соответствующем наборе частотных бинов на основании блока выборок аудиосигнала. Определяют набор значений тональности бина для набора частотных бинов с соответствующим использованием набора коэффициентов преобразования. Формируют первый поднабор из двух или более значений из набора значений тональности бина для двух или более соответствующих соседних частотных бинов из набора частотных бинов, находящихся в первой частотной субполосе, в результате чего получают первое значение полосовой тональности для первой частотной субполосы. 9 н. и 20 з.п. ф-лы, 15 ил., 2 табл.

Способ и устройство для осуществления записи объектного аудиосигнала и электронная аппаратура // 2630187

Изобретение относится к электронной аппаратуре и предназначено для записи объектного аудиосигнала. Технический результат – возможность осуществления прямой записи объектного аудиосигнала. Данный способ может включать в себя: выполнение операции сбора звуков путем одновременного использования множества микрофонов таким образом, чтобы был получен смешанный звуковой сигнал; идентификацию количества источников звука и информации о положении каждого источника звука и выделение объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона; и объединение информации о положении и объектных звуковых сигналов отдельных источников звука для получения аудиоданных в формате объектного аудиосигнала. 3 н. и 16 з.п. ф-лы, 19 ил., 2 табл.

Декодер речи, кодер речи, способ декодирования речи, способ кодирования речи, программа декодирования речи и программа кодирования речи // 2630379

Изобретение относится к средствам для кодирования и декодирования речи. Технический результат заключается в уменьшении опережающего и запаздывающего эха. Декодер речи включает в себя блок демультиплексирования, блок декодирования низкочастотной полосы, блок банка фильтров разделения полосы частот, блок анализа кодированной последовательности, блок декодирования/деквантования кодированной последовательности, блок генерирования высокочастотной полосы, блоки вычисления временной огибающей низкочастотной полосы, которые получают множество временных огибающих низкочастотной полосы, блок вычисления временной огибающей, который вычисляет временные огибающие высокочастотной полосы, используя информацию о временной огибающей и множество временных огибающих низкочастотной полосы, блок коррекции временной огибающей, который корректирует временную огибающую составляющих высокочастотной полосы, используя временные огибающие, полученные блоком вычисления временной огибающей, и блок банка фильтров синтеза полосы частот. 4 н. и 2 з.п. ф-лы, 40 ил.