Система, способ и многоточечный блок управления для реализации многоязычной конференцсвязи
Изобретение относится к области связи, и в частности к системе для реализации многоязычной конференцсвязи. Техническим результатом является собственно создание системы реализации многоязычной конференцсвязи, в которой каждый из сайтов конференцсвязи использует только выбранный язык для участия в конференции с небольшими ресурсами перевода в многоязычной системе многоточечной конференцсвязи. Система включает в себя терминалы конференцсвязи (ТКС) и многоточечный блок управления (МБУ). ТКС способны передавать речь сайта конференцсвязи после обработки на МБУ, обрабатывать аудиоданные, принятые от МБУ, и выводить их. По меньшей мере, один из ТКС является терминалом перевода, способным переводить речь сайта конференцсвязи согласно аудиоданным, переданным с МБУ, обрабатывать переведенные аудиоданные и передавать обработанные аудиоданные на МБУ, при этом МБУ осуществляет процесс микширования звука для аудиоданных от ТКС на разных звуковых каналах согласно типам языка и затем передает аудиоданные после процесса микширования звука на ТКС. 3 н. и 10 з.п. ф-лы, 16 ил.
Перекрестная ссылка на родственные заявки
Данная заявка притязает на приоритет международной патентной заявки № PCT/CN2007/070835, поданной 29 сентября 2007 г., которая притязает на приоритет китайской патентной заявки № 200610063017.7, поданной 30 сентября 2006 г.
Область техники
Настоящее изобретение относится к области технологии связи, и в частности к системе, способу и многоточечному блоку управления для реализации многоязычной конференцсвязи.
Уровень техники
В последние годы, с развитием технологий связи, видеоконференция находит все более широкое применение. Под видеоконференцией в общем случае можно понимать службу телевизионной конференцсвязи. Посредством мультимедийной связи конференцсвязь поддерживается с использованием телевизионного оборудования и сетей связи для реализации взаимодействия изображений, речевых сигналов и данных одновременно между двумя или более местами. Согласно фиг. 1 видеоконференция обычно состоит из видеотерминалов (т.е. терминалов конференцсвязи), сети связи и многоточечного блока управления (MCU).
Оборудование видеотерминала в основном включает в себя оборудование ввода/вывода видеосигнала, оборудование ввода/вывода аудиосигнала, видеокодек, аудиокодек, оборудование передачи информации и оборудование мультиплексирования/распределения сигнала и т.д. Основной функцией видеотерминалов является осуществление кодирования со сжатием сигналов изображения, производимых локальными камерами, звуковых сигналов, выдаваемых микрофонами, и передачи сигналов на удаленный сайт конференцсвязи через сеть связи. В то же время видеотерминалы принимают сигналы с удаленного сайта конференцсвязи, преобразуют сигналы в аналоговые изображения и звуковые сигналы после декодирования. Обработка аудиосигналов показана на фиг. 2, и ее описание приведено ниже.
Для формирования полной системы телевизионной конференцсвязи оборудование видеотерминалов и MCU должны быть соединены друг с другом сетью связи, и каналы связи могут иметь вид оптических волокон, электрических кабелей, микроволн или спутников.
MCU является управляющим ядром видеоконференции. Когда количество терминалов конференцсвязи, участвующих в конференции, больше двух, необходимо управление посредством MCU. Все терминалы конференцсвязи должны быть подключены к MCU через стандартные интерфейсы. MCU реализован согласно таким протоколам, как международный стандарт H.221 и H.245. MCU, в основном призван осуществлять микширование и обмен изображениями и речевыми сигналами и осуществлять управление всеми сайтами конференцсвязи.
MCU обрабатывает аудиоданные для реализации микширования звука сайтов многоточечной конференцсвязи, и сайты конференцсвязи, участвующие в микшировании звука, являются сайтами конференцсвязи с более высокой громкостью среди сайтов многоточечной конференцсвязи. Если реализовано трехточечное микширование звука, сайты конференцсвязи, участвующие в микшировании звука, представляют собой три сайта конференцсвязи с наибольшей громкостью среди сайтов многоточечной конференцсвязи. Политика микширования звука осуществляется следующим образом.
1) Когда речь звучит на одном сайте конференцсвязи, диктор на своем сайте конференцсвязи не может слышать свой собственный голос, а участники на всех остальных сайтах конференцсвязи могут слышать голос говорящего сайта конференцсвязи.
2) Когда речь звучит на двух сайтах конференцсвязи, оба диктора на говорящих сайтах конференцсвязи могут слышать голоса друг друга, но не могут слышать свои собственные голоса, а участники на всех остальных сайтах конференцсвязи могут одновременно слышать голоса двух говорящих сайтов конференцсвязи.
3) Когда речь звучит на трех или более сайтах конференцсвязи, три сайта конференцсвязи с наибольшей громкостью участвуют в микшировании звука. Согласно фиг. 3 T1, T2, T3 - это три сайта конференцсвязи с наибольшей громкостью звука среди текущих сайтов конференцсвязи, диктор на любом из трех сайтов конференцсвязи может слышать голос двух других сайтов конференцсвязи, например диктор на сайте конференцсвязи T1 может слышать голос сайтов конференцсвязи T2 и T3, и дикторы на всех остальных сайтах конференцсвязи могут одновременно слышать голоса трех сайтов конференцсвязи.
Когда конференция поддерживается с использованием современной видеосистемы конференцсвязи, обработка звука системой конференцсвязи показана на фиг. 2. Данные говорящего сайта конференцсвязи поступают на MCU после кодирования, MCU осуществляет процесс микширования звука на звуковых данных говорящего сайта конференцсвязи и передает обработанные звуковые данные на терминалы конференцсвязи, и участники на других терминалах может слышать звук говорящего сайта конференцсвязи после декодирования звуковых данных. В современных видеосистемах конференцсвязи MCU и видеотерминал обрабатывают звуковые данные определенного сайта конференцсвязи в виде одного потока данных. Когда только один язык используется во всей системе конференцсвязи, общение между множественными сайтами конференцсвязи может осуществляться беспрепятственно. Но когда два или более языка используются во всей системе конференцсвязи, могут возникать языковые препятствия между участниками. В отношении этой проблемы уровень техники имеет следующие два решения. В нижеследующем описании, в порядке примера, рассмотрен случай конференции с микшированием китайского и английского языков и рассмотрен случай, когда говорят участники на одном из множественных сайтов конференцсвязи.
Первый способ состоит в том, что все остальные китайские сайты конференцсвязи снабжены своими собственными переводчиками, соответственно для перевода с английского на китайский для своих собственных сайтов конференцсвязи для обеспечения понимания содержания речи вышеописанного английского сайта конференцсвязи. В результате, если масштаб конференции достаточно велик, требуется большое количество переводчиков, что приводит к разрастанию персонала. Кроме того, когда переводчик на каждом китайском сайте конференцсвязи переводит, микрофон доставляет переведенные данные на другие сайты конференцсвязи, из-за чего сцена может быть хаотической и не осуществимой в реальности. Если микрофон не предназначен для доставки переведенных данных на другие сайты конференцсвязи, говорящий сайт конференцсвязи не знает, выполнен ли перевод на китайских сайтах конференцсвязи, и не может контролировать свою собственную скорость речи, что приводит к низкому качеству конференции в целом.
Второй способ состоит в том, что сайт конференцсвязи назначается в качестве выделенного терминала перевода для перевода речи сайтов конференцсвязи, участвующих в микшировании звука. Однако решение имеет и недостатки. Если на сайте конференцсвязи говорят по-английски и терминал перевода переводит с английского на китайский, участники на каждом из сайтов конференцсвязи могут слышать сначала английскую речь, а затем китайскую речь. Однако фактически участникам на китайских сайтах конференцсвязи не нужно слышать английскую речь, и участникам на английских сайтах конференцсвязи также не нужно слышать переведенную китайскую речь. В результате участникам приходится слышать много бесполезной информации. Китайский и английский смешиваются, что приводит к беспорядку на конференции, из-за чего участники быстро устают. Кроме того, перевод может замедлять темп конференции и снижать ее эффективность.
В случае когда участники конференции говорят на трех или более языках и разноязычная речь одновременно звучит на множественных сайтах конференцсвязи, вышеописанные два решения приводят к снижению качества конференции и не применимы к эффекту микширования звука.
Сущность изобретения
Ввиду вышесказанного варианты осуществления настоящего изобретения предусматривают систему, способ и многоточечный блок управления для реализации многоязычной конференцсвязи, благодаря которым каждый из сайтов конференцсвязи использует только выбранный язык для участия в конференции с небольшими ресурсами перевода в многоязычной системе многоточечной конференцсвязи.
Вариант осуществления настоящего изобретения предусматривает систему для реализации многоязычной конференцсвязи, которая включает в себя терминалы конференцсвязи и многоточечный блок управления.
Терминалы конференцсвязи способны передавать речь сайта конференцсвязи после обработки на многоточечный блок управления, обрабатывать аудиоданные, принятые от многоточечного блока управления, и выводить обработанные аудиоданные. По меньшей мере, один из терминалов конференцсвязи является терминалом перевода, способным переводить речь сайта конференцсвязи согласно аудиоданным, переданным с многоточечного блока управления, обрабатывать переведенные аудиоданные и передавать обработанные аудиоданные на многоточечный блок управления.
Многоточечный блок управления способен осуществлять процесс микширования звука для аудиоданных от терминалов конференцсвязи на разных звуковых каналах согласно типам языка и передавать аудиоданные после процесса микширования звука на терминалы конференцсвязи, которым соответствующим образом назначены языки, причем аудиоданные на одном языке обрабатывают в одном звуковом канале.
Вариант осуществления настоящего изобретения предусматривает способ реализации многоязычной конференцсвязи, который включает в себя следующие этапы.
Многоточечный блок управления принимает аудиоданные, переданные с каждого из терминалов конференцсвязи, осуществляет процесс микширования звука для аудиоданных от каждого из терминалов конференцсвязи на разных звуковых каналах согласно типам языка и передает обработанные аудиоданные на терминалы конференцсвязи, которым соответствующим образом назначены языки, причем аудиоданные на одном языке обрабатывают в одном звуковом канале.
Аудиоданные, принятые многоточечным блоком управления, включают в себя аудиоданные, переданные на многоточечный блок управления после того, как терминалы конференцсвязи, обрабатывают речь сайта конференцсвязи, и/или аудиоданные, переданные на многоточечный блок управления после того, как терминал перевода переводит речь сайта конференцсвязи согласно аудиоданным, переданным с многоточечного блока управления, и обрабатывает переведенные аудиоданные.
Вариант осуществления настоящего изобретения предусматривает многоточечный блок управления, способный осуществлять этапы способа для реализации многоязычной конференцсвязи.
Как известно из вышеприведенной технической схемы согласно вариантам осуществления настоящего изобретения, поскольку используется многоканальная технология, участники на каждом из сайтов конференцсвязи могут слышать речь на одном языке и также могут слышать речь на любом нужном языке, тем самым успешно избегая бесполезной языковой информации. Поскольку используется многоканальная технология, успешно реализуется разговор на множественных языках в системе конференцсвязи, при этом множественные языки не мешают друг другу и разные языки беспрепятственно объединяются, тем самым удовлетворяя требованию языков для разных регионов.
Краткое описание чертежей
Фиг.1 - схема системы для поддержки многоточечной видеоконференции, отвечающей уровню техники.
Фиг.2 - схематическое представление схемы обработки аудиоданных на терминалах конференцсвязи согласно уровню техники.
Фиг.3 - схема политики микширования звука многоточечного блока управления согласно уровню техники.
Фиг.4 - схема возможного применения варианта осуществления настоящего изобретения.
Фиг.5 - схема системы согласно варианту осуществления настоящего изобретения.
Фиг.6 - схематическое представление схемы обработки аудиоданных на терминалах конференцсвязи в системе согласно первому варианту осуществления настоящего изобретения.
Фиг.7 - схематическое представление схемы обработки аудиоданных на многоточечном блоке управления в системе согласно первому варианту осуществления настоящего изобретения.
Фиг.8 - схематическое представление схемы микширования звука, когда три языка, а именно китайский, английский и русский, существуют в системе согласно первому варианту осуществления настоящего изобретения.
Фиг.9 - схематическое представление схемы микширования звука, когда три языка, а именно китайский, английский и русский, существуют в системе согласно первому варианту осуществления настоящего изобретения.
Фиг.10 - схема взаимодействия между терминалами конференцсвязи и многоточечным блоком управления в системе согласно второму или третьему варианту осуществления настоящего изобретения.
Фиг.11 - схематическое представление схемы реализации многоточечного блока управления в системе согласно третьему варианту осуществления настоящего изобретения.
Фиг.12 - схема системы согласно четвертому варианту осуществления настоящего изобретения.
Фиг.13 - схема системы согласно пятому варианту осуществления настоящего изобретения.
Фиг.14 - схематическое представление схемы реализации многоточечного блока управления в системе согласно пятому варианту осуществления настоящего изобретения.
Фиг.15 - первая схема решения микширования звука, когда три языка, а именно китайский, английский и русский, существуют в системе согласно варианту осуществления настоящего изобретения.
Фиг.16 - вторая схема решения микширования звука, когда три языка, а именно китайский, английский и русский, существуют в системе согласно варианту осуществления настоящего изобретения.
Подробное описание
В системе и способе, описанных согласно варианту осуществления настоящего изобретения, благодаря использованию технологии многоканальной обработки на MCU системы многоточечной конференцсвязи, разные звуковые каналы задаются согласно разным языкам, и аудиоданные на разных языках обрабатывается согласно разным звуковым каналам. Процесс согласно разным звуковым каналам относится к обработке аудиоданных на различных языках через соответствующие звуковые каналы. Например, аудиоданные китайского языка обрабатываются на звуковом канале 1, аудиоданные английского языка обрабатываются на звуковом канале 2, и процессы обработки аудиоданных на различных языках не мешают друг другу. Система многоточечной конференцсвязи, описанная согласно варианту осуществления настоящего изобретения, включает в себя не только традиционную систему чисто голосовой многоточечной конференцсвязи, но также систему телевизионной конференцсвязи или видеосистему конференцсвязи.
Вариант осуществления настоящего изобретения описан, в порядке примера, применительно к китайско-английской многоточечной конференции, и другие конференции, использующие два языка или более, обрабатываются аналогичным образом.
На фиг.4 описано возможное применение варианта осуществления настоящего изобретения. Каждый из сайтов конференцсвязи соответствует терминалу конференцсвязи, и любой из сайтов конференцсвязи в системе многоточечной конференцсвязи назначается как переводческий сайт конференцсвязи, отвечающий за перевод с китайского на английский или перевод с английского на китайский для речи каждого из сайтов конференцсвязи. Согласно фиг.5 система согласно варианту осуществления настоящего изобретения включает в себя каждый из терминалов конференцсвязи и MCU.
Ниже описан первый вариант осуществления системы, отвечающей настоящему изобретению.
Терминал конференцсвязи и терминал перевода (терминал конференцсвязи переводческого сайта конференцсвязи называется “терминалом перевода”) используют только один входной и выходной интерфейс, MCU применяет микширование звуков из множественных звуковых каналов, и MCU назначает языки, которым соответствуют терминалы конференцсвязи, и терминал конференцсвязи, выступающий в роли терминала перевода. В этой схеме не существует особых требований к терминалам конференцсвязи и терминалу перевода, и большая часть работы выполняется MCU. Ниже приведено подробное описание различных частей.
Согласно фиг. 6 терминал конференцсвязи собирает локально введенные аудиосигналы, кодирует сигналы и передает кодированные сигналы на MCU. Терминал конференцсвязи также принимает кодовый поток аудиосигнала, переданный с MCU, и воспроизводит кодовый поток аудиосигнала после декодирования. По этой причине терминалу конференцсвязи не требуется различать входной и выходной языки.
Терминал перевода отвечает за перевод с языка, используемого на каждом из сайтов конференцсвязи, например перевод с китайского языка на английский или перевод с английского языка на китайский. В этом варианте осуществления переводчики могут осуществлять синхронный перевод на переводческом сайте конференцсвязи, или также может осуществляться интеллектуальный синхронный машинный перевод с использованием автоматических переводчиков. Благодаря использованию синхронного перевода, задержкой конференции, обусловленной переводом, можно, по существу, пренебречь, что позволяет эффективно обеспечивать плавное течение конференции.
Согласно фиг. 7 при управлении конференцией MCU сначала назначает информацию языка для каждого из терминалов конференцсвязи и назначает терминал конференцсвязи, имеющий функцию синхронного перевода, терминалом перевода. Например, язык терминала конференцсвязи 1 назначается как китайский, язык терминала конференцсвязи 2 назначается как английский и при этом терминал конференцсвязи 3 назначается терминалом перевода. Когда MCU принимает аудиоданные от терминала конференцсвязи, сначала осуществляется декодирование, после чего декодированные голосовые данные поступают на соответствующий языковой микшер для микширования звука согласно информации языка, назначенной для терминала конференцсвязи. Например, для терминала конференцсвязи, которому назначен китайский язык, MCU передает принятые аудиоданные этого терминала конференцсвязи на микшер китайского языка для микширования звука и передает аудиоданные терминала конференцсвязи, которому назначен английский язык, на микшер английского языка для микширования звука. Аудиоданные, переданные терминалом перевода на MCU, всегда участвуют в микшировании звука, и язык микширования звука, в котором он участвует, вводится ниже. После того как MCU осуществляет микширование звука по отдельности согласно разным языкам, политику микширования звука для различных языков можно получить согласно уровню техники, данные после микширования звука поступают на соответствующие терминалы конференцсвязи, которым назначены языки. Например, терминалы конференцсвязи, участвующие в микшировании звука китайского языка, принимают соответствующие данные, подлежащие микшированию звука китайского языка, и терминалы конференцсвязи, участвующие в микшировании звука английского языка, принимают соответствующие данные, подлежащие микшированию звука английского языка.
Микширование звука на MCU осуществляется в два этапа. Во-первых, сравниваются величины громкости всех сайтов конференцсвязи, и, во-вторых, сайты конференцсвязи, звук которых подлежит вещанию, выбираются согласно величине их громкости, и звук поступает на принимающие сайты конференцсвязи. Микширование звука может осуществляться как одностороннее микширование звука, двустороннее микширование звука, трехстороннее микширование звука, даже четырех- или более стороннее микширование звука. При одностороннем микшировании звука только сторона с наивысшим звуком вещает на каждый из сайтов конференцсвязи. При двустороннем микшировании звука только две стороны с наивысшим звуком вещают после смешивания, и участники на двух сайтах конференцсвязи с наивысшим звуком, с которых осуществляется вещание, не могут слышать свой собственный звук, но могут слышать звук другой стороны. Одностороннему микшированию звука и двустороннему микшированию звука присущ недостаток обрывания слов в интерактивной конференции с участием более чем трех сайтов конференцсвязи. Поэтому предлагается использовать трехстороннее микширование звука, и схема трехстороннего микширования звука показана на фиг. 3.
Громкости разных сайтов конференцсвязи сравниваются для определения трех сайтов конференцсвязи с наибольшим звуком, а именно T1, T2 и T3, которые участвуют в микшировании звука. Данные T1, T2 и T3 поступают на другие сайты конференцсвязи, которые не участвуют в микшировании звука, после суммирования данных. Участники на T1, T2 и T3 слышат соответственно смешанный звук двух других сайтов конференцсвязи, т.е. участники на T1 слышат смешанный звук сайтов конференцсвязи T2 и T3, участники на T2 слышат смешанный звук сайтов конференцсвязи T1 и T3 и участники на T3 слышат смешанный звук сайтов конференцсвязи T1 и T2. Одностороннее микширование звука легко реализовать, и оно относительно пригодно для случая, когда говорит только председатель, но не годится для интерактивной связи. Двустороннее микширование звука допускает некоторый уровень интерактивности, но, когда третья сторона вставляет слово, возможен случай, когда звук одной стороны прерывается. Трехстороннее микширование звука дает сравнительно хороший интерактивный эффект.
После того как MCU независимо микширует звук согласно разным языкам, результат микширования звука поступает соответственно на соответствующие терминалы конференцсвязи, которым назначены языки. Например, терминалы конференцсвязи, участвующие в микшировании звука китайского языка, принимают соответствующие данные, подлежащие микшированию звука китайского языка, и терминалы конференцсвязи, участвующие в микшировании звука английского языка, принимают соответствующие данные, подлежащие микшированию звука английского языка.
Согласно фиг.7 каждая пара языков использует только один терминал перевода, например терминал китайско-английского перевода может переводить с китайского на английский и также может переводить с английского на китайский. Поскольку работа по переводу различных сайтов конференцсвязи сконцентрирована в небольшом количестве сайтов конференцсвязи, это позволяет в значительной степени экономить ресурсы перевода, в то же время гарантируя качество перевода, и, таким образом, снизить стоимость конференции. При использовании одностороннего микширования звука звук стороны на китайском и английском языках с наивысшим звуком поступает на терминал перевода. Терминал перевода, который не участвует в сравнении громкости, передает аудиоданные с наивысшей громкостью на переводческий сайт конференцсвязи. Если китайская речь звучит с наивысшей громкостью, значит, язык аудиоданных, поступающих на терминал перевода, является китайским. При следующем микшировании звука аудиоданные терминала перевода участвуют в микшировании звука английского языка. Если английская речь звучит с наивысшей громкостью, язык аудиоданных, поступающих на терминал перевода, является английским. При следующем микшировании звука, аудиоданные терминала перевода участвуют в микшировании звука китайского языка. Хотя только более громко звучащий из китайского и английского языков поступает на терминал перевода, само по себе микширование звука китайского языка или английского языка может представлять собой одностороннее, двустороннее, трехстороннее, даже четырех- или более стороннее микширование звука. Терминал перевода всегда участвует в микшировании звука соответствующего языка с наивысшей громкостью или одной из наивысших громкостей.
При использовании двустороннего микширования звука аудиоданные с наивысшей громкостью двух сторон выбираются для передачи на терминал перевода для перевода, и, таким образом, требуется два терминала перевода. Один терминал перевода переводит звук сайта конференцсвязи с первой наивысшей громкостью, и другой терминал перевода переводит звук сайта конференцсвязи со второй наивысшей громкостью. Громкость переводческого сайта конференцсвязи не участвует в сравнении громкости. Переведенный звук поступает на микшер соответствующего языка для микширования звука. Если обе стороны с наивысшей громкостью говорят на китайском или английском, данные, переведенные терминалами перевода, участвуют в микшировании звука английского или китайского языка при следующем микшировании звука в качестве двух сторон с наивысшей громкостью или двух из нескольких сторон с наивысшей громкостью. Если одна из двух сторон с наивысшей громкостью говорит по-китайски, а другая по-английски, то две стороны участвуют в микшировании звука английского языка и китайского языка соответственно после перевода соответствующим терминалом перевода. Терминал перевода всегда участвует в микшировании звука, и его громкость может быть равна громкости сайта конференцсвязи, для которого он переводит, или может быть одной из наивысших громкостей. Аналогично, микшер китайского языка или микшер английского языка может применять двустороннее, трехстороннее или многостороннее микширование звука.
При использовании трехстороннего или многостороннего микширования звука обработка микширования звука аналогична обработке двустороннего микширования звука, и три или более терминала перевода требуются для перевода речи нескольких сторон с наивысшей громкостью.
Многоязычная конференцсвязь на двух языках, китайском и английском, описана выше для упрощения иллюстрации, и многоязычную конференцсвязь на любых двух языках можно реализовать согласно вышеописанному способу. Количество языков, одновременно используемых при осуществлении конференцсвязи, может быть больше двух. При добавлении языка обработка терминалов не изменяется, и MCU, соответственно, добавляет микшер. Согласно фиг. 8 в случае конференции на трех языках, а именно китайском, английском и русском, в порядке примера, предусмотрены три терминала перевода, причем один используется для реализации китайско-английского перевода, один используется для реализации китайско-русского перевода и один используется для реализации англо-русского перевода. Результат микширования звука китайской, английской и русской речи поступает на соответствующий слушающий сайт конференцсвязи. Одностороннее микширование звука используется на фиг. 8, данные одной стороны с наивысшей громкостью из китайской, английской и русской поступают на соответствующий терминал перевода конференцсвязи после кодирования, и громкость терминала перевода конференцсвязи не участвует в сравнении. Если китайская речь звучит с наивысшей громкостью, данные китайского языка поступают на китайско-английский и китайско-русский переводческие сайты конференцсвязи. Если английская или русская речь звучит с наивысшей громкостью, способ обработки аналогичен. Согласно этому способу переводится только одна сторона из китайской, английской и русской с наивысшей громкостью. Случай четырех или более языков можно вывести по аналогии.
Обработка двух- или более стороннего микширования звука аналогична описанной выше, но несколько больше терминалов перевода необходимо для перевода звука сайта конференцсвязи со второй наивысшей громкостью.
На фиг. 9 показан более гибкий подход к реализации микширования звука. При микшировании звука сравнивается громкость китайской и английской, китайской и русской и английской и русской речи соответственно, и данные одной стороны с наивысшей громкостью поступают на соответствующий терминал перевода для перевода. Например, если китайская и английская речь сравниваются по величине громкости, одна сторона с более высокой громкостью поступает на терминал китайско-английского перевода конференцсвязи. Если китайская и русская речь сравниваются по величине громкости, одна сторона с более высокой громкостью поступает на терминал китайско-русского перевода конференцсвязи. Если английская и русская речь сравниваются по величине громкости, одна сторона с более высокой громкостью поступает на англо-русский терминал перевода конференцсвязи. Переведенные аудиоданные участвуют в микшировании звука соответствующего языка. Например, данные, участвующие в микшировании звука китайского языка, содержат данные китайской речи, китайской речи в переводе с английского и китайской речи в переводе с русского. Микширование звука китайского языка включает в себя одностороннее микширование звука, двустороннее микширование звука, трехстороннее микширование звука и даже более стороннее микширование звука. При микшировании звука китайского языка громкость китайской речи в переводе с английского участвует в микшировании звука согласно громкости английской речи, и громкость китайской речи в переводе с русского участвует в микшировании звука согласно громкости русской речи. Обработка микширования звука на английском и русском аналогична соответствующей обработке для китайского языка, и случай четырех или более языков можно вывести по аналогии.
Согласно фиг. 9 двух- или более стороннее микширование звука также можно реализовать для каждой пары языков, но соответственно увеличивается количество терминалов перевода.
Ниже описан второй вариант осуществления системы, отвечающей настоящему изобретению.
Терминалы конференцсвязи и терминал перевода используют только один входной и выходной интерфейс. Терминал конференцсвязи должен сообщить MCU свой язык или сообщить MCU, что он является терминалом перевода, посредством сигнализации. MCU применяет микширование звуков из множественных звуковых каналов. Кодеки, используемые терминалами конференцсвязи, терминалом перевода и MCU, являются одноканальными кодеками. Ниже приведено подробное описание различных частей.
Реализация терминалов конференцсвязи, по существу, такая же, как в первом варианте осуществления. Отличие состоит в том, что, как показано на фиг. 10, терминалы конференцсвязи поддерживают назначение языка для сайтов конференцсвязи и подтверждают MCU языки сайтов конференцсвязи посредством сигнализации, например H.245. Например, терминал конференцсвязи выбирает китайский язык, и MCU информируется о том, что терминал конференцсвязи принадлежит китайскому сайту конференцсвязи.
Реализация терминала перевода такая же, как в первом варианте осуществления, отличие состоит в том, что терминал конференцсвязи назначается как терминал перевода и MCU информируется о том, что терминал конференцсвязи является терминалом перевода, посредством сигнализации, например H.245.
Реализация MCU такая же, как в первом варианте осуществления, отличие состоит в том, что MCU знает язык, назначенный терминалам конференцсвязи, или выступает ли терминал конференцсвязи в качестве терминала перевода, посредством сигнализации, например H.245. Таким образом, информация назначения сайта конференцсвязи, показанная на фиг. 7, поступает от терминалов конференцсвязи посредством сигнализации, например H.245.
Ниже описан третий вариант осуществления системы, отвечающей настоящему изобретению.
Терминалы конференцсвязи и терминал перевода используют только один входной и выходной интерфейс. Терминал конференцсвязи должен сообщить MCU свой язык в рамках сетевого взаимодействия или сообщить MCU, что он является терминалом перевода. MCU применяет микширование звуков из множественных звуковых каналов. Кодеки, используемые терминалами конференцсвязи, терминалом перевода и MCU, являются одноканальными кодеками. Ниже приведено подробное описание различных частей.
Реализация терминала конференцсвязи такая же, как во втором варианте осуществления, отличие состоит в том, что терминал конференцсвязи принимает и кодирует входные аудиоданные и упаковывает кодированный кодовый поток и информацию языка, соответствующую кодовому потоку, для передачи на MCU. См. фиг. 10, например, китайский терминал конференцсвязи добавляет идентификаторы китайского языка в кодовый поток, подлежащий передаче на MCU, и английский терминал конференцсвязи добавляет идентификаторы английского языка в кодовый поток, подлежащий передаче на MCU, вместо того, чтобы указывать MCU свой язык посредством сигнализации.
Реализация терминала перевода такая же, как во втором варианте осуществления, отличие состоит в том, что терминал конференцсвязи назначается как терминал перевода, терминал перевода добавляет идентификатор терминала перевода в кодовый поток, подлежащий передаче на MCU, для сообщения MCU, что он является терминалом перевода, вместо того, чтобы указывать MCU свою идентичность как терминала перевода посредством сигнализации, см. фиг. 10.
Реализация MCU такая же, как во втором варианте осуществления, отличие состоит в том, что, см. фиг. 11, MCU определяет язык кодового потока и является ли терминал конференцсвязи терминалом перевода, анализируя принятый кодовый поток аудиосигнала, а не посредством сигнализации.
Ниже описан четвертый вариант осуществления системы, отвечающей настоящему изобретению.
Иногда, на одном сайте конференцсвязи, может звучать речь на множественных языках. Если множественные языки на сайте конференцсвязи используются попеременно, язык терминала конференцсвязи нужно непрерывно обновлять согласно вышеописанному способу, что крайне неудобно в ходе работы. В такой реализации терминал конференцсвязи использует множественные входные/выходные интерфейсы.
Терминал конференцсвязи имеет два входных канала, модуль назначения языка канала терминала конференцсвязи назначает язык, соответствующий каждому входному каналу, например китайский язык соответствует каналу 1 и английский язык соответствует каналу 2. Сначала данные канала 1 и канала 2 сравниваются по громкости, до передачи на кодер, сторона с более высокой громкостью поступает на кодер для кодирования, как показано на фиг. 12. Информация языка, соответствующая каналу, добавляется в кодированный кодовый поток до того, как кодированный кодовый поток поступит на MCU. Например, когда на сайте конференцсвязи говорят только на китайском языке, данные на канале 1 поступают на кодер для кодирования, и кодированный кодовый поток поступает на MCU после установки идентификатора китайского языка в кодовом потоке. Когда на сайте конференцсвязи говорят только на английском языке, данные на канале 2 поступают на кодер для кодирования, и кодированный кодовый поток поступает на MCU после установки идентификатора английского языка в кодовом потоке. Если говорят одновременно на китайском и английском языках, сторона с более высокой громкостью поступает на MCU после кодирования и снабжается соответствующей информацией языка.
Терминал конференцсвязи, назначенный как терминал перевода, добавляет идентификатор терминала перевода в кодовый поток для передачи на MCU. Конечно, терминал конференцсвязи, назначенный как терминал перевода, также может указывать MCU свою идентичность посредством сигнализации, например H.245.
Согласно фиг. 11, получив кодовый поток аудиосигнала от терминала конференцсвязи, MCU идентифицирует язык, соответствующий кодовому потоку, и определяет, поступил ли кодовый поток от терминала перевода, на основании языка терминала и идентификатора терминала перевода. Будучи декодирован, кодовый поток поступает на микшеры для разных языков для микширования звука согласно информации языка после идентификации. Например, китайский язык поступает на микшер китайского языка для микширования звука, и английский язык поступает на микшер английского языка для микширования звука. После микширования звука результаты микширования звука китайского и английского языков спариваются один за другим согласно величине громкости, кодируются и маркируются идентификаторами языка соответственно и затем поступают на соответствующие принимающие терминалы конференцсвязи. Например, пара с наивысшей громкостью, включающая в себя выход микширования звука китайского языка и выход микширования звука английского языка, поступает на сайты конференцсвязи, которые принимают наивысшую громкость китайской или английской речи.
Согласно фиг. 12 в этой схеме терминалы конференцсвязи также могут выбирать языки для приема. Терминалы конференцсвязи сообщают MCU язык, который они выбрали для приема, посредством сигнализации, например H.245. После микширования звука MCU передает смешанные данные на терминалы конференцсвязи согласно информации языка, который терминалы конференцсвязи выбрали для прослушивания. Если терминал конференцсвязи выбирает для прослушивания китайский и английский языки, данные, которые MCU передал на терминал конференцсвязи, обрабатываются вышеописанным образом. Если терминал конференцсвязи выбирает для прослушивания только китайский язык, результат микширования звука китайского языка поступает на соответствующий принимающий терминал конференцсвязи, и английский язык обрабатывается аналогично. Терминал перевода должен быть настроен так, чтобы принимать китайский и английский языки.
Терминал конференцсвязи декодирует некоторые или все принятые кодовые потоки MCU согласно назначению языка для прослушивания и затем выводит декодированные кодовые потоки в соответствующие выходные каналы. Например, если выходной канал 1 назначен для вывода китайского языка, выходной канал 2 назначен для вывода английского языка, когда терминал конференцсвязи принимает китайский и английский кодовые потоки, терминал конференцсвязи декодирует кодовые потоки соответственно и выводит декодированные кодовые потоки в соответствующие выходные каналы. Если выходной канал 1 назначен для вывода только китайского языка, данные кодового потока английского языка отбрасываются, и только данные кодового потока китайского языка декодируются и поступают в выходной канал 1 для вывода. Если выходной канал 2 назначен для вывода только английского языка, данные кодового потока китайского языка отбрасываются, и только данные кодового потока английского языка декодируются и поступают в выходной канал 2 для вывода.
Аудиоданные, переданные на терминал перевода и микширования звука языка, в котором участвует терминал перевода, обрабатываются следующим образом. MCU сравнивает величину громкости принятых аудиоданных китайского и английского языков (терминал перевода не участвует в сравнении громкости), передает аудиоданные с наивысшей громкостью на переводческий сайт конференцсвязи. Если китайская речь звучит с наивысшей громкостью, язык аудиоданных, переданных на терминал перевода, является китайским, и при следующем микшировании звука аудиоданные терминала перевода, принятые на MCU, участвуют в микшировании звука английского языка. Если английская речь звучит с наивысшей громкостью, язык аудиоданных, переданных на терминал перевода, является английским, и по завершении перевода терминал перевода передает данные, переведенные на китайский язык, на MCU для участия в микшировании звука китайского языка.
Ниже описан пятый вариант осуществления системы, отвечающей настоящему изобретению.
Эта схема аналогична схеме 4, отличия состоят в использовании многоканальных кодеров.
Согласно фиг. 13 разница между обработкой терминала конференцсвязи в этой схеме и в схеме 4 состоит в том, что кодирование разных языков соответствует кодированию звуковых каналов многоканального кодера. Например, китайский язык кодируется соответственно в левом канале, английский язык кодируется в правом канале, и кодированные данные поступают на MCU после упаковки.
Терминал конференцсвязи назначается как терминал перевода, добавляет терминал перевода идентификатор в кодовый поток, подлежащий передаче на MCU. Он также может указывать MCU свою идентичность посредством сигнализации, например H.245.
Согласно фиг. 14 MCU принимает и декодирует кодовый поток аудиосигнала, поступающий с терминала конференцсвязи, и затем подает данные звукового канала на соответствующие микшеры для микширования звука. Например, данные левого канала поступают на микшер китайского языка для микширования звука, и данные правого канала поступают на микшер английского языка для микширования звука. После микширования звука результаты микширования звука китайского и английского языков спариваются один за другим согласно величине громкости, кодируются в соответствующих звуковых каналах многоканального кодера и затем передаются на терминалы конференцсвязи.
Терминал конференцсвязи принимает и декодирует кодовый поток, поступающий от MCU, передает декодированные данные соответствующего языка на выходной канал согласно выбранному выходному языку. Терминал перевода способен принимать китайский и английский языки.
Аудиоданные, переданные на терминал перевода и микширование звука языка, в котором участвует терминал перевода, обрабатываются следующим образом. MCU сравнивает величину громкости принятых аудиоданных китайского и английского языков (терминал перевода не участвует в сравнении громкости), передает аудиоданные с наивысшей громкостью на переводческий сайт конференцсвязи. Если китайская речь звучит с наивысшей громкостью, язык аудиоданных, переданных на терминал перевода, является китайским, и при следующем микшировании звука аудиоданные терминала перевода, принятые на MCU, участвуют в микшировании звука английского языка. Если английская речь звучит с наивысшей громкостью, язык аудиоданных, переданных на терминал перевода, является английским, и по завершении перевода терминал перевода передает данные, переведенные на китайский язык, на MCU для участия в микшировании звука китайского языка.
Многоязычная конференцсвязь на двух языках, китайском и английском, описана выше для упрощения иллюстрации, и многоязычную конференцсвязь на любых двух языках можно реализовать согласно вышеописанному способу. Количество языков, одновременно используемых при осуществлении конференцсвязи, может быть больше двух. При добавлении языка обработка терминалов не изменяется, но MCU, соответственно, добавляет микшер. Согласно фиг. 15 в порядке примера рассмотрена конференция на трех языках: китайском, английском и русском. Результат микширования звука китайской, английской и русской речи поступает на соответствующий слушающий сайт конференцсвязи. Кроме того, одна сторона из китайской, английской и русской с наивысшей громкостью поступает на соответствующий терминал перевода конференцсвязи после кодирования. Заметим, что громкость от терминала перевода не участвует в сравнении. Если китайская речь звучит с наивысшей громкостью, данные китайского языка поступают на китайско-английский и китайско-русский переводческие сайты конференцсвязи. Если английская или русская речь звучит с наивысшей громкостью, способ обработки аналогичен. Согласно этому способу переводится только одна сторона из китайской, английской и русской с наивысшей громкостью. Случай четырех или более языков можно вывести по аналогии.
На фиг.16 показан более гибкий подход к реализации микширования звука. После микширования звука сравнивается громкость китайской и английской, китайской и русской и английской и русской речи соответственно, и затем языки поступают на соответствующие терминалы перевода для перевода. Таким образом, участники на китайском, английском и русском сайтах конференцсвязи могут говорить одновременно. Случай четырех или более языков можно вывести по аналогии.
Ниже описаны варианты осуществления способа настоящего изобретения.
Аналогично вышеописанным вариантам осуществления системы, различным сайтам конференцсвязи сначала назначается информация языка и входные/выходные интерфейсы, связывающие терминалы конференцсвязи с соответствующими сайтами конференцсвязи, сайт конференцсвязи назначается как переводческий сайт конференцсвязи, отвечающий за перевод речи сайтов конференцсвязи. Когда только два языка существуют в системе многоточечной конференцсвязи, достаточно назначить один сайт конференцсвязи как переводческий сайт конференцсвязи. Когда существуют более трех языков, нужно назначать множественные переводческие сайты конференцсвязи. Каждый терминал конференцсвязи преобразует речь конференции в аудиоданные для передачи на многоточечный блок управления. Способ дополнительно включает в себя следующие этапы.
Переводческий сайт конференцсвязи осуществляет синхронный перевод речи сайтов конференцсвязи и передает переведенную речь на многоточечный блок управления согласно типам языка.
Многоточечный блок управления смешивает аудиоданные от терминалов конференцсвязи на разных звуковых каналах согласно типам языка и передает обработанные аудиоданные на терминалы конференцсвязи согласно языку, заранее заданному многоточечным блоком управления, или выбору языка на терминалах конференцсвязи.
Терминалы конференцсвязи обрабатывают аудиоданные из многоточечного блока управления и выводят обработанные аудиоданные.
Реализации терминалов конференцсвязи и многоточечного блока управления можно получить со ссылкой на варианты осуществления с первого по пятый вышеописанной системы, которые не описаны здесь подробно.
При использовании способа, будь то в случае, когда говорят только участники на переводческом сайте конференцсвязи, или в случае, когда говорят только участники на других сайтах конференцсвязи, или в случае, когда в разговоре принимают участие как переводческий сайт конференцсвязи, так и другие сайты конференцсвязи, может быть успешно реализована обработка на разных звуковых каналах согласно типам языка, речи на различных языках не мешают друг другу, и различные сайты конференцсвязи могут выбирать язык, необходимый им для участия в конференции.
Вышеприведенные варианты осуществления настоящего изобретения опираются, в порядке примера, на конференцию на китайском и английском языках, но в практическом применении варианта осуществления настоящего изобретения языки, используемые в конференции, не ограничиваются китайским и английским, и можно использовать любые два языка. Языки, используемые в конференции, не ограничиваются двумя видами, и можно использовать три или более вида. Политики микширования звука, используемые многоточечным блоком управления, не ограничиваются способом, отвечающим уровню техники, и также применимы другие политики микширования звука. При использовании системы и способа согласно варианту осуществления настоящего изобретения каждый из сайтов конференцсвязи может участвовать в конференции согласно выбранному им языку. Например, когда три языка: китайский, английский и русский, существуют в системе конференцсвязи, достаточно обеспечить три звуковых канала для обработки аудиоданных соответствующих языков. Одновременно назначаются три переводческих сайта конференцсвязи, а именно китайско-английский переводческий сайт конференцсвязи китайско-русский переводческий сайт конференцсвязи и англо-русский переводческий сайт конференцсвязи. Каждый сайт конференцсвязи принимает решение на вывод только того языка, который ему нужен, согласно информации назначения и отбрасывает бесполезную речевую информацию.
Наконец, следует отметить, что вышеописанные варианты осуществления используются только для пояснения, но не для ограничения технического решения настоящего изобретения. Несмотря на подробное описание настоящего изобретения со ссылкой на вышеприведенные предпочтительные варианты осуществления, следует понимать, что специалист в данной области техники может предложить различные модификации, изменения или эквивалентные замены, не отклоняясь от сущности и объема настоящего изобретения, которые заданы формулой настоящего изобретения.
1. Система для реализации многоязычной конференцсвязи, содержащая терминалы конференцсвязи и многоточечный блок управления, в которой терминалы конференцсвязи способны передавать речь сайта конференцсвязи после обработки на многоточечный блок управления, обрабатывать аудиоданные, принятые от многоточечного блока управления, и выводить обработанные аудиоданные, причем, по меньшей мере, один из терминалов конференцсвязи является терминалом перевода, способным переводить речь сайта конференцсвязи согласно аудиоданным, переданным с многоточечного блока управления, обрабатывать переведенные аудиоданные и передавать обработанные аудиоданные на многоточечный блок управления, и многоточечный блок управления способен осуществлять процесс микширования звука для аудиоданных от терминалов конференцсвязи на разных звуковых каналах согласно типам языка и передавать аудиоданные после процесса микширования звука на терминалы конференцсвязи, которым соответствующим образом назначены языки, причем аудиоданные на одном языке обрабатывают в одном звуковом канале.
2. Система по п.1, в которой каждый из терминалов конференцсвязи является терминалом конференцсвязи, имеющим один входной интерфейс и один выходной интерфейс, или каждый из терминалов конференцсвязи является терминалом конференцсвязи, имеющим множественные входные интерфейсы и множественные выходные интерфейсы.
3. Система по п.2, в которой каждый из терминалов конференцсвязи является терминалом конференцсвязи, использующим одноканальный кодек для осуществления кодирования и декодирования, или каждый из терминалов конференцсвязи является терминалом конференцсвязи, использующим многоканальный кодек для осуществления кодирования и декодирования.
4. Система по п.1, в которой многоточечный блок управления является многоточечным блоком управления, использующим политику одностороннего микширования звука, двустороннего микширования звука, трехстороннего микширования звука или более многостороннего микширования звука.
5. Способ реализации многоязычной конференцсвязи, содержащий этапы, на которых принимают, посредством многоточечного блока управления, аудиоданные, переданные с каждого из терминалов конференцсвязи, осуществляют процесс микширования звука для аудиоданных от каждого из терминалов конференцсвязи на разных звуковых каналах согласно типам языка и передают обработанные аудиоданные на терминалы конференцсвязи, которым соответствующим образом назначены языки, причем аудиоданные на одном языке обрабатывают в одном звуковом канале, в котором аудиоданные, принятые многоточечным блоком управления, содержат аудиоданные, переданные на многоточечный блок управления после обработки речи сайта конференцсвязи терминалами конференцсвязи, и/или аудиоданные, переданные на многоточечный блок управления после того, как терминал перевода из терминалов конференцсвязи переводит речь сайта конференцсвязи согласно аудиоданным, переданным с многоточечного блока управления и обрабатывает переведенные аудиоданные.
6. Способ по п.5, в котором терминал конференцсвязи обрабатывает аудиоданные через один входной интерфейс и один выходной интерфейс, или терминал конференцсвязи обрабатывает аудиоданные через множественные входные интерфейсы и множественные выходные интерфейсы.
7. Способ по п.6, в котором терминалы конференцсвязи обрабатывают аудиоданные с использованием одноканального кодека или терминалы конференцсвязи обрабатывают аудиоданные с использованием многоканального кодека.
8. Способ по п.6, в котором процесс микширования звука представляет собой процесс одностороннего микширования звука, двустороннего микширования звука, трехстороннего микширования звука или более многостороннего микширования звука.
9. Способ по п.5, в котором на этапе передачи обработанных аудиоданных на терминалы конференцсвязи передают посредством многоточечного блока управления, аудиоданные после процесса микширования звука соответствующего звукового канала на терминалы конференцсвязи согласно информации языка, соответствующей терминалам конференцсвязи, и информации идентификатора терминала перевода.
10. Способ по п.9, дополнительно содержащий этапы, на которых предварительно задают посредством многоточечного блока управления, информацию языка, соответствующую терминалам конференцсвязи и/или информацию идентификатора терминала перевода, и/или принимают и сохраняют посредством многоточечного блока управления информацию языка и/или информацию идентификатора терминала перевода, переданные с терминалов конференцсвязи.
11. Способ по любому из пп.6-10, дополнительно содержащий этапы, на которых выбирают посредством многоточечного блока управления сайты конференцсвязи согласно величине громкости речи каждого из сайтов конференцсвязи и передают аудиоданные выбранных сайтов конференцсвязи на терминал перевода.
12. Способ по п.11, в котором выбранные сайты конференцсвязи содержат один или несколько сайтов конференцсвязи, и аудиоданные, переданные с терминала перевода, всегда участвуют в обработке микширования звука на разных звуковых каналах.
13. Многоточечный блок управления, способный осуществлять этапы способа по любому из пп.5, 8-12.
