Способ и система для осуществления видеоконференций

 

Изобретение относится к области видеотехники, в частности к способу и системе, согласно которым передача данных производится по телекоммуникационной сети, которая по меньшей мере частично состоит из сети мобильной радиосвязи. Техническим результатом является обеспечение возможности передачи данных изображений абонентов-участников видеоконференций с более высокой компрессией. Технический результат достигается тем, что по меньшей мере три абонентские станции (11) осуществляют связь друг с другом через телекоммуникационную сеть (40), при этом передаваемые мультимедийные данные включают в себя данные изображения (22) и тональные данные (21) абонентов, и каждый из абонентов (10) получает данные изображения других абонентов, одновременно воспроизводимые визуально на устройстве воспроизведения (24). Система слежения за положением глаз (23) регистрирует направление взгляда соответствующего абонента (10) и передает данные о направлении взгляда на коммуникационный блок (20), причем данные изображений абонентов, которые отображаются не в текущем направлении взгляда соответствующего абонента (10), передаются по телекоммуникационной сети (40) на коммуникационный блок (20) с пониженным разрешением и/или с пониженной скоростью передачи изображения. 2 с. и 12 з.п. ф-лы, 3 ил.

Изобретение относится к способу и системе для осуществления видеоконференций с использованием по меньшей мере трех абонентских станций видеоконференций, которые осуществляют связь друг с другом, причем по телекоммуникационной сети передаются мультимедийные данные, которые включают в себя по меньшей мере данные изображений абонентов и/или тональные данные абонентов, и каждый абонент получает данные изображений других абонентов, одновременно отображаемые визуально на устройстве воспроизведения, например дисплее или виртуальном ретинальном дисплее (ВРД). Более конкретно изобретение относится к способу и системе, согласно которым передача данных производится по телекоммуникационной сети, которая по меньшей мере частично состоит из сети мобильной радиосвязи.

Известна передача с высокой скоростью, прием и воспроизведение видеоизображений посредством видео- и телевизионных устройств. Изображения обычно имеют разрешение по меньшей мере 10×6 элементов изображения (пикселов) на дюйм при достаточно хорошем качестве цвета и градаций серого. Обязательным условием для передачи всей информации изображения является минимальная ширина полосы канала передачи порядка нескольких мегагерц. Однако затраты на такую систему для определенных применений, таких, как система видеоконференций для делового и частного применения, являются слишком высокими. Известно использование для передачи видеоизображений каналов передачи с меньшими значениями ширины полосы, например каналов телекоммуникационных сетей общего пользования. Однако в случае таких сред передачи скорость передачи является слишком низкой. Для специальных применений, например видеосистем “медленного сканирования”, такая ограниченная ширина полосы фактически достаточна. Примерами таких применений являются системы охраны и наблюдения, в случае которых не требуются высокие скорости регенерации изображений или высокое разрешение. Такие системы в типовом случае используют разрешение 128×128 пикселов для всего изображения, причем применяется только 16 градаций цвета или серого. Видеоизображения с более высоким качеством, например с разрешением 640×640 пикселов (европейский стандарт: 620×576 пикселов, 8-битовая насыщенность цвета) и с насыщенностью цвета из 64 градаций, как это является общепринятым для видеоконференций, не могут передаваться с использованием таких систем. Для нормального видеоизображения требуется около 2 миллионов битов информации, следовательно, примерно 250 Кбайт для изображений с градациями серого. В случае цветных изображений этот объем данных возрастает до 750 Кбайт. Скорости передачи данных в коммутируемой телефонной сети общего пользования (КТСОП) в настоящее время составляют примерно 57000 бит/с (для цифровых данных это соответствует бодам) на канал в аналоговом диапазоне и 64000 бит/с для цифровой сети с комплексными услугами (ISDN), и при этом требуется соответственно около 30 с или около 90 с, чтобы передать полное видеоизображение с достаточно хорошим качеством. Для большинства применений видеоконференций такие скорости являются слишком низкими. По этой причине применяют сжатие (компрессию) необработанных цифровых видеоданных с использованием различных алгоритмов сжатия видеоданных, чтобы сократить время передачи. Но даже очень хорошие алгоритмы компрессии и декомпрессии с коэффициентами компрессии от 1/20 до 1/50 для многих применений видеоконференций являются недостаточными. К тому же применение компрессии и декомпрессии в обычном случае требует больших затрат времени и связано с потреблением соответствующей энергии и затратами вычислительной мощности. Например, в мобильной радиосвязи решающим может оказаться как раз последний фактор. При этом необходимо учитывать, что в мобильной радиосвязи в отличие от сетей типа КТСОП качество соединения, которое допускает максимальную скорость передачи, не всегда имеет место. При более низких скоростях передачи, чем максимально возможная скорость, время передачи соответственно увеличивается. Чтобы получить дополнительную компрессию данных, как известно из ряда публикаций в предшествующем уровне техники, предлагалось передавать только определенный фрагмент принимаемого изображения с более высоким разрешением, а все другие фрагменты изображения передавать с более низким разрешением. В патентах США 5703637 и 4513317 описаны примеры, в которых система слежения за положением глаз регистрирует движения зрачка или сетчатки и использует эту информацию для того, чтобы представлять лишь малую область изображения с высоким разрешением. Эти системы используют свойство человеческого глаза, состоящее в том, что лишь малая часть сетчатки (так называемая “ямка”, углубление) является высокоразрешающей, в то время как большая, остальная часть обладает незначительным разрешением. Данное известное решение имеет, однако, множество недостатков, в том числе недостаток, состоящий в том, что все участники видеоконференции должны использовать один и тот же стандарт видеоданных, чтобы иметь возможность воспроизводить эти изображения. Однако желательно, чтобы системы видеоконференций были независимыми от стандарта видеоданных. Кроме того, упомянутая область углубления на сетчатке имеет угол зрения максимального разрешения всего лишь 2°. Это обстоятельство корректируется мозгом за счет естественного, но непрерывного и постоянного сканирующего движения глаза. Это приводит к тому, что, как бы хорошо ни были согласованы направление наблюдения и фрагмент изображения с высоким разрешением, для пользователя воспроизводится расплывчатое изображение с маленьким участком высокой четкости в центре изображения. Этот недостаток при современном уровне техники в лучшем случае может быть скорректирован лишь с большими затратами.

Задачей настоящего изобретения является создание нового способа и системы для видеоконференций, в которых преодолены вышеупомянутые недостатки. В частности необходимо обеспечить возможность передачи данных изображений абонентов-участников видеоконференций с более высокой компрессией.

В соответствии с изобретением этот результат достигается в особенности за счет элементов, охарактеризованных в независимых пунктах формулы изобретения. Предпочтительные варианты осуществления изобретения представлены в зависимых пунктах и в описании.

Более конкретно, указанный результат в изобретении достигается тем, что по меньшей мере три абонента осуществляют связь друг с другом посредством абонентских станций видеоконференции системы видеоконференции, при этом по телекоммуникационной сети передаются мультимедийные данные, которые включают в себя по меньшей мере данные изображений абонентов и/или тональные данные абонентов, и каждый из абонентов получает данные изображений других абонентов, одновременно представленные визуально на устройстве воспроизведения, например дисплее, соответствующей абонентской станции видеоконференции, при этом направление наблюдения (взгляда) абонента регистрируется системой слежения за положением глаз, и данные слежения за положением глаз, которые включают в себя по меньшей мере данные о направлении наблюдения, передаются в коммуникационный блок соответствующей абонентской станции видеоконференции, при этом данные изображений передаются с полным разрешением и скоростью передачи изображений по телекоммуникационной сети на коммуникационный блок абонентской станции видеоконференции для тех абонентов, данные изображений которых воспроизводятся на устройстве воспроизведения упомянутой абонентской станции видеоконференции в текущем направлении наблюдения абонента данной абонентской станции видеоконференции, в то время как данные изображений остальных абонентов передаются с пониженным разрешением и/или с пониженной скоростью передачи изображений. Изобретение имеет то преимущество, что сжатие, т.е. сокращение данных объема изображений абонентов является независимым от используемого стандарта видеоданных, так как данные изображений абонентов передаются либо с пониженным, либо с полным разрешением, без использования при этом сложного подразделения на субкадры, как предлагалось в известном уровне техники. Тем самым могут, например, получаться отдельные видеоизображения для абонентской станции видеоконференции. Простота способа приводит также к минимальным затратам вычислительной мощности, что может быть весьма важным особенно в мобильных устройствах радиосвязи с ограниченными резервами питающей мощности. Недостаток известных решений, состоящий в том, что необходимо корректировать сканирующее движение углубления сетчатки (например, как описано в US 4513317), в данном изобретении исключается, так как сканирующее движение в нормальном случае относится к распознаваемому предмету. Визуальное представление контрастного центрального участка с неконтрастным фоном отсутствует. Весь логический объект, например абонент-участник видеоконференции, распознается с высоким контрастом. Если взгляд перемещается к следующему логическому объекту, т.е. к данным изображения другого абонента, то эти данные воспринимаются с высокой резкостью как единое целое.

В одном варианте осуществления скорость передачи изображения для тех данных изображений абонентов, которые отображаются не в текущем направлении наблюдения данного абонента, устанавливается равной нулю. Данный вариант осуществления имеет особое преимущество, состоящее в том, что сетевая нагрузка ограничивается минимальным значением. Одновременно минимизируется требуемая вычислительная мощность, которая расходуется, например, на осуществление декомпрессии данных изображений абонентов.

В другом варианте осуществления данные слежения за положением глаз, а также данные изображений абонентов передаются в центральный блок, причем центральный блок для каждого абонента согласно данным слежения за положением глаз соответствующего абонента определяет разрешение и/или скорость передачи данных изображений других абонентов и передает данные изображений абонентов с этим разрешением и/или со скоростью передачи изображений в коммуникационный блок соответствующего абонента. Этот вариант осуществления имеет в числе прочего то преимущество, что при большом числе абонентов сетевая нагрузка сохраняется на низком уровне. За счет централизованного сокращения данных изображений абонентов вычислительная мощность отдельных абонентских станций видеоконференции также сохраняется на низком уровне по сравнению с другими решениями. Еще в одном варианте осуществления данные изображений абонентов передаются на центральный блок и сохраняются в блоке памяти (сохранение или буферизация данных могут быть реализованы, например, с помощью буфера данных, потока данных, банка данных или иным образом) центрального блока, коммуникационный блок абонента определяет согласно указаниям, содержащимся в данных слежения за положением глаз соответствующего абонента, разрешение и/или скорость передачи изображения для передаваемых данных изображений других абонентов, и эти данные изображений абонентов передаются от центрального блока с указанным разрешением и/или с указанной скоростью передачи изображений в коммуникационный блок соответствующего абонента. Этот вариант осуществления имеет те же преимущества, что предыдущий описанный вариант осуществления, однако не предусматривает использования какой-либо вычислительной мощности центрального блока для вычисления воспроизводимых видеоизображений отдельных абонентов, так как коммуникационные блоки непосредственно получают доступ к данным изображений абонентов с определенными ими разрешением и скоростью передачи изображений. Еще одно преимущество состоит в том, что не требуется передавать по сети данные слежения за положением глаз.

В одном варианте осуществления данные изображения абонента сохраняются в блоке памяти коммуникационного блока этого абонента, и коммуникационный блок определяет согласно указаниям в данных слежения за положением глаз этого абонента разрешение и/или скорость передачи данных изображений других абонентов, которые передаются от коммуникационных блоков этих абонентов с указанным разрешением и/или скоростью передачи изображений в коммуникационный блок соответствующего абонента. Этот вариант осуществления имеет преимущество, состоящее в том, что он не использует центральный блок. Абоненты телекоммуникационной сети могут непосредственно подсоединяться к телекоммуникационной сети без использования других блоков, помимо их абонентских станций видеоконференций.

В еще одном варианте осуществления по меньшей мере одна абонентская станция видеоконференции соединена с телекоммуникационной сетью через сеть мобильной радиосвязи. Телекоммуникационная сеть может представлять собой, например, стационарную локальную сеть (LAN), глобальную сеть (WAN), КТСОП, цифровую сеть с комплексными услугами (ISDN), Интернет или другую коммуникационную сеть, в частности сеть мобильной радиосвязи.

Еще в одном варианте осуществления коммуникационный блок использует алгоритмы анализа изображений и реконструкции форм для представления данных изображений абонентов, которые передавались с пониженным разрешением. Одно из преимуществ этого варианта осуществления состоит в том, что несмотря на пониженное разрешение передаваемых изображений изображения могут быть вновь восстановлены за счет применения алгоритмов синтеза изображений и реконструкции форм и воспроизведены с повышенным разрешением по сравнению с разрешением, использованным при передаче.

Следует также отметить, что заявленное изобретение наряду со способом также предусматривает систему для осуществления способа.

Ниже описаны варианты осуществления изобретения на примерах, иллюстрируемых чертежами, на которых представлено следующее:

фиг.1 - блок-схема, иллюстрирующая вариант выполнения системы видеоконференции, в которой коммуникационные блоки 20 абонентских станций видеоконференции получают доступ к данным изображений абонентов и тональным данным абонентов через центральный блок 30;

фиг.2 - блок-схема, иллюстрирующая вариант выполнения системы видеоконференции, в которой коммуникационные блоки 20 абонентских станций видеоконференции получают доступ к данным изображений абонентов и тональным данным абонентов через блок 26 памяти данных других коммуникационных блоков 20;

фиг.3 - блок-схема, иллюстрирующая этапы обработки для возможного варианта выполнения модуля 27 кодирования, реализующего в числе прочего функции компрессии и декомпрессии, а также функции шифрования и дешифрирования.

На фиг.1 представлена архитектура, которая может быть использована для реализации изобретения. В этом варианте осуществления по меньшей мере три различные абонентские станции 11 видеоконференции осуществляют связь друг с другом, причем мультимедийные данные передаются по телекоммуникационной сети и включают в себя по меньшей мере данные 22 изображений абонентов и/или тональные данные 21 абонентов, и каждый из абонентов 10 получает данные изображений других абонентов, одновременно воспроизводимые визуально на устройстве 24 воспроизведения соответствующей абонентской станции 11 видеоконференции. Устройство 24 воспроизведения может представлять собой, например, дисплей или виртуальный ретинальный дисплей (ВРД). Телекоммуникационная сеть 40 может представлять собой, например, стационарную сеть, такую, как локальная сеть (LAN), глобальная сеть (WAN), коммутируемая телефонная сеть общего пользования (КТСОП), цифровая сеть с комплексными услугами (IDSN), Интернет, а также пакетно-ориентированную коммуникационную сеть или иную коммуникационную сеть, в частности сеть мобильной радиосвязи. Сеть мобильной радиосвязи может представлять собой, например, сеть стандарта GSM (Глобальная сеть мобильной связи), сеть стандарта UMTS (Универсальная мобильная телекоммуникационная система) или другую сеть мобильной радиосвязи. Связь через сеть 40 мобильной радиосвязи осуществляется, например, по протоколам, таким, как GPRS (Общие услуги пакетной радиосвязи), WAP (Протокол беспроводных приложений) или UMTS. Сбор данных изображения абонента осуществляется посредством модуля 22 ввода данных изображения, а сбор тональных данных абонента осуществляется посредством модуля 21 ввода тональных данных. Модуль 22 ввода данных изображения может представлять собой, например, видеокамеру, блок сканирования, основанный, например, на микроэлектромеханической системе, или цифровую камеру. Примерами данных изображения абонента могут служит видеоизображения, тексты, таблицы, диаграммы, графики и т.д. Модуль 21 ввода тональных данных может включать в себя, например, один или несколько микрофонов, устройство воспроизведения данных с постоянного запоминающего устройства на компакт-диске (CD-ROM-плейер) или иные устройства ввода тональных сигналов. Система 23 слежения за положением глаз регистрирует направление наблюдения (взгляда) соответствующего абонента 10 и передает данные слежения за положением глаз, которые включают в себя по меньшей мере указания о направлении взгляда абонента, в коммуникационный модуль 20 соответствующей абонентской станции 11 видеоконференции (т.е. абонентской станции 11 видеоконференции соответствующего абонента). Система 23 слежения за положением глаз может представлять собой, например, систему, основанную на изображении Пуркинье, которая определяет направление взгляда абонента 10 по разности отражений двух параллельных световых лучей, отраженных от глазного дна и от роговой оболочки глаза, или систему, основанную на лазерном сканере, который посредством лазерного луча и опорного луча сканирует глазное дно и таким образом определяет направление взгляда абонента 10, или другую систему для определения направления взгляда абонента 10, например систему слежения за положением глаз, раскрытую в патентной заявке WO 94/09472. Данные 22 изображения абонента и тональные данные 21 абонента передаются от коммуникационного блока 20 в центральный блок 30. Передача может осуществляться с использованием сжатия и/или шифрования. Центральный блок 30 имеет модуль 31 кодирования, который принимает данные и подвергает их декомпрессии и/или дешифрированию. Для сжатия могут использоваться различные известные алгоритмы, такие, как кодирование Хафмана, “прокрутка” в отношении 3:2 и т.п., а также стандарты сжатия, например MPEG (Экспертной группы по движущимся изображениям) Международной организации стандартизации (ISO). При передаче данных от центрального блока 30 к коммуникационному блоку 20 модуль 31 кодирования также предпринимает сжатие и/или шифрование данных для передачи. Коммуникационные блоки 20 также имеют модуль 26 кодирования, который осуществляет компрессию/декомпрессию, а также шифрование/дешифрирование данных. Например, видеокамера модуля 22 ввода данных изображения вырабатывает аналоговый видеосигнал. Переключатель 279 кодирования устанавливается коммуникационным блоком 20 таким образом, что поток данных выводится через систему 271 сжатия и шифрования. Процессор 273 ввода получает видеосигнал, например сигнал стандарта PAL с 25 кадрами в секунду или сигнал стандарта NTSC с 29,97 кадров в секунду, и производит цифровое преобразование и фильтрацию аналогового видеосигнала, чтобы получить необработанный цифровой видеосигнал. Например, при приеме цифрового сигнала данных изображения последний этап отсутствует. 25 кадров PAL-сигнала соответствуют 50 полям (массивам данных), т.е. 50 полям в секунду, в то время как 29,97 кадров NTSC-сигнала соответствуют 59,94 полям, т.е. 59,94 полям в секунду. Анализатор 274 видеоданных получает цифровой видеосигнал от процессора 273 ввода, сопровождаемый, например, сигналом Vsync, т.е. сигналом синхронизации полей (кадров), и вырабатывает модифицированный видеосигнал для модуля 275 компрессии. Модифицирование сигнала осуществляется в реальном времени, в результате чего вырабатывается выходной сигнал, который может быть затем подвергнут сжатию оптимальным образом. В числе прочего анализатор видеоданных 274 удаляет, например, избыточные поля или кадры в видеосигнале и вырабатывает необходимую информацию, например, для прогнозирования скомпенсированного движения или для дискретного косинусного преобразования в том виде, как оно применяется в соответствии со стандартом MPEG. Если применяются алгоритмы анализа изображений и реконструкции формы, то они могут выполняться также анализатором видеоданных. К этому относятся, в частности, методы анализа и синтеза изображения лица, например метод моделирования точек характерных признаков. При этом из предварительно заданной максимально обобщенной модели (например, лица) определяются точки характерных признаков, причем вектор этих точек характерных признаков описывает форму модели, траекторию, движение модели и векторное пространство этих векторов, которое определяет возможности движения модели. Преобразование первоначальной обобщенной модели может пересчитываться, например, методами DFFD (деформации свободной формы Дирихле). Могут также применяться методы синтеза лица и анимации лица, реализованные согласно стандарту MPEG-4. Модифицированные цифровые видеоданные затем подвергаются сжатию в модуле 275 компрессии и при необходимости шифрованию. Сжатый цифровой видеосигнал передается от коммуникационного блока 20 через телекоммуникационную сеть 40. Модуль 27 кодирования коммуникационного блока 20 может также применяться для дешифрирования и декодирования данных, которые переданы коммуникационным блоком 20 через телекоммуникационную сеть 40. Переключатель 279 кодирования в этом случае устанавливается коммуникационным блоком 20 таким образом, что активизируются функции системы 272 декомпрессии и дешифрирования. Модуль 276 декомпрессии получает видеоданные от коммуникационного блока 20, подвергает их декомпрессии и при необходимости дешифрирует их. Процессор 277 вывода осуществляет в случае применения алгоритмов восстановления формы синтез изображения, пересчитывает отображаемое видеоизображение и выдает его в качестве видеосигнала на модуль 278 воспроизведения, например на экран или виртуальный ретинальный дисплей, например, выполненный согласно патентной заявке WO 94/09472. Осуществляется перенос данных изображения абонента, которые должны передаваться, например, посредством реализованного программным обеспечением или аппаратными средствами модуля переноса центрального блока 30 или коммуникационного блока 20. Данные изображения абонента и тональные данные абонента в центральном блоке запоминаются в блоке памяти 32. Буферизация или хранение данных могут быть реализованы посредством потока данных, буфера данных, банка данных или иным образом. Соответственно данные изображения этого абонента передаются по телекоммуникационной сети 40 с полным разрешением и скоростью передачи изображения в коммуникационный блок 20 абонентской станции 11 видеоконференции, и упомянутые данные изображения абонента воспроизводятся на устройстве 24 воспроизведения упомянутой абонентской станции 11 видеоконференции в текущем направлении взгляда соответствующего абонента 10 (т.е. абонента 10, направление взгляда которого было зарегистрировано системой слежения за положением глаз абонентской станции видеоконференции), в то время как данные изображений остальных абонентов передаются с пониженным разрешением и/или с пониженной скоростью передачи изображений. В примере осуществления по фиг.1 коммуникационные блоки 20 передают данные изображений своих абонентов 10 в центральный блок 30, где они сохраняются в блоке 32 памяти данных центрального блока 30. Имеется возможность передачи, например, данных слежения за положением глаз соответствующих коммуникационных блоков 20. Данные слежения за положением глаз могут, например, представлять собой данные о направлении взгляда, указания к данным изображения абонента, отображаемым в направлении взгляда и т.д. В этом случае центральный блок 30 определяет для каждого абонента согласно указаниям в данных слежения за положением глаз, относящимся к направлению взгляда соответствующего абонента 10, разрешение и/или скорость передачи данных изображений других абонентов и передает их с указанным разрешением и/или скоростью передачи изображений в коммуникационные блоки 20 соответствующего абонента 10. Модуль 31 кодирования центрального блока 30 также осуществляет снижение разрешения данных изображений абонентов. Такое снижение для мультимедийных данных не должно обязательно ограничиваться только данными изображений абонентов, а может касаться и других мультимедийных данных изображений канала, выбранного согласно направлению взгляда абонента, например тональных данных абонента (например, согласно стандарту МР3). Другая возможность состоит в том, что данные слежения за положением глаз от коммуникационных блоков 20 не передаются в центральный блок 30, а передаются только данные изображений абонентов. Центральный блок 30 сохраняет данные изображений абонентов с полным и пониженным разрешением в блоке 32 памяти данных. Коммуникационные блоки 20 могут затем согласно своим данным слежения за положением глаз получать доступ к данным изображений других абонентов 10 с соответствующим разрешением и/или скоростью передачи изображений в центральном блоке 30. Затребованные данные изображений абонентов передаются от центрального блока 30 к соответствующему коммуникационному блоку 20 по телекоммуникационной сети 40.

На фиг.2 показана архитектура, которая может быть использована для реализации изобретения. В этом варианте по меньшей мере три различные абонентские станции 11 видеоконференции осуществляют связь друг с другом, причем мультимедийные данные передаются по телекоммуникационной сети и включают в себя по меньшей мере данные 22 изображений абонентов и/или тональные данные 21 абонентов, и каждый из абонентов 10 получает данные изображений других абонентов, одновременно воспроизводимые визуально на устройстве 24 воспроизведения соответствующей абонентской станции 11 видеоконференции. Устройство 24 воспроизведения может представлять собой, например, дисплей или виртуальный ретинальный дисплей (ВРД). Как и в вышеприведенном примере, телекоммуникационная сеть 40 может представлять собой, например, стационарную сеть, такую, как локальная сеть (LAN), глобальная сеть (WAN), коммутируемая телефонная сеть общего пользования (КТСОП), цифровая сеть с комплексными услугами (IDSN), Интернет или иную коммуникационную сеть, в частности сеть мобильной радиосвязи. Сбор данных изображения абонента осуществляется посредством модуля 22 ввода данных изображения, а сбор тональных данных абонента осуществляется посредством модуля 21 ввода тональных данных. Модуль 22 ввода данных изображения может представлять собой, например, видеокамеру, блок сканирования или цифровую камеру. Примерами данных изображения абонента могут служить видеоизображения, тексты, таблицы, диаграммы, графики и т.д. Модуль 21 ввода тональных данных может включать в себя, например, один или несколько микрофонов, устройство воспроизведения данных с постоянного запоминающего устройства на компакт-диске (CD-ROM-плейер) или иные устройства ввода тональных сигналов. Система 23 слежения за положением глаз регистрирует направление взгляда соответствующего абонента 10 и передает данные слежения за положением глаз, которые включают в себя по меньшей мере указания о направлении взгляда абонента, в коммуникационный модуль 20 соответствующей абонентской станции 11 видеоконференции. Могут применяться системы слежения за положением глаз, описанные в вышеприведенном примере. Соответственно, данные изображения этого абонента передаются по телекоммуникационной сети 40 с полным разрешением и скоростью передачи изображения в коммуникационный блок 20 абонентской станции 11 видеоконференции, и упомянутые данные изображения абонента воспроизводятся на устройстве 24 воспроизведения упомянутой абонентской станции 11 видеоконференции в текущем направлении взгляда соответствующего абонента 10 (т.е. абонента 10, направление взгляда которого было зарегистрировано системой слежения за положением глаз абонентской станции видеоконференции), в то время как данные изображений остальных абонентов передаются со сниженным разрешением и/или со сниженной скоростью передачи изображений. Такое снижение для мультимедийных данных не должно обязательно ограничиваться только данными изображений абонентов, а может касаться и других мультимедийных данных изображений канала, выбранного согласно направлению взгляда абонента, например тональных данных абонента (например, согласно стандарту МР3). Данные изображения абонента и тональные данные абонента в данном варианте осуществления передаются не в центральный блок 30, а в блок 26 памяти соответствующего коммуникационного устройства 20. Буферизация или сохранение данных могут быть реализованы в потоке данных, в буфере данных, банке данных или иным образом. Коммуникационный блок 20 определяет согласно указаниям в данных слежения за положением глаз, относящихся к направлению взгляда соответствующего абонента 10, разрешение и/или скорость передачи изображения данных изображения абонента, которые должны воспроизводиться на устройстве 24 воспроизведения, и запрашивает эти данные изображения абонента в коммуникационных блоках других абонентов. Затребованные данные изображения абонента передаются от коммуникационных блоков 20 других абонентов с этим разрешением и/или скоростью передачи данных в коммуникационный блок соответствующего абонента 10. В данном примере осуществления имеется модуль 27 кодирования с теми же функциональными возможностями, что и в предыдущем примере. Так, например, реализуются алгоритмы компрессии/декомпрессии, шифрования/дешифрирования, синтеза изображения и реконструкции формы, как описано выше для модуля 27 кодирования. Также модуль 27 кодирования может при необходимости брать на себя функции преобразования аналоговых видеоданных в цифровые видеоданные, и наоборот.

Для обоих вариантов осуществления возможно, чтобы скорость передачи изображений для тех данных изображений абонентов, которые в устройстве 24 воспроизведения представляются не в направлении взгляда абонента 10, устанавливалась на нулевое значение. Абонент получает тогда на устройстве 24 воспроизведения только текущие наблюдаемые данные изображения абонента, в то время как остальные данные могут воспроизводиться как неподвижное изображение. Это неподвижное изображение может, например, включать те данные изображений абонентов, которые были переданы, когда они в последний раз находились в текущем направлении взгляда абонента 10. Имеется также возможность воспроизведения некоторых других данных изображения, вместо упомянутых, отображаемых как неподвижное изображение, например простых синтезированных смоделированных изображений, полученных из данных изображений абонента. Другая возможность для данных изображений абонентов (переданных как с полным разрешением, так и с пониженным разрешением) состоит в том, что движения объектов в данных изображений абонентов, например движения губ говорящего абонента, отображаются полностью синтезированным методом, например путем применения алгоритмов реконструкции формы и анимации. Достаточно тогда передать, например, лишь одно изображение абонента и затем моделировать движение. В одном из вариантов осуществления, например, можно варьировать скорость передачи изображений методом прогнозирования скомпенсированного движения. Так, например, при больших перемещениях скорость передачи изображений увеличивается и доля изображений с полностью анимированным движением уменьшается, в то время как при меньших перемещениях скорость передачи изображений падает и движение для данных изображений абонентов синтезируется.

Формула изобретения

1. Способ видеоконференции, при котором, по меньшей мере, три абонентские станции (11) видеоконференции осуществляют связь друг с другом, причем мультимедийные данные передаются по телекоммуникационной сети (40) и включают в себя, по меньшей мере, данные изображений (22) абонентов и тональные данные (21) абонентов и каждый из абонентов (10) получает данные изображений других абонентов, одновременно воспроизводимые визуально в устройстве (24) воспроизведения соответствующей абонентской станции (11) видеоконференции, отличающийся тем, что направление взгляда абонента (10) регистрируется системой (23) слежения за положением глаз, данные слежения за положением глаз, которые включают в себя, по меньшей мере, данные о направлении взгляда, передаются в коммуникационный блок (20) соответствующей абонентской станции (11) видеоконференции и данные изображения абонента передаются с полным разрешением и скоростью передачи изображений по телекоммуникационной сети (40) на коммуникационный блок (20) абонентской станции (11) видеоконференции для того абонента, данные изображения которого воспроизводятся на устройстве (24) воспроизведения упомянутой абонентской станции (11) видеоконференции в текущем направлении взгляда абонента (10) данной абонентской станции (11) видеоконференции, в то время как данные изображений остальных абонентов передаются с пониженным разрешением и/или с пониженной скоростью передачи изображений.

2. Способ по п.1, отличающийся тем, что скорость передачи изображений для тех данных изображений абонентов, которые воспроизводятся не в текущем направлении взгляда абонента (10), равна нулю.

3. Способ по п.1 или 2, отличающийся тем, что данные слежения за положением глаз и данные изображений абонентов передаются в центральный блок (30), при этом центральный блок (30) для каждого абонента (10), согласно указаниям в данных слежения за положением глаз соответствующих абонентов (10), определяет разрешение и скорость передачи данных изображений других абонентов и передает данные изображений абонентов с этим разрешением и с этой скоростью передачи изображений в коммуникационный блок (20) соответствующего абонента (10).

4. Способ по п.1 или 2, отличающийся тем, что данные изображений абонентов передаются в центральный блок (30) и сохраняются в блоке памяти (32) центрального блока (30), коммуникационный блок (20) абонента (10) определяет, согласно указаниям, содержащимся в данных слежения за положением глаз соответствующего абонента (10), разрешение и скорость передачи изображения для данных изображений других абонентов и эти данные изображений абонентов передаются от центрального блока (30) с этим разрешением и с этой скоростью передачи изображений в коммуникационный блок (20) соответствующего абонента (10).

5. Способ по п.1 или 2, отличающийся тем, что данные изображения абонента (10) сохраняются в блоке памяти (26) коммуникационного блока (20) этого абонента (10) и коммуникационный блок (20) определяет, согласно указаниям в данных слежения за положением глаз этого абонента (10), разрешение и скорость передачи данных изображений других абонентов, причем последние упомянутые данные изображений абонентов передаются от коммуникационных блоков других абонентов с этим разрешением и с этой скоростью передачи изображений на коммуникационный блок (20) соответствующего абонента (10).

6. Способ по любому из пп.1-5, отличающийся тем, что по меньшей мере одна абонентская станция (11) видеоконференций соединена с телекоммуникационной сетью (40) через сеть мобильной радиосвязи.

7. Способ по любому из пп.1-6, отличающийся тем, что коммуникационный блок (20) использует алгоритмы анализа изображений и реконструкции форм для представления данных изображений абонентов, которые передавались с пониженным разрешением.

8. Система видеоконференции, содержащая, по меньшей мере, три абонентские станции (11) видеоконференции, которые соединены друг с другом через телекоммуникационную сеть (40) и включают в себя, по меньшей мере, коммуникационный блок (20), устройство воспроизведения (24) для одновременного визуального представления данных изображений абонентов и модуль выдачи тональных данных (25) для воспроизведения тональных данных абонентов, а также модуль ввода данных изображений (22) для сбора данных изображений абонентов и модуль ввода тональных данных (21) для сбора тональных данных абонентов, отличающаяся тем, что абонентские станции (11) видеоконференции содержат систему слежения за положением глаз (23), посредством которой регистрируется направление наблюдения абонента (10) и посредством которой данные слежения за положением глаз передаются в коммуникационный блок (20), причем данные слежения за положением глаз включают в себя, по меньшей мере, данные о направлении взгляда абонента (10), и система видеоконференции содержит средства, которые передают с полным разрешением и скоростью передачи изображений по телекоммуникационной сети (40) на коммуникационный блок (20) абонентской станции (11) видеоконференции данные изображения того абонента, данные изображения которого воспроизводятся на устройстве воспроизведения (24) упомянутой абонентской станции (11) видеоконференции в текущем направлении взгляда абонента (10) данной абонентской станции (11) видеоконференции, в то время как данные изображений остальных абонентов передаются с пониженным разрешением и/или с пониженной скоростью передачи изображений.

9. Система по п.8, отличающаяся тем, что скорость передачи изображений для тех данных изображений абонентов, которые воспроизводятся не в текущем направлении взгляда абонента (10), равна нулю.

10. Система по п.8 или 9, отличающаяся тем, что система видеоконференции содержит центральный блок (30), при этом центральный блок (30) для каждого абонента (10), согласно указаниям в данных слежения за положением глаз соответствующих абонентов (10), определяет разрешение и скорость передачи данных изображений других абонентов и передает данные изображений абонентов с этим разрешением и с этой скоростью передачи изображений в коммуникационный блок (20) соответствующего абонента (10).

11. Система по п.8 или 9, отличающаяся тем, что система видеоконференции содержит центральный блок (30) с блоком памяти (32), причем из блока памяти (32) данные изображений абонентов могут быть загружены коммуникационными блоками в соответствии с указаниями, содержащимися в данных слежения за положением глаз соответствующего абонента (10), с полным или пониженным разрешением и с полной или пониженной скоростью передачи изображения.

12. Система по п.8 или 9, отличающаяся тем, что коммуникационный блок (20) абонента (10) содержит блок памяти (26), причем из блока памяти (32) данные изображения соответствующего абонента могут быть загружены коммуникационными блоками (20), в соответствии с указаниями, содержащимся в данных слежения за положением глаз соответствующего абонента (10), с полным или пониженным разрешением и с полной или пониженной скоростью передачи изображения.

13. Система по любому из пп.8-12, отличающаяся тем, что телекоммуникационная сеть (40) включает в себя сеть мобильной радиосвязи.

14. Система по любому из пп.8-13, отличающаяся тем, что коммуникационный блок (20) содержит модуль восстановления изображений, который использует алгоритмы анализа изображений и реконструкции форм для восстановления данных изображений абонентов, которые передавались с пониженным разрешением.

РИСУНКИ

Рисунок 1, Рисунок 2, Рисунок 3

PD4A - Изменение наименования обладателя патента СССР или патента Российской Федерации на изобретение

(73) Новое наименование патентообладателя:Свисском (Швейц) АГ (CH)

Адрес для переписки:129090, Москва, ул. Б. Спасская, 25, стр. 3, ООО "Юридическая фирма Городисский и Партнеры"

Извещение опубликовано: 27.01.2010        БИ: 03/2010