Устройство и способ передачи последовательности пакетов данных и декодер и аппаратура для распознавания последовательности пакетов данных

Настоящее изобретение относится к области передачи данных и, в частности, к пакетной передаче в реальном времени аудиосигналов по рассчитанным на это сетям. Техническим результатом является повышение качества связи в условиях строгих ограничений. Указанный технический результат достигается тем, что устройство для передачи последовательности пакетов данных включает приемник (11) последовательности пакетов с заданным синтаксисом, детектор (13) недостающих или дефектных пакетов в последовательности, модуль (14) замещения дефектных или недостающих пакетов для формирования пакетов замены и блок вывода (15) последовательности пакетов, состоящей, по меньшей мере, из одного принятого пакета и одного пакета замены. Пакеты замены имеют корректную синтаксическую конструкцию, содержат предварительно заданный звуковой контент с расчетной характеристикой контента, воспроизводимый базовым декодером, и маркированы меткой пакета замены. Базовый декодер игнорирует маркировку пакета замены или распознает ее таким образом, что пакет замены раскодируется как полноценный пакет в соответствии с расчетной характеристикой контента. Декодер с расширенными функциями распознает маркировку пакета замены как команду к включению функции маскирования ошибки, при выполнении которой генерируется контент пакета замены, имеющий характеристику контента, отличную от расчетной. 6 н. и 20 з.п. ф-лы, 11 ил.

 

Настоящее изобретение относится к области передачи данных и, в частности, к пакетной передаче в реальном времени аудиосигналов по рассчитанным на это сетям.

При обмене данными в реальном времени по сетям, рассчитанным на пакетную передачу, например, в телефонии на базе Интернет-протокола (VoIP), как правило, своевременное получение приемником всех пакетов не может быть гарантировано. Это объясняется тем, что при пакетной передаче данных, например, через Интернет, различные пакеты проходят в сети передачи данных от передатчика к приемнику по различным каналам, что зависит от текущей обстановки в сети.

Даже при отправлении пакетов в порядке их формирования высока вероятность нарушения их последовательности при приеме. Пакет, нашедший оптимальный путь прохождения от передатчика к приемнику, может даже "обойти" пакет, который был отправлен раньше него.

Для приложений, которые не требуют работы в реальном масштабе времени, или в которых допустимы относительно большие задержки по времени, все поступающие пакеты будут накапливаться в буфере до завершения последовательности. Место пакета в последовательности может быть определено, например, по его номеру или с помощью содержащегося в нем указателя последовательности, благодаря которым приемник сортирует пакеты для отображения или дальнейшей передачи в нужном порядке.

При этом чем меньше объем буфера, или чем меньше допустимая задержка для пересылаемого пакета, тем ниже конечная эффективность пакетов данных. Пакетные потери происходят не только при полной утрате пакета, но и при излишних временных затратах на передачу пакета от источника к приемнику. Другую проблем представляет искажение данных пакета на пути от передатчика к приемнику, то есть когда пакет является действительно дефектным.

Подобные приложения, имеющие ограничения по времени задержки, присутствуют в телефонной связи через Интернет (IP-телефония), где к прохождению пакетов от передатчика к приемнику предъявляются достаточно строгие требования. чтобы вызов не был прерван. В частности, в случае, если со стороны передатчика размещен аудиокодер, а со стороны приемника установлен декодер, при завершении пакетов данных, предназначенных для кодировки приемником, вызов может быть прерван, а именно - декодер приемника "зависнет" из-за отсутствия данных.

Задачей данного изобретения является выработка принципа обмена пакетами данных, обеспечивающего высокое качество связи в условиях строгих ограничений.

Это достигается с помощью аппарата (устройства) для передачи последовательности пакетов данных по пункту 1 формулы изобретения, метода передачи последовательности пакетов данных по пункту 19 формулы изобретения, декодера для декодирования последовательности пакетов данных по пункту 20 формулы изобретения, метода декодирования пакетов данных по пункту 24 формулы изобретения или компьютерного программного обеспечения по пункту 25 формулы изобретения.

Согласно концепции изобретения во избежание аварийных сбоев декодера и/или слышимых искажений звука со стороны декодера необходимо определить, является ли пакет из последовательности пакетов данных пропущенным или дефектным. При идентификации подобной пакетной потери или пакетной ошибки предусматривается пакет замены, являющийся корректным с точки зрения синтаксиса пакета, однако имеющий некоторые особенности звукового контента. Согласно концепции изобретения аппарат для передачи последовательности пакетов данных дает на выходе неискаженную последовательность пакетов, в которой при этом дефектные или пропущенные пакеты замещены пакетами замены таким образом, что последовательность, выводимая аппаратом для передачи, содержит, по меньшей мере. один принятый пакет и один пакет замены. В одном из вариантов исполнения контент и/или характеристики контента пакета или фрейма в замещающем пакете независимы от аудиосигнала, то есть не зависят от предшествующего или последующего пакета или фрейма. Однако если пакет в определенной степени подвержен маскированию ошибок, синтезируемый аудиоконтент будет зависеть от предыдущего или последующего фрейма, то есть не будет предварительно заданным или независимым от сигнала.

Дополнительно в области полезной нагрузки замещающий пакет имеет соответствующую метку, которая игнорируется или распознается базовым декодером как команда к расшифровке пакета замены как штатного пакета данных в соответствии с заданными характеристиками контента, или которая распознается декодером с расширенными по сравнению с базовым декодером функциями как команда к маскированию ошибки, представляющему собой генерирование содержимого замещающего пакета с характеристикой контента, отличной от заданной. Замещающий пакет может быть пакетом чистой полезной нагрузки или может состоять из части полезной нагрузки и части заголовка, причем метка будет находиться предпочтительно не в части заголовка, а в части полезной нагрузки.

Неискаженный поток пакетов данных с правильным синтаксисом поступает на приемное устройство. Приемное устройство беспрепятственно декодирует последовательность пакетов данных. Базовое приемное устройство, таким образом, легко декодирует пакет замены и воспроизводит вложенное звуковое содержимое. Однако это ведет к потере качества, поскольку звуковое содержимое задано предварительно и, в силу этого, не будет точно соответствовать предыдущему пакету или фрейму и последующему пакету или фрейму. Тем не менее, такой кратковременный проигрыш в качестве не является проблемным в отличие от ситуации, когда декодер полностью отказывает из-за отсутствия пакета данных, в результате чего связь прерывается.

Декодер с расширенными функциями распознает метку пакета замены, дифференцирует пакет замены от обычного пакета и не просто обрабатывает замещающий пакет, но при его получении инициирует функцию маскирования ошибки.

Функции маскирования ошибки представляют собой, например, кроме повтора фрейма/пакета, экстраполирование предыдущих пакетов или последующих пакетов, уже находящихся в памяти, или интерполирование между предшествующими и последующими пакетами. Такого типа экстраполяции или интерполяции, в частности, включают в себя измерение энергии диапазона для синтеза при дальнейшем маскировании ошибки кратковременного спектра аудиосигнала, значения спектра которого были сгенерированы более или менее случайным образом, но при этом энергия диапазона данного произвольно сгенерированного аудиосигнала зависит от энергий предшествующего и/или последующего корректно принятых пакетов или пакетов, уже сформированных с использованием функции маскирования ошибки.

Как вариант реализации задаваемой характеристикой контента замещающего пакета может быть нулевой спектр. В этом случае результатом декодирования базовым декодером предварительно заданного пакета замены является "звукоподавление". С другой стороны, характеристикой контента может быть аудиосигнал, звуковой контент и/или спектральные показатели которого коррелируют с абсолютным порогом слышимости и характеризуются, к примеру, тем, что звуковой контент должен быть вдвое ниже абсолютного порога слышимости - так, чтобы определенный незначительный уровень шума присутствовал во всех диапазонах, что при определенных условиях может субъективно восприниматься на слух лучше, чем простое приглушение звука.

Реализация настоящего изобретения будет подробно рассмотрена ниже с использованием чертежей, где:

На фиг.1 показана блок-схема варианта осуществления аппарата для передачи последовательности пакетов данных.

На фиг.2 дана блок-схема декодера последовательности пакетов данных.

На фиг.3 дана блок-схема аудиокодера, генерирующего последовательность пакетов данных.

На фиг.4 среди прочего показано более специфическое исполнение устройства аудиорендеринга, данного на фиг.2.

На фиг.5A показана последовательность пакетов данных на выходе кодера.

На фиг.5B показана последовательность пакетов данных, принимаемых базовой станцией.

На фиг.5C показана последовательность пакетов данных при передаче базовой станцией и приеме мобильным устройством после введения пакета замены.

На фиг.5D показана последовательность прохождения аудиоконтента в порядке генерирования устройством аудиорендеринга.

На фиг.6A представлен синтаксис расширенной полезной нагрузки в формате стандарта ISO/IEC 14496-3:2005 (Е) MPEG4.

На фиг.6В дана таблица значений поля расширенного типа extension type.

На фиг.7 дан пример синтаксиса пакета, преобразуемого аудиокодером/декодером.

На фиг.8 дан образец замещающего пакета, содержащего корректный пакетный синтаксис и предварительно заданную характеристику контента.

На фиг.1 представлен аппарат для передачи последовательности пакетов данных, являющихся аудиосигналом. Передающее устройство, реализованное в примере на фиг.1 в виде базовой станции 10, содержит приемник 11 пакетов с заданным синтаксисом, входящих в последовательность. Приемник 11 сопряжен с сетью обмена пакетированными данными, например с Интернетом 12. Кроме того, базовая станция 10 включает в себя детектор 13 недостающих или поврежденных последовательностей пакетов. Далее, в контур введен модуль 14 замещения недостающих или поврежденных пакетов. Пакет замены (замещающий пакет) - это корректный с точки зрения синтаксиса пакет, содержащий при этом звуковой контент с заранее заданной характеристикой. В дополнение к этому в состав базовой станции входит устройство вывода последовательности пакетов, которая включает в себя, по крайней мере, один принятый пакет и один замещающий пакет. Блок вывода 15 базовой станции представляет собой ВЧ-блок, соединенный согласно соответствующим техническим условиям, например, NG DECT, с передающей антенной 16 с целью трансляции последовательности пакетов данных на мобильное устройство, которое подробно описано далее в контексте фиг.2.

Приемник 11 на фиг.1 соединен с блоком вывода 15 линией пересылки пакетированных данных 17 для передачи нормальных, не имеющих дефекты, пакетов, своевременно полученных блоком вывода 15. Одновременно модуль замещения пакетов 14 соединен с блоком вывода 15 линией пересылки пакетов замены 18. Предпочтительно введение в модуль замещения пакетов 14 ресурса памяти для хранения замещающих пакетов. В случае распознания недостающего или дефектного пакета модуль 14 получает доступ к памяти для извлечения пакета замены и пересылки его по линии 18 на блок вывода 15.

Как вариант конструктивного исполнения детектор 13 может быть настроен на обнаружение потери пакета и включение модуля замещения пакетов в случае, если получение пакета в последовательности пакетов задерживается на время, превышающее максимально допустимую задержку. Регулирование этой максимально допустимой задержки может осуществляться, например, по линии управления 19. По линии управления 19 на детектор 13 может быть передан запрос на QoS ("качество обслуживания"), которое при применении в IP-телефонии (VoIP) может включать в себя максимальную величину задержки. В других приложениях, ориентированных на работу с пакетированными данными, кроме VoIP, на детектор 13 по линии управления 19 могут быть направлены другие запросы QoS. При ином варианте реализации детектору 13 может быть задан фиксированный критерий обнаружения пропущенных или дефектных пакетов, по которому задействуется модуль 14 замещения пакетов.

При реализации пакет замены, передаваемый по линии пересылки пакетов замены 18 на блок вывода 15, имеет не только заданную характеристику контента, но и метку пакета замены. Как вариант осуществления в комплектации с базовым декодером такая метка после получения пакета замены игнорируется, и пакет раскодируется как полноценный в соответствии с заданной характеристикой контента; в комплектации с декодером усовершенствованной конструкции, отличающимся от базового декодера расширенными функциональными возможностями, метка считывается как команда к выполнению функции маскирования ошибки, при которой генерируется контент замещающего пакета, отличный от контента с предварительно заданной характеристикой.

На фиг.2 представлена блок-схема декодера последовательности пакетов, который может быть встроен в мобильное устройство 20. Декодер включает в себя приемник 21 последовательностей пакетов с заданным синтаксисом, из которых одна последовательность пакетов содержит не менее одного пакета данных и, по крайней мере, один пакет замены, содержащий корректный пакетный синтаксис и звуковой контент с заданной характеристикой. Кроме того, пакет замены содержит метку пакета замены. При этом такая метка считывается только декодером с расширенными функциями, показанным на фиг.2, и не считывается базовым декодером.

Для распознания и считывания метки пакета замены предназначен детектор 22, который определяет по этой метке, является ли пакет замещающим. Кроме того, в декодер с расширенными функциями на фиг.2 введено устройство маскирования ошибок 23, предназначенное для синтезирования аудиоконтента, параметры которого отличаются от предварительно заданных характеристик контента замещающего пакета. В дополнение к этому декодер с расширенными функциями включает в себя устройство аудиорендеринга 24 звукового контента пакета, когда он не является пакетом замены, и аудиорендеринга синтезируемого аудиоконтента в случае замещающего пакета. Устройство аудиорендеринга 24 сопряжено с устройством вывода 25, которое может включать в себя, например, цифроаналоговый преобразователь, усилитель и динамик.

В частности, устройство аудиорендеринга соединено с приемником 21 через шину 26 пересылки стандартных пакетов данных. Кроме того, устройство аудиорендеринга 24 соединено с устройством маскирования ошибок 23 через шину пересылки пакетов замены 27 для передачи синтезируемого аудиоконтента.

Устройство маскирования ошибок 23 осуществляет свою функцию различными способами. Простая функция маскировки ошибки заключается в повторении предыдущего фрейма и/или звукового контента предыдущего пакета, или звукового контента следующего пакета. Такой вариант функции маскировки ошибки называется "повтор фрейма". В ином варианте функция маскирования ошибок может выполняться как экстраполяция или интерполяция. Экстраполяция или интерполяция могут осуществляться на основе спектральных величин или диапазонов. При экстраполировании спектральных величин значение спектра для фрейма замены может быть рассчитано исходя из одного или нескольких равных показателей частоты спектра в предшествующих фреймах. Вместе с тем, маскирование ошибки может выполняться с учетом диапазонов, когда значения спектра в одном диапазоне, например, генерируются буфером как генератором случайных чисел или генерируются более или менее упорядоченно, после чего спектральные величины взвешиваются таким образом, что их энергия приводится в соответствие с расчетной энергией, при этом расчетную энергию выводят на основании одного или нескольких предшествующих фреймов и/или одного или нескольких последующих фреймов. Предшествующие и/или последующие фреймы могут быть приняты как полноценные пакеты данных или как пакеты и/или фреймы, генерированные устройством маскирования ошибок после потери одного или нескольких последовательных пакетов.

Аудиокодер как элемент конструктивного исполнения данного изобретения, генерирующий последовательность пакетов, представляет собой преобразователь. Такой аудиокодер-преобразователь в ходе работы выполняет операцию частотно-временного преобразования, при которой временной аудиосигнал трансформируется в последовательность кратковременных спектров. Каждый кратковременный спектр передается на квантователь 31, управляемый посредством психоакустической модели 32 таким образом, что в результате квантования шум квантования не нарушает субъективное слуховое восприятие. На выходе квантователя последовательно установлен энтропийный кодер 33. например кодер Хаффмана. Энтропийный кодер формирует последовательность битов, которые в сочетании с сопутствующей информацией, поступающей частично от квантователя 31 в форме коэффициентов масштабирования, и частично - от энтропийного кодера 33 в форме применяемой кодировочной таблицы, образуют данные, пересылаемые на устройство формирования пакетов данных (пакетировщик) 34, который на выходе выдает последовательность пакетов данных. За исключением пакетировщика 34 аудиокодер, отображенный на фиг.2, представляет собой стандартный кодер-преобразователь типа МР3 (MPEG-1 3 уровня) или усовершенствованный аудиокодек AAC (MPEG-4) или АС-3 и т.п. Следует отметить, что пакетировщик 34 в зависимости от конкретных требований предназначается для формирования одного пакета на звуковой фрейм, то есть - в пределах кратковременного спектра, или для генерирования более одного звукового фрейма, то есть для размещения нескольких закодированных кратковременных спектров в одном пакете.

На фиг.4 дана более подробная схема устройства аудиорендеринга 24 на фиг.2 и, в частности, взаимодействие устройства аудиорендеринга 24 и устройства маскирования ошибок 23. На входе устройства аудиорендеринга установлен распаковщик пакетов 40, который при распаковке пакета разделяет сопутствующую и "основную" информацию.

Основная информация в виде кратковременных участков спектра, представленных последовательностью битов, пересылается на энтропийный декодер 41, выдающий индексы квантования, передаваемые на деквантователь 42, на выходе которого квантуются и снова деквантуются значения спектра, чтобы затем, после частотно-временного преобразования в блоке 43, быть использованными для генерации выходного аудиосигнала. Управление энтропийным декодером 41 и деквантователем 42 может осуществляться с помощью сопутствующей информации, поскольку энтропийный декодер как правило получает индекс кодовой таблицы, а деквантователь 42 получает коэффициенты масштабирования для правильного деквантования.

Затем распаковщик пакетов 40, содержащий параметр распознавания, полученный от детектора 22 на фиг.2, может переслать на устройство маскирования 23 метку пакета замены, чтобы устройство маскирования 23 распознало текущий пакет не как сгенерированный кодером на фиг.3, а как замещающий пакет, сформированный базовой станцией. В этом случае устройство маскирования обеспечивает энтропийный декодер последовательностью битов или передает на деквантователь ряд индексов квантования или предоставляет частотно-временному преобразователю последовательность спектральных величин для обеспечения возможности введения синтезированного аудиоконтента в любой точке последовательности операций декодера. Синтезируемый спектральный звуковой контент предпочтительно вводится в конце последовательности операций, то есть на стадии частотно-временного преобразования 43.

Эти спектральные составляющие преимущественно находятся в зависимости от предшествующих, уже принятых, нормальных спектров или от последующих спектров, которые могут уже присутствовать и содержать средства маскирования ошибок, связанные со спектральными величинами, диапазонами или одновременно и со спектральными величинами, и с диапазонами для синтезирования звукового контента.

На фиг.1 и 2 представлена реализация изобретения в форме базовой станции и мобильного устройства, причем предполагается, что базовая станция может принимать пакеты в произвольном порядке, как, например, при ее подключении к Интернету, в то время как мобильное устройство зависит от соблюдения порядка получения последовательности пакетов. Подобное взаимодействие между базовой станцией и мобильным устройством регламентируется, например, стандартом беспроводной связи DECT.

При передаче данных в режиме реального времени по сетям пакетного обмена (например. IP-телефонии) своевременное получение приемным устройством всех пакетов не может быть гарантировано. Через определенный (очень ограниченный) промежуток времени еще не полученные пакеты квалифицируются как утраченные. В случае потери IP-пакета базовая станция генерирует и передает замещающий аудиофрейм.

Такую замену будет выполнять базовая станция следующего поколения (NG) стандарта цифровой беспроводной мобильной связи DECT. Вместо исходных (но не полученных) фреймов базовая станция посылает на мобильное устройство фреймы замены. Технические характеристики нового поколения стандарта цифровой беспроводной мобильной связи NG DECT расширены по сравнению с действующими техническими требованиями DECT за счет введения, кроме прочего, широкополосных и суперширокополосных аудиокодеков и IP-терминалов.

Оборудование NG DECT включает в свой состав один или несколько радиотелефонов, принимающих вызовы от базовой станции NG DECT. Следовательно, появляется возможность осуществлять связь IP-телефонии (VoIP) непосредственно через телефоны NG DECT. В идеальном случае речевые пакеты IP-телефонии могут быть переданы от базовой станции к мобильному устройству без повторной кодировки базовой станцией.

Например, при применении аудиокодеков, в стандартный синтаксис которых не входит специальный сигнал потери фрейма, генерируются пакеты замены. Такой замещающий аудиофрейм должен предусматривать декодирование стандартным декодером, однако при реализации изобретения он должен одновременно сигнализировать декодеру с расширенными функциями о том, что данный фрейм является замещающим фреймом, чтобы декодер с расширенными функциями мог задействовать соответствующие контрмеры, например функцию маскирования ошибки. Замещающий фрейм должен вводиться без усложнения вычислений и, в частности, без выполнения базовой станцией дополнительных расчетов, связанных с предшествующими аудиоданными, чтобы она могла работать как простой радиоретранслятор. то есть передавать данные без декодирования и перекодирования. Таким образом, базовая станция будет выполнять единственную несложную функцию по распаковке пакетов (если в таковой будет целесообразность) - извлечение из последовательности указателей локализации в ней пакетов данных с целью корректного декодирования их звукового контента.

Вариант реализации предусматривает специальные пользовательские области данных, маркируемые кодером-преобразователем для распознавания с помощью декодера с расширенными функциями фреймов замены даже в тех случаях, когда базовый стандартный синтаксис битстрима не содержит такую маркировку.

Если фрейм или пакет состоит из заголовка и части, несущей полезную нагрузку, где размещены полезные данные, метка предпочтительно должна быть включена в структуру полезных данных, поскольку при дальнейшей обработке звука заголовок игнорируется вместе с введенной в него меткой, вследствие чего маскирование ошибки становится невозможным.

Если пакет несет только полезную нагрузку и не содержит заголовок, реализация возможна исключительно через размещение метки в структуре полезной информации. Метку вводят преимущественно в аудиоданные и/или в часть, содержащую звуковую информацию.

В качестве варианта осуществления в случае отсутствия прямого указания на потерю фрейма замещающий аудиофрейм и/или замещающий пакет должны удовлетворять первому критерию, по которому декодер расшифровывает фрейм замены или пакет замены в соответствии с действующими стандартами. По второму критерию фрейм замены должен содержать средство точного распознавания фрейма замены декодером с расширенными функциями, чтобы этот декодер мог задействовать функцию маскирования ошибки.

Обычный стандартный декодер рассчитан на раскодирование фрейма замены, если последний представляет собой полноценный фрейм с заданным стандартным синтаксисом потока данных и/или фрейма или пакета. В некоторых реализациях предпочтительно заменять недостающий фрейм фреймом без звукового содержимого, то есть применять так называемое звукоподавление. Подавление звука означает, что весь спектр устанавливается на ноль. В частности, при использовании усовершенствованного аудиокодека стандарта AAC (MPEG-4-Audio) предпочтительно генерировать нулевой спектр, если диапазон с самым высоким масштабным коэффициентом (sfb), для которого передаются значения спектра, установлен на ноль (max sfb (0)). И наоборот, спектральные величины могут передаваться для диапазонов с нулевым коэффициентом масштабирования. В принципе, это может быть реализовано с использованием, кроме прочих сборников кодов, любого доступного Сборника кодов Хаффмана ("ZERO НСВ"), согласно которому конкретно эти линии спектра не должны быть обязательно переданы.

При этом базовая станция, которая должна обнаруживать поврежденные или недостающие фреймы, может уже выполнять функции маскирования ошибок. Однако в соответствии с концепцией изобретения базовая станция предпочтительно не должна выполнять функцию маскировки ошибок, поскольку эта функция является сложной для вычисления и, кроме того, требует оценки предшествующих и, возможно, последующих аудиосигналов. В особенности, если базовая станция, работающая в стандарте цифровой беспроводной мобильной связи DЕСТ, "обслуживает" несколько мобильных устройств, чтобы полностью обеспечивать маскирование ошибки, она непрерывно декодирует и вновь кодирует весь звуковой контент. Дополнительно к потребности в значительном ресурсе микропроцессора и памяти, особенно при использовании кодера, дающего потери, существует опасность ухудшения качества в результате последовательного повторного кодирования. Кроме того, существенно увеличивается задержка.

В силу того, что стандарт ААС не предусматривает прямое оповещение о потере фрейма, при осуществлении изобретения используется маркировка, которая игнорируется обычным декодером. Здесь содержится синтаксис данных и/или пакета. С другой стороны, простое обнуление спектра фрейма недостаточно для надлежащей идентификации замещающего фрейма и/или пакета, поскольку фреймы такого вида могут присутствовать и при работе в штатном режиме, например, когда на входе кодера нет сигнала.

Маркировка замещающего фрейма и/или пакета информирует декодер с расширенными функциями о том, что данный фрейм не является (фреймом с нулевым спектром, а введен в базовую станцию вследствие ошибки передачи, что предотвращает сбой декодера и/или телефонной связи.

Стандарты кодирования звука, как правило, предусматривают заданные пользовательские области данных, позволяющие передавать дополнительную полезную нагрузку, которая, однако, игнорируется обычными декодерами, то есть базовыми декодерами без расширенных функциональных возможностей. В стандарте ААС такая определяемая пользователем полезная нагрузка обозначается как "extension payload", что показано на фиг.6A. В зависимости от значения переменной "extension type", как показано на фиг.6B, стандарт предусматривает другую функцию. Фиг.6A и 6B представляют собой извлечения из стандарта ISO/IEC 14496-3:2005 (E). Присутствующий здесь элемент FILL предусматривается стандартом в следующих целях. Элемент "fill" добавляют к битстриму, когда общее количество битов для всех аудиоданных вместе со всеми дополнительными данными меньше минимального числа битов в этом фрейме, позволяющего достичь требуемой скорости передачи данных. Биты управления динамическим диапазоном (биты DRC) добавляются, когда кодер намеревается ввести информацию о DRC. При нормальных условиях согласно стандарту биты заполнения "fill" не применяются, а свободные биты используются для заполнения хранилища битов и/или сберегательного банка битов. Биты заполнения "fill" набиваются только при переполнении емкости хранилища битов. Допускается любое число элементов заполнения "fill".

В одной из версий осуществления изобретения, как показано на фиг.7 в кластере 70, "тип расширения" ("extension type") задается как "0000". чтобы - в отличие от стандартного использования битов заполнения - ввести указатель потери фрейма в поле "other bits" ("другие биты").

Пользовательская область данных, отводимая стандартом для битов заполнения, используется для маркировки фрейма замены, то есть - для размещения метки замещающего фрейма. Однако в ином конструктивном исполнении может быть использована другая полезная нагрузка “extension payload ()” в зависимости от изменения задаваемого значения "extension type". Поскольку передача нулевого спектра преимущественно выполняется эффективно (при установке max sfb на ноль), или используется Сборник нулевых кодов Хаффмана (Zero Huffman code book), остается достаточное количество битов, которые могут быть применены для различных расширенных полезных данных extension payloads ().

Следует обратить внимание на кластер 71, где дано описание в формате MPEG-4 стандартного потока данных и/или синтаксиса пакета и/или синтаксиса фрейма пакета замены, где в строке 72 используется переменная "max sfb=0". Все остальные данные, необходимые для формирования синтаксиса полноценного пакета, также преимущественно устанавливаются на ноль. При этом следует отметить, что сами данные не являются достоверным показателем фрейма замены. Надежным показателем может служить только extension payload 70, поскольку обычный кодер не рассчитан на запись такого фрейма с нулевым спектром, а лишь специальное extension payload.

На фиг.8 показан пример замещающего фрейма в стандарте DECT нового поколения при частоте дискретизации 48 кГц, моносигнале и битрейте 64 кбит/сек. Следует отметить, что расширенная полезная нагрузка "extension payload", показанная на фиг.7, кластер 70, не может быть легко определена на фиг.8, поскольку extension payload в битстриме не "сконфигурировано по байтам".

Кроме того, необходимо подчеркнуть, что набор битов в "extension payload" содержит двоичный код, который также воспринимается как "шаблон ошибки", соответствующий коду ASCII, обозначающему потерю фрейма "FRAME LOSS". Таким образом обеспечивается бесконфликтность с другими пользователями extension payload в силу малой вероятности применения другим пользователем кода потери фрейма "FRAME LOSS" стандарта ASCII для маркировки событий, не имеющих отношение к "FRAME LOSS".

Ниже, в контексте фиг.5, будут рассмотрены различные порядки пакетов или фреймов, складывающиеся в разные моменты сценария передачи данных от передатчика пакета на декодер и/или на устройство аудиорендеринга в составе декодера.

На фиг.5А показана последовательность пакетов с номерами (i-1), i. (i+1), (i+2). Такая упорядоченная последовательность пакетов или фреймов возможна при вводе в сеть, ориентированную на пакетный обмен данными, например в Интернет.

На фиг.5B показана последовательность пакетов на входе базовой станции, из которых пакет i на видимом временном отрезке еще не поступил, и порядок пакетов нарушен. Причиной этого может быть или полная потеря пакета или его прохождение по очень длинному пути от источника к приемнику. Одновременно, пакет (i+2) прошел по максимально благоприятному каналу, "опередив" на своем пути от передатчика, то есть кодера, ко входу базовой станции пакет (i+1).

Приемник 11 на фиг.1 пересортирует пакеты, полученные в порядке, показанном на фиг.5B, упорядочив их в правильной последовательности. В дополнение к этому декодер 13 обнаружит, что пакет под номером i отсутствует или поврежден. В результате для номера i будет сформирован пакет замены, как показано на фиг.5C. На фиг.5C пакеты даны в последовательности, в которой они покинули блок вывода 15 на фиг.1. На пути от базовой станции на фиг.1 до мобильного терминала на фиг.2 порядок пакетов не меняется. Тем не менее, декодер с расширенными функциями на фиг.2 распознает пакет i как пакет замены. В отличие от других пакетов, показанных на фиг.5D, проходящих обычный процесс аудиорендеринга их звукового контента, для замещающего пакета аудиоконтент синтезируется с помощью функции маскировки ошибки.

В зависимости от обстоятельств изобретение осуществляется как через аппаратные средства, так и через программное обеспечение. Изобретение реализуется с использованием цифрового носителя информации, в частности диска или компакт-диска, содержащего электронно считываемые сигналы управления, совместимого с программируемой компьютерной системой для осуществления соответствующего метода. Кроме того, изобретение в целом представляет собой компьютерный программный продукт, содержащий код программы, хранящийся на машиночитаемом накопителе, предназначенный для реализации метода изобретения с использованием компьютерной техники. Другими словами, изобретение может быть реализовано как компьютерная программа с присвоенным ей программным кодом, предназначенная для выполнения на компьютере с целью реализации метода изобретения.

1. Устройство для передачи последовательности пакетов данных, передающее аудиосигнал на базовый декодер или на декодер с расширенными функциями, причем декодер с расширенными функциями предусматривает более широкие эксплуатационные возможности по сравнению с базовым декодером, включающее приемник (11) последовательности пакетов с заданным синтаксисом; детектор (13) недостающих или дефектных пакетов в последовательности; модуль (14) замещения дефектных или недостающих пакетов для формирования пакетов замены, которые имеют корректную синтаксическую конструкцию, содержат предварительно заданный звуковой контент с расчетной характеристикой контента, воспроизводимый базовым декодером, и которые маркированы меткой пакета замены, при этом базовый декодер маркировку пакета замены игнорирует или распознает таким образом, что пакет замены раскодируется как полноценный пакет в соответствии с расчетной характеристикой контента, в то время как декодер с расширенными функциями распознает маркировку пакета замены как команду к включению функции маскирования ошибки, при выполнении которой генерируется контент пакета замены, имеющий характеристику контента, отличную от расчетной; и блок вывода (15) последовательности пакетов, состоящей, по меньшей мере, из одного принятого пакета и одного пакета замены.

2. Устройство по п.1, содержащее приемник (11), который принимает от аудиокодера-преобразователя пакет, входящий в последовательность пакетов и содержащий кратковременный спектр аудиосигнала в пределах временного отрезка, причем все спектральные значения, составляющие расчетную характеристику контента, равны нулю или совокупно представляют энергию, в два раза меньшую энергии психоакустического порога слышимости в состоянии покоя.

3. Устройство по п.1 или 2, содержащее модуль (14) замещения пакетов, включая: память для хранения пакетов замены; устройство выборки памяти для нахождения и считывания из памяти пакетов замены при обнаружении детектором (13) поврежденного или недостающего пакета.

4. Устройство по п.1, включающее в себя приемник (11), который обеспечивает входной интерфейс базовой станции телефонной связи и предусматривает подключение к сети обмена пакетами данных.

5. Устройство по п.1, предусматривающее маркировку пакета замены в области полезной нагрузки.

6. Устройство по п.1, предусматривающее создание поля расширения полезной нагрузки в структуре синтаксиса пакета, причем маркировка пакета замены выполняется с помощью данных в поле расширения полезной нагрузки.

7. Устройство по п.6, предусматривающее формирование данных в соответствии с буквенным кодом, причем значение данных указывается при потере информации.

8. Устройство по п.7, предусматривающее формулирование с помощью данных выражения «FRAME LOSS» - «потеря фрейма» или «DATA LOSS» - «потеря данных».

9. Устройство по п.7 или 8, в котором буквенные коды выбраны в стандарте ASCII.

10. Устройство по п.1, включающее в себя аудиокодер, генерирующий последовательность пакетов в соответствии со стандартом MPEG-1 3 уровня или MPEG-4 ААС при отключенной функции хранилища битов.

11. Устройство по п.1, характеризующееся тем, что оно реализовано как базовая станция.

12. Устройство по п.1, предусматривающее работу с пакетами, в структуру синтаксиса которых входит поле набивки данных, заполняемое базовым кодером, когда для кодирования части аудиосигнала не требуется минимальное число байтов, предназначенных для фрейма, и предусматривающее маркирование посредством заданной битовой комбинации в поле набивки данных.

13. Устройство по п.1, содержащее детектор (13), в функции которого входит ожидание в течение заданного промежутка времени метки пакета данных, указывающей на местоположение пакета в последовательности, и подача модулю (14) замещения пакетов сигнала о потере пакета, если по истечении заданного промежутка времени пакет данных не обнаружен.

14. Устройство по п.13, предусматривающее определение порядка расположения пакетов в последовательности по указателям местоположения в последовательности предшествующего или последующего полноценного пакета.

15. Устройство по п.13, предусматривающее предварительную установку максимальной величины задержки при передаче по линии управления (19) на детектор (13) запроса на «гарантированное качество обслуживания» QoS.

16. Устройство по п.15, предусматривающее уменьшение продолжительности ожидания, если запрос QoS содержит меньшую задержку, и увеличение продолжительности ожидания, если запрос QoS допускает увеличение времени задержки.

17. Устройство по п.1, включающее в себя блок вывода (15), предназначенный для вывода целостной непрерывной последовательности, содержащей полноценные пакеты и пакеты замены.

18. Устройство по п.1, включающее в себя приемник (11), предназначенный для приема пакетов без раскодирования или с частичным декодированием для распознавания в полученных пакетах сведений о их местоположении в последовательности.

19. Способ передачи последовательности пакетов данных, подающих аудиосигнал на базовый декодер или на декодер с расширенными по сравнению с базовым декодером функциями, включающий прием (11) последовательности пакетов с заданным пакетным синтаксисом; распознавание (13) недостающего или поврежденного пакета в последовательности пакетов; замещение (14) дефектного или утерянного пакета пакетом замены, который имеет корректный синтаксис, предварительно заданный звуковой контент с расчетными параметрами, воспроизводимый базовым декодером, и маркировку пакета замены, при этом базовый декодер маркировку пакета замены игнорирует или распознает таким образом, что замещающий пакет раскодируется как полноценный пакет в соответствии с расчетной характеристикой контента, в то время как декодер с расширенными функциями распознает маркировку пакета замены как команду к включению функции маскирования ошибки, при выполнении которой генерируется контент пакета замены, имеющий характеристику контента, отличную от расчетной; и вывод (15) последовательности пакетов, которая включает в себя, по меньшей мере, один принятый пакет и один пакет замены.

20. Декодер с расширенными функциями, предназначенный для раскодирования последовательности пакетов, включающий в себя элементы с более широкими по сравнению с базовым декодером функциональными возможностями, в том числе: приемник (21) последовательности пакетов с заданным пакетным синтаксисом, состоящей, по крайней мере, из одного пакета данных и одного пакета замены, который имеет корректный синтаксис, предварительно заданный звуковой контент с расчетными параметрами, воспроизводимый базовым декодером, и маркировку пакета замены, по которой базовый декодер распознает пакет замены при приеме и декодирует его как полноценный пакет в соответствии с расчетными характеристиками контента и по которой декодер с расширенными функциями распознает пакет замены для включения функции маскирования ошибки, при выполнении которой генерируется контент пакета замены, имеющий характеристику контента, отличную от расчетной; детектор (22) маркировки пакета замены; устройство маскирования ошибки (23), предназначенное для синтезирования аудиоконтента пакета замены, характеристика которого отличается от расчетной характеристики контента; и устройство аудиорендеринга (24), предназначенное для воспроизведения звукового контента пакета, если пакет не является пакетом замены, и для актуализации синтезированного аудиоконтента, если пакет является замещающим.

21. Декодер с расширенными функциями по п.20, предусматривающий в качестве характеристики звукового контента нулевой спектр, предназначенный для приема последовательности пакетов, генерируемых аудиокодером-преобразователем, и в конструкцию которого введено устройство аудиорендеринга (24), включающее в себя аудиодекодер-преобразователь (41, 42, 43).

22. Декодер с расширенными функциями по п.21, в конструкцию которого введено устройство маскирования ошибок (23), предназначенное для синтезирования спектральных величин, и в конструкцию которого введено устройство аудиорендеринга (24), предназначенное для преобразования синтезированных спектральных величин во временное представление (43).

23. Декодер с расширенными функциями по п.20, или 21, или 22, включающий в себя устройство маскирования ошибок (23), предназначенное для синтезирования аудиоконтента путем экстраполирования звукового контента предшествующего или последующего целостного или скрытого звукового пакета или для синтезирования аудиоконтента путем интерполирования звукового контента предыдущего целостного или скрытого пакета и последующего целостного или скрытого пакета.

24. Способ декодирования последовательности пакетов с помощью декодера с расширенными функциями, отличающегося усовершенствованными по сравнению с базовым декодером функциональными возможностями, включая: прием (21) упорядоченной последовательности пакетов, состоящей из, по меньшей мере, одного пакета данных и одного пакета замены, причем пакет замены имеет корректный синтаксис, предварительно заданный звуковой контент с расчетными характеристиками, воспроизводимый базовым декодером, и маркировку пакета замены, по которой базовый декодер распознает пакет замены при приеме и декодирует его как полноценный пакет в соответствии с расчетными характеристиками контента и по которой декодер с расширенными функциями распознает пакет замены для включения функции маскирования ошибки, при выполнении которой генерируется контент пакета замены, имеющий характеристику контента, отличную от расчетной; распознавание (22) замещающего пакета по маркировке; синтезирование (23) аудиоконтента пакета замены, характеристика которого отличается от расчетной характеристики контента, с применением функции маскировки ошибки и воспроизведение (24) звукового контента пакета, если пакет не является пакетом замены, и актуализацию синтезированного аудиоконтента, если пакет является пакетом замены.

25. Машиночитаемый носитель информации, содержащий сохраненный на нем код для выполнения способа по п.19.

26. Машиночитаемый носитель информации, содержащий сохраненный на нем код для выполнения способа по п.24.