Способ обработки кода ошибки сжатого изображения при передаче
Изобретение относится к технике передачи изображений и может использоваться в мультимедийной связи. Технический результат состоит в возможности избежать передачи внутрикадровых изображений на передающей стороне и замороженных изображений на приемной стороне или уменьшить их периоды возникновения и, таким образом, улучшить качество изображения. Для этого в способе при обнаружении кодов ошибок на приемной стороне данные кодового потока изображения с кодами ошибок отвергаются перед декодированием данных кодового потока изображения и отвергнутые данные кодового потока изображения заменяются на данные кодового потока изображения, расположенные в соответствующем местоположении предыдущего кадра, и данные кодового потока изображения непрерывно декодируются. Кроме того, устанавливают массив меток для данных кодового потока изображения перед декодированием на приемной стороне для того, чтобы произвести запись местоположений, где были обнаружены коды ошибок. 6 з.п. ф-лы, 2 ил.
Область техники
Изобретение относится к области передачи изображений в мультимедийной связи, а более конкретно к способу обработки кодов ошибок, полученных при передаче сжатых кодированных изображений.
Уровень, предшествующий изобретению
Техника передачи изображений, особенно техника передачи сжатых кодированных изображений, широко используется в видеоконференциях и видеотелефонах. В двунаправленной видеосвязи в реальном масштабе времени, такой как видеоконференция, видеоинформация сжимается в виде данных кодового потока для передачи в соответствии с международными стандартами. Стандарты Н.26Х, предложенные Международным телекоммуникационным союзом ITU-T, такие как Н.261 и Н.263, являются общими стандартами, которые используются в настоящее время для кодирования изображений. В стандартах Н.26Х формат цифрового видео определен как общий промежуточный формат CIF и четверть общего промежуточного формата QCIF, которые являются форматами унифицированных изображений для видеоконференций. Эти форматы изображений можно использовать в различных международных телевизионных стандартах, таких как PAL, NTSC и SECAM и так далее.
На примере формат CIF будет кратко описана структура форматов цифрового видео, определенная в стандартах Н.26Х. На фиг.1 и фиг.2 показаны соответственно состав формата CIF H.261 и формата CIF H.263. Как показано на фиг.1 и фиг.2, каждый кадр изображения разделен на многочисленные группы блоков GOB, и каждый GOB разделен на многочисленные макроблоки МБ. МБ можно и дальше разделить, но так как это не относится к настоящему изобретению, то и описание этого в дальнейшем не приводится. В соответствии с форматами изображения данные кодового потока сжатого кодированного изображения, сформированного согласно стандартам Н.26Х, размещаются на многочисленных уровнях во время передачи. Среди этих уровней уровень изображения состоит из заголовка уровня изображения и данных уровня GOB, при этом уровень GOB состоит из заголовка уровня GOB и данных на уровне МБ, уровень МБ состоит из заголовка уровня МБ и данных на следующем уровне, и так далее. Так как избыточность сжатого кодового потока является низкой, то качество изображения на приемной стороне значительно сильнее влияет на коды ошибок канала передачи, полученные при передаче.
На приемной стороне обычно используется метод обнаружения кода ошибки, такой как прямое исправление ошибок FEC. При обнаружении кода ошибки отображение изображения на приемной стороне "замораживается", то есть приостанавливается процесс декодирования данных изображения в видеоданные, которые можно непосредственно транслировать. В то же самое время из приемной стороны на передающую сторону посылают команду БыстроеОбновление (FastUpdate) через управление конференцией. После приема команды БыстроеОбновление передающая сторона кодирует текущий кадр через кодирование внутри кадра, посылает кодированный кадр и устанавливает местоположение бита "разрешения замораживания" в кодовых потоках как достоверность. После обнаружения местоположение бита "разрешения замораживания" в кодовых потоках устанавливается как достоверность, приемная сторона отменяет замораживание отображения и декодирует данные изображения в видеоданные, которые можно сразу непрерывно транслировать.
Недостатком предшествующего уровня техники является то, что даже при наличии нескольких кодов ошибок замороженные изображения и внутрикадровые кодированные изображения низкого качества будут часто появляться во время декодирования данных изображения. Особенно при многоточечной видеоконференции, когда терминал осуществляет широковещательную передачу, если коды ошибок, которые появились на линиях определенного приемного терминала, внутрикадровые кодированные изображения низкого качества будут часто появляться во всех терминалах, используемых в видеоконференции вследствие вышеупомянутого метода обработки кодов ошибок. Как правило, это недопустимо для пользователей.
Сущность изобретения
Задача изобретения заключается в том, чтобы выполнить способ обработки кодов ошибок при передаче сжатых кодированных изображений. Этот способ позволяет избежать передачи внутрикадровых изображений на передающей стороне и замороженных изображений на приемной стороне или уменьшить их периоды появления. Таким образом, можно улучшить качество изображений.
Для того чтобы решить эту задачу, способ согласно настоящему изобретению содержит этапы, в соответствии с которыми: при наличии обнаруженных кодов ошибок на приемной стороне отвергают данные кодового потока изображения с кодами ошибок перед декодированием данных кодового потока изображения и заменяют отвергнутые данные кодового потока изображения на данные изображения, расположенные в соответствующем местоположении предыдущего кадра, затем непрерывно декодируют данные кодового потока изображения.
Более предпочтительно то, что способ дополнительно содержит этап, в соответствии с которым устанавливают массив меток для данных кодового потока изображения перед декодированием на приемной стороне для того, чтобы произвести запись местоположений, где были обнаружены коды ошибок.
Более предпочтительно то, что данные кодового потока изображения с кодами ошибок, которые будут отвергнуты перед декодированием данных кодового потока изображения на приемной стороне, являются данными в GOB с кодами ошибок при условии, что стандартом кодирования изображения является Н.261.
Более предпочтительно то, что этап отвержения данных кодового потока изображения с кодами ошибок перед декодированием данных кодового потока изображения при условии, что стандартом кодирования изображения является Н.263, содержит подэтапы в соответствии с которыми:
если коды ошибок были обнаружены в первом GOB кадра, отвергают все данные во всем кадре, или
если коды ошибок были обнаружены в определенном GOB, отличном от первого GOB кадра, и если идентификатор кадра (GFID) GOB с кодами ошибок идентичен GFID следующего GOB, отвергают данные в GOB с кодами ошибок, или
если коды ошибок были обнаружены в определенном GOB, отличном от первого GOB кадра, и если GFID GOB с кодами ошибок не идентичен GFID следующего GOB, производят обратный поиск следующего заголовка кадра на приемной стороне и отвергают все данные между начальным положением GOB с кодами ошибок и начальным положением следующего заголовка кадра.
Более предпочтительно то, что способ дополнительно содержит этап, в соответствии с которым устанавливают фиксированное число МБ в каждом кадре в режим внутрикадрового кодирования на передающей стороне и создают МБ расположенных рядом кадров, которые будут расположены рядом на экране.
Более предпочтительно то, что число МБ, которые установлены в режим внутрикадрового кодирования в каждом кадре для изображений CIF, составляет три, и число их для изображений с другими форматами можно пропорционально отрегулировать в соответствии с размером изображений.
Более предпочтительно то, что различные принципы обработки применяются в ситуации с кодами с большим числом ошибок и в случае кодов с меньшим числом ошибок. В ситуации с кодами с большим числом ошибок специальное изображение выводится на приемной стороне.
По сравнению с предшествующим уровнем техники реальные требования пользователей и реальная ситуация видеоконференции рассмотрены в большей степени в настоящем изобретении, что позволяет избежать передачи внутрикадровых изображений на передающей стороне и замороженных изображений на приемной стороне или уменьшить их периоды появления с помощью настоящего изобретения. Так как сцены конференции имеют небольшие изменения, то коды ошибок можно скрыть и, таким образом, улучшить качество изображений.
Краткое описание чертежей
Фиг.1 изображает структуру, в состав которой входит формат Н.261 CIF. Фиг.2 изображает структуру, в состав которой входит формат ГИФА Н.263 CIF.
Подробное описание изобретения
Ниже приводится более подробное описание изобретения со ссылкой на сопроводительные чертежи и варианты осуществления.
В предшествующем уровне техники приемная сторона немедленно замораживает отображаемые изображения после обнаружения кодов ошибок и посылает команду БыстроеОбновление на передающую сторону через управление конференцией. При приеме команды передающая сторона немедленно кодирует текущий кадр через кодирование внутри кадра и посылает его, и устанавливает бит "разрешения замораживания" в кодовом потоке как достоверность. После того как обнаружение местоположения бита "разрешения замораживания" устанавливается как достоверность, приемная сторона разрешает отображение замороженных изображений. С помощью этого способа обработки кодов ошибок, даже если имеются небольшие ошибки кодов, замораживание изображений и внутрикадровых кодированных изображения низкого качества будет часто появляться во время декодирования данных изображения, что не удовлетворяет пользователей.
Авторы настоящего изобретения обнаружили, что так как сцены изменяются достаточно сильно во время видеоконференции или видеотелефонной связи, данные с кодами ошибок можно заменить данными, расположенными в том же самом местоположении предыдущего кадра во многих случаях без необходимости замораживания изображения и повторной передачи данных. С помощью этого способа обработки можно улучшить качество изображений на приемной стороне, и это более приемлемо для пользователей по сравнению с предшествующим уровнем техники.
В предпочтительном варианте осуществления изобретения принятый кодовый поток на приемной стороне сначала проверяют при помощи циклического избыточного кода CRC. Затем видеоданные передают на уровень видеодекодирования через видеоприемный буфер. Видеоданные в видеоприемном буфере являются данными кадра FEC. После того как данные были проверены, и декодер получил их форматы кадров, данные чистого кодового потока изображения извлекаются из данных. Данные чистого кодового потока изображения помещаются в буфер чистого кодового потока для ожидания декодирования. В этом предпочтительном варианте осуществления для буфера чистого кодового потока устанавливается массив меток, используемый для записи местоположения, где были обнаружены коды ошибок. Для массива меток можно установить поэлементное соответствие с буфером чистого кодового потока. Это означает, что длина массива меток равняется длине данных кодового потока в буфере чистого кодового потока, и каждое значение элемента массива меток показывает, является ли соответствующий бит данных кодового потока кодом ошибки.
В этом варианте осуществления ситуации, связанные с кодами ошибок, можно разделить на две категории: ситуация с кодами с большим количеством ошибок и ситуация с кодами с малым количеством ошибок, и в соответствии с этим производят их обработку.
Для ситуации с кодами с несколькими ошибками обнаружение ошибки сначала производят с помощью способа FEC, который рекомендуется согласно стандартам Н.261 и Н.263. Если имеются коды ошибок, то кадр FEC отвергается, и соответствующее местоположение массива меток отмечается знаком, представляющим собой код ошибки.
При обработке данных чистого кодового потока без кадра FEC сначала проверяют, имеется ли какой-либо знак, представляющий собой код ошибки в массиве меток. Если метка кода ошибки отсутствует, то данные посылают непосредственно в модуль декодирования кодового потока. Если имеется метка ошибки или метки ошибок, то необходимо выполнить обработку для отвержения данных. При использовании стандарта Н.263 эта обработка содержит следующие три этапа:
А. определяют порядковый номер GOB, где были обнаружены коды ошибок, и начальное положение GOB в буфере, который можно выполнить с помощью прямого поиска заголовка GOB,
В. если GOB является первым GOB кадра, то производят обратный поиск заголовка кадра следующего кадра и отвергают все данные во всем кадре, где были обнаружены коды ошибок, и
С. если GOB не является первым GOB кадра, то производят прямой поиск заголовка кадра предыдущего GOB и делают запись GFID, тем временем производят обратный поиск заголовка кадра следующего GOB и делают запись GFID; если эти два GFID идентичны, то отвергают данные в GOB с кодами ошибок, в противном случае производят обратный поиск заголовка кадра следующего кадра и отвергают все данные между начальным положением GOB с кодами ошибок и все данные следующего заголовка кадра. Вышеупомянутый GFID является битом метки, который определен в стандарте Н.263е, он представляет собой порядковый номер кадра, где расположен GOB. Если два GFID являются разными, то показывают, что два GOB расположены в различных кадрах. Напротив, если два GFED идентичны, то показывают, что два GOB расположены в том же самом кадре.
При использовании стандарта Н.261 обработка для отвергнутых данных осуществляется следующим образом. Определяют начальное положение GOB, где были обнаружены коды ошибок, и начальное положение следующего GOB в буфере, и отвергают все данные между этими двумя начальными положениями. Это можно сделать путем прямого и обратного поиска заголовков GOB.
После того как данные были отвергнуты, выполняют покрытие ошибок на стороне декодирования, то есть отвергнутые данные изображения заменяют на соответствующие данные в предыдущем кадре.
После вышеупомянутой обработки, так как сцены видеоконференции имеют небольшие изменения, можно хорошо покрыть коды с небольшими ошибками. Но когда после упомянутой обработки изображение имеет большой движущийся объект, то у движущейся части будет оставаться видимый след. Способ принудительного внутриблочного кодирования может применяться для устранения увеличения следа. Для изображения CIF независимо от того, что первоначальный режим кодирования является межкадровым режимом кодирования или режимом без кодирования, принудительно выполненные три МБ каждого кадра используют режим внутрикадрового кодирования. Три МБ кадра могут быть расположены рядом, например три МБ располагаются один за другим в ряд, в столбик или на ортогональной строке. Три МБ могут также располагаться отдельно, но три МБ имеющегося кадра должны быть расположены на экране рядом с МБ предыдущего кадра. Например, три МБ текущего кадра выбирают в соответствии с МБ предыдущего кадра с увеличением или уменьшением порядкового номера МБ. Так как увеличение ошибок изображения всегда происходит в расположенных рядом МБ, увеличение следа наиболее эффективно устраняют с помощью последовательного режима, а не произвольного режима.
Для ситуации с кодами с большим количеством ошибок, даже если была выполнена обработка, качество изображения остается все еще плохим. В этом случае выводится специальное изображение, такое как синий экран с заставками, показывающими, что имели место коды ошибок.
По сравнению с предшествующим уровнем техники реальные требования пользователей и фактическая ситуация видеоконференции были рассмотрены в большей мере в настоящем изобретении, что позволяет с помощью настоящего изобретения избежать замораживания изображений на приемной стороне или уменьшить их периоды появления. Так как сцены конференции имеют небольшие изменения, то коды ошибок можно хорошо скрыть и, таким образом, улучшить качество изображений.
Хотя настоящее изобретение было описано со ссылкой на специфические образцовые варианты осуществления, ясно, что различные модификации и изменения могут быть сделаны в этих вариантах осуществления без отклонения от более широкого охвата сущности изобретения так, как изложено в формуле изобретения. Соответственно, описание и чертежи следует рассматривать в иллюстративном смысле, а не в ограничительном смысле.
1. Способ обработки кодов ошибок при передаче сжатых кодированных изображений между передающей стороной и приемной стороной, содержащий этапы, в соответствии с которыми при наличии обнаруженных кодов ошибок на приемной стороне отвергают данные кодового потока изображения с кодами ошибок перед декодированием данных кодового потока изображения, и заменяют отвергнутые данные кодового потока изображения на данные кодового потока изображения, расположенные в соответствующем местоположении предыдущего кадра, и затем непрерывно декодируют данные кодового потока изображения.
2. Способ по п.1, отличающийся тем, что дополнительно содержит этап, в соответствии с которым устанавливают массив меток для данных кодового потока изображения перед декодированием на приемной стороне для того, чтобы произвести запись местоположений, где были обнаружены коды ошибок.
3. Способ по п.1, отличающийся тем, что данные кодового потока изображения с кодами ошибок, которые будут отвергать перед декодированием данных кодового потока изображения на приемной стороне, являются данными в группе блоков (GOB) с кодами ошибок при условии, что стандартом кодирования изображения является Н.261.
4. Способ по п.1, отличающийся тем, что этап отвержения данных кодового потока изображения с кодами ошибок перед декодированием данных кодового потока изображения при условии, что стандартом кодирования изображения является Н.263, содержит этап, в соответствии с которым, если коды ошибок были обнаружены в первом GOB кадра, отвергают все данные во всем кадре, или, если были обнаружены коды ошибок в определенном GOB, отличном от первого GOB кадра, и если идентификатор кадра (GFID) GOB с кодами ошибок идентичен GFID следующего GOB, то отвергают данные в GOB с кодами ошибок, или, если коды ошибок были обнаружены в определенном GOB, отличном от первого GB кадра, и если GFID GOB с кодами ошибок не идентичен GFID следующего GOB, то производят обратный поиск следующего заголовка кадра на приемной стороне и отвергают все данные между начальным положением GOB с кодами ошибок и начальным положением следующего заголовка кадра.
5. Способ по п.1, отличающийся тем, что дополнительно содержит этапы, в соответствии с которыми устанавливают фиксированное число макроблоков (МБ) в каждом кадре в режиме внутрикадрового кодирования на передающей стороне и создают МБ расположенных рядом кадров, которые будут расположены рядом на экране.
6. Способ по п.5, отличающийся тем, что число МБ, которые устанавливают в режим внутрикадрового кодирования в каждом кадре для изображений единого промежуточного формата (CIF), равно трем, и число МБ, которые устанавливают в режим внутрикадрового кодирования в каждом кадре для изображений с другими форматами, можно пропорционально отрегулировать в соответствии с размером изображений.
7. Способ по п.1, отличающийся тем, что дополнительно содержит этап, в соответствии с которым выполняют различную обработку для ситуации с кодами с большим количеством ошибок и ситуации с кодами с меньшим количеством кодов ошибок и при наличии ситуации с кодами с большим количеством ошибок выводят специальное изображение на приемной стороне.
