Способ и устройство для кодирования, передачи и декодирования видеосигнала
Изобретение относится к способу и устройству для кодирования и передачи видеосигнала согласно схеме масштабируемого видеокодирования-декодирования (SVC). Технический результат заключается в повышении эффективности масштабируемого видеокодирования-декодирования. Предложен способ декодирования видеосигнала, содержащий: получение информации об уровне, указывающей, какой сегмент изображения на слое второй последовательности изображений используется для межпоследовательного предсказания; декодирование слоя второй последовательности изображений на основании информации об уровне, причем слой второй последовательности изображений включает в себя базовый слой слоя отношение сигнал - шум (SNR) второй последовательности изображений; и декодирование базового слоя SNR слоя первой последовательности изображений на основании сегмента изображения слоя второй последовательности изображений. 4 н. и 12 з.п. ф-лы, 7 ил.
1. Область техники, к которой относится изобретение
Данное изобретение относится к способу и устройству для кодирования и передачи видеосигнала согласно масштабируемой схеме, способу и устройству для того, чтобы декодировать такой закодированный поток данных, и к закодированному потоку данных.
2. Предшествующий уровень техники
Масштабируемое видеокодирование-декодирование (SVC) является способом, который кодирует видео в последовательность изображений с самым высоким качеством изображения, гарантируя, что часть закодированной последовательности изображений (более определенно, частичная последовательность кадров (фреймов), отобранных периодически из полной последовательности кадров) может быть декодирована для того, чтобы представить видео с более низким качеством изображения. Временная компенсационная фильтрация движения (MCTF) является схемой кодирования, которая предложена для использования в масштабируемом видеокодер-декодере.
Хотя имеется возможность представить низкокачественное видеоизображение, получая и обрабатывая часть последовательности изображений, закодированных в масштабируемой схеме кодирования MCTF, как описано выше, все еще есть проблема в том, что качество изображения сильно ухудшается, если понижена скорость передачи битов. Одно решение этой проблемы состоит в том, чтобы дополнительно в иерархическом порядке обеспечить вспомогательную последовательность изображений для низкой скорости передачи битов, например, последовательность изображений, которые имеют малый экранный размер и/или низкую частоту кадров. Одним примером является кодирование и передача 4CIF (Общий промежуточный формат), CIF и QCIF (четвертной CIF) последовательности изображений видеосигнала на устройство декодирования, как показано на Фиг.1.
Такие последовательности изображений имеют избыточность, так как один и тот же источник видеосигнала закодирован в упомянутых последовательностях. Чтобы увеличивать эффективность кодирования каждой последовательности, способ влечет за собой межпоследовательное предсказание видеокадров в более высокой последовательности от видеокадров в более низкой последовательности, временно совпадающих с видеокадрами в более высокой последовательности, чтобы уменьшить количество закодированной информации более высокой последовательности, как проиллюстрировано на фиг.1. А именно, исходный или базовый уровень более низкой последовательности может использоваться для кодирования с предсказанием исходного или базового уровня более высокой последовательности.
В устройстве кодирования, которое показано на фиг.2, кодер 20k (где k=1-3) каждой последовательности выполняет преобразование/кодирование, типа дискретного косинусного преобразования (DCT) и квантование на данных, закодированных по операциям оценки и предсказания движения. Закодированная результирующая последовательность упоминается как базовый или исходный уровень. Квантование вызывает потери информации на базовом или исходном уровне. Таким образом, кодер 20k каждой последовательности выполняет обратное квантование 201k и обратное преобразование 202k так, чтобы воссоздать последовательность до DCT и квантования. Тогда получается различие между фактической последовательностью до DCT и квантования и воссозданной последовательностью. Это различие представляет данные, потерянные во время процесса квантования и DCT. Это различие затем преобразуется/кодируется, как при DCT и квантовании, для того, чтобы произвести данные уровня остаточной последовательности или данные уровня улучшения SNR. Данные уровня остаточной последовательности могут быть подвергнуты тому же самому процессу для того, чтобы произвести более высокий уровень данных уровня расширения SNR, и более высокие уровни данных уровня расширения SNR могут также подвергнуться тому же самому процессу, чтобы получить еще более высокие уровни данных уровня остаточной последовательности. Ради простоты, различные уровни данных расширения SNR все вместе упоминаются как данные уровня расширения SNR или данные уровня остаточной последовательности. Данные уровня расширения SNR обеспечиваются так, что качество изображения может быть постепенно улучшено, увеличивая уровень декодирования данных уровня расширения SNR, что упоминается как точное масштабирование (FGS). А именно, чем больше уровней данных уровня остаточной последовательности, которые декодируются и добавляются к соответствующему базовому слою, тем выше качество получающегося изображения. Поскольку число уровней данных уровня расширения SNR является управляемым или выбираемым, эти точные улучшения по качеству являются масштабируемыми; отсюда и название - точное масштабирование (FGS).
Все последовательности, закодированные, как показано на Фиг.1, не передаются на устройство декодирования. Вместо этого блок 22 извлечения передает поток, отобранный в зависимости от пропускной способности канала передачи и типа последовательности, запрошенной устройством декодирования. Например, как показано на Фиг.3, когда устройство декодирования запрашивает последовательность CIF и пропускная способность канала передачи позволяет осуществить такую передачу, данные 301 базового слоя SNR последовательности QCIF, данные 302 базового слоя SNR последовательности CIF, данные 303 уровня расширения SNR последовательности QCIF, и данные 304 уровня расширения SNR последовательности CIF, в названном порядке, извлекаются в конкретных единицах измерения из модуля 21 памяти, и поток данных, включающий эти извлеченные данные, передается после этого. Таким образом, в каждом сегменте 310 потока передачи уровни расширения последовательностей передаются после того, как все базовые уровни последовательностей переданы, и последовательности в каждом уровне передаются в порядке увеличения их скоростей передачи. Если пропускная способность канала передачи уменьшается во время передачи, блок 22 извлечения передает только до возможного бита передачи, будучи, таким образом, не в состоянии передать последующий битовый поток в каждом сегменте 310 передачи. Например, в случае Фиг.3, часть данных битового потока, начинающаяся с части данных компенсации ошибки высокой точности (то есть LSB данных компенсации ошибок) уровня расширения SNR последовательности CIF, не передается.
Вышеупомянутый способ, который последовательно передает последовательности в порядке увеличения их скоростей передачи, может излишне занять канал передачи из-за передачи ненужных данных, которые не используются устройством декодирования. Например, когда устройство декодирования декодирует только последовательность CIF, чтобы отобразить видеопользователю в примере Фиг.3, данные уровня расширения SNR последовательности QCIF передаются, хотя эти данные уровня расширения SNR не используются, в то время как данные базового уровня SNR последовательности QCIF используются для предсказания кадра базового слоя SNR последовательности CIF.
Кроме того, когда пропускная способность канала передачи уменьшается, данные уровня расширения SNR последовательности QCIF передаются, хотя они фактически не вносят никакого вклада в улучшение качества изображения, тогда как количество передаваемых данных уровня расширения последовательности CIF уменьшается, хотя они непосредственно вносят вклад в улучшение качества изображения.
3. Раскрытие изобретения
Данное изобретение относится к способу и устройству для кодирования, передачи и декодирования видеосигнала.
В одном варианте воплощения способа декодирования видеосигнала по меньшей мере часть изображения на первом уровне последовательности изображений декодируется на основании второго уровня последовательности изображений, если указатель (индикатор) в видеосигнале указывает на кодирование с межуровневым предсказанием.
Например, второй уровень последовательности изображений может иметь более низкую частоту кадров, чем первый уровень последовательности изображений, может иметь скорость передачи битов меньше, чем скорость передачи битов первого уровня последовательности изображений, может иметь разрешающую способность изображения меньше, чем первый уровень последовательности изображений, и/или может иметь размер отображения изображения меньше, чем у первой последовательности кадров.
В одном варианте воплощения изображение на первом уровне последовательности изображений является основным изображением, где основное изображение имеет базовый уровень качества для первого уровня последовательности изображений. Здесь этап декодирования может включать в себя улучшение уровня качества декодируемого основного изображения, используя информацию изображений улучшения уровня, связанную с упомянутым основным изображением.
В другом варианте воплощения значение указателя, большее, чем нуль, указывает на кодирование с межуровневым предсказанием для основного изображения.
В дополнительном варианте воплощения способа декодирования видеосигнала по меньшей мере часть изображения в первом уровне последовательности изображений декодируется на основании по меньшей мере части основного изображения второго уровня последовательности изображений во втором уровне последовательности изображений и информации изображений уровня, расширения связанной с основным (базовым) изображением второго уровня последовательности изображений согласно уровню качества, представленному указателем в видеосигнале. Основное изображение второго уровня последовательности изображений имеет основной уровень качества для второго уровня последовательности изображений, и информация изображений уровня улучшения, связанная с основным изображением второго уровня последовательности изображений, предоставляет информацию для того, чтобы улучшить уровень качества основного изображения второго уровня последовательности изображений.
Например, базовое изображение второго уровня последовательности изображений может быть декодировано, основываясь на информации изображения уровня улучшения согласно уровню качества, представленному указателем к производимому усовершенствованному изображению, и часть изображения в первом уровне последовательности изображений может быть декодирована, основываясь на улучшенном (усовершенствованном) изображении.
Согласно варианту воплощению устройства для декодирования видеосигнала декодер декодирует по меньшей мере часть изображения в первом уровне последовательности изображений на основании второго уровня последовательности изображений, если указатель в видеосигнале указывает кодирование с межуровневым предсказанием.
Согласно варианту воплощения способа кодирования видеосигнала, по меньшей мере часть изображения на первом уровне последовательности изображений кодируется на основании второго уровня последовательности изображений, и указатель в видеосигнале устанавливается для указания кодирования с межуровневым предсказанием изображения в первом уровне последовательности изображений.
В варианте воплощения устройства для кодирования видеосигнала кодер кодирует по меньшей мере часть изображения в первом уровне последовательности изображений, основываясь на втором уровне последовательности изображений, и устанавливает указатель в видеосигнале для указания кодирования с межуровневым предсказанием изображения в первом уровне последовательности изображений.
Согласно еще одному варианту воплощения битовый поток, представляющий видеосигнал, имеет структуру данных, включает в себя первую часть потока, представляющую собой по меньшей мере часть изображения на первом уровне последовательности изображений, закодированную, основываясь на втором уровне последовательности изображений, и включает в себя указатель для того, чтобы указать кодирование с межуровневым предсказанием изображения в первом уровне последовательности изображений.
4. Краткое описание чертежей
Приложенные чертежи, которые включены для того, чтобы обеспечить дальнейшее понимание изобретения, иллюстрируют предпочтительные варианты воплощения изобретения, и вместе с описанием служат для того, чтобы объяснить принципы данного изобретения.
Фиг.1 иллюстрирует пример последовательностей, имеющих различные экранные размеры и/или различные частоты кадров, в которые видеосигнал закодирован через предсказание между последовательностями;
Фиг.2 является блок-схемой устройства для кодирования видеосигнала в последовательности, как показано на Фиг.1, и передаче последовательностей;
Фиг.3 иллюстрирует формат передачи данных, которые устройство кодирования Фиг.2 извлекает и передает после получения запроса передачи последовательности CIF от декодера;
Фиг.4 является блок-схемой устройства для кодирования видеосигнала в последовательности, имеющие различные размеры экрана и/или различные частоты кадров через межпоследовательное предсказание видеосигнала согласно варианту воплощения данного изобретения;
Фиг.5 иллюстрирует последовательности, закодированные устройством Фиг.4 и формат передачи данных, которые устройство Фиг.4 извлекает и передает из закодированных последовательностей согласно варианту воплощения данного изобретения;
Фиг.6 иллюстрирует формат передачи данных, извлеченных из закодированных последовательностей согласно другому варианту воплощения данного изобретения; и
Фиг.7 является блок-схемой устройства для декодирования потока данных, закодированных устройством Фиг.4.
Особенности, элементы и аспекты изобретения, на которые ссылаются одними и теми же цифрами на различных чертежах, представляют одни и те же, эквивалентные или подобные особенности, элементы или аспекты в соответствии с одним или более вариантами воплощения.
5. Варианты осуществления изобретения
Примеры воплощения данного изобретения будут теперь описаны подробно со ссылками на приложенные чертежи.
Фиг.4 является блок-схемой устройства кодирования видеосигнала, на котором применен способ кодирования и передачи согласно данному изобретению.
Устройство кодирования видеосигнала по Фиг.4 подобен по структуре устройству по Фиг.2. Однако кодеры 40k последовательности и блок 42 извлечения в устройстве по Фиг.4 имеют особенности, отличные от таковых для устройства по Фиг.2. Устройство кодирования видеосигнала по Фиг.4 будет теперь описано подробно, сосредотачиваясь на кодерах 40k последовательности и блоке 42 извлечения.
Каждый из кодеров 402 и 403 более низких последовательностей изображений, имеющих другие изображения или размеры отображения (например, другую разрешающую способность) и/или различные частоты кадров, обеспечивает не только данные базового уровня SNR, но также и данные уровня расширения SNR (или уровня остаточной последовательности) к соответствующему из кодеров 401 и 402 более высоких последовательностей изображения. Как иллюстрировано на Фиг.5, каждый из кодеров 401 и 402 более высоких последовательностей использует видеокадры, восстановленные посредством использования как данных базового уровня SNR, так и связанных данных уровня расширения SNR более низкой последовательности, выполняя предсказание между последовательностями видеокадров, представленных в последовательности, произведенной каждым из кодеров 401 и 402 (S500). Здесь уровень данных уровня расширения SNR, которые используются для восстановления видео, определен и установлен в каждом кодере 40k, основываясь на условиях, таких как качество изображения, которое будет обеспечено, и гарантируемая пропускная способность канала передачи. Этот уровень затем обозначается посредством вставки поля или флажка prediction_SNR_level в заголовки (например, заголовки сектора или заголовки изображения) закодированного потока данных базового уровня SNR так, чтобы значение уровня было передано декодеру. Значение prediction_SNR_level указывает значение уровня.
Prediction_SNR_level также устанавливается в блоке 42 извлечения в устройстве кодирования по Фиг.4. Из каждого закодированного потока 501 данных, сохраненного в модуле 41 памяти, блок 42 извлечения извлекает и передает данные для последовательности изображений, которую в настоящее время требует устройство декодирования. Фиг.5 показывает расположение блоков данных каждого сегмента потока данных, передаваемого, когда устройство декодирования просит последовательность CIF, и пропускная способность, требуемая для канала передачи, является доступной.
Для передачи последовательности CIF блок 42 извлечения, в начале, компонует блок данных aa базового слоя SNR своей низшей (то есть QCIF) последовательности и впоследствии компонует блоки данных ab, ac, ad, ae и af до заданного prediction_SNR_level из числа блоков данных ab-ah уровня расширения SNR последовательности QCIF. Блок 42 извлечения впоследствии компонует блок данных ba базового слоя SNR последовательности CIF и блоки данных bb, bc, bd, be и bf до заданного prediction_SNR_level из числа блоков данных bb-bh уровня расширения SNR последовательности CIF. Наконец, блок 42 извлечения компонует оставшиеся блоки данных ag и ah уровня расширения SNR последовательности QCIF, следом за блоками данных bb-bf, и компонует оставшиеся блоки данных bg и bh уровня расширения SNR последовательности CIF, следом за оставшимися блоками данных ag и ah, и затем передает скомпонованный поток данных.
Оставшиеся блоки данных ag и ah уровня расширения SNR последовательности QCIF не используются, когда представлена видеопоследовательность CIF. Остающиеся блоки данных ag и ah уровня расширения SNR последовательности QCIF, которые не используются в операции предсказания, компонуются и передаются в потоке данных, когда пропускная способность канала передачи позволяет это, потому что пользователь может просматривать видеопоследовательности QCIF, используя устройство, имеющее низкую способность декодирования, типа мобильного телефона, после сохранения данных, переданных от блока 42 извлечения.
Альтернативно, блок 42 извлечения может скомпоновать оставшиеся блоки данных bg и bh уровня расширения SNR последовательности CIF, следом за блоками данных bb-bf уровня расширения SNR последовательности CIF до заданного prediction_SNR_level. Тогда блок 42 извлечения может скомпоновать остающиеся блоки данных ag и ah уровня расширения SNR последовательности QCIF в конце потока данных, и передать скомпонованный поток данных.
В способе передачи, как показано на Фиг.5, когда скорость передачи уменьшается из-за ухудшения состояния канала передачи, не передается часть потока данных, начинающаяся с данных уровня расширения SNR последовательности QCIF, которая не вносит никакого вклада в улучшение качества видеоизображения, которое в настоящее время декодируется. Если условия канала и далее ухудшаются, часть потока данных не передается в порядке от данных, которые немного увеличивают SNR видео, до данных, которые сильно увеличивают SNR видео. Таким образом, качество изображения декодированного видео является стойким к изменениям состояния канала, по сравнению с обычным способом передачи.
Если prediction_SNR_level установлен в нуль, данные уровня расширения SNR более низкой последовательности не используются для предсказания кадров из более высокой последовательности так, чтобы данные уровня расширения SNR более низкой последовательности не были переданы. Соответственно ненулевое значение prediction_SNR_level указывает, что межуровневое предсказание имеет место, в то время как нулевое значение указывает, что межуровневого предсказания нет. Когда достаточная пропускная способность канала передачи доступна, данные уровня расширения SNR в настоящее время выбранной последовательности, компонуются и передаются в сегменте передачи, и данные уровня расширения SNR более низкой последовательности впоследствии компонуются и размещаются в упомянутом сегменте передачи.
Пример такого случая проиллюстрирован на Фиг.6, в котором последовательность CIF выбрана так, чтобы данные уровня расширения SNR последовательности QCIF не были переданы в потоке данных. Даже если данные уровня расширения SNR последовательности QCIF передаются, они размещаются и передаются в конце потока данных (601).
Фиг.7 является блок-схемой варианта воплощения устройства для декодирования потока данных, закодированных и переданных устройством по Фиг.4. Устройство декодирования по Фиг.7 принимает множество последовательностей и декодирует более высокую последовательность в видеосигнал, и включает в себя demuxer (или демультиплексор) 70, главный декодер 71 и поддекодер 72. Demuxer 70 разделяет принятый поток данных на поток данных главной последовательности и поток данных подпоследовательности. Главный декодер 71 преобразует поток данных отделенной главной последовательности (например, последовательность CIF) назад к исходному видеосигналу согласно схеме MCTF. Поддекодер 72 декодирует поток данных выделенной подпоследовательности (например, последовательность QCIF) согласно заданной схеме, например, согласно MPEG4 или стандарту H.264.
Главный декодер 71 читает prediction_SNR_level, описанный выше, из заголовка входного потока данных и уведомляет поддекодер 72 о prediction_SNR_level. Уведомление о prediction_SNR_level между декодерами не является необходимым в варианте воплощения, где prediction_SNR_level зарегистрирован и передан в каждой из последовательностей.
Декодируя принятый поток данных подпоследовательности, поддекодер 72 декодирует данные базового слоя SNR, которые могут быть включены, вместе с уровнем расширения SNR, в принятый поток данных. Затем поддекодер 72 обеспечивает главный декодер 71 кадрами, которые декодируются для того, чтобы улучшить качество изображения видео, используя данные до сообщенного prediction_SNR_level, из числа данных уровня расширения SNR, включенных в принятый поток данных подпоследовательности.
Главный декодер 71 декодирует кадры в принятой главной последовательности, для которой кадры в подпоследовательности используются как их прогнозирующие изображения, в исходные видеосигналы, основанные на изображениях, предсказанных из кадров, переданных от поддекодера 72 или, если нужно, из масштабируемых версий этих кадров.
Устройство декодирования, описанное выше, может быть включено в терминал мобильной связи, универсальный проигрыватель, или подобное устройство.
Как очевидно из вышеприведенного описания, устройство и способ кодирования и декодирования видеосигнала согласно данному изобретению выполняют предсказание между последовательностями, используя видеокадры, восстановленные посредством дополнительного использования данных компенсации ошибок (например, данные уровня расширения SNR или остаточные данные уровня последовательности), улучшая, таким образом, качество изображения относительно количества закодированных данных. Устройство и способ также компонуют и передают закодированные блоки данных, последовательно начинающиеся с блоков данных, которые сильно затрагивают качество изображений последовательности, которая в настоящее время должна быть декодирована, делая, таким образом, качество изображения менее чувствительным к изменениям в пропускной способности канала. Кроме того, скорость передачи может быть уменьшена так, чтобы более эффективно распределить канал передачи.
Хотя примеры воплощения данного изобретения были раскрыты в иллюстративных целях, специалист в данной области техники оценит, что различные модификации, добавления и замены являются возможными, не отступая от сущности и объема изобретения.
1. Способ декодирования видеосигнала, содержащий: получение информации об уровне, указывающей, какой сегмент изображения на слое второй последовательности изображений используется для межпоследовательного предсказания; декодирование слоя второй последовательности изображений на основании информации об уровне, причем слой второй последовательности изображений включает в себя базовый слой SNR слоя второй последовательности изображений; и декодирование базового слоя SNR слоя первой последовательности изображений на основании сегмента изображения слоя второй последовательности изображений.
2. Способ по п.1, в котором слой второй последовательности изображений содержит расширенный слой SNR слоя второй последовательности изображений и базовый слой SNR слоя второй последовательности изображений.
3. Способ по п.2, в котором базовый слой SNR слоя второй последовательности изображений является базовым уровнем качества для слоя второй последовательности изображений.
4. Способ по п.2, в котором расширенный слой SNR слоя второй последовательности изображений имеет лучшее качество, чем базовый слой SNR слоя второй последовательности изображений.
5. Способ по п.1, в котором слой второй последовательности изображений является базовым слоем SNR слоя второй последовательности изображений.
6. Способ по п.1, в котором информация об уровне определяет конфигурацию слоя второй последовательности изображений в потоке битов.
7. Способ по п.6, в котором слой второй последовательности изображений, указанный посредством информации об уровне, выполнен перед базовым слоем SNR слоя первой последовательности изображений в потоке битов.
8. Способ по п.1, в котором базовый слой SNR слоя первой последовательности изображений является базовым уровнем качества для слоя первой последовательности изображений.
9. Способ по п.1, в котором слой второй последовательности изображений имеет более низкую скорость кадров, чем слой первой последовательности изображений.
10. Способ по п.1, в котором слой второй последовательности изображений меньше, чем скорость битов потока битов, представляющего слой первой последовательности изображений.
11. Способ по п.1, в котором размер кадра изображения в слое второй последовательности изображений меньше, чем размер кадра изображения в слое первой последовательности изображений.
12. Способ по п.1, в котором видеосигнал получают как сигнал широковещания.
13. Способ по п.1, в котором видеосигнал получают на цифровом носителе.
14. Машиночитаемый носитель с сохраненной на нем программой для выполнения способа по п.1.
15. Устройство для декодирования видеосигнала, содержащее: демультиплексор, выделяющий из принятых данных поток данных первой последовательности изображений и поток данных второй последовательности изображений; поддекодер, декодирующий сегмент второй последовательности изображений на основании информации об уровне, полученной из заголовка принятых данных; главный декодер, декодирующий базовый слой SNR первой последовательности изображений посредством использования декодированной второй последовательности изображений, причем заголовок принятых данных включает в себя информацию об уровне, указывающую, какой сегмент второй последовательности изображений используется для межпоследовательного предсказания.
16. Устройство для кодирования видеосигнала, содержащее: первый кодер, кодирующий слой первой последовательности изображений, включающий в себя базовый слой SNR и улучшенный слой SNR из принятого видеосигнала; и второй кодер, кодирующий слой второй последовательности изображений, включающий в себя базовый слой SNR и улучшенный слой SNR из принятого видеосигнала, причем первый кодер задает информацию об уровне, указывающую, какой сегмент изображения в слое второй последовательности изображений используется для межпоследовательного предсказания в кодированном потоке битов.
