Способ и устройство для транскодирования видеосигнала
Изобретение относится к способу и устройству для транскодирования видео сигнала. Техническим результатом является улучшение эффективности транскодирования и снижение искажений. Технический результат достигается тем, что предложен способ транскодирования видео сигнала, образованного из входного потока двоичных данных, представляющего кадры видео сигнала, причем каждый кадр образован из блоков пикселей, и имеется соответствующий блок данных во входном потоке двоичных данных для каждого блока пикселей, содержащий этапы: идентифицируют тип кадра для потока двоичных данных в кадре видео сигнала; и для определенных типов кадра игнорируют по существу равную пропорцию данных в отношении множества блоков в кадре, что учитывает локальную двигательную активность в кадре, в котором входной поток двоичных данных является репрезентативным для ненулевых коэффициентов преобразования кадров видеосигнала и в котором игнорируемые данные составляют пропорцию ненулевых коэффициентов преобразования для всех блоков в пределах кадра, в котором пропорция коэффициентов преобразования определена изменением коэффициента α, в котором имеется N ненулевых коэффициентов преобразования в пределах блока принятого кадра, и М в блоке передаваемого видеопотока, и в котором M=αN. 3 н. и 24 з.п. ф-лы, 10 ил.
Настоящее изобретение относится к способу и устройству для транскодирования видео сигнала.
В вариантах осуществления это изобретение относится к динамическому снижению скорости передачи данных заранее сжатых видео потоков. Снижение скорости передачи данных заранее сжатого потока называется изменением скорости передачи, а устройства, которые выполняют эту задачу, называются устройствами изменения скорости. Изменение скорости передачи и устройства изменения скорости являются поднаборами более общих областей транскодирования и транскодеров, соответственно. Видео транскодирование представляет собой процесс, в котором заранее сжатые видео данные преобразуются в другие сжатые достоверные видео данные. Варианты осуществления настоящего изобретения могут использоваться во множестве приложений, где желательно или требуется снижение скорости передачи данных, таких как в видео магнитофонах, серверах, сетевых видео серверах и клиентах.
Цифровое сжатие видео сигнала сделало возможным хранить, направлять и переносить большие объемы видео содержания, что было ранее непрактично из-за чрезмерного размера файлов данных, требовавшихся для транспортирования необходимой информации. Цифровое сжатие видеосигнала, особенно форматы MPEG и, в частности, формат MPEG-2, широко используются в устройствах, в том числе в DVD проигрывателях, спутниковых и наземных телевизионных приставках, сетевых видео серверах и приемниках и многих других.
Цифровое видео образовано из отдельных неподвижных изображений или «кадров», которые при воспроизведении в последовательности способны дать впечатление перемещения. Хотя каждый формат цифрового сжатия видео имеет свои собственные конкретные характеристики, наличествуют также несколько общих признаков. Одним таким общим признаков является использование внутренних кадров, которые закодированы независимо от остальных кадров. В технологии MPEG такие кадры именуются 1-кадрами. I-кадр можно рассматривать как ключевой кадр или опорный видео кадр, который действует как точка сравнения с другими кадрами при кодировании, декодировании и воспроизведении.
Другой общий признак состоит в использовании промежуточных кадров, которые закодированы со ссылкой на другие кадры. Они могут быть закодированы только после того, как закодированы их опорные кадры. Промежуточные кадры бывают двух типов, обычно именуемые в терминологии MPEG как Р-кадры и В-кадры. Р-кадры могут также именоваться как опорные промежуточные кадры, тогда как В-кадры могут именоваться не-опорными промежуточными кадрами.
Как упомянуто выше, изменение скорости передачи является поднабором более широкого типа обработки видео потоков, именуемого транскодированием. В данном описании транскодирование используется для обозначения изменения любых характеристик цифрового сжатого видео потока для получения нового достоверного цифрового сжатого видео потока. Изменение скорости передачи представляет собой процесс транскодирования, который помогает только при изменении скорости передачи данных, как правило, при снижении, и является существенным компонентом в сетевых средах с ограниченной полосой пропускания.
Устройства изменения скорости с механизмами динамической адаптации скорости передачи данных особенно важны, когда видео поток, закодированный с переменной скоростью передачи данных (VBR), должен переноситься по каналу с постоянной скоростью передачи данных (CBR). Если скорость передачи данных видео сигнала с VBR непрерывно флюктуирует, требуется быстрая адаптация для получения подходящего выходного сигнала с CBR. Поэтому отношение мгновенной выходной скорости передачи данных к мгновенной входной скорости передачи данных должно динамически изменяться для получения видео выхода с почти постоянной скоростью передачи данных, у которого скорость передачи данных всегда ниже, чем скорость передачи данных канала передачи.
При изменении скорости передачи имеется четыре момента, подлежащих рассмотрению. Налицо сложность работы, требуемое качество выходного сигнала, требуемая скорость передачи данных выходного сигнала и быстрота адаптации. Нужны способ и устройство, которые обеспечат наивысшее качество выходного видео сигнала при наименьшей сложности системы и наименьшей скорости передачи данных с самой быстрой возможной адаптацией. Разработаны и воплощены различные методы изменения скорости передачи. Архитектура и производительность известных систем различны и они расплачиваются быстротой за качество и полезны для приложений, не имеющих временных ограничений. В других примерах архитектуры устройство изменения скорости расплачиваются качеством за быстроту и простоту, что полезно в приложениях, работающих в реальном времени.
В зависимости от их назначений и рабочих платформ, имеется множество используемых в настоящее время архитектур устройств изменения скорости. Известные примеры архитектур и способов изменения скорости показаны на каждой из фиг.1-7. На фиг.1 показано простое устройство изменения скорости, содержащее каскад из декодера и кодера. С помощью этой архитектуры цифровой видео поток можно декодировать в кадры и снова закодировать с использованием иных параметров кодирования. Части декодера и кодера развязаны одна от другой, и потому это чрезвычайно гибкая архитектура устройства изменения скорости. Однако цена этой гибкости заключается в высокой вычислительной сложности, относительно низкой быстроте и высоком запаздывании.
Далее, несмотря на данные высокие затраты, эта архитектура не гарантирует наилучший выход вследствие того факта, что два процесса с присущими им потерями (декодирование и кодирование) используются последовательно. Таким образом, данная архитектура непрактична для многих целей.
Фиг.2 показывает пример, в котором транскодируются только В-кадры. I- и Р-кадры направляются прямо через систему. Система транскодирования, использованная в устройстве по фиг.2, показана более подробно на фиг.3. Как можно видеть, эта система сложна, т.к. требует последовательности декодирования переменной длины, деквантования, обратного преобразования, квантования, прямого преобразования и кодирования переменной длины. Таким образом, сложность значительна. Хотя такая компоновка может быть эффективной, изменение скорости только В-кадров и оставление I- и Р-кадров нетронутыми не даст значительного снижения в скорости передачи данных, если это необходимо, для большинства цифровых видео сигналов. Далее, сложная последовательность этапов, выполняемых на В-кадрах, означает, что процесс является медленным, а имеющее потери обратное квантование может вызвать значительное ухудшение в качестве выходного сигнала.
Фиг.4 и 5 показывают блок-схемы устройства и способа, описанных в патенте США №6.763.070. Описанная здесь система относится к схеме изменения скорости, в которой находят показатель отсечки, и исключают коэффициенты преобразования, выходящие за этот показатель отсечки. Показатель отсечки находят по информации управления скоростью, выделенной из входной скорости передачи данных, требуемой выходной скорости передачи данных и ранее обработанных макроблоков.
Последний в уровне техники, патент США №6.937.770, раскрывает систему и устройство для адаптированного управления скоростью передачи данных для снижения скорости видео сигнала с MPEG кодированием. Эта система использует коэффициент масштабирования между средним размером кадра (числом битов) входного потока и желательным размером кадра на выходе. Данный коэффициент масштабирования используется для вычисления числа битов, используемых для каждого макроблока выходного потока с желательной скоростью. Коэффициент масштабирования может изменяться динамически для получения выходного сигнала с желательной скоростью. Несмотря на ее низкую сложность и быструю приспособляемость, эта схема вызывает такие проблемы как искажение, сильные артефакты блокирования и дрейфа в областях кадра с большим движением.
Согласно первому объекту настоящего изобретения предлагается способ изменения скорости видео сигнала, образованного из входного потока двоичных данных, представляющего кадры видео сигнала, причем каждый кадр образован из блоков пикселов, и имеется соответствующий блок данных внутри входного потока для каждого блока пикселов, содержащий этапы, на которых: идентифицируют тип кадра для потока двоичных данных видео сигнала; и, для некоторых типов кадра, игнорируют настраиваемую пропорцию данных в отношении множества блоков в кадре, благодаря чему учитывают локальную двигательную активность в кадре.
Предпочтительно, пропорцию данных игнорируют в отношении всех блоков в кадре. Предпочтительно, эта пропорция одна и та же для всех блоков.
Предпочтительно, входной поток двоичных данных представляет коэффициенты преобразования кадров видео сигнала, к примеру, заранее сжатого видео сигнала в соответствии с каким-либо форматом, таким как один из форматов MPEG, и при этом проигнорированные данные представляют собой пропорцию ненулевых коэффициентов преобразования для всех блоков в кадре.
Локальная двигательная активность в блоке изображения зависит от числа ненулевых коэффициентов преобразования, закодированных для этого блока. Поэтому при учете числа коэффициентов на поблочной основе локальную двигательную активность рассматривают и учитывают в операции изменения скорости. Это расходится с известными операциями изменения скорости, в которых только множитель, учтенный при нахождении размера или числа битов, который может быть выделен каждому макроблоку в кадре видео сигнала с измененной скоростью, является входной скоростью передачи данных и желательной выходной скоростью передачи данных. Использование некоторой пропорции (предпочтительно практически одной и той же для всех блоков в любом кадре) для коэффициентов в противоположность фиксированному числу гарантирует, что двигательная активность в блоке учитывается, а блоки, в которых имеется движение, не испытывают значительных величин визуального искажения.
Далее, этот способ позволяет изменять скорость передачи опорных промежуточных или Р-кадров. Без использования настоящего способа изменение скорости передачи Р-кадров увеличило бы эффект дрейфа и блокирование, особенно в сценах в интенсивным движением. В настоящем способе этого можно избежать, оставляя 1-кадры во входном потоке двоичных данных нетронутыми и непосредственно копировать их в выходной поток двоичных данных, так что векторы движения и прочие такие параметры копируются непосредственно в выходной поток двоичных данных. Любая потеря данных в I-кадре будет распространяться непосредственно к связанным с ним промежуточным Р- и В-кадрам. Использование исходных I-кадров в выходном потоке двоичных данных значительно снизит эффект дрейфа.
В данном случае, поскольку локальная двигательная активность учитывается в процессе изменения скорости передачи, за счет игнорирования настраиваемой пропорции данных в отношении всех блоков в кадре делается равномерное распределение визуального ухудшения так, что искажение менее заметно в видео потоке с измененной скоростью передачи, а в областях большого движения в кадре изображения устраняются сильные артефакты блокирования и дрейфа. Блок является подобластью пикселов в кадре. В примере сжатия MPEG-2 блоком обычно является группа из 8×8 пикселов.
Соответственно в частном варианте осуществления изобретение предлагает способ изменения скорости передачи видео сигнала, образованного из потока двоичных данных, соответствующего последовательности ненулевых коэффициентов преобразования, представляющих кадры видео сигнала, причем каждый кадр образован из блоков пикселов, и имеется соответствующий блок коэффициентов преобразования для каждого блока пикселов, содержащий этапы, на которых идентифицируют тип кадра для потока двоичных данных в кадре видео сигнала; и, в зависимости от этого типа кадра, выполняют операцию изменения скорости передачи на кадре, при этом для некоторых типов кадров игнорируют настраиваемую пропорцию коэффициентов преобразования в отношении всех блоков в кадре, посредством чего генерируют выходной поток двоичных данных с измененной скоростью передачи.
Предпочтительно, способ содержит этап, на котором идентифицирует то, является ли кадр I-кадром, Р-кадром или В-кадром, и если он идентифицирован как I-кадр, не выполняют операции изменения скорости передачи на этом кадре.
Предпочтительно некоторые коэффициенты преобразования удаляют из кадра за счет введения кода Конец блока (ЕОВ) в заранее заданной точке в каждом блоке кадра в выходном потоке двоичных данных.
Предпочтительно, генерируют выходной поток двоичных данных, содержащий все ненулевые коэффициенты из блоков в I кадрах и только поддерживаемые коэффициенты блоков из Р- и В-кадров.
Согласно второму объекту настоящего изобретения предлагается устройство для изменения скорости передачи видео сигнала, образованного из потока двоичных данных, соответствующего последовательности коэффициентов преобразования для кадров видео сигнала, причем каждый кадр образован из блоков пикселов, содержащее: приемник для приема кодированного видео сигнала в виде цифрового потока двоичных данных; считыватель, выполненный с возможностью приема кадра для идентификации типа кадра; и контроллер для изменения операции, выполняемой на кадре в зависимости от типа кадра, причем для некоторых типов кадров настраиваемая пропорция коэффициентов преобразования игнорируется в отношении всех блоков в кадре, посредством чего генерируется выходной поток двоичных данных.
Согласно другому объекту настоящего изобретения предлагается способ транскодирования видео сигнала, образованного из входного потока двоичных данных, представляющего кадры видео сигнала, причем каждый кадр образован из блоков пикселов, и имеется соответствующий блок данных во входном потоке двоичных данных для каждого блока пикселов, содержащий этапы, на которых: идентифицируют тип кадра для потока двоичных данных в кадре видео сигнала; и, для некоторых типов кадра, игнорируют практически равную пропорцию данных независимо от действительного объема данных, необходимого для представления блока, в отношении множества блоков или каждого блока в кадре, посредством чего учитывают локальную двигательную активность в кадре.
Примеры вариантов осуществления настоящего изобретения будет теперь описаны посредством лишь примера со ссылкой на сопровождающие чертежи, на которых:
Фиг.1-7 показывают условные представления известных архитектур и способов изменения скорости передачи;
Фиг.8 показывает условное представление примера устройства изменения скорости передачи;
Фиг.9 представляет собой условное представление, показывающее адаптивное усечение блоков; и
Фиг.10 представляет собой пример возможного соотношения между параметрами М и N в варианте осуществления способа транскодирования.
Нижеследующее описание сделано в отношении устройства изменения скорости в качестве одного частного примера транскодера.
Устройство изменения скорости по фиг.8 выполнено для приема входного потока двоичных видео данных X и получения выходного потока двоичных данных Y с измененной скоростью передачи. Устройство 2 изменения скорости имеет декодер 4 заголовка, выполненный для декодирования заголовка каждого принятого кадра. Счетчик 6 коэффициентов блока предназначен для подсчета числа N ненулевых коэффициентов преобразования в каждом блоке потока данных, предпочтительно только для промежуточных кадров. Разумеется, блоки данных во входном потоке X соответствуют блокам пикселов, к примеру, 8×8 или 4×4, в кадре принятого видео сигнала. Число N ненулевых коэффициентов определяется только для некоторых типов кадров, предпочтительно для промежуточных кадров (как Р-, так и В-кадров).
Устройство изменения скорости передачи выполнено с возможностью игнорировать некоторую настраиваемую пропорцию ненулевых коэффициентов преобразования в отношении множества (предпочтительно, всех) блоков в обрабатываемом кадре. Локальная двигательная активность в блоке связана с числом N ненулевых коэффициентов преобразования для этого блока. Таким образом учитывается локальная двигательная активность, поскольку равномерное распределение зрительного ухудшения будет сделано для всех блоков в кадре, а не сконцентрировано в блоках, которые являются частью последовательности движения. Если фиксированное число коэффициентов (в противоположность некоторой пропорции или выделенному значению на основе математической функции) использовалось для каждого блока независимо от действительного числа необходимых для точного представления блока, тогда эффект на блоках с большим числом коэффициентов был бы непропорционально большим. Поскольку блоки локального движения имеют большее число коэффициентов, эффект состоял бы в концентрации искажений вокруг этих блоков. Предпочтительно, одна и та же пропорция коэффициентов игнорируется в отношении всех блоков в любом кадре.
Как поясняется ниже, предпочтительно, чтобы это достигалось за счет нахождения для каждого блока целого числа М, которое является функцией от N, и затем за счет сохранения первых М ненулевых коэффициентов при отбрасывании остальных N - М ненулевых коэффициентов.
Детектор 8 исходного конца блока предусмотрен для нахождения положения конца в коде блока, который обычно предусмотрен между блоками коэффициентов во входном потоке X.
Предусмотрен переключатель 10, который размещен, чтобы в закрытом состоянии копировать двоичные данные из входного потока X прямо в выходной поток Y. Когда же переключатель 10 открыт, непосредственное копирование двоичных данных из входного потока X в выходной поток Y останавливается. Вместо него предусматривается поток двоичных данных через блок 12 управления копированием потока. Блок 12 управления копированием потока выполнен для отправки сигнала «начать» и «остановить» в переключатель 10.
Декодер 4 заголовка используется для декодирования заголовков из блоков, чтобы обеспечить декодирование с переменной длиной. Детектор 8 положения конца блока обнаруживает положение бита в исходном коде конца блока во входном потоке X и сообщает это положение в блок 12 управления копированием потока. Как упомянуто выше, счетчик 6 коэффициентов блока выполнен для подсчета числа N ненулевых коэффициентов в блоке и сообщения найденного числа N блоку 12 управления копированием потока.
Сигнал 14 обратной связи подается в блок 12 управления копированием потока из выходного видео потока Y. Помимо этого, сигнал 16 желательной скорости передачи данных также подается в блок 12 управления копированием потока. Таким образом, в блок 12 управления копированием потока предусмотрено несколько входных сигналов, включая число ненулевых коэффициентов в каждом блоке в кадре, представленное числом N, тип картинки или кадра (I, Р или В), различные параметры потока, желательная скорость передачи данных, достигнутая выходная скорость передачи данных и положение исходного кода конца блока во входном потоке X двоичных данных.
При использовании предпочтительно, чтобы, если это не промежуточный кадр, к примеру, Р- или В-кадр, блок 12 управления копированием потока посылал сигнал на переключатель 10 для копирования всех битов входного потока X в выходной поток Y. Копирование выполняется поразрядно, а не по байтам и не по словам. Помимо этого, коды начала и заголовочная информация промежуточных кадров вместе с информацией движения копируются переключателем 10 в выходной поток Y двоичных данных.
На основе входных сигналов, которые он принимает, блок 12 управления копированием потока решает, где и когда должен быть введен код конца блока в выходном потоке. Введение кода конца блока требует, чтобы переключатель 10 был остановлен, т.е. эффективно открыт, чтобы требуемый код конца блока (ЕОВ) мог быть введен в выходной поток Y. Никаких битов из входного потока больше не копируется в выходной поток Y до тех пор, пока исходный код ЕОВ не будет обнаружен детектором 8 положения конца блока. Когда исходный ЕОВ обнаружен детектором 8 положения конца блока, блок 12 управления копированием потока посылает сигнал на переключатель 10 на возобновление операции копирования битов до тех пор, пока не будет выполнена следующая вставка кода ЕОВ. Этот процесс продолжается, пока все блоки в кадре не будут обработаны.
Таким образом, видно, что отсутствует требование какого бы то ни было переквантования или декодирования с переменной длиной, деквантования, обратного преобразования, квантования, прямого преобразования и кодирования с переменной длиной, как это требуется, когда входной видео поток должен быть переквантован.
Поэтому процесс прост в вычислительном отношении.
Устройство по фиг.8 обеспечивает хороший компромисс между сложностью, качеством и быстротой адаптации за счет применения архитектуры без обратной связи, которая усекает коэффициенты преобразования в порядке анализа и получения в результате видео потока с более низкой скоростью передачи данных.
Далее, показанный на фиг.8 пример обеспечивает быстрое не очень сложное устройство изменения скорости для области преобразования, которое равномерно распределяет любое зрительное ухудшение на все блоки в кадре, к примеру, блоки 8×8 пикселов, путем учета локальной двигательной активности на поблочной основе. Использование сигнала обратной связи от выходного потока Y вместе со входом желательной скорости передачи данных обеспечивает быструю и динамическую адаптацию скорости передачи данных.
Устройство учитывает локальную двигательную активность и выполняет равномерное распределение зрительного ухудшения на все блоки в любом конкретном кадре, тем самым делая искажение менее заметным и предотвращая сильные артефакты блокирования и дрейфа в областях кадра с интенсивном движением. Скорость преобразования может изменяться динамически в зависимости от требований мгновенной скорости передачи данных при учете в то же время локальной двигательной активности.
Устройство и способ имеют преимущество в том, что коэффициенты преобразования выше некоторого частотного уровня требуют большого числа битов для кодирования, но добавляют немного в качество изображения. Это, в частности, так на промежуточных кадрах, в которых, как правило, только разностный блок после компенсации движения кодируется преобразованным. Разностные блоки из-за компенсации движения имеют меньшую корреляцию, нежели абсолютные блоки во внутренних кадрах и блоки внутри кадров. Меньшая корреляция снижает общую важность коэффициентов преобразования и, в частности, высокочастотных коэффициентов преобразования. Поэтому исключение этих расходующих биты коэффициентов не причинит значительного вреда качеству результирующего изображения, но даст существенное снижение в скорости передачи данных видео потока.
Таким образом, адаптивное усечение блоков применяется в зависимости от типа кадра, т.е. только к некоторым из кадров, как правило, к Р- и В-кадрам, и это достигается введением кода ЕОВ в соответствующий выходной поток двоичных данных перед положением, в котором представляется, что выходной поток двоичных данных является полной копией входного потока двоичных данных.
Как упомянуто выше, блок 12 управления копированием потока обеспечивает адаптивное усечение блоков из коэффициентов преобразования путем генерирования числа М, представляющего первые М ненулевых коэффициентов (из общего числа N). Эти первые М ненулевых коэффициентов представляют собой поток, скопированный поразрядно на выход перед введением нового кода ЕОВ. М является функцией от параметров, включающих в себя любые или все из N, тип картинки, положение блока в картинке, положение картинки в группе картинок (GOP), выходную скорость передачи двоичных данных и другие параметры выходного потока. Если М является пропорцией от N и функцией от типа картинки и целевой скорости передачи данных, эффект дрейфа и артефакты блокирования значительно снижаются. Можно использовать любое подходящее соотношение между М и N, которое, как поясняется ниже, не обязательно должно быть линейным. Если определено, что М должно быть больше N, все коэффициенты преобразования в блоке сохраняются и ни один не отбрасывается. Если при вычислении М не является целым, выполняется округление для нахождения целого значения для М.
Как упомянуто выше, для внутренних кадров все данные непосредственно копируются из входного потока двоичных данных в выходной поток. Вся информация, отличная от коэффициентов преобразования промежуточных кадров во входном потоке, также копируется в выходной поток двоичных данных. Коэффициенты преобразования промежуточных кадров копируются в выходной поток двоичных данных полностью или частично, так что для видео сигнала скорость передачи данных выходного потока двоичных данных снизится по сравнению со скоростью передачи данных входного потока двоичных данных.
Фиг.9 показывает условное представление блока из входного потока и соответствующий блок как часть выходного потока при использовании такого устройства, как показанное на фиг.8. Пример по фиг.9 предполагает, что для сжатия входного видео потока сначала использовано дискретное косинусное преобразование. Такое сжатие используется, например, при сжатии MPEG-2. Разумеется, можно использовать любое подходящее преобразование для генерирования коэффициентов преобразования и на самом деле в других алгоритмах и методах сжатия видео сигнала используются другие преобразования в частотной области.
Блок 18 из входного потока образован из квантованного дискретного косинусного коэффициента и всего N кодов переменной длины для квантованных коэффициентов ДКП, взятых из сканирования зигзагом соответствующего блока пикселов внутри кадра видео сигнала, представленного входным потоком. Как видно, имеется всего N ненулевых коэффициентов, после которых предусмотрен код 20 ЕОВ в потоке двоичных данных.
Блок 20 из выходного потока содержит N компонентов, за которыми следует код 24 ЕОВ. Этот код ЕОВ введен в выходной поток двоичных данных блоком 12 управления копированием потока в устройстве по фиг.8. Видно, что компоненты Q-См одни и те же как в блоке 18 из входного потока двоичных данных, так и в блоке 22 из выходного потока двоичных данных. Таким образом, не требуется никакой обработки первых М ненулевых коэффициентов любого блока из входного потока двоичных данных. Остальные N минус М коэффициентов просто отброшены.
При условии, что блок коэффициентов C1-CM в выходном потоке двоичных данных кодирует соответствующий блок коэффициентов C1-CN во входном потоке, достигнуто снижение скорости передачи данных при учете локальной двигательной активности без какой-либо сложной обработки и без введения значительного искажения в обработанный видео сигнал.
Значение М может быть - но не обязательно - ограничено постоянной пропорцией от N, так что М равно N, помноженному на постоянную а. Таким образом, соотношение между М и N в одном примере можно выразить так:
М=α×N,
где α - число между нулем и единицей, и где а само может быть функцией от других параметров потока, в том числе, например, любой или все из типов кодирования, выходная скорость передачи данных и желательная выходная скорость передачи данных. Поскольку α изменяется поблочно как функция от выходной скорости передачи данных и желательной скорости передачи данных, можно достичь динамической адаптации выходной скорости передачи данных к желательной скорости передачи данных. Далее, мгновенное изменение α стабилизирует выходную скорость передачи данных и может управляться так, чтобы выходная скорость передачи данных всегда была ниже желательной скорости передачи данных, тем самым удовлетворяя требованиям канальной полосы передачи. Степень, до которой можно менять α, может быть очень малой, так что выгода от распределения зрительного ухудшения по всем блокам не теряется при изменении α от блока к блоку.
Адаптивное усечение блоков коэффициентов преобразования в кадрах дает малый дрейф и потоки с низкой скоростью передачи данных за счет обеспечения изменения скорости передачи опорных Р-кадров в дополнение к промежуточным В-кадрам. Предложенная архитектура, как показано на фиг.8, не выполняет никакого квантования, обратного квантования, преобразования, обратного преобразования, поиска вектора движения или кодирования с переменной длиной. Это архитектура чрезвычайно низкой сложности, которая практически выполняет просто декодирование заголовков, подсчет ненулевых коэффициентов преобразования и введение кода ЕОВ. Вычислительные требования относительно низки, учитывая достигнутые выходное качество, снижение скорости и быстроту.
Как упомянуто выше, не нужно, чтобы соотношение между N и М было линейным. Определение соотношения посредством М=а N не гарантирует линейного соотношения между входной и выходной скоростями передачи данных. Ясно, что для данного блока чем больше а, тем больше битов расходуется на этот блок. Следовательно, а можно обновлять с помощью алгоритма типа наименьших квадратов, чтобы получать желательную выходную скорость передачи данных. Пример этого таков:
αР (t+1)=αР(t)+µ(р-p(αР(t))
αB(t+1)=αB(t)+µ(b-b(αB(t)),
где t представляет время обновления,
b и p составляют расходы целевых битов на уровне блока, макроблока, слоя или кадра для В- и Р-кадров, соответственно,
b(α) и р(α) составляют результирующие расходы битов устройства изменения скорости как функции от α,
µ(µ>0) представляет собой размер шага, который выбран достаточно малым, чтобы иметь стабильный алгоритм адаптации, и достаточно большой, чтобы приблизить систему к целевой скорости передачи данных.
В этой системе b и p можно легко вычислить в режиме офлайн.
Хотя изобретение показано и описано в частности со ссылкой на его конкретные варианты осуществления, специалистам понятно, что изменения в форме и деталях раскрытых вариантов осуществления можно делать без отхода от сущности и объема изобретения. Например, описанные выше варианты осуществления могут быть воплощены с помощью встроенных программ, программного обеспечения или аппаратного обеспечения. Кроме того, варианты осуществления настоящего изобретения могут быть применены со множеством протоколов и не должны ограничиваться упомянутыми выше. Например, методы настоящего изобретения можно воплотить между сетью наземных линий и беспроводной сетью. Фильтрация коэффициентов преобразования может быть применена к одно- или двумерным коэффициентам преобразования для широкого множества форматов данных. Поэтому объем изобретения должен определяться со ссылкой на приложенную формулу изобретения.
Фиг.10 показывает пример возможного соотношения между параметрами М и N. Понятно, что в показанном примере параметры М и N различны для Р- и В-кадров. В показанном примере вплоть до значения N1 имеется линейное соотношение между значением для (М, N) от (0, 0) и (M1, N1). За этим значением N1 значение а снижается и, хотя соотношение все же линейное, его можно лучше определить уравнением:
М=αN+с.
За значениями N2 и N3 (для Р- и В-кадров, соответственно) значение М остается постоянным. Пример по фиг.10 просто показывает, что можно выявить и использовать любое подходящее соотношение между М и N.
Варианты осуществления настоящего изобретения описаны с конкретной ссылкой на проиллюстрированные примеры. Однако понятно, что в описанных примерах могут быть сделаны изменения и модификации в объеме настоящего изобретения.
1. Способ транскодирования видеосигнала, образованного из входного потока двоичных данных, представляющего кадры видеосигнала, причем каждый кадр образован из блоков пикселей, и имеется соответствующий блок данных во входном потоке двоичных данных для каждого блока пикселей, содержащий этапы, на которых:
идентифицируют тип кадра для потока двоичных данных в кадре видеосигнала и,
для определенных типов кадра, игнорируют, по существу, равную пропорцию данных в отношении множества блоков в кадре, благодаря чему учитывают локальную двигательную активность в кадре,
в котором входной поток двоичных данных является репрезентативным для ненулевых коэффициентов преобразования кадров видеосигнала и в котором игнорируемые данные составляют пропорцию ненулевых коэффициентов преобразования для всех блоков в пределах кадра,
в котором пропорция коэффициентов преобразования определена изменением коэффициента α, в котором имеется N ненулевых коэффициентов преобразования в пределах блока принятого кадра и М в блоке передаваемого видеопотока и в котором M=αN.
2. Способ по п.1, в котором пропорцию данных игнорируют в отношении всех блоков в любом кадре.
3. Способ по п.2, в котором входной поток двоичных данных представляет ненулевые коэффициенты преобразования кадров видеосигнала и при этом проигнорированные данные представляют собой пропорцию ненулевых коэффициентов преобразования для всех блоков в кадре.
4. Способ по п.3, содержащий этап, на котором идентифицируют, является ли кадр I-кадром, P-кадром или B-кадром, и, если он идентифицирован как I-кадр, не выполняют операции изменения скорости передачи на этом кадре.
5. Способ по п.4, содержащий, если кадр является P-кадром или В-кадром, этап, на котором фильтруют этот кадр путем удаления определенных высших коэффициентов преобразования для всех блоков в кадре.
6. Способ по п.5, в котором определенные коэффициенты преобразования удаляют из кадра путем введения кода конца блока в определенной точке в каждом блоке кадра в выходном потоке двоичных данных.
7. Способ по п.6, в котором положение, где предусмотрен код конца блока в выходном потоке двоичных данных, изменяют для управления скоростью передачи данных передаваемого видеосигнала.
8. Способ по п.3, в котором пропорцию коэффициентов преобразования находят путем изменения коэффициента α, причем имеется N ненулевых коэффициентов преобразования в блоке принятого кадра и М в блоке видеопотока с измененной скоростью передачи и при этом M=αN.
9. Способ по п.8, в котором α изменяют в реальном времени для динамического управления скоростью передачи данных выходного потока двоичных данных.
10. Способ по п.3, в котором генерируют выходной поток двоичных данных, содержащий все коэффициенты из блоков в I-кадрах и только оставшиеся коэффициенты в блоках из Р- и B-кадров.
11. Способ по п.3, содержащий этап, на котором предусматривают переключатель, выполненный с возможностью в одной конфигурации переключать принимаемый поток двоичных данных непосредственно в выходной поток двоичных данных, а во второй конфигурации переключать гранскодированный поток двоичных данных входного потока двоичных данных в выходной поток.
12. Способ по п.11, в котором управляют переключателем в зависимости от одного или нескольких из N, желательной выходной скорости передачи данных, типа кадра, положения блока в картинке, положения картинки в группе картинок (GOP), выходной скорости передачи данных и других параметров потока.
13. Способ по п.8, в котором соотношение между М и N является нелинейным.
14. Способ по п.13, в котором обновляют значение α посредством такого способа, как соотношение наименьших квадратов.
15. Способ по п.14, в котором находят соотношение между М и N с помощью следующего уравнения:
M=αN,
где α находят из следующих уравнений:
αP(t+1)=αP(t)+µ(p-p(αP(t));
αB(t+1)=αB(t)+µ(b-b(αB(t)),
где t представляет время обновления,
b и p составляют расходы целевых битов на уровне блока, макроблока, слоя или кадра для В- и P-кадров соответственно,
b(α) и p(α) составляют результирующие расходы битов устройства изменения скорости как функции от α,
µ (µ>0) представляет собой размер шага, который выбран достаточно малым, чтобы иметь стабильный алгоритм адаптации, и достаточно большой, чтобы приблизить систему к целевой скорости передачи данных.
16. Способ по п.1, в котором входной поток двоичных данных представляет собой видеосигнал с кодированием MPEG-2.
17. Способ по п.1, в котором входной поток двоичных данных присутствует в виде дискретного косинусного преобразования файла исходного изображения.
18. Устройство для транскодирования кодированного видеосигнала, образованного из потока двоичных данных, соответствующего кадрам видеосигнала, причем каждый кадр образован из блоков пикселов, содержащее:
приемник для приема кодированного видеосигнала в виде цифрового потока двоичных данных;
считыватель, выполненный с возможностью приема кадра для идентификации типа кадра; и
контроллер, выполненный с возможностью, для определенных типов кадров игнорировать пропорцию данных в отношении множества блоков в кадре, благодаря чему учитывается локальная двигательная активность в кадре,
в котором поток двоичных данных является репрезентативным для ненулевых коэффициентов преобразования кадров видеосигнала и в котором игнорируемые данные составляют пропорцию ненулевых коэффициентов преобразования для всех блоков в пределах кадра
в котором пропорция коэффициентов преобразования определена изменением коэффициента α, в котором имеется N ненулевых коэффициентов преобразования в пределах блока принятого кадра и М в блоке передаваемого видеопотока и в котором M=αN.
19. Устройство по п.18, в котором контроллер выполнен с возможностью игнорировать пропорцию данных в отношении всех блоков в кадре.
20. Устройство по п.18 или 19, содержащее детектор положения конца блока для обнаружения положения конца блоков во входном потоке двоичных данных.
21. Устройство по п.18, содержащее переключатель, выполненный с возможностью в одной конфигурации копировать входной поток двоичных данных непосредственно в выходной поток двоичных данных, а во второй конфигурации копировать обработанные кадры в выходной поток.
22. Устройство по п.21, содержащее счетчик коэффициентов блока для подсчета коэффициентов в принимаемом блоке и для выдачи числа N ненулевых коэффициентов в блок управления, выполненный с возможностью управления переключателем, причем число N зависит от двигательной активности в данном блоке.
23. Устройство по п.22, содержащее блок управления, выполненный для нахождения числа М коэффициентов, подлежащих включению в блок в выходном потоке.
24. Устройство по п.23, в котором блок управления выполнен для нахождения числа М в зависимости от различных параметров, в том числе одного или нескольких из желательной выходной скорости передачи данных, действительной выходной скорости передачи данных, типа кадра и числа N ненулевых коэффициентов в принимаемом блоке.
25. Устройство по п.24, в котором блок управления выполнен с возможностью вводить код конца блока в выходной поток двоичных данных в таком положении в блоке коэффициентов в выходном потоке, чтобы этот блок включал в себя только М коэффициентов.
26. Устройство по п.25, в котором соотношение между М и N определяется уравнением M=αN,
где α определяется из следующих уравнений:
αP(t+1)=αP(t)+µ(p-p(αP(t));
αB(t+1)=αB(t)+µ(b-b(αB(t)),
в которых t представляет время обновления,
b и p составляют расходы целевых битов на уровне блока, макроблока, слоя или кадра для В- и P-кадров соответственно,
b(α) и p(α) составляют результирующие расходы битов устройства изменения скорости как функции от α,
µ (µ>0) представляет собой размер шага, который выбран достаточно малым, чтобы иметь стабильный алгоритм адаптации, и достаточно большой, чтобы приблизить систему к целевой скорости передачи данных.
27. Устройство воспроизведения видео сигнала, содержащее транскодер по любому из пп.18-26.
