Способ и устройство сегментирования на единицы преобразования с меньшей сложностью

Изобретение относится к вычислительной технике. Технический результат заключается в уменьшении вычислительной сложности кодирования. Способ обработки единицы преобразования видеоданных, в котором принимают единицу кодирования видеоданных; сегментируют единицу кодирования на одну или более единиц прогнозирования (PU) согласно типу сегмента 2N×2N, 2N×N, N×2N или N×N, при этом режим прогнозирования для обработки прогнозирования упомянутых одной или более единиц прогнозирования определяется для каждой из упомянутых одной или более единиц прогнозирования; и сегментируют единицу кодирования на одну или более единиц преобразования, при этом размер упомянутых одной или более единиц преобразования связан с размером единицы кодирования и размером упомянутых одной или более единиц прогнозирования таким образом, что ширина и высота упомянутых одной или более единиц преобразования равны минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N. 4 н. и 22 з.п. ф-лы, 6 ил., 13 табл.

 

Перекрестная ссылка на родственные заявки

[0001] Настоящее изобретение притязает на приоритет предварительной заявки на патент США, порядковый номер 61/450720, поданной 9 марта 2011 года, озаглавленной "Syntax for transform unit in HEVC", предварительной заявки на патент США, порядковый номер 61/452547, поданной 14 марта 2011 года, озаглавленной "Optimization for Merge Mode Decision", и заявки на патент США, порядковый номер 13/156552, поданной 09 июня 2011 года, озаглавленной "Method and Apparatus of Transform unit partition with Reduced Complexity". Вышеуказанные заявки на патент полностью содержатся в данном документе по ссылке во всей их полноте.

Область техники, к которой относится изобретение

[0002] Настоящее изобретение относится к кодированию видео. В частности, настоящее изобретение относится к технологиям кодирования, связанным с сегментированием на единицы преобразования и оптимизацией решения по выбору режима объединения.

Уровень техники

[0003] Стандарт высокоэффективного кодирования видео (HEVC) является стандартом кодирования видео, разрабатываемым с целью достигать дополнительного 50%-го уменьшения битовой скорости (битдейта) по сравнению с существующим стандартом H.264/AVC. HEVC представляет собой гибридное кодирование видео на основе блоков с очень гибкой блочной структурой. Три понятия для блоков вводятся в HEVC: единица кодирования (CU), единица прогнозирования (PU) и единица преобразования (TU). Совокупная структура кодирования характеризуется различными размерами CU, PU и TU рекурсивным образом, при этом каждое изображение разделяется на наибольшие CU (LCU), состоящие из 64×64 пикселов. Каждая LCU затем рекурсивно разделяется на меньшие CU до тех пор, пока не будут достигнуты концевые CU или наименьшие CU. После того как составлено иерархическое дерево CU, каждая концевая CU подвергается дополнительному разбиению на единицы прогнозирования (PU) согласно типу сегмента. Кроме того, преобразование применяется к TU, чтобы преобразовывать пространственные данные в коэффициенты преобразования для компактного представления данных.

[0004] Для обработки преобразования в текущем HEVC используется иерархическое RQT (остаточное дерево квадрантов). TU-размер связан с CU-размером, но является независимым от PU-размера. Поскольку TU-сегмент является независимым от PU-сегмента и максимальная разрешенная TU-глубина, т.е. max RQT depth, составляет 3, текущий синтаксис для остаточного дерева квадрантов, transform_tree(), достаточно усложняется. Это приводит к высокой сложности кодирования, а также вызывает увеличение времени для обработки синтаксиса остаточного дерева квадрантов. Кроме того, некоторые элементы синтаксиса, связанные с деревом преобразования, к примеру, max RQT depth для взаимного режима, max RQT depth для внутреннего режима, max TU size и min TU size, должны отправляться в заголовке уровня последовательности (SPS). Соответственно, желательно разрабатывать схему представления TU, которая должна приводить к меньшей сложности. Кроме того, текущие вычисления, связанные с выбором наилучшего варианта объединения для режима объединения CU 2N×2N, являются довольно интенсивными. Следовательно, желательно уменьшать вычислительную сложность для выбора наилучшего варианта объединения для режима объединения CU 2N×2N.

Сущность изобретения

[0005] Раскрыты способ и устройство для обработки единицы преобразования видеоданных. Согласно настоящему изобретению, способ и устройство для обработки единицы преобразования видеоданных содержат этапы приема единицы кодирования видеоданных, сегментирования единицы кодирования на одну или более единиц прогнозирования (PU) согласно типу сегмента 2N×2N, 2N×N, N×2N или N×N и сегментирования единицы кодирования на одну или более единиц преобразования в зависимости от размера единицы кодирования и размера упомянутой одной или более единиц прогнозирования. В одном варианте осуществления согласно настоящему изобретению, размер единицы преобразования равен минимуму из ширины PU и высоты PU за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N; размер единицы преобразования для типа сегмента 2N×2N выбирается между 2N×2N и N×N. В другом варианте осуществления согласно настоящему изобретению, максимальный размер единицы преобразования равен максимуму из ширины PU и высоты PU, и минимальный размер единицы преобразования равен минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N; размер единицы преобразования для типа сегмента 2N×2N выбирается между 2N×2N и N×N. В еще одном другом варианте осуществления согласно настоящему изобретению, размер единицы преобразования выбирается между 2N×2N и N×N для типов сегментов 2N×2N, 2N×N, N×2N и N×N. Элемент синтаксиса split_transform_flag может быть включен для некоторых условий, чтобы указывать то, использует ли единица преобразования 2N×2N или N×N.

[0006] Раскрыты способ и устройство для декодирования битового потока видео, в котором размер единицы преобразования зависит от размера единицы прогнозирования. Согласно настоящему изобретению, способ и устройство для декодирования битового потока видео, в котором размер единицы преобразования зависит от размера единицы прогнозирования, содержат этапы приема кодированных данных, ассоциированных с единицей кодирования в битовом потоке видео, определения размера единицы кодирования из кодированных данных, ассоциированных с единицей кодирования, определения сегмента PU (единиц прогнозирования) из типов сегментов 2N×2N, 2N×N, N×2N и N×N, ассоциированных с единицей кодирования, определения того, имеется или нет элемент синтаксиса split_transform_flag в кодированных данных, согласно размеру единицы кодирования и типу сегмента, определения значения split_transform_flag, если элемент синтаксиса split_transform_flag имеется, и определения сегмента единиц преобразования, ассоциированного с единицей кодирования, согласно размеру единицы кодирования, типу сегмента и значению split_transform_flag. В одном варианте осуществления согласно настоящему изобретению, элемент синтаксиса split_transform_flag имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N. В другом варианте осуществления согласно настоящему изобретению, элемент синтаксиса split_transform_flag имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N, 2N×N или N×2N. В еще одном другом варианте осуществления согласно настоящему изобретению, элемент синтаксиса split_transform_flag имеется, если размер единицы кодирования составляет 2N×2N и тип сегмента представляет собой 2N×2N, 2N×N, N×2N или N×N. Split_transform_flag указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

[0007] Раскрыты способ и устройство для определения варианта объединения для единицы кодирования 2N×2N с использованием уменьшенной вычислительной сложности кодирования. Согласно настоящему изобретению, способ и устройство для определения варианта объединения для единицы кодирования 2N×2N с использованием уменьшенной вычислительной сложности кодирования содержат этапы приема вектора движения для каждого из вариантов объединения, ассоциированных с единицей кодирования 2N×2N, выполнения компенсации движения для упомянутого каждого из вариантов объединения с использованием вектора движения, чтобы получить остаточный сигнал для упомянутого каждого из вариантов объединения, вычисления затрат на оценку движения, ассоциированных с остаточным сигналом и вектором движения, и определения наилучшего варианта объединения из вариантов объединения, при этом наилучший вариант объединения приводит к наименьшим затратам на оценку движения. В одном варианте осуществления согласно настоящему изобретению, способ и устройство дополнительно содержат сегментирование наилучшего варианта объединения на одну или более единиц преобразования с использованием остаточного дерева квадрантов, кодирование коэффициентов упомянутых одной или более единиц преобразования согласно шаблону сканирования, вычисление первых R-D-затрат, соответствующих режиму объединения, связанному с битовой скоростью и искажением, ассоциированными с коэффициентами, кодированными для наилучшего варианта объединения, и определение режима для единицы кодирования посредством выбора наименьших R-D-затрат из первых R-D-затрат и других R-D-затрат, ассоциированных с другими режимами.

Краткое описание чертежей

[0008] Фиг. 1 иллюстрирует различные типы сегментов для сегментирования единицы кодирования 2N×2N на одну или более единиц прогнозирования.

[0009] Фиг. 2A-2B иллюстрируют синтаксис для сегментирования с помощью остаточного дерева квадрантов (RQT), transform_tree(), согласно традиционному подходу стандарта высокоэффективного кодирования видео (HEVC).

[0010] Фиг. 3A-3B иллюстрируют примерный синтаксис для сегментирования с помощью остаточного дерева квадрантов (RQT), transform_tree(), согласно одному варианту осуществления настоящего изобретения.

[0011] Фиг. 4 иллюстрирует примерный синтаксис для сегментирования с помощью остаточного дерева квадрантов (RQT), transform_tree(), согласно другому варианту осуществления настоящего изобретения.

Подробное описание изобретения

[0012] Стандарт высокоэффективного кодирования видео (HEVC) является стандартом кодирования видео, разрабатываемым с целью достигать дополнительного 50%-го уменьшения скорости передачи битов по сравнению с существующим стандартом H.264/AVC. HEVC представляет собой гибридное кодирование видео на основе блоков с очень гибкой блочной структурой. Три понятия для блоков вводятся в HEVC: единица кодирования (CU), единица прогнозирования (PU) и единица преобразования (TU). Общая структура кодирования отличается посредством различных размеров CU, PU и TU рекурсивным способом, при этом каждое изображение разделяется на наибольшие CU (LCU), состоящие из 64×64 пикселов каждый. Каждая LCU затем рекурсивно разделяется на меньшие CU до тех пор, пока не будут достигнуты концевые CU или наименьшие CU. После того как составляется иерархическое дерево CU, каждая концевая CU подвергается дополнительному разбиению на единицы прогнозирования (PU) согласно типу сегмента. Кроме того, преобразование применяется к TU, чтобы преобразовывать пространственные данные в коэффициенты преобразования для компактного представления данных.

[0013] При разработке HEVC общая тестовая модель HEVC (HM) используется разработчиками для того, чтобы оценивать производительность всех предлагаемых алгоритмов. Вплоть до HM версии 1.0 CU 2N×2N может иметь PU с размерами сегментов 2N×2N и N×N для кодированного внутренним образом кадра или серии последовательных макроблоков, и CU 2N×2N может иметь PU с размерами сегментов 2N×2N, N×2N, 2N×N и N×N для взаимно кодированного кадра или серии последовательных макроблоков, как показано на фиг. 1. На четвертой конференции JCT-VC (объединенной группы для совместной работы над видеостандартами) в Тэгу, Корея, принято решение о том, что тип сегмента N×N удаляется из всех CU, которые больше наименьшей CU (SCU, в данный момент заданной как 8×8) как для взаимно кодированных, так и для кодированных внутренним образом кадров и серий последовательных макроблоков.

[0014] Для обработки преобразования в текущем HEVC используется иерархическое RQT (остаточное дерево квадрантов), и TU-размер ограничивается посредством CU-размера, max RQT depth, max TU size и min TU size. TU-размер является независимым от PU-размера. Максимальный TU-размер ограничивается 32×32, и минимальный TU-размер ограничивается 4×4. Помимо этого TU не может быть больше CU, к которой должно применяться преобразование. Тем не менее, TU может охватывать PU. Например, для CU 32Ч32, TU может быть 32×32, 16×16 и 8×8, независимо от типа PU-сегмента. Текущий синтаксис TU для остаточного дерева квадрантов (RQT), transform_tree(), в HEVC показывается на фиг. 2A-B. Max RQT depth, разрешенный в HM версии 2.0, показывается в таблице 1:

Таблица 1
Высокоэффективный С низкой сложностью
Взаимный 3 3
Внутренний 3 3

[0015] Поскольку TU-сегмент является независимым от PU-сегмента и разрешенная максимальная глубина, т.е. max RQT depth, составляет 3, текущий синтаксис для остаточного дерева квадрантов, transform_tree(), достаточно усложняется. Это приводит к высокой сложности кодирования, а также увеличивает время для обработки синтаксиса остаточного дерева квадрантов. Кроме того, некоторые элементы синтаксиса, связанные с деревом преобразования, к примеру, max RQT depth для взаимного режима, max RQT depth для внутреннего режима, max TU size и min TU size, должны отправляться в заголовке уровня последовательности (SPS), как показано в таблице 2. Соответственно, желательно разрабатывать схему представления TU, которая должна приводить к меньшей сложности.

Таблица 2
log2_min_transform_block_size_minus2 ue(v)
log2_diff_max_min_transform_block_size ue(v)
max_transform_hierarchy_depth_inter ue(v)
max_transform_hierarchy_depth_intra ue(v)

[0016] В первом варианте осуществления согласно настоящему изобретению, максимальная ширина и высота TU равны минимуму (PU_width, PU_height) за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N. Поскольку TU всегда является квадратной, максимальная ширина и максимальная высота TU являются идентичными. Согласно этой схеме представления TU, для CU 2N×2N и типа PU-сегмента N×2N, 2N×N или N×N, TU, используемая для того, чтобы преобразовывать CU, составляет N×N. Для CU 2N×2N TU-размер может составлять 2N×2N или N×N, и выбор может быть передан в служебных сигналах посредством "split_transform_flag". Чтобы включать настоящее изобретение, синтаксис дерева преобразования должен быть модифицирован. Пример синтаксиса дерева преобразования, осуществляющего настоящее изобретение, показывается на фиг. 3A-B. На фиг. 3A секция 310 синтаксиса, которая остается идентичной с секцией синтаксиса в исходном синтаксисе по фиг. 2A, опускается на фиг. 3A. Когда residualDataPresentFlag указывает присутствие остаточных данных, split_transform_flag задается равным 1. Обработка на основе дерева преобразования продолжает проверять то, равна или нет глубина преобразования, trafoDepth, 0, и представляет собой или нет режим PU-сегмента, PartMode, PART_2N×2N, как показано в секции 320 синтаксиса на фиг. 3A. Если оба условия являются истинными, элемент синтаксиса split_transform_flag включается. Если любое условие является ложью, процесс дополнительно тестирует вторые наборы условий касательно того, равно или нет trafoDepth 0, и задается или нет split_transform_flag так, как показано в секции 330 синтаксиса на фиг. 3A.

[0017] Производительность кодирования системы, осуществляющей модифицированную схему представления TU согласно настоящему изобретению, сравнивается с эталонной тестовой моделью HM версии 2.0. Производительность с точки зрения BD-скорости для YUV-компонентов сравнивается с использованием моделирования на основе набора стандартных тестовых данных, называемых "класс A - класс E", как показано в таблице 3A для внутреннего прогнозирования, в таблице 3B для настройки для произвольного доступа и в таблице 3C для настройки для низкой задержки. Кроме того, системы моделирования, используемые для того, чтобы сравнивать производительность, сконфигурированы для высокоэффективного (HE) режима работы. В таблицах положительное значение RD-скорости указывает потери эффективности кодирования.

Таблица 3A
Внутренний
Y BD-скорость U BD-скорость V BD-скорость
Класс A 0,1 0,0 0,1
Класс B 0,1 0,0 0,1
Класс C 0,1 0,2 0,2
Класс D 0,1 0,1 0,1
Класс E 0,2 0,6 0,3
Все 0,1 0,2 0,1
Время кодирования [%] 96%
Время декодирования [%] 100%

[0018] RD-скорости, показанные в таблицах 3A-C, указывают небольшие потери эффективности кодирования, вызываемые модифицированной схемой представления TU. Тем не менее, заметное уменьшение времени кодирования достигается посредством модифицированной схемы представления TU. Следовательно, модифицированная схема представления TU демонстрирует оптимальный компромисс между сложностью и производительностью.

[0019] Во втором варианте осуществления согласно настоящему изобретению, максимальная ширина и высота TU равны максимуму (PU_width, PU_height), а минимальная ширина и высота TU равны минимуму (PU_width, PU_height) за исключением CU 2N×2N с типами сегментов 2N×2N, N×2N или 2N×N. Для CU 2N×2N с типами сегментов 2N×2N, N×2N или 2N×N TU может составлять 2N×2N или N×N, и выбор TU-размера указывается посредством split_transform_flag. Если PU-размер N×N разрешается и выбирается, нет необходимости отправлять split_transform_flag. Чтобы включать настоящее изобретение, синтаксис дерева преобразования должен быть модифицирован. Пример синтаксиса дерева преобразования, осуществляющего настоящее изобретение, показывается на фиг. 4. Секции синтаксиса, которые являются идентичными с исходными секциями синтаксиса на фиг. 2A-B, опускаются. Когда residualDataPresentFlag указывает присутствие остаточных данных, split_transform_flag задается равным 1, как показано в секции 410 синтаксиса на фиг. 4. Условия касаются того, равна или нет глубина преобразования 0, и представляет собой или нет режим PU-сегмента N×N, как показано в секции 420 синтаксиса.

[0020] Производительность кодирования системы, осуществляющей модифицированную схему представления TU согласно настоящему изобретению, также сравнивается с эталонной тестовой моделью HM версии 2.0. Производительность с точки зрения BD-скорости для YUV-компонентов сравнивается с использованием моделирования на основе набора стандартных тестовых данных, называемых "класс A - класс E", как показано в таблице 4A для внутреннего прогнозирования, в таблице 4B для настройки для произвольного доступа и в таблице 4C для настройки для низкой задержки. Кроме того, системы моделирования, используемые для того, чтобы сравнивать производительность, сконфигурированы для высокоэффективного режима работы. В таблицах положительное значение RD-скорости указывает потери эффективности кодирования.

Таблица 4A
Внутренний
Y BD-ско-рость U BD-ско-рость V BD-ско-рость
Класс A 0,1 0,0 0,1
Класс B 0,1 0,0 0,1
Класс C 0,1 0,2 0,2
Класс D 0,1 0,1 0,1
Класс E 0,2 0,6 0,3
Все 0,1 0,2 0,1
Время кодиро-вания [%] 96%
Время декодиро-
вания [%]
100%

[0021] RD-скорости, показанные в таблицах 4A-C, указывают небольшие потери эффективности кодирования, вызываемые модифицированной схемой представления TU. Тем не менее, заметное уменьшение времени кодирования достигается посредством модифицированной схемы представления TU. Следовательно, модифицированная схема представления TU демонстрирует оптимальный компромисс между сложностью и производительностью.

[0022] В третьем варианте осуществления согласно настоящему изобретению, TU-глубина меньше максимальной разрешенной глубины для обоих режимов взаимного и внутреннего прогнозирования. Например, в то время как максимальная разрешенная TU-глубина составляет 3 в HM версии 2.0, вариант осуществления согласно настоящему изобретению может ограничивать TU-глубину 2. В случае если TU-глубина ограничивается 2, размер преобразования может составлять 2N×2N или N×N с ограничением максимального TU-размера 32Ч32.

[0023] Производительность кодирования системы, включающей третий вариант осуществления модифицированной схемы представления TU, также сравнивается с эталонной тестовой моделью HM версии 2.0. Производительность с точки зрения BD-скорости для YUV-компонентов сравнивается с использованием моделирования на основе набора стандартных тестовых данных, называемых "класс A - класс E", как показано в таблице 5A для внутреннего прогнозирования, в таблице 5B для настройки для произвольного доступа и в таблице 5C для настройки для низкой задержки. Кроме того, системы моделирования, используемые для того, чтобы сравнивать производительность, сконфигурированы для высокоэффективного режима работы. В вышеуказанных таблицах положительное значение RD-скорости указывает потери эффективности кодирования.

Таблица 5A
Взаимный=2
Внутренний=2
Внутренний
Y BD-скорость U BD-скорость V BD-скорость
Класс A 0,1 0,1 0,1
Класс B 0,1 0 0
Класс C 0,1 0,2 0,2
Класс D 0,1 0,1 0
Класс E 0,2 0,5 0,4
Все 0,1 0,1 0,1
Время кодирова-ния [%] 95%
Время декодиро-вания [%] 100%

[0024] RD-скорости, показанные в таблицах 5A-C, указывают небольшие потери эффективности кодирования, вызываемые модифицированной схемой представления TU. Тем не менее, заметное уменьшение времени кодирования достигается посредством модифицированной схемы представления TU. Следовательно, модифицированная схема представления TU демонстрирует оптимальный компромисс между сложностью и производительностью.

[0025] В HM версии 2.0 для HEVC оптимизация искажения в зависимости от скорости передачи (RDO) с высокой сложностью используется для решения по выбору режима для режимов объединения CU 2N×2N. RDO-процесс состоит из следующих этапов:

1. Компенсация движения с использованием вектора движения варианта объединения;

2. Иерархическое преобразование с использованием остаточного дерева квадрантов (RQT);

3. Сканирование и кодирование коэффициентов;

4. Вычисление R-D-затрат с использованием скорости передачи битов и искажения:

Jmode=SSD(MV)+λmode*(R(MV)),

где MV является вектором движения для варианта объединения;

R является битовой скоростью для кодирования CU 2N×2N с использованием варианта объединения; и

SSD (сумма квадратов разностей) является измерением искажения.

5. Выбор наилучшего варианта объединения, имеющего наименьшие R-D-затраты;

6. Сравнение R-D-затрат с другими режимами (пропуска, взаимным и внутренним) и выбор наилучшего режима с наименьшими R-D-затратами.

[0026] Число вариантов объединения составляет вплоть до 5 в текущем программном обеспечении для HEVC, HM версии 2.0. Для объединения CU 2N×2N полностью вычисляются RD-затраты для каждого варианта объединения (т.е. скорость и искажение вычисляются посредством выполнения процесса кодирования, включающего в себя преобразование, квантование и энтропийное кодирование), с тем чтобы определять наилучший вариант объединения (индекс объединения). Для объединения CU N×2N или CU 2N×N быстрая оценка используется для того, чтобы определять индекс объединения, при этом фактические RD-затраты (из полного кодирования) вычисляются только один раз для выбранного варианта объединения.

[0027] В четвертом варианте осуществления согласно настоящему изобретению, способ для снижения вычислительной сложности кодирования осуществляется посредством упрощения R-D-оптимизации. Согласно четвертому варианту осуществления представления, вычисления затрат, ассоциированных с RD-оптимизацией для выбора наилучшего варианта объединения для режима объединения CU 2N×2N, основаны на оценке. Пример реализации упрощенного способа R-D-оптимизации показан на следующих этапах:

1. Компенсация движения с использованием вектора движения варианта объединения для каждого варианта объединения;

2. Вычисление затрат на оценку движения;

Jmotion=SAD(MV)+λmotion*(R(MV)),

где MV является вектором движения для варианта объединения;

R является битовой скоростью для кодирования MV с использованием варианта объединения; и

SAD (сумма абсолютных разностей) является измерением искажения.

3. Выбор наилучшего варианта объединения с наименьшими затратами на оценку движения;

4. Иерархическое преобразование с использованием RQT для наилучшего варианта объединения;

5. Сканирование и кодирование коэффициентов для наилучшего варианта объединения;

6. Вычисление битовой скорости и искажения для наилучшего варианта объединения; и

7. Сравнение R-D-затрат с другими режимами (пропуска, взаимным и внутренним) и выбор наилучшего режима с наименьшими R-D-затратами.

[0028] Как показано на вышеуказанных этапах, затраты на оценку движения, ассоциированные с вектором движения каждого варианта объединения, вычисляются вместо R-D-затрат, как в традиционном подходе. Затраты на оценку движения используются для того, чтобы выбирать наилучший вариант объединения, и полные R-D-затраты достигаются только для наилучшего варианта объединения. Вычисления для затрат на оценку движения гораздо меньше вычислений для R-D-затрат. Следовательно, вычислительная сложность для выбора наилучшего варианта объединения согласно четвертому варианту осуществления уменьшается.

[0029] Производительность кодирования системы, включающей вариант осуществления упрощенной R-D-оптимизации, сравнивается с эталонной тестовой моделью HM версии 2.0. Производительность с точки зрения BD-скорости для YUV-компонентов сравнивается с использованием моделирования на основе набора стандартных тестовых данных, называемых "класс A - класс E", как показано в таблице 6A для настройки для произвольного доступа и в таблице 6B для настройки для низкой задержки. Кроме того, системы моделирования, используемые для того, чтобы сравнивать производительность, сконфигурированы для высокоэффективного режима работы. В таблицах положительное значение RD-скорости указывает потери эффективности кодирования. Как показано в 6A-B таблицах, средняя экономия общего времени кодирования составляет приблизительно 6-7% с увеличением BD-скорости на 0,2-0,3% по сравнению HEVC HM версии 2.0, сконфигурированной для высокоэффективного режима.

[0030] Чтобы осуществлять на практике первый, второй и третий варианты осуществления настоящего изобретения, элемент синтаксиса, split_transform_flag, включается в кодированный битовой поток видео, так что декодер, осуществляющий настоящее изобретение, может надлежащим образом декодировать битовой поток видео. Например, декодер может извлекать размер единицы кодирования и тип сегмента из кодированных видеоданных для единицы кодирования. На основе размера единицы кодирования и типа сегмента декодер может определять то, имеется или нет split_transform_flag. Когда split_transform_flag присутствует, split_transform_flag используется для определения сегмента единиц преобразования. В противном случае, сегмент единиц преобразования определяется согласно соответствующим правилам различных вариантов осуществления. Кроме того, первый, второй и третий варианты осуществления настоящего изобретения исключают необходимость включения некоторых связанных с деревом преобразования элементов синтаксиса, включая max RQT depth для взаимного режима, max RQT depth для внутреннего режима, max TU size и min TU size, в заголовок уровня последовательности (SPS). Относительно четвертого варианта осуществления согласно настоящему изобретению, это влияет только на процесс выбора наилучшего варианта объединения в кодере.

[0031] В раскрытии, приведенном в данном документе, описываются несколько вариантов осуществления модифицированной схемы представления TU с уменьшенной вычислительной сложностью, в которых размер TU связан с размером PU за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N. Согласно первому варианту осуществления настоящего изобретения, размер единицы преобразования равен минимуму (PU_width, PU_height) за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N. Согласно второму варианту осуществления настоящего изобретения, максимальный размер единицы преобразования равен максимуму (PU_width, PU_height), и минимальный размер единицы преобразования равен минимуму (PU_width, PU_height), за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N. Согласно третьему варианту осуществления настоящего изобретения, размер единицы преобразования выбирается между 2N×2N и N×N для типов сегментов 2N×2N, 2N×N, N×2N и N×N. Согласно четвертому варианту осуществления настоящего изобретения, раскрывается способ для снижения вычислительной сложности кодирования посредством упрощения R-D-оптимизации. Варианты осуществления видеосистем, включающих кодирование или декодирование модифицированной схемы представления TU с уменьшенной вычислительной сложностью согласно настоящему изобретению, как описано выше, могут быть реализованы в различных аппаратных средствах, в программных кодах или в комбинации означенного. Например, вариант осуществления настоящего изобретения может представлять собой схему, интегрированную в кристалл для сжатия видео, или программные коды, интегрированные в программное обеспечение для сжатия видео, чтобы выполнять обработку, описанную в данном документе. Вариант осуществления настоящего изобретения также может представлять собой программные коды, которые должны выполняться в процессоре цифровых сигналов (DSP), чтобы выполнять обработку, описанную в данном документе. Изобретение также может заключать в себе ряд функций, которые должны быть выполнены посредством процессора компьютера, процессора цифровых сигналов, микропроцессора или программируемой пользователем вентильной матрицы (FPGA). Эти процессоры могут быть выполнены с возможностью осуществлять конкретные задачи согласно изобретению посредством выполнения машиночитаемого программного кода или микропрограммного кода, который задает конкретные способы, осуществленные посредством изобретения. Программный код или микропрограммные коды могут быть разработаны на различных языках программирования и в различном формате или стиле. Программный код также может быть компилирован для различных целевых платформ. Тем не менее, различные форматы кода, стили и языки программных кодов, а также другие средства конфигурирования кода для того, чтобы выполнять задачи в соответствии с изобретением, не должны отступать от сущности и объема изобретения.

[0032] Изобретение может быть осуществлено в других характерных формах без отступления от сущности или важнейших характеристик. Описанные примеры должны рассматриваться во всех отношениях только как иллюстративные, а не ограничивающие. Следовательно, объем изобретения определяется прилагаемой формулой изобретения, а не вышеприведенным описанием. Все изменения, которые подпадают под смысл и рамки равнозначности формулы изобретения, должны охватываться ее объемом.

1. Способ обработки единицы преобразования видеоданных, содержащий этапы, на которых:
принимают единицу кодирования видеоданных;
сегментируют единицу кодирования на одну или более единиц прогнозирования (PU) согласно типу сегмента 2N×2N, 2N×N, N×2N или N×N, при этом режим прогнозирования для обработки прогнозирования упомянутых одной или более единиц прогнозирования определяется для каждой из упомянутых одной или более единиц прогнозирования; и
сегментируют единицу кодирования на одну или более единиц преобразования, при этом размер упомянутых одной или более единиц преобразования связан с размером единицы кодирования и размером упомянутых одной или более единиц прогнозирования таким образом, что ширина и высота упомянутых одной или более единиц преобразования равны минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

2. Способ по п. 1, в котором элемент синтаксиса используется для единицы кодирования 2N×2N с типом сегмента 2N×2N, чтобы указывать выбор между 2N×2N и N×N для ширины и высоты упомянутых одной или более единиц преобразования.

3. Способ по п. 1, в котором элемент синтаксиса опускается для типа сегмента 2N×N, N×2N и N×N, и ширина и высота упомянутых одной или более единиц преобразования логически выводятся как составляющие N×N.

4. Способ по п. 1, в котором максимальная ширина и высота упомянутых одной или более единиц преобразования равны максимуму из ширины PU и высоты PU, и минимальная ширина и высота упомянутых одной или более единиц преобразования равны минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

5. Способ по п. 4, в котором элемент синтаксиса используется для типов сегментов 2N×2N, 2N×N и N×2N, чтобы указывать выбор между 2N×2N и N×N для ширины и высоты упомянутых одной или более единиц преобразования.

6. Способ по п. 4, в котором элемент синтаксиса опускается для типа сегмента N×N, и ширина и высота упомянутых одной или более единиц преобразования логически выводятся как составляющие N×N.

7. Способ по п. 1, в котором размер упомянутых одной или более единиц преобразования выбирается между 2N×2N и N×N для типов сегментов 2N×2N, 2N×N, N×2N и N×N.

8. Способ по п. 7, в котором элемент синтаксиса используется для того, чтобы указывать размер упомянутых одной или более выбранных единиц преобразования.

9. Способ декодирования битового потока видео, в котором размер единицы преобразования зависит от размера единицы прогнозирования, при этом способ содержит этапы, на которых:
принимают кодированные данные, ассоциированные с единицей кодирования в битовом потоке видео;
определяют размер единицы кодирования из кодированных данных, ассоциированных с единицей кодирования;
определяют сегмент PU (единиц прогнозирования) из типов сегментов 2N×2N, 2N×N, N×2N и N×N, ассоциированных с единицей кодирования;
определяют, имеется или нет элемент синтаксиса в кодированных данных, согласно размеру единицы кодирования и типу сегмента, при этом элемент синтаксиса используется для выбора сегмента единиц преобразования;
определяют значение элемента синтаксиса, если элемент синтаксиса имеется; и
определяют сегмент единиц преобразования, ассоциированный с единицей кодирования, согласно размеру единицы кодирования, типу сегмента и значению элемента синтаксиса.

10. Способ по п. 9, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

11. Способ по п. 10, в котором сегмент единиц преобразования обусловливает то, что одна или более единиц преобразования имеют ширину и высоту, которая равна минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

12. Способ по п. 9, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N, 2N×N или N×2N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

13. Способ по п. 12, в котором сегмент единиц преобразования обусловливает то, что одна или более единиц преобразования имеют максимальную ширину и высоту, которая равна максимуму из ширины PU и высоты PU, и имеют минимальную ширину и высоту, которая равна минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

14. Способ по п. 9, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и тип сегмента представляет собой 2N×2N, 2N×N, N×2N или N×N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

15. Устройство для обработки единицы преобразования видеоданных, содержащее:
средство для приема единицы кодирования видеоданных;
средство для сегментирования единицы кодирования на одну или более единиц прогнозирования (PU) согласно типу сегмента 2N×2N, 2N×N, N×2N или N×N, при этом режим прогнозирования для обработки прогнозирования упомянутых одной или более единиц прогнозирования определяется для каждой из упомянутых одной или более единиц прогнозирования; и
средство для сегментирования единицы кодирования на одну или более единиц преобразования, при этом размер упомянутых одной или более единиц преобразования связан с размером единицы кодирования и размером упомянутых одной или более единиц прогнозирования таким образом, что ширина и высота упомянутых одной или более единиц преобразования равны минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

16. Устройство по п. 15, в котором элемент синтаксиса используется для единицы кодирования 2N×2N с типом сегмента 2N×2N, чтобы указывать выбор между 2N×2N и N×N для ширины и высоты упомянутых одной или более единиц преобразования.

17. Устройство по п. 15, в котором максимальная ширина и высота упомянутых одной или более единиц преобразования равны максимуму из ширины PU и высоты PU, и минимальная ширина и высота упомянутых одной или более единиц преобразования равны минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

18. Устройство по п. 17, в котором элемент синтаксиса используется для типов сегментов 2N×2N, 2N×N и N×2N, чтобы указывать выбор между 2N×2N и N×N для ширины и высоты упомянутых одной или более единиц преобразования.

19. Устройство по п. 15, в котором размер упомянутых одной или более единиц преобразования выбирается между 2N×2N и N×N для типов сегментов 2N×2N, 2N×N, N×2N и N×N.

20. Устройство по п. 19, в котором элемент синтаксиса используется для того, чтобы указывать размер упомянутых одной или более выбранных единиц преобразования.

21. Устройство декодирования битового потока видео, в котором размер единицы преобразования зависит от размера единицы прогнозирования, причем устройство содержит:
средство для приема кодированных данных, ассоциированных с единицей кодирования в битовом потоке видео;
средство для определения размера единицы кодирования из кодированных данных, ассоциированных с единицей кодирования;
средство для определения сегмента PU (единиц прогнозирования) из типов сегментов 2N×2N, 2N×N, N×2N и N×N, ассоциированных с единицей кодирования;
средство для определения того, имеется или нет элемент синтаксиса в кодированных данных, согласно размеру единицы кодирования и типу сегмента, при этом элемент синтаксиса используется для выбора сегмента единиц преобразования;
средство для определения значения элемента синтаксиса, если элемент синтаксиса имеется; и
средство для определения сегмента единиц преобразования, ассоциированного с единицей кодирования, согласно размеру единицы кодирования, типу сегмента и значению элемента синтаксиса.

22. Устройство по п. 21, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

23. Устройство по п. 22, в котором сегмент единиц преобразования обусловливает то, что одна или более единиц преобразования имеют ширину и высоту, которая равна минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

24. Устройство по п. 21, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N, 2N×N или N×2N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

25. Устройство по п. 24, в котором сегмент единиц преобразования обусловливает то, что одна или более единиц преобразования имеют максимальную ширину и высоту, которая равна максимуму из ширины PU и высоты PU, и имеют минимальную ширину и высоту, которая равна минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

26. Устройство по п. 21, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и тип сегмента представляет собой 2N×2N, 2N×N, N×2N или N×N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.



 

Похожие патенты:

Изобретение относится к видеокодированию. Технический результат - эффективное кодирование информации цифрового видео для снижения или устранения избыточности, присущей видеопоследовательностям.

Изобретение относится к вычислительной технике. Технический результат заключается в снижении сложности реализации процесса предсказания векторов движения.

Изобретение относится к средствам кодирования параметра квантования изображений. Техническим результатом является повышение эффективности кодирования параметра квантования.

Изобретение относится к средствам кодирования сигналов изображения. Техническим результатом является упрощение детектирования границ изображения в зависимом потоке битов.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении защищенного временного доступа к элементам содержимого, перечисленным в чарте, исключающий несанкционированный доступ пользователя к элементам содержимого, в том числе во время распределения элементов содержимого.

Изобретение относится к области обработки цифровых изображений. Технический результат - обеспечение увеличения быстродействия и эффективности сжатия изображений, устранение потери целостности изображения и сохранение контрастности границ между различными объектами изображения.

Изобретение относится к технологиям кодирования и декодирования видео. Техническим результатом является повышение эффективности кодирования или декодирования за счет адаптации местоположений интерполяции в зависимости от свойства входного изображения.

Изобретение относится к средствам кодирования видео. Техническим результатом является устранение избыточности в видеопоследовательности за счет ограничения количества буферизующейся во время кодирования информации предсказания из соседних блоков.

Изобретение относится к средствам кодирования и декодирования видеоданных. Техническим результатом является уменьшение числа битов, используемых для сигнализации параметров фильтра удаления блочности.

Изобретение относится к средствам кодирования видео. Техническим результатом является повышение качества изображения при кодировании.

Изобретение относится к системам распространения медиаконтента абонентам, используя разные схемы шифрования и/или кодирования для разных устройств, например телевизоров, блокнотных компьютеров и мобильных телефонов. Техническим результатом является представление гибких механизмов сигнализации для защиты контента в средах адаптивной потоковой передачи данных, например MPEG-DASH, и включает в себя новый подход для обеспечения поздней привязки векторов инициализации. Предложено устройство для декодирования медиапотока, выполненного с возможностью принять медиапоток, содержащий сигнальную информацию сегментов и множество сегментов, где множество сегментов содержит кодированные и некодированные сегменты, при этом сигнальная информация сегментов содержит идентификацию по меньшей мере двух групп сегментов, причем каждая содержит по меньшей мере один сегмент, идентифицировать по меньшей мере одну группу сегментов, используя сигнальную информацию сегментов в медиапотоке, идентифицировать по меньшей мере один алгоритм декодирования сегментов для по меньшей мере одной группы сегментов, идентифицировать по меньшей мере один ключ декодирования для по меньшей мере группы сегментов и декодировать каждый кодированный сегмент в по меньшей мере группе сегментов, используя по меньшей мере алгоритм декодирования сегментов и по меньшей мере один ключ декодирования. 3 н. и 17 з.п. ф-лы, 6 ил., 2 табл.

Изобретение относится к приему и дешифрованию аудио-видео контента. Техническим результатом является скрытая передача некоторых пакетов так, что пользователь об этом не знает, что позволяет передавать приемнику данные, которые потенциальному хакеру трудно обнаружить и использовать незаконным образом. Указанный технический результат достигается тем, что принимают кодированный аудио-видео контент в виде потока пакетированных данных, содержащего одну или более программ, имеющих пакеты данных, идентифицируемые посредством соответствующих наборов из одного или более идентификаторов пакетов, и содержащего идентификационные данные, устанавливающие соответствие между программами и соответствующими наборами идентификаторов пакетов; выбирают пакеты данных из потока пакетированных данных для требуемой программы в соответствии с набором идентификаторов пакетов, определяемым идентификационными данными для этого потока в отношении требуемой программы; выбирают дополнительные пакеты данных из потока пакетированных данных, из которого выбрана программа, содержащие идентификаторы пакетов, не включенные в идентификационные данные для этого потока пакетированных данных; генерируют составной поток пакетированных данных из выбранных пакетов; генерируют идентификационные данные составного потока, указывающие идентификаторы пакетов, включенных в составной поток пакетированных данных, и подают составной поток пакетированных данных в декодер контента для декодирования программы из составного потока пакетированных данных согласно идентификаторам пакетов, содержащимся в идентификационных данных составного потока. 3 н. и 13 з.п. ф-лы, 24 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в предотвращении ухудшения субъективного качества изображения для декодированного изображения. Устройство обработки изображений содержит устанавливающий модуль для установки, на основе значения, указывающего минимальный размер элемента кодирования, для которого установлен разностный параметр квантования, текущего параметра квантования для текущего элемента кодирования, сформированного посредством рекурсивного разделения наибольшего элемента кодирования на меньшие элементы кодирования в качестве разделения элемента; модуль квантования для квантования данных изображения для генерирования квантованных данных с использованием указанного текущего параметра квантования и кодирующий модуль для кодирования сгенерированных квантованных данных в указанном текущем элементе кодирования для генерирования кодированного потока данных. 2 н. и 20 з.п. ф-лы, 43 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности кодирования за счёт обеспечения параллельной обработки. Способ кодирования видеоданных, содержащий разделение изображения на множество разделов изображения, при этом изображение содержит множество древовидных блоков, причем разделы изображения связаны с неперекрывающимися поднаборами древовидных блоков указанного изображения; и создание блока уровня абстракции сети (NAL) кодированного слайса, который включает в себя кодированные представления древовидных блоков, связанные со слайсом указанного изображения, причем кодированные представления древовидных блоков сгруппированы в блоке NAL кодированного слайса в сегменты, связанные с разными разделами изображения, причем один или более из указанных сегментов заполнены незначащей информацией, так что каждый из сегментов начинается на границе байта, указанные сегменты включают в себя заданный сегмент, и создание блока NAL кодированного слайса содержит выполнение операции заполнения незначащей информацией, которая присоединяет биты к заданному сегменту, если следующий древовидный блок находится внутри указанного слайса и связан с другим разделом изображения, отличным от заданного сегмента. 8 н. и 23 з.п. ф-лы, 8 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в сокращении количества контекстов контекстно-адаптивного бинарного арифметического кодирования (САВАС), используемых для одного или нескольких синтаксических элементов без существенного влияния на эффективность кодирования. Способ кодирования видеоданных содержит определение типа разделения для режима предсказания для блока видеоданных; кодирование структурного элемента типа разделения синтаксического элемента типа предсказания для блока видеоданных с использованием САВАС с одним контекстом, причем один контекст является тем же самым для любого типа разделения, и кодирование структурного элемента размера разделения синтаксического элемента типа предсказания для блока видеоданных с использованием САВАС в режиме обхода. 8 н. и 24 з.п. ф-лы, 10 ил., 22 табл.

Изобретение относится к технологиям кодирования и декодирования видео. Техническим результатом является повышение эффективности кодирования или декодирования за счет сокращения числа контекстов контекстно-адаптированного бинарного арифметического кодирования (CABAC), которое используется для одного или нескольких синтаксических элементов. Предложен способ кодирования видеоданных. Способ включает в себя этап, на котором определяют первый тип предсказания для блока видеоданных в Р сегменте и представляют первый тип предсказания как синтаксический элемент типа предсказания Р сегмента. Далее, согласно способу определяют второй тип предсказания для блока видеоданных в B сегменте и представляют второй тип предсказания как синтаксический элемент типа предсказания В сегмента, а также, осуществляют определение бинаризации Р сегмента для синтаксического элемента типа предсказания Р сегмента и осуществляют определение бинаризации В сегмента для синтаксического элемента типа предсказания B сегмента. 8 н. и 32 з.п. ф-лы, 10 ил., 22 табл.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности кодирования слоя улучшения. Способ кодирования структуры CU (единицы кодирования), кодирования информации режима или кодирования информации движения для масштабируемого кодирования видео, в котором видеоданные конфигурируются в базовый слой (BL) и слой (EL) улучшения, и при этом EL имеет более высокое пространственное разрешение или лучшее качество видео, чем BL, при этом в способе: определяют структуру CU (структуру единицы кодирования), режим, информацию движения или комбинацию структуры CU, режима и информации движения для CU (единицы кодирования) в BL; и определяют структуру CU, режим, информацию предиктора вектора движения (MVP) или комбинацию структуры CU, режима и информации MVP для соответствующей CU в EL на основе структуры CU, режима, информации движения, или комбинации структуры CU, режима и информации движения для CU в BL, соответственно; при этом режим представляет собой режим пропуска, режим слияния или внутренний режим. 6 н. и 30 з.п. ф-лы, 11 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в снижении времени обработки и потребления энергии. Способ кодирования видеоданных содержит выполнение операции заполнения неинформативными символами, которая обрабатывает множество краевых пикселов согласно порядку, который начинается с нижнего-левого краевого пиксела и проходит через краевые пикселы последовательно до верхнего-правого краевого пиксела, причем, когда операция заполнения неинформативными символами обрабатывает недоступный краевой пиксел, отличающийся от нижнего-левого краевого пиксела и отличающийся от верхнего-правого краевого пиксела, операция заполнения неинформативными символами назначает значение недоступному краевому пикселу на основе значения краевого пиксела, ранее обработанного операцией заполнения неинформативными символами, без поиска следующего доступного краевого пиксела; и генерацию, на основе краевых пикселов, видеоблока, предсказанного с помощью внутреннего предсказания. 4 н. и 25 з.п. ф-лы, 15 ил.

Изобретение относится к видеокодированию и, в частности, к фильтрации с адаптивным смещением отсчетов в процессе видеокодирования. Техническим результатом является повышение эффективности кодирования за счет адаптивного определения группировок полос на основе значения центра. Видеокодер, сконфигурированный для выполнения фильтрации с адаптивным смещением отсчетов, может определить значение центра для набора пикселей на основе значений пикселей в этом наборе, разделить полосы значений пикселей на группы на основе указанного значения центра и определить значения смещения для упомянутых полос на основе упомянутых групп. 4 н. и 33 з.п. ф-лы, 7 ил.

Изобретение относится к технологиям кодирования и декодирования видео. Техническим результатом является повышение эффективности декодирования видео за счет выполнения параллельного предсказания путем генерации оценочного списка кандидатов. Предложено устройство декодирования видео. Устройство содержит модуль предсказания для получения, основываясь на блоке кодирования, по меньшей мере, одного кандидата слияния из пространственного кандидата слияния и временного кандидата слияния, на основе информации об уровне параллельного слияния. Причем уровень параллельного слияния представляет собой уровень, на котором применима обработка параллельного слияния. Модуль предсказания генерирует один список кандидатов слияния для блока предсказания блока кодирования, основываясь на кандидате слияния. 2 н. и 8 з.п. ф-лы, 23 ил., 6 табл.
Наверх