Объединенная обработка масштабируемости для многослойного кодирования видео

Изобретение относится к области обработки видеосигналов. Технический результат – обеспечение повышения качества видеосигнала. Способ межслойной обработки видеосигнала содержит этапы, на которых: принимают видеосигнал, содержащий базовый слой (BL) и слой улучшения (EL); реконструируют картинку BL; выполняют первую межслойную обработку, используя объединенный модуль обработки, который одновременно выполняет процессы обратного отображения тона и масштабируемости преобразования цветовой гаммы с использованием трехмерной (3D) поисковой таблицы (LUT) на основе битовой глубины элемента дискретизации входного компонента яркости и битовой глубины элемента дискретизации входных компонентов цветности, битовой глубины элемента дискретизации выходного компонента яркости и битовой глубины элемента дискретизации выходных компонентов цветности, причем процессы масштабируемости преобразования цветовой гаммы содержат масштабирование реконструированной картинки BL из первой цветовой гаммы до второй цветовой гаммы, которая охватывает более широкий объем цветов; и выполняют вторую межслойную обработку в отношении выходных данных первой межслойной обработки, используя модуль обработки повышающей дискретизации. 2 н. и 10 з.п. ф-лы, 21 ил.

 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка испрашивает приоритет по Предварительной Заявке США № 61/887,782, поданной 07 октября 2013г., и Предварительной Заявке США № 62/045,495, поданной 03 сентября 2014г., которые во всей своей полноте включены в настоящее описание посредством ссылки.

УРОВЕНЬ ТЕХНИКИ

[0002] По мере развития технологии цифрового дисплея, продолжают увеличиваться разрешения дисплея. Например, потоки цифрового видео высокой четкости (HD), которые в последнее время воплощают наилучшее доступное коммерческое разрешение дисплея, готовы затмить дисплеи сверхвысокой четкости (UHD) (например, 4K дисплеи, 8K дисплеи, и т.д.).

[0003] Системы кодирования видео часто используются, чтобы сжимать цифровые видеосигналы, например, чтобы сократить расходуемое пространство для хранения и/или сократить расход полосы пропускания передачи, ассоциированной с такими сигналами. Масштабируемое кодирование видео (SVC) было показано, чтобы улучшить качество восприятия применительно к видео приложениям, работающим на устройствах с разными возможностями, через неоднородные сети. Масштабируемое кодирование видео может расходовать меньшее количество ресурсов (например, полосу пропускания сети связи, хранилище, и т.д.), в сравнении с методиками не масштабируемого кодирования видео.

[0004] Известные реализации кодирования видео SVC (например, которые используют пространственную масштабируемость) доказали свою эффективность для кодирования видеосигналов HD, но показывают недостатки при обработке цифровых видеосигналов, которые выходят за рамки разрешения HD, например, видеосигналов UHD.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Система кодирования видео может выполнять межслойную обработку. Система кодирования видео может одновременно выполнять процессы масштабируемости обратного отображения тона и преобразования цветовой гаммы в отношении слоя упомянутого видеосигнала. Система кодирования видео может выполнять повышающую дискретизацию в отношении слоя видеосигнала. Например, процесс повышающей дискретизации может быть выполнен после объединенных процессов масштабируемости обратного отображения тона и преобразования цветовой гаммы. Используемое в данном документе кодирование может включать в себя кодирование и/или декодирование.

[0006] Например, объединенный модуль обработки может быть использован, чтобы одновременно выполнять процессы масштабируемости обратного отображения тона и преобразования цветовой гаммы на нижнем слое, таком как базовый слой. Объединенный модуль обработки может брать в качестве входных данных битовую глубину элемента дискретизации входного компонента яркости и битовую глубину элемента дискретизации входного компонента(ов) цветности и может вычислять битовую глубину элемента дискретизации выходного компонента яркости и битовую глубину элемента дискретизации выходного компонента(ов) цветности на основании входных данных. Выходные данные (например, видео, содержащее выходной компонент яркости и выходные компоненты цветности), и/или указание выходных данных (например, один или более параметры, указывающие битовые глубины элемента дискретизации выходных компонентов яркости и цветности), и/или указание выходных данных, объединенного модуля обработки могут быть отправлены к модулю обработки повышающей дискретизации для повышающей дискретизации. Обработанный базовый слой может быть использован, чтобы кодировать слой улучшения. Обработанный базовый слой может быть использован, чтобы предсказывать слой улучшения.

[0007] Система кодирования видео может выполнять преобразование цвета из первого цветового пространства во второе цветовое пространство. Например, могут быть извлечены значения цветового компонента, такого как компонент яркости и/или компонент(ы) цветности, для пикселя. Значения цветового компонента могут быть представлены с разными битовыми глубинами. Битовые глубины могут быть выровнены, и значения цветового компонента могут быть преобразованы из первого цветового пространства во второе цветовое пространство, используя перекрестную цветовую (cross-color) компонентную модель. Выравнивание может быть основано на входной битовой глубине яркости, входной битовой глубине цветности, минимальной входной битовой глубине, и/или максимальной входной битовой глубине. Битовые глубины могут быть выровнены по большему значению из битовых глубин, и/или могут быть выровнены по меньшему значению из битовых глубин. При выполнении отображения цвета для компонента цветности видеосигнала, битовая глубина компонента яркости видеосигнала может быть выровнена по битовой глубине компонента цветности. При выполнении отображения цвета для компонента яркости видеосигнала, битовая глубина компонента цветности видеосигнала может быть выровнена по битовой глубине компонентов яркости.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Фиг. 1 изображает примерную систему многослойного масштабируемого кодирования видео.

[0009] Фиг. 2 изображает пример временного и межслойного предсказания для стереоскопического кодирования видео.

[0010] Фиг. 3 является таблицей примерных типов масштабируемости, которые могут быть выполнены при кодировании видео.

[0011] Фиг. 4 является таблицей технических спецификаций телевидения сверхвысокой четкости (UHDTV) и телевидения высокой четкости (HDTV).

[0012] Фиг. 5 изображает сравнение цветовых пространств телевидения сверхвысокой четкости (UHDTV) и телевидения высокой четкости (HDTV).

[0013] Фиг. 6 является таблицей, изображающей пример слоев битового потока, которые могут поддерживать масштабируемость HD до UHD.

[0014] Фиг. 7 является таблицей, изображающей другой пример слоев битового потока, которые могут поддерживать масштабируемость HD до UHD.

[0015] Фиг. 8 является упрощенной структурной схемой, иллюстрирующей примерный двухслойный масштабируемый кодер видео, который может быть выполнен с возможностью выполнения масштабируемости HD до UHD.

[0016] Фиг. 9 является упрощенной структурной схемой, иллюстрирующей примерный двухслойный масштабируемый декодер видео, который может быть выполнен с возможностью выполнения масштабируемости HD до UHD.

[0017] Фиг. 10 изображает пример межслойной обработки, используя несколько модулей обработки.

[0018] Фиг. 11 является таблицей синтаксиса, которая иллюстрирует пример сигнализации выбора и очередности обработки межслойных процессов и/или межслойных модулей обработки.

[0019] Фиг. 12 является таблицей примерных значений, которые могут быть использованы с примерной таблицей синтаксиса с Фиг. 11.

[0020] Фиг. 13 изображает пример межслойной обработки, используя объединенный модуль обработки обратного отображения тона и повышающей дискретизации.

[0021] Фиг. 14 изображает пример межслойной обработки, используя объединенный модуль обработки обратного отображения тона и преобразования цветовой гаммы.

[0022] Фиг. 15 является таблицей синтаксиса, которая иллюстрирует пример объединенной обработки преобразования цветовой гаммы и обратного отображения тона.

[0023] Фиг. 16 является таблицей примерных значений, которые могут быть использованы с примерной таблицей синтаксиса с Фиг. 11.

[0024] Фиг. 17A изображает системную схему примерной системы связи, в которой могут быть реализованы один или более раскрываемые варианты осуществления.

[0025] Фиг. 17B изображает системную схему примерного блока беспроводной передачи/приема (WTRU), который может быть использован в системе связи, иллюстрируемой на Фиг. 17A.

[0026] Фиг. 17C изображает системную схему примерной сети радиодоступа и примерной базовой сети, которые могут быть использованы в системе связи, иллюстрируемой на Фиг. 17A.

[0027] Фиг. 17D изображает системную схему примерной сети радиодоступа и примерной базовой сети, которые могут быть использованы в системе связи, иллюстрируемой на Фиг. 17A.

[0028] Фиг. 17E изображает системную схему примерной сети радиодоступа и примерной базовой сети, которые могут быть использованы в системе связи, иллюстрируемой на Фиг. 17A.

ПОДРОБНОЕ ОПИСАНИЕ

[0029] Фиг. 1 является упрощенной структурной схемой, изображающей примерную основанную на блоке гибридную систему масштабируемого кодирования видео (SVC). Пространственное и/или временное разрешение сигнала, который будет представляться слоем 1 (например, базовым слоем), может быть сгенерировано посредством понижающей дискретизации входного видеосигнала. На последующей стадии кодирования, установка квантователя, такого как Q1, может привести к уровню качества базовой информации. Один или более последующий, более высокий слой(и) может быть закодирован и/или декодирован, используя реконструкцию Y1 базового слоя, которая может представлять собой приближенное значение уровней разрешения более высокого слоя. Блок повышающей дискретизации может выполнять повышающую дискретизацию сигнала реконструкции базового слоя до разрешения слоя-2. Понижающая дискретизация и/или повышающая дискретизация может быть выполнена через множество слоев (например, для N слоев, слоев 1, 2 … N). Коэффициенты понижающей дискретизации и/или повышающей дискретизации могут быть разными, например, в зависимости от размера масштабируемости между двумя слоями.

[0030] В примерной системе масштабируемого кодирования видео на Фиг. 1, для заданного более высокого слоя n (например, 2≤n≤N, где N - общее количество слоев), разностный сигнал может быть сгенерирован посредством вычитания сигнала нижнего слоя после повышающей дискретизации (например, сигнала слоя n-1) из текущего сигнала слоя n. Данный разностный сигнал может быть закодирован. Если соответствующие видеосигналы, представленные двумя слоями, n1 и n2, имеют одно и то же пространственное разрешение, может быть выполнен обход соответствующих операций понижающей дискретизации и/или повышающей дискретизации. Заданный слой n (например, 1≤n≤N), или множество слоев, могут быть декодированы без использования декодированной информации из более высоких слоев.

[0031] Если полагаться на кодирование остаточного сигнала (например, разностного сигнала между двумя слоями) для слоев, отличных от базового слоя, например, используя примерную систему SVC с Фиг. 1, то это может вызвать визуальные артефакты. Такие визуальные артефакты могут возникать из-за, например, квантования и/или нормализации остаточного сигнала, чтобы ограничить его динамический диапазон, и/или квантования, которое выполняется во время кодирования остатка. Один или более кодеры более высокого слоя могут применять оценку движения и/или предсказание с компенсацией движения в качестве соответствующих режимов кодирования. Оценка и/или компенсация движения в остаточном сигнале может быть отличной от обычной оценки движения и может быть склонна к появлению визуальных артефактов. Для того чтобы сократить (например, минимизировать) возникновение визуальных артефактов, может быть реализовано более сложное квантование остатка, например, вместе с процессом совместного квантования, который может включать в себя как квантование и/или нормализацию остаточного сигнала, чтобы сократить динамический диапазон, так и квантование, которое выполняется во время кодирования остатка.

[0032] Масштабируемое кодирование видео может обеспечить передачу и декодирование частичных битовых потоков. Это может позволить SVC предоставлять видео услуги с более низким временным и/или пространственным разрешениями или более низким качеством воспроизведения, при сохранении относительно высокого качества реконструкции (например, учитывая соответствующие скорости частичных битовых потоков). SVC может быть реализовано с одноцикловым декодированием, так что декодер SVC может устанавливать один цикл компенсации движения на декодируемом слое, и может не устанавливать циклы компенсации движения на одном или более нижних слоях. Например, битовый поток может включать в себя два слоя, включающих в себя первый слой (например, слой 1), который может быть базовым слоем, и второй слой (например, слой 2), который может быть слоем улучшения. Когда такой декодер SVC реконструирует видео слоя 2, установка буфера декодированной картинки и предсказания с компенсацией движения может быть ограничена слоем 2. При такой реализации SVC, соответствующие опорные картинки из нижних слоев могут полностью не реконструироваться, что может сократить сложность вычислений и/или расход памяти на декодере.

[0033] Одноцикловое декодирование может быть достигнуто посредством ограниченного межслойного предсказания текстуры, где, применительно к текущему блоку в заданном слое, пространственное предсказание текстуры из нижнего слоя может быть разрешено, если соответствующий блок нижнего слоя кодирован в интра-режиме. Это может именоваться ограниченным интра-предсказанием. Когда блок нижнего слоя кодирован в интра-режиме, он может быть реконструирован без операций компенсации движения и/или буфера декодированной картинки.

[0034] SVC может использовать одну или более дополнительные методики межслойного предсказания, как например, предсказание вектора движения, предсказание остатка, предсказание режима, и т.д., из одного или более нижних слоев. Это может повысить эффективность зависимости скорости передачи от искажения слоя улучшения. Реализация SVC с одноцикловым декодированием может обладать уменьшенной сложностью вычислений и/или уменьшенным расходом памяти на декодере и может обладать повышенной сложностью реализации, например, из-за того, что основано на межслойном предсказании на уровне блока. Чтобы компенсировать снижение производительности, которое может следовать из наложения ограничения одноциклового декодирования, исполнение кодера и сложность вычисления могут быть повышены, чтобы добиться требуемой производительности. Кодирование чересстрочного контента не может быть обеспечено SVC.

[0035] Многовидовое кодирование видео (MVC) может обеспечивать масштабируемость вида. В примере масштабируемости вида, битовый поток базового слоя может быть декодирован, чтобы реконструировать обычное двумерное (2D) видео, и один или более дополнительные слои улучшения могут быть декодированы, чтобы реконструировать другие представления вида одного и того же видеосигнала. Когда такие виды объединяются вместе и демонстрируются посредством трехмерного (3D) дисплея, может быть создано 3D видео с надлежащим восприятием глубины.

[0036] Фиг. 2 изображает примерную структуру предсказания для использования MVC, чтобы кодировать стереоскопическое видео с левым видом (например, слой 1) и правым видом (например, слой 2). Видео левого вида может быть кодированным со структурой предсказания I-B-B-P, а видео правого вида может быть кодированным со структурой предсказания P-B-B-B. Как показано на Фиг. 2, в правом виде, первая картинка, сочетающаяся с первой I картинкой в левом виде, может быть кодированной в качестве P картинки, и последующие картинки в правом виде могут быть кодированными в качестве B картинок с первым предсказанием исходя из временных ссылок в правом виде и вторым предсказанием исходя из межслойной ссылки в левом виде. MVC не может обеспечивать свойство одноциклового декодирования. Например, как показано на Фиг. 2, декодирование видео правого вида (например, слоя 2) может быть обусловлено доступностью общего числа картинок в левом виде (слой 1), при этом каждый слой (например, вид) имеет соответствующий цикл компенсации. Реализация MVC может включать в себя изменения высокоуровневого синтаксиса и не может включать в себя изменения на уровне блока. Это может упростить реализацию MVC. Например, MVC может быть реализовано посредством конфигурирования опорных картинок на уровне слайса и/или картинки. MVC может обеспечивать кодирование более чем двух видов, например, посредством улучшения примера, показанного на Фиг. 2, чтобы выполнять межслойное предсказание по нескольким видам.

[0037] MPEG совмещенное на уровне кадра (MFC) кодирование видео может обеспечивать масштабируемое расширение для 3D кодирования видео. Например, MFC может обеспечивать масштабируемое расширение для совмещенного на уровне кадра видео базового слоя (например, два вида упакованы в один и тот же кадр) и может обеспечивать один или более слои улучшения, для восстановления видов в полном разрешении. Стереоскопическое 3D видео может иметь два вида, включающие в себя левый и правый вид. Стереоскопический 3D контент может быть доставлен посредством упаковки и/или мультиплексирования двух видов в одном кадре и посредством сжатия и передачи упакованного видео. На стороне приемника, после декодирования, кадры могут быть распакованы и продемонстрированы в качестве двух видов. Такое мультиплексирование видов может быть выполнено во временной области или пространственной области. Когда выполняется в пространственной области, то для того, чтобы сохранить тот же самый размер картинки, в отношении двух видов может быть выполнена пространственная понижающая дискретизация (например, с коэффициентом 2) и они могут быть упакованы в соответствии с одной или более компоновками. Например, компоновка бок-о-бок может помещать левый вид после понижающей дискретизации в левую половину картинки, а правый вид после понижающей дискретизации в правую половину картинки. Другие компоновки могут включать в себя сверху-и-снизу, строка-за-строкой, в шахматном порядке и т.д. Компоновка, используемая для достижения совмещенного на уровне кадра 3D видео, может переправляться посредством одного или более сообщений SEI компоновки упаковки кадра. Такая компоновка может обеспечивать доставку 3D с минимальным увеличением расхода полосы пропускания.

[0038] Фиг. 3 является таблицей примерных типов масштабируемости, которые могут быть выполнены при кодировании видео. Один или более примерные типы масштабируемости могут быть реализованы в качестве режимов обработки межслойного предсказания. Это может улучшить эффективность сжатия системы кодирования видео (например, системы кодирования видео в соответствии с масштабируемыми расширениями высокоэффективного кодирования видео (SHVC)). Масштабируемость битовой глубины, масштабируемость цветовой гаммы и/или масштабируемость формата цветности могут быть привязаны к видео форматам базового слоя (BL) и слоя улучшения (EL). Применительно к масштабируемости битовой глубины, например, видео BL может быть 8-битным, тогда как видео EL может быть выше чем 8-битное. Применительно к масштабируемости цветовой гаммы, например, видео BL может быть упорядочено по цвету в цветовой гамме BT.709, тогда как видео EL может быть упорядочено по цвету в цветовой гамме BT.2020. Применительно к масштабируемости формата цветности, например, видео BL может быть в формате YUV4:2:0, тогда как видео EL может быть в формате YUV4:2:2 или YUV4:4:4.

[0039] Фиг. 4 является таблицей примерных технических спецификаций телевидения сверхвысокой четкости (UHDTV) и телевидения высокой четкости (HDTV). Как показано на Фиг. 4, в сравнении с видео форматом HDTV (например, как определено в ITU-R BT.709), видео формат UHDTV (например, как определено в ITU-R BT.2020) может поддерживать большее пространственное разрешение (например, 4Kx2K (3840x2160) и 8Kx4K (7680x4320) разрешения), более высокие частоты кадров (например, 120 Гц), более высокие битовые глубины элемента дискретизации (например, 10-битное или 12-битное) и более широкую цветовую гамму.

[0040] Фиг. 5 изображает сравнение соответствующей цветовой гаммы HDTV и цветовой гаммы UHDTV в цветовой четкости CIE. Как показано, объем цветов, который охватывается цветовой гаммой UHDTV, много более обширен, чем тот, что охватывает цветовая гамма HDTV.

[0041] Система кодирования видео (например, система кодирования видео в соответствии с масштабируемыми расширениями высокоэффективного кодирования видео (SHVC)) может включать в себя одно или более устройства, которые выполнены с возможностью выполнения кодирования видео. Устройство, которое выполнено с возможностью выполнения кодирования видео (например, кодировать и/или декодировать видеосигналы) может именоваться устройством кодирования видео. Такие устройства кодирования видео могут включать в себя устройства с поддержкой видео, например, телевизор, цифровой мультимедийный проигрыватель, DVD проигрыватель, Blu-ray™ проигрыватель, сетевое устройство мультимедийного проигрывателя, настольный компьютер, персональный компьютер класса лэптоп, планшетное устройство, мобильный телефон, систему видео конференц-связи, основанную на аппаратном обеспечении и/или программном обеспечении, систему кодирования видео или подобное. Такие устройства кодирования видео могут включать в себя элементы беспроводной сети связи, такие как блок беспроводной передачи/приема (WTRU), базовая станция, шлюз или другие сетевые элементы.

[0042] Система кодирования видео может быть выполнена с возможностью поддержки формата дисплея UHDTV и формата дисплея HDTV. Например, один или более видео битовые потоки могут быть закодированы слоистым образом, например, используя два слоя, с базовым слоем, который представляет собой видеосигнал HDTV для потребления дисплеями HDTV, и слоем улучшения, который представляет собой видеосигнал UHDTV для потребления дисплеями UHDTV. Как показано на Фиг. 4, отличия между техническими описаниями формата HDTV и формата UHDTV могут выходить за пределы отличий по пространственному и временному разрешению, например, включая отличия по битовой глубине элемента дискретизации и цветовой гамме. Система кодирования видео, выполненная с возможностью поддержки UHDTV, может включать в себя поддержку для пространственной масштабируемости, временной масштабируемости, масштабируемости битовой глубины (BDS) и масштабируемости цветовой гаммы (CGS). Система кодирования видео может быть выполнена с возможностью одновременного обеспечения множества видов масштабируемости (например, пространственной, временной, битовой глубины и цветовой гаммы видов масштабируемости).

[0043] Система кодирования видео может быть выполнена с возможностью обеспечения множества типов масштабируемости, например, используя масштабируемый битовый поток, который включает в себя более двух слоев. Такая система кодирования видео может быть выполнена таким образом, что каждый слой улучшения улучшает один параметр видео. Например, Фиг. 6 изображает примерную конфигурацию слоя битового потока, которая может быть использована, чтобы масштабировать видеосигнал HD до видеосигнала UHD. Как показано, примерный битовый поток может иметь четыре слоя, включающих в себя базовый слой (слой 0), и три слоя улучшения (слой 1, слой 2, и слой 3, соответственно). Базовый слой (слой 0) может включать в себя, например, видеосигнал 1080p60 HD. В первом слое улучшения (например, слое 1), может масштабироваться пространственное разрешение, например до 4kx2k (3840x1960). Во втором слое улучшения (например, слое 2), может масштабироваться битовая глубина элемента дискретизации, например с 8- до 10-битной. В третьем слое улучшения (например, слое 3) может масштабироваться цветовая гамма, например с BT.709 до BT.2020. Следует иметь в виду, что очередность обработки слоя битового потока, изображенная на Фиг. 6, является примерной очередностью обработки, и что могут быть реализованы другие очередности обработки слоя битового потока. Иллюстрируемая примерная конфигурация слоя битового потока не включает в себя увеличение частоты кадра видеосигнала. Тем не менее, может быть реализована временная масштабируемость, например, чтобы масштабировать частоту кадров до, например, 120 кадр/с, в одном или более из слоев. Слой улучшения может улучшать более одного видео параметра.

[0044] Система кодирования видео может быть выполнена с возможностью выполнения многоциклового декодирования. При многоцикловом декодировании, для того, чтобы декодировать текущий слой улучшения, могут быть полностью декодированы один или более зависимые слои (например, все зависимые слои) для текущего слоя улучшения. Буфер декодированной картинки (DPB) может быть создан в одном или более зависимых слоях (например, каждом из зависимых слоев). По мере роста числа слоев, может расти сложность декодирования (например, сложность вычисления и/или расход памяти). Количество слоев, используемых для обеспечения требуемых видео форматов, может быть ограничено, например, в соответствии с растущей сложностью декодирования. Например, применительно к масштабируемости HD до UHD, может быть реализован масштабируемый битовый поток, который имеет два слоя (например, примерная конфигурация слоя битового потока, иллюстрируемая на Фиг. 7).

[0045] Фиг. 8 является упрощенной структурной схемой, иллюстрирующей примерный кодер (например, кодер SHVC). Иллюстрируемый примерный кодер может быть использован, чтобы генерировать двухслойный HD-до-UHD масштабируемый битовый поток (например, как иллюстрируется на Фиг. 7). Как показано на Фиг. 8, входным видео 830 базового слоя (BL) может быть видеосигнал HD, а входным видео 802 слоя улучшения (EL) может быть видео сигнал UHD. Видеосигнал 830 HD и видеосигнал 802 UHD могут соответствовать друг другу, например, посредством одного или более из: одного или более параметров понижающей дискретизации (например, пространственная масштабируемость), одного или более параметров упорядочения по цвету (например, масштабируемость цветовой гаммы), или одного или более параметров отображения тона (например, масштабируемость битовой глубины) 828.

[0046] Кодер 818 BL может включать в себя, например, кодер видео высокоэффективного кодирования видео (HEVC) или кодер видео H.264/AVC. Кодер 818 BL может быть выполнен с возможностью генерирования битового потока BL, используя одну или более реконструированные картинки BL (например, хранящиеся в DPB 820 BL) для предсказания. Кодер 804 EL может включать в себя, например, кодер HEVC. Кодер 804 EL может включать в себя одну или более модификации высокоуровневого синтаксиса, например, чтобы поддерживать межслойные предсказания посредством добавления межслойных опорных картинок в DPB 806 EL. Кодер 804 EL может быть выполнен с возможностью генерирования битового потока 808 EL, используя одну или более реконструированные картинки EL (например, хранящиеся в DPB 806 EL) для предсказания.

[0047] Одна или более реконструированные картинки BL в DPB 820 BL могут быть обработаны в блоке 822 межслойной обработки (ILP), используя одну или более методики межслойной обработки на уровне картинки, включающие в себя одно или более из: повышающую дискретизацию (например, применительно к пространственной масштабируемости), преобразование цветовой гаммы (например, применительно к масштабируемости цветовой гаммы), или обратное отображение тона (например, применительно к масштабируемости битовой глубины). Одна или более обработанные реконструированные картинки BL могут быть использованы в качестве опорных картинок для кодирования EL. Межслойная обработка может быть выполнена на основании информации 814 видео улучшения, принятой от кодера 804 EL, и/или информации 816 базового видео, принятой от кодера 818 BL.

[0048] В 826, битовый поток 808 EL, битовый поток 832 BL, и параметры, использованные при межслойной обработке, такие как информация 824 ILP, могут быть мультиплексированы вместе в масштабируемый битовый поток 812. Например, масштабируемый битовый поток 812 может включать в себя битовый поток SHVC.

[0049] Фиг. 9 является упрощенной структурной схемой, иллюстрирующей примерный декодер (например, декодер SHVC), который может соответствовать примерному кодеру, изображенному на Фиг. 8. Иллюстрируемый примерный декодер может быть использован, например, чтобы декодировать двухслойный HD-до-UHD битовый поток (например, как иллюстрируется на Фиг. 7).

[0050] Как показано на Фиг. 9, модуль 912 демультиплексирования может принимать масштабируемый битовый поток 902 и может демультиплексировать масштабируемый битовый поток 902, чтобы сгенерировать информацию 914 ILP, битовый поток 904 EL и битовый поток 918 BL. Масштабируемый битовый поток 902 может включать в себя битовый поток SHVC. Битовый поток 904 EL может быть декодирован декодером 906 EL. Декодер 906 EL может включать в себя, например, декодер видео HEVC. Декодер 906 EL может быть выполнен с возможностью генерирования видеосигнала 910 UHD, используя одну или более реконструированные картинки EL (например, хранящиеся в DPB 908 EL) для предсказания. Битовый поток 918 BL может быть декодирован декодером 920 BL. Декодер 920 BL может включать в себя, например, видео декодер HEVC или декодер видео H.264/AVC. Декодер 920 BL может быть выполнен с возможностью генерирования видеосигнала 924 HD, используя одну или более реконструированные картинки BL (например, хранящиеся в DPB 922 BL) для предсказания. Реконструированные видеосигналы, такие как видеосигнал 910 UHD и/или видеосигнал 924 HD, могут быть использованы для приведения в действие дисплейного устройства.

[0051] Одна или более реконструированные картинки BL в DPB 922 BL могут быть обработаны в блоке 916 ILP, используя одну или более методики межслойной обработки на уровне картинки. Такие методики межслойной обработки на уровне картинки могут включать в себя одно или более из: повышающую дискретизацию (например, применительно к пространственной масштабируемости), преобразование цветовой гаммы (например, применительно к масштабируемости цветовой гаммы), или обратное отображение тона (например, применительно к масштабируемости битовой глубины). Одна или более обработанные реконструированные картинки BL могут быть использованы в качестве опорных картинок для декодирования EL. Межслойная обработка может быть выполнена на основании параметров, использованных в межслойной обработке, таких как информации 914 ILP. Информация предсказания может содержать размеры блока предсказания, один или более векторы движения (например, которые могут указывать направление и величину движения), и/или один или более опорные индексы (например, которые могут указывать на то, из какой опорной картинки должен быть получен сигнал предсказания).

[0052] Система кодирования видео может выполнять объединенную межслойную обработку масштабируемости. Система кодирования видео может использовать несколько модулей межслойной обработки при выполнении межслойного предсказания. Один или более модули межслойной обработки могут быть объединены. Система кодирования видео может выполнять межслойную обработку в соответствии с каскадной конфигурацией модулей межслойной обработки. Объединенная межслойная обработка масштабируемости и/или соответствующие параметры модели могут быть просигнализированы.

[0053] Примерный процесс кодирования видео может включать в себя выполнение межслойной обработки в отношении базового слоя видеосигнала. Первая часть межслойной обработки может быть выполнена, используя объединенный модуль обработки, который одновременно выполняет первый и второй процессы масштабируемости. Примерный процесс кодирования видео может включать в себя применение обработанного базового слоя к слою улучшения видеосигнала. Первая часть межслойной обработки может включать в себя обработку обратного отображения тона и обработку преобразования цветовой гаммы. Вторая часть межслойной обработки может быть выполнена, используя модуль обработки повышающей дискретизации.

[0054] Система кодирования видео может быть выполнена с возможностью выполнения этапов межслойной обработки в определенной очередности, например, посредством предписания исполнения одного или более из модулей межслойной обработки в определенной очередности. Модуль межслойной обработки может отвечать за исполнение конкретного межслойного процесса. Один или более межслойные процессы могут быть объединены в одном или более соответствующих модулях межслойной обработки, так что модуль межслойной обработки может выполнять более одного межслойного процесса одновременно. Эти конфигурации модулей могут быть ассоциированы с соответствующими сложностями реализации, сложностями вычислений, и/или мерами производительности масштабируемого кодирования. Модуль межслойной обработки может отвечать за исполнения нескольких межслойных процессов.

[0055] Система кодирования видео может быть выполнена с возможностью выполнения межслойной обработки в соответствии с объединенной масштабируемостью. Например, объединенная масштабируемость может быть реализована в блоке ILP кодера видео (например, таком как блок 822 ILP, изображенный на Фиг. 8) и/или в блоке ILP декодера видео (например, таком как блок 916 ILP, изображенный на Фиг. 9). Множество модулей обработки может быть использовано, чтобы реализовать объединенную масштабируемость.

[0056] В примерной конфигурации для объединенной обработки масштабируемости, каждый модуль обработки может быть выполнен с возможностью выполнения процессов, ассоциированных с соответствующим типом масштабируемости. Фиг. 10 изображает примерный процесс межслойного кодирования видео, использующий множество модулей обработки, выполненных с возможностью выполнения кодирования видео каскадным образом. Как показано, каждый модуль обработки может быть выполнен с возможностью выполнения обработки конкретного типа масштабируемости. Примерный процесс межслойного кодирования видео может быть использован, например, чтобы выполнять масштабируемое кодирование HD до UHD. Модуль обработки может быть выполнен с возможностью выполнения обработки нескольких типов масштабируемости.

[0057] Как показано на Фиг. 10, модуль 1020 обратного отображения тона может преобразовывать 8-битное видео 1010 в 10-битное видео 1030. Модуль 1040 преобразования цветовой гаммы может преобразовывать видео 1030 BT.709 в видео 1050 BT.2020. Модуль 1060 повышающей дискретизации может быть использован, чтобы преобразовывать видео в пространственном разрешении 1050 1920x1080 в видео в пространственном разрешении 1070 3840x2160. В сочетании, эти модули обработки могут совершать обработку блока ILP, иллюстрируемого на Фиг. 8 и 9. Следует иметь в виду, что очередность обработки (например, очередность модулей обработки), иллюстрируемая на Фиг. 10 (обратное отображение тона, за которым следует преобразование цветовой гаммы, за которым следует повышающая дискретизация) является примерной очередностью обработки, и что другие очередности обработки могут быть реализованы. Например, очередность модулей обработки в блоке ILP может быть равнозначной.

[0058] Один или более модули межслойной обработки (например, каждый модуль межслойной обработки) может быть выполнен с возможностью осуществления операции из расчета на элемент дискретизации. Например, модуль 1020 обратного отображения тона может быть применен к каждому элементу дискретизации в видео картинке, чтобы преобразовывать 8-битное видео в 10-битное видео. Операция из расчета на элемент дискретизации может быть осуществлена посредством модуля 1040 преобразования цветовой гаммы. Количество элементов дискретизации в видео картинке может увеличиваться (например, значительно) после того, как применяется модуль 1060 повышающей дискретизации (например, в случает пространственного коэффициента 2x, количество элементов дискретизации увеличивается в четыре раза после повышающей дискретизации).

[0059] В примерной реализации объединенной обработки масштабируемости, блок ILP может быть выполнен с возможностью так, что обработка посредством модуля 1060 повышающей дискретизации может быть выполнена в конце межслойной обработки (например, как изображено на Фиг. 10).

[0060] Система масштабируемого кодирования видео может быть реализована с несколькими слоями. Для одного или более слоев (например, для каждого слоя), доступность, выбор, и/или применение соответствующих процессов каскадного потока межслойной обработки могут быть разными. Например, для одного или более слоев, обработка может быть ограничена процессом преобразования цветовой гаммы и процессом повышающей дискретизации. Например, может быть опущен процесс обратного отображения тона. Соответствующий выбор и/или очередность обработки процесса преобразования масштабируемости (например, как изображено на Фиг. 10), для каждого слоя, могут быть просигнализированы в очередности обработки (например, в соответствии с образцом таблицы синтаксиса, изображенной на Фиг. 11). Данная информация может быть инкапсулирована в набор параметров видео (VPS) и/или набор параметров последовательности (SPS) слоя, например. Применение одного или более процессов декодером может быть лимитировано посредством указания того, доступен ли и/или выбран каждый соответствующий процесс для обработки. Это может быть указано, например, посредством информации доступности процесса и/или выбора процесса. Очередность процессов в межслойной обработке может быть просигнализирована, например, в битовом потоке. В варианте осуществления, очередность обработки может быть предварительно определенной. В варианте осуществления, очередность процессов в межслойной обработке может быть просигнализирована в битовом потоке.

[0061] Могут быть указаны индексы процессов, соответствующие одному или более применяемым процессам. Индекс процесса соответствует процессу или сочетанию процессов и может указывать соответствующий процесс(ы). Например, Фиг. 12 изображает примерную таблицу синтаксиса, которая определяет индексы, которые могут быть использованы для поля process_index, изображенного на Фиг. 11. Кодер может отправлять один или более индексы, чтобы просигнализировать выбор и/или очередность модулей обработки, например, в соответствии с каскадной обработкой, как изображено на Фиг. 10. Выбор может быть произвольным выбором. Декодер может принимать и декодировать данную сигнализацию, и в ответ на сигнализацию, может применять выбранные процессы в указанной очередности при выполнении межслойной обработки (например, используя блок ILP).

[0062] Один или более дополнительные параметры могут быть включены в сигнализацию и/или в битовый поток, чтобы указать соответствующие определения модулей. Например, может быть просигнализировано то, каким образом может быть применен каждый из модулей обработки. Один или более дополнительные параметры могут указывать определения индивидуального и/или объединенного модуля. Такие параметры могут быть, например, просигнализированы как часть информации ILP.

[0063] В примерном процессе повышающей дискретизации, сигнализация может определять, например, одно или более из: разновидность, форму, размер, или коэффициенты фильтра повышающей дискретизации, который будет применен модулем повышающей дискретизации. Сигнализация может, например, указывать раздельный 2D фильтр или нераздельный 2D фильтр. Сигнализация может указывать несколько фильтров. Например, такие фильтры могут быть определены для повышающей дискретизации компонентов картинки по яркости и/или компонентов картинки по цветности. Фильтры могут быть определены по отдельности или вместе. При объединении с процессом обратного отображения тона, сигнализация может отражать разность между соответствующей входной и/или выходной битовыми глубинами.

[0064] В примерном процессе преобразования цветовой гаммы, сигнализация может определять, например, одно или более из: аппаратуру преобразования цвета (например, 3D поисковая таблица (3D-LUT)), кусочно-линейную модель, перекрестную компонентную линейную модель, линейное усиление и/или модель смещений, или подобное. Для выбранной модели, одно или более из: разновидность, размер, коэффициенты, или другие параметры определения могут быть просигнализированы. При объединении с процессом обратного отображения тона, сигнализация может отражать разность между соответствующей входной и/или выходной битовыми глубинами.

[0065] В примерном процессе обратного отображения тона, сигнализация может определять, например, входную битовую глубину и/или выходную битовую глубину. Может быть просигнализировано несколько входных и/или выходных битовых глубин. Например, соответствующие определения входной и выходной битовых глубин могут быть просигнализированы для компонента картинки по яркости и для одного или более компонентов картинки по цветности. Сигнализация может указывать и/или может определять параметры для аппаратуры обратного отображения тона, такие как кусочно-линейную модель, полиномиальную модель, или подобное.

[0060] Примерная таблица синтаксиса на Фиг. 12 предоставляет пример палитры доступных модулей межслойной обработки, которые могут быть просигнализированы кодером (например, кодером масштабируемого видео с Фиг. 8). Может быть просигнализировано одно или более значения индекса процесса. Значение индекса процесса может соответствовать одному или более модулю(ям) межслойной обработки (например, применительно к другим режимам масштабируемости). Декодер (например, декодер масштабируемого видео на Фиг. 9) может принимать один или более индексы процесса через сигнализацию от кодера и может применять модуль(и) межслойной обработки, который может соответствовать принятым индексам процесса.

[0067] Например, процесс пространственной передискретизации может обеспечивать масштабируемость соотношения сторон. Индекс, соответствующий процессу пространственной передискретизации, может быть добавлен в таблицу на Фиг. 12. В примере, процесс передискретизации цветности может обеспечивать масштабируемость формата цветности. Индекс, соответствующий процессу передискретизации цветности, может быть добавлен в таблицу с Фиг. 12. Синтаксис, определяемый таблицами на Фиг. 11 и 12, может обеспечивать любое количество модулей межслойной обработки.

[0068] В примерной реализации объединенной обработки масштабируемости, очередность применения для нескольких модулей межслойной обработки может быть предварительно определенной (например, согласованной и зафиксированной между кодером и декодером). Сигнализация в таблице на Фиг. 11 может не определять очередность обработки, и декодер может применять фиксированную очередность к одному или более выбранным и/или просигнализированным процессам.

[0069] В примерной реализации объединенной обработки масштабируемости, выбор и/или очередность применения для нескольких модулей межслойной обработки могут меняться (например, со временем). В такой реализации, сигнализация, которая указывает одно или более из: выбор модулей межслойной обработки, очередность применения модулей межслойной обработки, или соответствующие определения модуля (например, параметры, которые определяют каждый из модулей), может передаваться и/или динамически обновляться (например, на уровне картинки) у одного или более масштабируемых слоев. Межслойная обработка может быть изменена от одной картинки к следующей, например, используя сигнализацию, определенную в таблицах на Фиг. 11 и 12. Например, определение 3D-LUT, ассоциированной с модулем преобразования цветовой гаммы, может меняться со временем (например, чтобы отражать отличия в настройке цвета, применяемой поставщиком контента).

[0070] В примерной реализации объединенной обработки масштабируемости в соответствии с Фиг. 10, функции межслойной обработки могут быть реализованы по отдельности и могут быть вместе организованы каскадом. Например, функции межслойной обработки могут быть организованы каскадом в произвольной очередности. Повторный доступ к значению элемента дискретизации (например, к каждому значению элемента дискретизации) может нести в себе высокие затраты ресурсов (например, с точки зрения доступа к памяти), например, основанные на реализации (например, конвейерное исполнение и исполнение с распараллеливанием). Кодирование видео и/или обработка может использовать операции с фиксированной точкой. Например, процесс трехмерной поисковой таблицы (3D LUT) может быть использован для преобразования цветовой гаммы.

[0071] Модули обработки могут быть объединены в единый модуль обработки так, что масштабируемая обработка может быть совершена за раз. В примерной реализации объединенной обработки масштабируемости, модули обработки, изображенные на Фиг. 10, могут быть объединены в едином модуле обработки. В такой все-в-одном реализации, доступ к пикселю на входе и его обработка могут осуществляться единожды (или дважды, если выполняется отдельная повышающая дискретизация), чтобы сгенерировать один или более соответствующие пиксели на выходе.

[0072] Линейной обработки может быть достаточно для некоторых модулей обработки, тогда как для других модулей обработки, более эффективной может быть нелинейная обработка (например, с точки зрения повышения производительности кодирования EL). Например, повышающая дискретизация, используя линейные фильтры, может быть эффективной, тогда как для преобразования цветовой гаммы, нелинейная модель (например, 3D LUT) может быть более эффективной, чем линейная модель. В зависимости от типа отображения тона, используемого, когда генерируется видео контент, модуль обратного отображения тона может быть линейным или может быть нелинейным. Объединение нелинейной обработки и линейной обработки может быть нетривиальным, и объединенный модуль может быть нелинейным по сути.

[0073] Некоторые модули обработки могут быть использованы более широко, чем другие. Например, пространственная масштабируемость может быть использована для применений, таких как видео конференц-связь, при которых битовая глубина элемента дискретизации входного видео и цветовая гамма могут сохраняться одними и теми же (например, 8-бит на элемент дискретизации и цветовая гамма BT.709). Для применений, ограниченных пространственной масштабируемостью, межслойная обработка может включать в себя модуль обработки повышающей дискретизации. В таком применении, модуль обработки повышающей дискретизации может быть сохранен как отдельный от одного или более других модулей обработки в блоке ILP. Когда обработка может осуществляться одним модулем обработки повышающей дискретизации, может осуществляться обход одного или более других модулей обработки (например, модуля обработки обратного отображения тона и/или модуля обработки преобразования цветовой гаммы).

[0074] Одна или более функции в блоке межслойной обработки могут быть выровнены с одной или более другими частями видео кодека. Например, в соответствии с реализацией SHVC, фильтры повышающей дискретизации для ½- и ¼- позиций пикселя могут быть сохранены точно такими же, как фильтры интерполяции на соответствующих фазах, используемых для предсказания с компенсацией движений в HEVC.

[0075] Фиг. 13 изображает примерную реализацию объединенной обработки масштабируемости. Один или более модули обработки могут быть объединены. Как показано, модуль обработки повышающей дискретизации может быть объединен с модулем обработки обратного отображения тона, а модуль обработки преобразования цветовой гаммы может быть сохранен отдельным (например, расположенный по очередности перед объединенным модулем обработки повышающей дискретизации и обратного отображения тона).

[0076] Как показано на Фиг. 13, модуль 1320 преобразования цветовой гаммы может преобразовывать видео 1310 BT.709 в видео 1330 BT.2020. Объединенный модуль 1340 обратного отображения тона и повышающей дискретизации может преобразовывать 8-битное в пространственном разрешении 1920x1080 видео 1330 BT.2020 в 10-битное в пространственном разрешении 3840x2160 видео 1350.

[0077] Один или более фильтры повышающей дискретизации могут сокращать количество сдвигов вправо после фильтрации. Чтобы проиллюстрировать в примерной реализации SHVC, следующее уравнение может представлять собой этап при повышающей дискретизации (например, вертикальная фильтрация).

intLumaSample=(fL[yPhase, 0]*tempArray [0]+

fL[yPhase, 1]*tempArray [1]+

fL[yPhase, 2]*tempArray [2]+

fL[yPhase, 3]*tempArray [3]+

fL[yPhase, 4]*tempArray [4]+

fL[yPhase, 5]*tempArray [5]+

fL[yPhase, 6]*tempArray [6]+

fL[yPhase, 7]*tempArray [7]+(1<<11)>>(12)

[0078] Этап фильтрации может сокращать количество сдвигов вправо, например, в зависимости от значения delta_bit_depth, которое может обозначать разность по битовой глубине элемента дискретизации между BL и EL.

intLumaSample=(fL[yPhase, 0]*tempArray [0]+

fL[yPhase, 1]*tempArray [1]+

fL[yPhase, 2]*tempArray [2]+

fL[yPhase, 3]*tempArray [3]+

fL[yPhase, 4]*tempArray [4]+

fL[yPhase, 5]*tempArray [5]+

fL[yPhase, 6]*tempArray [6]+

fL[yPhase, 7]*tempArray [7]+(1<<(11-delta_bit_depth))>>(12- delta_bit_depth)

[0079] В варианте осуществления, видео контент BL и EL может быть сгенерированным, используя нелинейное отображение тона. Объединенный процесс повышающей дискретизации и обратного отображения тона может быть реализован, используя нелинейную модель, такую как полиномиальная модель, кусочно-линейная модель, и т.д. Это может обеспечить повышенную эффективность кодирования.

[0080] Устройство кодирования видео, такое как система кодирования видео, иллюстрируемая на Фиг. 1, кодер видео, иллюстрируемый на Фиг. 8, и/или декодер видео, иллюстрируемый на Фиг. 9, может кодировать видеосигнал. Устройство кодирования видео может выполнять первую межслойную обработку в отношении нижнего слоя видеосигнала, используя объединенный модуль обработки, который одновременно выполняет процессы масштабируемости обратного отображения тона и преобразования цветовой гаммы. Устройство кодирования видео может выполнять вторую межслойную обработку в отношении слоя видеосигнала, используя модуль обработки повышающей дискретизации.

[0081] Фиг. 14 изображает примерную реализацию объединенной обработки масштабируемости с помощью по меньшей мере одного объединенного модуля обработки. Как показано, модуль обработки обратного отображения тона может быть объединен с модулем обработки преобразования цветовой гаммы, а модуль обработки повышающей дискретизации может быть сохранен отдельным. Объединенная обработка обратного отображения тона и преобразования цветовой гаммы может быть применена перед обработкой повышающей дискретизации.

[0082] Как показано на Фиг. 14, объединенный модуль 1420 обратного отображения тона и преобразования цветовой гаммы может преобразовывать 8-битное видео 1410 BT.709 в 10-битное видео 1430 BT.2020. Пространственное разрешение видео может оставаться точно таким же, как пространственное разрешение 1920x1080. Объединенный модуль 1420 обратного отображения тона и преобразования цветовой гаммы может вычислять битовую глубину элемента дискретизации выходного компонента яркости и битовую глубину элемента дискретизации выходного компонента(ов) цветности на основании битовой глубины элемента дискретизации входного компонента яркости и битовой глубины элемента дискретизации входного компонента(ов) цветности. Объединенный модуль 1420 обратного отображения тона и преобразования цветовой гаммы может вычислять и/или может определять выходные битовые глубины элемента дискретизации на основании сигнализации, например, параметров, принятых в битовом потоке видео. Объединенный модуль 1420 обратного отображения тона и преобразования цветовой гаммы может отправлять результат модулю 1440 обработки повышающей дискретизации. Например, указание битовой глубины элемента дискретизации выходного компонента яркости и указание битовой глубины элемента дискретизации выходного компонента(ов) цветности могут быть отправлены модулю 1440 обработки повышающей дискретизации. Объединенный модуль 1420 обратного отображения тона и преобразования цветовой гаммы может отправлять видео, содержащее (например, преобразованный) выходной компонент яркости и выходные компоненты цветности модулю 1440 обработки повышающей дискретизации. Модуль 1440 обработки повышающей дискретизации может принимать и преобразовывать 10-битное в пространственном разрешении 1920x1080 видео 1430 BT.2020 в 10-битное с пространственным разрешение 3840x2160 видео 1450 BT.2020. Процесс повышающей дискретизации может быть выполнен на основании битовой глубины элемента дискретизации выходного компонента яркости и битовой глубины элемента дискретизации выходного компонента(ов) цветности, принятых от объединенного модуля 1420 обратного отображения тона и преобразования цветовой гаммы.

[0083] Обратное отображение тона и преобразование цветовой гаммы могут быть более эффективными при использовании нелинейных моделей. Например, 3D LUT может быть использована для преобразования цветовой гаммы. Использование модифицированной 3D LUT (например, с 8-битным входом и 10-битным выходом), например в объединенном модуле обработки обратного отображения тона и преобразования цветовой гаммы примерной реализации, изображенной на Фиг. 14, может быть настолько эффективным, как использование отдельных нелинейных моделей в соответствующих отдельных модулях обработки (например, в соответствии с примерной реализацией, изображенной на Фиг. 10).

[0084] Тестовые последовательности были выполнены, используя примерную реализацию объединенной обработки масштабируемости, изображенной на Фиг. 13 и 14. Применительно к примерной реализации в соответствии с Фиг. 13, методика 3D LUT с 8-битным входом и 8-битным выходом была использована в модуле обработки преобразования цветовой гаммы, и методика была использована в объединенном модуле обработки обратного отображения тона и обработки повышающей дискретизации. Применительно к примерной реализации в соответствии с Фиг. 14, улучшенная методика 3D LUT с 8-битным входом и 10-битным выходом была использована в объединенном модуле обработки преобразования цветовой гаммы и обработки обратного отображения тона, а модуль обработки повышающей дискретизации был в соответствии с реализацией SHVC.

[0085] Применительно к тестовым последовательностям обеих примерных реализаций объединенной обработки масштабируемости, параметры модели в 3D LUT были оценены, используя методику наименьших квадратов (LS) и видео BL и EL (экземпляр после понижающей дискретизации, если разрешение отличается) в качестве обучающих последовательностей. Результаты моделирования показали, что обе примерные реализации повышают эффективность масштабируемого кодирования, при этом примерная реализация с Фиг. 14 незначительно превосходит примерную реализацию с Фиг. 13. Более высокая эффективность кодирования может быть связана с тем фактом, что улучшенная 3D LUT может амортизировать присущую нелинейность процесса обратного отображения тона. Оценка и/или обучение одного или более параметров для улучшенной 3D LUT, которая может быть использована в объединенном модуле обработки (например, объединенном модуле обработки обратного отображения тона и обработки преобразования цветовой гаммы примерной реализации, изображенной на Фиг. 14), могут быть основаны, например, на обучающем контенте, который может отражать входную битовую глубину и/или выходную битовую глубину процесса обратного отображения тона, который будет выполняться объединенным модулем обработки.

[0086] Обработка обратного отображения тона и обработка преобразования цветовой гаммы могут быть объединены, используя независимую от компонента линейную, перекрестную компонентную линейную, кусочно-линейную, и/или полиномиальную модель с другими очередностями. Кодер может, например, извлекать параметры модели с помощью методики обучения наименьших квадратов, основанной на исходном контенте одного слоя и целевом контенте другого слоя, чтобы добиться уменьшенных (например, минимальных) ошибок согласования.

[0087] Объединенная межслойная обработка масштабируемости и/или соответствующие параметры модели могут быть просигнализированы. Например, процесс объединенной обработки масштабируемости может быть просигнализирован в битовом потоке, где элемент синтаксиса может указывать на то, какой процесс объединенной обработки масштабируемости (например, как изображено на Фиг. 13 или как изображено на Фиг. 14) будет использоваться. Данный элемент синтаксиса может быть просигнализирован на уровне последовательности, например, как часть VPS и/или как часть SPS. Элемент синтаксиса может быть просигнализирован на уровне картинки, например, в заголовке сегмента слайса, как часть набора параметров картинки (PPS), или как часть набора параметров адаптации (APS). Кодер выбирает процесс объединенной обработки масштабируемости, например, на основании ввода видео. Кодер может указывать процесс объединенной обработки масштабируемости декодеру.

[0088] В примерной реализации объединенной межслойной обработки масштабируемости, процесс объединенной обработки масштабируемости может быть предварительно определенным. Например, может быть выбран процесс объединенной обработки масштабируемости, изображенный на Фиг. 14. Кодер и декодер могут неоднократно использовать конкретный процесс объединенной обработки масштабируемости, без какой-либо дополнительной сигнализации.

[0089] Методики преобразования цветовой гаммы, которые могут быть использованы в объединенной межслойной обработке масштабируемости, могут включать в себя одно или более из: усиление и смещение, перекрестную компонентную линейную, кусочно-линейную, или 3D LUT. Примерная таблица синтаксиса, изображенная на Фиг. 15, иллюстрирует пример сигнализации процесса объединенной обработки масштабируемости и параметров, используемых для объединенной обработки преобразования цветовой гаммы и обработки обратного отображения тона. Примерный синтаксис, изображенный на Фиг. 15, может быть используемым примером в соответствии с примерной реализацией, изображенной на Фиг. 14.

[0090] Как показано на Фиг. 15, входные и выходные значения битовой глубины могут быть включены в качестве параметров процесса отображения цвета. Процесс отображения цвета может основывать обработку на параметре, который указывает битовую глубину элемента дискретизации входного компонента яркости процесса отображения цвета. Например, битовая глубина элемента дискретизации входного компонента яркости может быть просигнализирована как дельта по восьми (8). Например, параметр, который указывает битовую глубину элемента дискретизации входного компонента яркости, может именоваться как bit_depth_input_luma_minus8, как показано на Фиг. 15. Могут быть использованы другие имена параметра.

[0091] Процесс отображения цвета может основывать обработку на параметре, который указывает битовую глубину элемента дискретизации входного компонента(ов) цветности процесса отображения цвета. Например, битовая глубина элемента дискретизации входного компонента(ов) цветности может быть просигнализирована как дельта по восьми (8). Например, входная битовая глубина цветности может быть просигнализирована как дельта по входной битовой глубине яркости. Например, параметр, который указывает битовую глубину элемента дискретизации входного компонента цветности, может именоваться как bit_depth_input_chroma_delta, как показано на Фиг. 15. Могут быть использованы другие имена параметра. Это может сократить затраты на сигнализацию посредством уменьшения значения элемента синтаксиса (например, небольшие значения дельты), которое будет кодироваться. Могут быть использованы другие методики сигнализации битовой глубины.

[0092] Процесс отображения цвета может выводить параметр, который указывает битовую глубину элемента дискретизации выходного компонента яркости процесса отображения цвета. Например, битовая глубина элемента дискретизации выходного компонента яркости может быть просигнализирована как дельта по восьми (8). Например, битовая глубина элемента дискретизации выходного компонента яркости может быть просигнализирована как дельта по входной битовой глубине яркости. Данный выходной параметр может именоваться bit_depth_output_luma_delta, как показано на Фиг. 15. Могут быть использованы другие имена параметра.

[0093] Процесс отображения цвета может выводить параметр, который указывает битовую глубину элемента дискретизации выходного компонента(ов) цветности процесса отображения цвета. Например, битовая глубина элемента дискретизации выходного компонента(ов) цветности может быть просигнализирована как дельта по восьми (8). Например, битовая глубина элемента дискретизации выходного компонента(ов) цветности может быть просигнализирована как дельты по входной битовой глубине цветности. Данный выходной параметр может именоваться bit_depth_output_chroma_delta, как показано на Фиг. 15. Могут быть использованы другие имена параметра.

[0094] Элемент синтаксиса CGS_method может быть включен в примерную таблицу синтаксиса на Фиг. 15, чтобы указывать используемую методику CGS. Примеры CGS_method включают в себя усиление и/или смещение, перекрестный компонентный линейный, кусочно-линейный, 3D LUT, настраиваемый CGS способ и т.д. После того как отправляется CGS_method, может быть просигнализирован один или более соответствующие параметры модели (например, в соответствии с соответствующей методикой CGS). Примерная таблица синтаксиса, изображенная на Фиг. 15, может быть включена в сигнализацию уровня последовательности (как например, в одно или более из VPS, SPS, или PPS). Примерная таблица синтаксиса, изображенная на Фиг. 15, может быть включена в сигнализацию уровня картинки (как например, в одно или более из заголовка слайса или APS).

[0095] Битовые глубины яркости и/или цветности могут быть выведены из элементов синтаксиса в VPS или SPS. Например, в примерном двухслойном масштабируемом кодере и декодере видео с Фиг. 8 и 9, соответственно, битовые глубины BL (например, эквивалент для входных битовых глубин модуля объединенной обработки) и битовые глубины EL (например, эквивалент для выходных битовых глубин модуля объединенной обработки) могут быть извлечены из элементов синтаксиса, таких как bit_depth_luma/chroma_minus8 в SPS, например. Параметры преобразования цветовой гаммы могут быть отправлены в PPS. Наборы параметров (например, VPS, SPS, и PPS) могут быть проанализированы и декодированы независимо. Сигнализация значения битовой глубины, используя примерную таблицу синтаксиса, изображенную на Фиг. 15, может упростить анализ и декодирование параметров модели для объединенного процесса преобразования цветовой гаммы и обратного отображения тона.

[0096] Примерная сигнализация, изображенная в таблице на Фиг. 15, может служить в качестве определения процесса для первого объединенного модуля межслойной обработки, соответствующего, например, объединенному модулю обработки обратного отображения тона и обработки преобразования цветовой гаммы, изображенному в примерной реализации на Фиг. 14. Первый объединенный модуль межслойной обработки может включать в себя один модуль межслойной обработки, доступный для использования в каскадной конфигурации обработки (например, как иллюстрируется на Фиг. 10). Выбор и применение первого объединенного модуля межслойной обработки может быть просигнализировано, например, используя примерные таблицы синтаксиса с Фиг. 11 и 12. Подходящий process_index может быть добавлен в примерную таблицу синтаксиса на Фиг. 12, чтобы указывать применение первого объединенного модуля межслойной обработки.

[0097] Объединенный модуль межслойной обработки (например, объединенный модуль обработки обратного отображения тона и обработки повышающей дискретизации, изображенный в примерной реализации на Фиг. 13) может быть определен. Подходящее определение процесса для объединенного модуля межслойной обработки может быть определено. Например, определение процесса может определять одно или более из разновидности, размера, формы, или коэффициентов фильтра повышающей дискретизации для повышающей дискретизации пространственной масштабируемости, и может дополнительно определять одну или более входные битовые глубины и/или одну или более выходные битовые глубины. Подходящий process_index может быть добавлен в примерную таблицу синтаксиса на Фиг. 12, чтобы указывать применение второго объединенного модуля межслойной обработки. Второй объединенный модуль межслойной обработки может быть другим модулем межслойной обработки, доступным для использования в каскадной конфигурации обработки (например, как иллюстрируется на Фиг. 10).

[0098] Любое количество объединенных модулей межслойной обработки может быть определено и/или включено в каскадную инфраструктуру, изображенную на Фиг. 10, например, используя инфраструктуру сигнализации, определенную в примерной таблице синтаксиса на Фиг. 11 и 12.

[0099] Фиг. 16 изображает примерную таблицу синтаксиса, которая иллюстрирует определение индексов процесса. Как показано, индекс процесса может соответствовать объединенным обратному отображению тона и преобразованию цветовой гаммы. Например, process_index=3 может соответствовать первому объединенному модулю межслойной обработки. Как показано, индекс процесса может соответствовать объединенным обратному отображению тона и повышающей дискретизации. Например, process_index = 4 может соответствовать второму объединенному модулю межслойной обработки.

[0100] Битовая глубина может быть учтена для модулей преобразования цветовой гаммы. Процесс преобразования цветовой гаммы может преобразовывать сигнал из одного цветового пространства в другое цветовое пространство. Перекрестные цветовые компонентные отношения могут быть применены к функции преобразования цветовой гаммы. Например, в основанном на 3D LUT преобразовании цветовой гаммы, таком как процесс преобразования цветовой гаммы, используемый в финальной версии масштабируемых расширений HEVC, 3D цветовое пространство может быть разбито на несколько октантов. Внутри одного или более октантов, может быть применена перекрестная цветовая компонентная линейная модель, такая как следующее:

outputSampleX=((LutX[yIdx][uIdx][vIdx][0]*inputSampleY +LutX[yIdx][uIdx][vIdx][1]*inputSampleU+ LutX[yIdx][uIdx][vIdx][2]*inputSampleV+nMappingOffset)>> nMappingShift)+LutX[yIdx][uIdx][vIdx][3] (1)

Параметр outputSampleX может указывать выходное значение элемента дискретизации цветового компонента X (например, X может быть Y, U, или V) после преобразования цветовой гаммы. Параметр LutX[yIdx][uIdx][vIdx ][i] может указывать i-й параметр LUT для октанта, указываемого посредством (yIdx, uIdx, vIdx) у цветового компонента X, где 0<=i<=3. Параметры nMappingShift и nMappingOffset могут управлять точностью операции с фиксированной точкой во время преобразования цветовой гаммы, а параметры inputSampleY, inputSampleU и inputSampleV могут включать в себя соответствующие входные значения цветовых компонентов Y, U и V перед преобразованием цветовой гаммы.

[0101] В варианте осуществления, соответствующие значения битовой глубины элементов дискретизации яркости и цветности могут быть разными. Эти значения битовой глубины могут быть указаны, например, посредством bit_depth_input_luma_minus8 и bit_depth_input_chroma_delta на Фиг. 15. Значения битовой глубины могут быть указаны, например, посредством наборов параметров, таких как VPS, SPS и/или PPS. Входная битовая глубина яркости может быть обозначена как InputLumaBitDepth, а входная битовая глубина цветности может быть обозначена как InputChromaBitDepth. Входная битовая глубина яркости и входная битовая глубина цветности могут быть извлечены. Например, входная битовая глубина яркости и входная битовая глубина цветности могут быть извлечены на основании сигнализации, иллюстрируемой на Фиг. 15. Входная битовая глубина яркости и входная битовая глубина цветности могут быть извлечены в соответствии со следующим:

InputLumaBitDepth=bit_depth_input_luma_minus8+8 (1a)

InputChromaBitDepth=InputLumaBitDepth+ bit_depth_input_chroma_delta (1b)

[0102] Видео стандарты, такие как H.264/AVC и HEVC, могут допускать разные соответствующие битовые глубины компонентов яркости и цветности. Когда используются перекрестные цветовые компонентные модели, битовые глубины соответствующих цветовых компонентов могут быть выровнены при применении перекрестной цветовой компонентной линейной модели. Например, битовые глубины соответствующих цветовых компонентов могут быть выровнены при применении уравнения (1). В соответствии с примерным процессом преобразования цветовой гаммы, битовые глубины элемента дискретизации яркости и/или цветности могут быть выровнены по соответствующим большим значениям битовой глубины из яркости и/или цветности, которые обозначаются как MaxBitDepth = max(InputLumaBitDepth, InputChromaBitDepth), перед применением перекрестной цветовой компонентной модели, такой как уравнение (1). Например, DeltaMaxLumaBitDepth и DeltaMaxChromaBitDepth могут быть определены следующим образом:

DeltaMaxLumaBitDepth=MaxBitDepth-InputLumaBitDepth

DeltaMaxChromaBitDepth=MaxBitDepth-InputChromaBitDepth.

[0103] Перекрестная цветовая компонентная линейная модель может быть применена следующим образом:

outputSampleX=((LutX[yIdx][uIdx][vIdx][0]* (inputSampleY<<DeltaMaxLumaBitDepth)+LutX[yIdx][uIdx][vIdx][1] *(inputSampleU<<DeltaMaxChromaBitDepth)+ LutX[yIdx][uIdx][vIdx][2]* (inputSampleV<<DeltaMaxChromaBitDepth)+nMappingOffset)>> nMappingShift)+LutX[yIdx][uIdx][vIdx][3] (2)

[0104] Битовые глубины яркости и/или цветности могут быть выровнены по соответствующим меньшим значениям битовой глубины из яркости и/или цветности, которые обозначаются как MinBitDepth =min(InputLumaBitDepth, InputChromaBitDepth) во время процесса преобразования цвета. Например, DeltaMinLumaBitDepth и DeltaMinChromaBitDepth могут быть определены следующим образом:

DeltaMinLumaBitDepth=InputLumaBitDepth-MinBitDepth

DeltaMinChromaBitDepth=InputChromaBitDepth-MinBitDepth.

[0105] Перекрестная цветовая компонентная линейная модель может быть применена следующим образом:

outputSampleX=((LutX[yIdx][uIdx][vIdx][0]* (inputSampleY>>DeltaMinLumaBitDepth)+LutX[yIdx][uIdx][vIdx][1] *(inputSampleU>>DeltaMinChromaBitDepth)+LutX[yIdx][uIdx][vIdx][2]*(inputSampleV>>DeltaMinChromaBitDepth)+nMappingOffset)>> nMappingShift)+LutX[yIdx][uIdx][vIdx][3] (3)

[0106] Перекрестная цветовая компонентная линейная модель может быть применена таким образом, что сложность одной или более операций умножения при отображении цвета может быть уменьшена. Битовая глубина второго члена операций умножения в уравнении (3) может быть меньше. Это может уменьшать сложность реализации, используя, например, исполнение в ASIC.

[0107] Следует иметь в виду, что описанные выше примерные процессы, которые учитывают возможную разницу между битовыми глубинами яркости и цветности, не ограничиваются реализацией в основанных на 3D LUT функциях преобразования цветовой гаммы, и что описанные выше примерные процессы могут быть реализованы в любых функциях преобразования цветовой гаммы и/или отображения тона, которые используют перекрестные цветовые компонентные модели.

[0108] Соответствующие значения nMappingShift и/или nMappingOffset могут управлять точностью операции с фиксированной точкой во время преобразования цветовой гаммы. Например, значения nMappingShift и nMappingOffset могут быть вычислены следующим образом:

nMappingShift=10+InputBitDepthX-OutputBitDepthX (4)

nMappingOffset=1<<(nMappingShift−1) (5)

где InputBitDepthX и OutputBitDepthX могут включать в себя входную и выходную битовые глубины, соответственно, цветового компонента X (например, X может быть Y, U или V) процесса преобразования цвета.

[0109] Соответствующие значения InputBitDepthX могут быть извлечены для яркости и цветности, например, используя уравнения (1a) и (1b). Соответствующие значения OutputBitDepthX могут быть извлечены для яркости и цветности, например, используя следующие выражения:

OutputLumaBitDepth=bit_depth_output_luma_minus8+8 (6)

OutputChromaBitDepth=OutputLumaBitDepth+ bit_depth_input_chroma_delta (7)

[0110] В варианте осуществления, процесс преобразования осуществляет обработку так, что выходная битовая глубина цветового компонента больше либо равна входной битовой глубине этого цветового компонента. Процесс преобразования цвета может быть выполнен от низкого качества в BL к более высокому качеству в EL, так что значение (InputBitDepthX-OutputBitDepthX) может быть отрицательным. Значение nMappingShift может становиться меньше, по мере того, как разность между входной и выходной битовыми глубинами увеличивается. Это может соответствующим образом уменьшать точность вычислений с фиксированной точкой.

[0111] Когда значение дельты битовой глубины между входом и выходом (InputBitDepthY-OutputBitDepthY) для компонента яркости отличается от значения дельты битовой глубины между входом и выходом (InputBitDepthC-OutputBitDepthC) для компонента цветности, методики могут быть использованы, чтобы вычислять nMappingShift и/или nMappingOffset, для яркости и/или цветности. Например, nMappingShift может быть вычислен, используя (InputBitDepthY-OutputBitDepthY), и может быть применен к одному из или как к яркости, так и цветности. Или nMappingShift может быть вычислен, используя (InputBitDepthC-OutputBitDepthC), и может быть применен к одному из или как к яркости, так и цветности. В другом примере, nMappingShift и/или nMappingOffset могут быть вычислены, используя следующее:

nMappingShift=10+min(InputBitDepthY-OutputBitDepthY, InputBitDepthC-OutputBitDepthC) (8)

nMappingOffset=1<<(nMappingShift−1) (9)

[0112] Эти значения могут быть применены к одному из компонентов или как к компоненту яркости, так и цветности в процессе преобразования цвета. Например, значения могут быть использованы для nMappingShift и nMappingOffset в уравнении (2) и/или уравнении (3), например, для каждого цветового компонента X в {Y, U, V}.

[0113] Процесс, описанный выше, может обеспечивать высокую величину точности. Например, это может обеспечить высокую (например, максимальную) точность с фиксированной точкой процесса преобразования цветовой гаммы.

[0114] Описанные в данном документе методики кодирования видео, например, используя объединенную обработку масштабируемости, могут быть реализованы в соответствии с транспортировкой видео в системе беспроводной связи, такой как примерная система 100 беспроводной связи, и ее компоненты, изображенные на Фиг. 17A-17E.

[0115] Фиг. 17A является схемой примерной системы 100 связи, в которой могут быть реализованы один или более раскрываемые варианты осуществления. Система 100 связи может быть системой множественного доступа, которая предоставляет контент, такой как голос, данные, видео, обмен сообщениями, вещание и т.д., нескольким беспроводным пользователям. Система 100 связи может позволять нескольким беспроводным пользователям осуществлять доступ к такому контенту через совместное использование ресурсов системы, включая беспроводную полосу пропускания. Например, системы 100 связи могут использовать один или более способы канального доступа, такой как множественный доступ с кодовым разделением (CDMA), множественный доступ с временным разделением (TDMA), множественный доступ с частотным разделением (FDMA), ортогональный FDMA (OFDMA), FDMA с одной несущей (SC-FDMA) и подобное.

[0116] Как показано на Фиг. 17A, система 100 связи может включать в себя по меньшей мере один блок беспроводной передачи/приема (WTRU), как множество WTRU, например WTRU 102a, 102b, 102c, и 102d, сеть 104 радиодоступа (RAN), базовую сеть 106, телефонную коммутируемую сеть 108 общего пользования (PSTN), Интернет 110 и другие сети 112, несмотря на то, что следует иметь в виду, что раскрываемые варианты осуществления предполагают любое количество WTRU, базовых станций, сетей и/или сетевых элементов. Каждый из WTRU 102a, 102b, 102c, 102d может быть любым типом устройства, выполненного с возможностью работы и/или осуществления связи в беспроводной среде. В качестве примера, WTRU 102a, 102b, 102c, 102d может быть выполнен с возможностью передачи и/или приема беспроводных сигналов и может включать в себя оборудование пользователя (UE), мобильную станцию, фиксированный или мобильный абонентский блок, пейджер, сотовый телефон, персональный цифровой помощник (PDA), интеллектуальный телефон, лэптоп, нетбук, персональный компьютер, беспроводной датчик, потребительскую электронику и подобное.

[0117] Системы 100 связи также могут включать в себя базовую станцию 114a и базовую станцию 114b. Каждая из базовых станций 114a, 114b может быть любым типом устройства, выполненного с возможностью беспроводного взаимодействия с по меньшей мере одним из WTRU 102a, 102b, 102c, 102d, чтобы способствовать осуществлению доступа к одной или более сетям связи, таким как базовая сеть 106, Интернет 110 и/или сети 112. В качестве примера, базовые станции 114a, 114b могут быть базовой станцией приемопередатчика (BTS), Узлом-B, eNodeB, Домашним Узлом-B, Домашним eNodeB, контроллером сайта, точкой доступа (AP), беспроводным маршрутизатором и подобным. Несмотря на то, что базовые станции 114a, 114b каждая изображена как отдельный элемент, следует иметь в виду, что базовые станции 114a, 114b могут включать в себя любое количество взаимно соединенных базовых станций и/или сетевых элементов.

[0118] Базовая станция 114a может быть частью RAN 104, которая также может включать в себя другие базовые станции и/или сетевые элементы (не показано), такие как контроллер базовых станций (BSC), контроллер сети с радиодоступом (RNC), ретрансляционные узлы и т.д. Базовая станция 114a и/или базовая станция 114b может быть выполнена с возможностью передачи и/или приема беспроводных сигналов внутри конкретной географической области, которая может именоваться сотой (не показано). Сота может дополнительно быть разделена на сектора соты. Например, сота, ассоциированная с базовой станцией 114a, может быть разделена на три сектора. Таким образом, в одном варианте осуществления, базовая станция 114a может включать в себя три приемопередатчика, т.е. один для каждого сектора соты. В другом варианте осуществления, базовая станция 114a может использовать технологию множества входов и множества выходов и, вследствие этого, может использовать несколько приемопередатчиков для каждого сектора соты.

[0119] Базовые станции 114a, 114b могут осуществлять связь с одним или более WTRU 102a, 102b, 102c, 102d через радиоинтерфейс 116, который может быть любой подходящей беспроводной линией связи (например, радиочастотной (RF), микроволновой, инфракрасной (IR), ультрафиолетовой (UV), в области видимого света, и т.д.). Радиоинтерфейс 116 может быть создан, используя любую подходящую технологию радиодоступа (RAT).

[0120] В частности, как отмечено выше, система 100 связи может быть системой множественного доступа и может использовать одну или более схемы канального доступа, такие как CDMA, TDMA, FDMA, OFDM, SC-FDMA и подобное. Например, базовая станция 114a в RAN 104 и WTRU 102a, 102b, 102c могут реализовывать технологию радиосвязи, такую как Универсальную Систему Мобильной Связи (UMTS) Наземного Радиодоступа (UTRA), которая может создавать радиоинтерфейс 116, используя широкополосный CDMA (WCDMA). WCDMA может включать в себя протоколы связи, такие как Высокоскоростной Пакетный Доступ (HSPA) и/или Развитый HSPA (HSPA+). HSPA может включать в себя Высокоскоростной Пакетный Доступ Нисходящей Линии Связи (HSDPA) и/или Высокоскоростной Пакетный Доступ Восходящей Линии Связи (HSUPA).

[0121] В другом варианте осуществления, базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать технологию радиосвязи, такую как Развитая UMTS Наземного Радиодоступа (E-UTRA), которая может создавать радиоинтерфейс 116, используя Долгосрочное Развитие (LTE) и/или Усовершенствованное LTE (LTE-A).

[0122] В других вариантах осуществления, базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать технологии радиосвязи, такие как IEEE 802.16 (т.е. Общемировая Совместимость Широкополосного Беспроводного Доступа (WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, Временный Стандарт 2000 (IS-2000), Временный Стандарт 95 (IS-95), Временный Стандарт 856 (IS-856), Глобальная Система Связи для Подвижных Объектов (GSM), Улучшенные Скорости передачи данных для Развития GSM (EDGE), GSM EDGE (GERAN) и подобное.

[0123] Базовая станция 114b на Фиг. 17A может быть беспроводным маршрутизатором, Домашним Узлом-B, Домашним eNodeB, или точкой доступа, например, и может использовать любую подходящую RAT для обеспечения возможности беспроводного соединения в локализованной зоне, такой как рабочее место, дом, транспортное средство, кампус и подобное. В одном варианте осуществления, базовая станция 114b и WTRU 102c, 102d могут реализовывать технологию радиосвязи, такую как IEEE 802.11, чтобы создавать беспроводную локальную сеть (WLAN). В другом варианте осуществления, базовая станция 114b и WTRU 102c, 102d могут реализовывать технологию радиосвязи, такую как IEEE 802.15, чтобы создавать беспроводную персональную сеть (WPAN). В еще одном другом варианте осуществления, базовая станция 114b и WTRU 102c, 102d могут использовать основанную на соте RAT (например, WCDMA, CDMA2000, GSM, LTE, LTE-A и т.д.), чтобы создавать пико-соту или фемто-соту. Как показано на Фиг. 17A, базовая станция 114b может иметь непосредственное соединение с Интернет 110. Таким образом, базовой станции 114b может не требоваться осуществлять доступ к Интернет 110 через базовую сеть 106.

[0124] RAN 104 может осуществлять связь с базовой сетью 106, которая может быть любым типом сети, выполненной с возможностью предоставления услуг, таких как: голосовая, передачи данных, приложений и/или голоса через интернет протокол (VoIP), для одного или более WTRU 102a, 102b, 102c, 102d. Например, базовая сеть 106 может предоставлять управление вызовом, услуги тарификации и учета, мобильные основанные на местоположении услуги, предоплаченный вызов, возможность соединения с Интернет, распространение видео, и т.д. и/или выполнять высокоуровневые функции обеспечения безопасности, такие как аутентификация пользователя. Несмотря на то, что не показано на Фиг. 17A, следует иметь в виду, что RAN 104 и/или базовая сеть 106 могут осуществлять непосредственную или опосредованную связь с другими RAN, которые используют точно такую же RAT, как и RAN 104, или другую RAT. Например, в дополнение к тому, что соединена с RAN 104, которая может быть использующей технологию радиосвязи E-UTRA, базовая сеть 106 также может осуществлять связь с другой RAN (не показано), использующей технологию радиосвязи GSM.

[0125] Базовая сеть 106 также может служить в качестве шлюза для WTRU 102a, 102b, 102c, 102d, чтобы осуществлять связь с PSTN 108, Интернет 110, и/или другими сетями 112. PSTN 108 может включать в себя телефонные сети с коммутацией каналов, которые предоставляют простую старую телефонную услугу (POTS). Интернет 110 может включать в себя глобальную систему взаимно-соединенных компьютерных сетей и устройств, которые используют общие протоколы связи, такие как протокол управления передачей (TCP), протокол пользовательских дейтаграмм (UDP) и интернет протокол (IP) в стеке интернет протоколов TCP/IP. Сети 112 могут включать в себя сети проводной или беспроводной связи, которыми владеют и/или оперируют другие поставщики услуги. Например, сети 112 могут включать в себя другую базовую сеть, соединенную с одной или более RAN, которые могут использовать точно такую же RAT, что и RAN 104, или другую RAT.

[0126] Некоторые или все из WTRU 102a, 102b, 102c, 102d в системе 100 связи могут включать в себя многорежимные возможности, т.е. WTRU 102a, 102b, 102c, 102d может включать в себя несколько приемопередатчиков для осуществления связи с разными беспроводными сетями по разным беспроводным линиям связи. Например, WTRU 102с, показанный на Фиг. 17A, может быть выполнен с возможностью осуществления связи с базовой станцией 114a, которая может использовать основанную на соте технологию радиосвязи, и с базовой станцией 114b, которая может использовать технологию радиосвязи IEEE 802.

[0127] Фиг. 17B является системной схемой примерного WTRU 102. Как показано на Фиг. 17B, WTRU 102 может включать в себя процессор 118, приемопередатчик 120, элемент 122 приема/передачи, громкоговоритель/микрофон 124, клавишную панель 126, дисплей/сенсорную панель 128, несъемную память 130, съемную память 132, источник питания 134, набор 136 микросхем системы глобального позиционирования (GPS) и другие периферийные средства 138. Следует иметь в виду, что WTRU 102 может включать в себя любое суб-сочетание вышеупомянутых элементов, при этом оставаясь совместимым с вариантом осуществления.

[0128] Процессор 118 может быть процессором общего назначения, специализированным процессором, обычным процессором, цифровым сигнальным процессором (DSP), множеством микропроцессоров, одним или более микропроцессорами в ассоциации с ядром DSP, контроллером, микроконтроллером, Проблемно Ориентированными Интегральными Микросхемами (ASIC), схемами Программируемых Вентильных Матриц (FPGA), любым другим типом интегральной микросхемы (IC), конечным автоматом, и подобным. Процессор 118 может выполнять кодирование сигнала, обработку данных, управление питанием, обработку ввода/вывода, и/или любую другую функциональность, которая позволяет WTRU 102 работать в беспроводной среде. Процессор 118 может быть сопряжен с приемопередатчиком 120, который может быть сопряжен с элементом 122 передачи/приема. Несмотря на то, что Фиг. 17B изображает процессор 118 и приемопередатчик 120 как отдельные компоненты, следует иметь в виду, что процессор 118 и приемопередатчик 120 могут быть интегрированы вместе в электронном пакете или чипе.

[0129] Элемент 122 передачи/приема может быть выполнен с возможностью передачи сигналов к, или приема сигналов от, базовой станции (например, базовой станции 114a) через радиоинтерфейс 116. Например, в одном варианте осуществления, элемент 122 передачи/приема может быть антенной, выполненной с возможностью передачи и/или приема RF сигналов. В другом варианте осуществления, элемент 122 передачи/приема может быть излучателем/детектором, выполненным с возможностью передачи и/или приема IR, UV, или сигналов в видимой области света, например. В еще одном другом варианте осуществления, элемент 122 передачи/приема может быть выполнен с возможностью передачи и приема как RF, так и светового сигналов. Следует иметь в виду, что элемент 122 передачи/приема может быть выполнен с возможностью передачи и/или приема любого сочетания беспроводных сигналов.

[0130] В дополнение, несмотря на то, что элемент 122 передачи/приема изображен на Фиг. 17B как один элемент, WTRU 102 может включать в себя любое количество элементов 122 передачи/приема. В частности, WTRU 102 может использовать технологию MIMO. Таким образом, в одном варианте осуществления, WTRU 102 может включать в себя два или более элемента 122 передачи/приема (например, несколько антенн) для передачи и приема беспроводных сигналов через радиоинтерфейс 116.

[0131] Приемопередатчик 120 может быть выполнен с возможностью модулирования сигналов, которые будут переданы элементом 122 передачи/приема, и демодулирования сигналов, которые принимаются элементом 122 передачи/приема. Как отмечено выше, WTRU 102 может обладать многорежимными возможностями. Таким образом, приемопередатчик 120 может включать в себя несколько приемопередатчиков, чтобы позволить WTRU 102 осуществлять связь через несколько RAT, такие как UTRA и IEEE 802.11, например.

[0132] Процессор 118 WTRU 102 может быть сопряжен с, и может принимать данные ввода пользователя от, громкоговорителя/микрофона 124, клавишной панели 126, и/или дисплея/сенсорной панели 128 (например, дисплейного блока жидкокристаллического дисплея (LCD) или дисплейного блока на органических светоизлучающих диодах (OLED)). Процессор 118 также может выводить данные пользователя на громкоговоритель/микрофон 124, клавишную панель 126, и/или дисплей/сенсорную панель 128. В дополнение, процессор 118 может осуществлять доступ к информации в, и сохранять данные в, любом типе подходящей памяти, такой как несъемная память 130 и/или съемная память 132. Несъемная память 130 может включать в себя память с произвольным доступом (RAM), постоянную память (ROM), жесткий диск, или любой другой тип запоминающего устройства памяти. Съемная память 132 может включать в себя карту модуля идентификации абонента (SIM), карту памяти, карту памяти стандарта secure digital (SD) и подобное. В других вариантах осуществления, процессор 118 может осуществлять доступ к информации в, и сохранять данные в, памяти, которая физически не располагается в WTRU 102, как например на сервере или домашнем компьютере (не показано).

[0133] Процессор 118 может принимать питание от источника 134 питания и может быть выполнен с возможностью распространения и/или управления питанием для других компонентов в WTRU 102. Источник 134 питания может быть любым устройством для питания WTRU 102. Например, источник 134 питания может включать в себя одну или более сухие батареи (например, никель-кадмиевые (NiCd), никель-цинковые (NiZn), никелевые металлогидридные (NiMH), ионно-литиевые (Li-ion) и т.д.), солнечные элементы, топливные элементы и подобное.

[0134] Процессор 118 также может быть сопряжен с набором 136 микросхем GPS, который может быть выполнен с возможностью предоставления информации о местоположении (например, долготу и широту), которая касается текущего местоположения WTRU 102. В дополнение, или вместо, информации от набора 136 микросхем GPS, WTRU 102 может принимать информацию о местоположении через радиоинтерфейс 116 от базовой станции (например, базовых станций 114a, 114b) и/или определять свое местоположение на основании хронометража сигналов, принимаемых от двух или более ближайших базовых станций. Следует иметь в виду, что WTRU 102 может получать информацию о местоположении посредством любого подходящего способа определения местоположения, при этом оставаясь совместимым с вариантом осуществления.

[0135] Процессор 118 может дополнительно быть сопряжен с другими периферийными средствами 138, которые могут включать в себя один или более модули программного обеспечения и/или аппаратного обеспечения, которые обеспечивают дополнительные признаки, функциональные возможности и/или возможности проводной или беспроводной связи. Например, периферийные средства 138 могут включать в себя акселерометр, электронный компас, спутниковый приемопередатчик, цифровую камеру (для фотографических снимков или видео), порт универсальной последовательной шины (USB), устройство вибрации, телевизионный приемопередатчик, гарнитуру громкой связи, модуль Bluetooth®, блок радиочастотной модуляции (FM), цифровой музыкальный проигрыватель, мультимедийный проигрыватель, модуль проигрывателя видеоигр, Интернет браузер и подобное.

[0136] Фиг. 17C является схемой системы варианта осуществления системы 100 связи, которая включает в себя RAN 104a и базовую сеть 106a, которые выполнены в виде примерных реализаций RAN 104 и базовой сети 106, соответственно. Как отмечено выше, RAN 104, например RAN 104a, может использовать технологию радиосвязи UTRA, чтобы осуществлять связь с WTRU 102a, 102b, 102c через радиоинтерфейс 116. RAN 104a также может осуществлять связь с базовой сетью 106a. Как показано на Фиг. 17C, RAN 104a может включать в себя Узлы-B 140a, 140b, 140c, каждый из которых может включать в себя один или более приемопередатчики для осуществления связи с WTRU 102a, 102b, 102c через радиоинтерфейс 116. Узлы-B 140a, 140b, 140c каждый может быть ассоциирован с конкретной сотой (не показано) в RAN 104a. RAN 104a также может включать в себя RNC 142a, 142b. Следует иметь в виду, что RAN 104a может включать в себя любое количество Узлов-B и RNC, при этом оставаясь совместимой с вариантом осуществления.

[0137] Как показано на Фиг. 17C, Узел-B 140a, 140b может осуществлять связь с RNC 142a. Дополнительно, Узел-B 140c может осуществлять связь с RNC 142b. Узлы-B 140a, 140b, 140c могут осуществлять связь с соответствующими RNC 142a, 142b через интерфейс Iub. RNC 142a, 142b могут осуществлять связь друг с другом через интерфейс Iur. Каждый из RNC 142a, 142b может быть выполнен с возможностью управления соответствующими Узлами-B 140a, 140b, 140c, с которыми они соединены. В дополнение, каждый из RNC 142a, 142b может быть выполнен с возможностью осуществления или обеспечения других функциональных возможностей, таких как управление мощностью во внешнем контуре, управление нагрузкой, управление допуском, планирование пакетов, управление передачей обслуживания, макроразнесение, функции обеспечения безопасности, шифрование данных и подобное.

[0138] Базовая сеть 106a, показанная на Фиг. 17C, может включать в себя шлюз 144 среды (MGW), центр 146 коммутации подвижной связи (MSC), обслуживающий узел 148 поддержки GPRS (SGSN), и/или шлюзовой узел 150 поддержки GPRS (GGSN). Несмотря на то, что каждый из вышеупомянутых элементов изображен как часть базовой сети 106a, следует иметь в виду, что любым из этих элементов может владеть и/или оперировать субъект, отличный от оператора базовой сети.

[0139] RNC 142a в RAN 104a может быть соединен с MSC 146 в базовой сети 106a через интерфейс IuCS. MSC 146 может быть соединен с MGW 144. MSC 146 и MGW 144 могут предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией каналов, таким как PSTN 108, чтобы обеспечивать связь между WTRU 102a, 102b, 102c и традиционными устройствами связи наземной линии связи.

[0140] RNC 142a в RAN 104a также может быть соединен с SGSN 148 в базовой сети 106a через интерфейс IuPS. SGSN 148 может быть соединен с GGSN 150. SGSN 148 и GGSN 150 могут предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как Интернет 110, чтобы обеспечивать связь между WTRU 102a, 102b, 102c и устройствами с возможностями IP.

[0141] Как отмечено выше, базовая сеть 106a также может быть соединена с сетями 112, которые могут включать в себя другие проводные или беспроводные сети, которыми владеют и/или оперируют другие поставщики услуги.

[0142] Фиг. 17D является схемой системы варианта осуществления системы 100 связи, которая включает в себя RAN 104b и базовую сеть 106b, которые выполнены в виде примерных реализаций RAN 104 и базовой сети 106, соответственно. Как отмечено выше, RAN 104, например RAN 104b, может использовать технологию радиосвязи E-UTRA, чтобы осуществлять связь с WTRU 102a, 102b и 102c через радиоинтерфейс 116. RAN 104b также может осуществлять связь с базовой сетью 106b.

[0143] RAN 104b может включать в себя eNode-B 170a, 170b, 170c, несмотря на то, что следует иметь в виду, что RAN 104b может включать в себя любое количество eNode-b, при этом оставаясь совместимой с вариантом осуществления. eNode-B 170a, 170b, 170c каждый может включать в себя один или более приемопередатчики для осуществления связи с WTRU 102a, 102b, 102c через радиоинтерфейс 116. В одном варианте осуществления, eNode-B 170a, 170b, 170c могут реализовывать технологию MIMO. Таким образом, eNode-B 170a, например, может использовать несколько антенн, чтобы передавать беспроводные сигналы к, и принимать беспроводные сигналы от, WTRU 102a.

[0144] Каждый из eNode-B 170a, 170b, 170c может быть ассоциирован с конкретной сотой (не показано) и может быть выполнен с возможностью обработки решений по администрированию радиоресурсами, решений передачи обслуживания, планирования пользователей по восходящей линии связи и/или нисходящей линии связи и подобного. Как показано на Фиг. 17D, eNode-B 170a, 170b, 170c могут осуществлять связь друг с другом через интерфейс X2.

[0145] Базовая сеть 106b, показанная на Фиг. 17D, может включать в себя шлюз 172 управления мобильностью (MME), обслуживающий шлюз 174 и шлюз 176 сети с коммутацией пакетов (PDN). Несмотря на то, что вышеупомянутые элементы изображены как часть базовой сети 106b, следует иметь в виду, что любым из этих элементов может владеть и/или оперировать субъект, отличный от оператора базовой сети.

[0146] MME 172 может быть соединен с каждым eNode-B 170a, 170b, 170c в RAN 104b через интерфейс S1 и может служить в качестве узла управления. Например, MME 172 может отвечать за аутентификацию пользователей WTRU 102a, 102b, 102c, активацию/деактивацию несущего канала, выбор конкретного обслуживающего шлюза во время исходного прикрепления WTRU 102a, 102b, 102c и подобное. MME 172 также может предоставлять функцию плоскости управления для переключения между RAN 104b и другими RAN (не показано), которые используют другие технологии радиосвязи, такие как GSM или WCDMA.

[0147] Обслуживающий шлюз 174 может быть соединен с каждым из eNode-B 170a, 170b, 170c в RAN 104b через интерфейс S1. Обслуживающий шлюз 174 может главным образом осуществлять маршрутизацию и переадресацию пакетов данных пользователя к/от WTRU 102a, 102b, 102c. Обслуживающий шлюз 174 также может выполнять другие функции, такие как закрепление плоскостей пользователя во время меж-eNode B передач обслуживания, инициирование поискового вызова, когда данные нисходящей линии связи доступны для WTRU 102a, 102b, 102c, администрирование и сохранение контекстов WTRU 102a, 102b, 102c и подобное.

[0148] Обслуживающий шлюз 174 также может быть соединен со шлюзом 176 PDN, который может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как Интернет 110, чтобы обеспечивать связь между WTRU 102a, 102b, 102c и устройствами с возможностями IP.

[0149] Базовая сеть 106b может обеспечивать связь с другими сетями. Например, базовая сеть 106b может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией каналов, таким как PSTN 108, чтобы обеспечивать связь между WTRU 102a, 102b, 102c и традиционными устройствами связи наземной линии. Например, базовая сеть 106b может включать в себя, или может осуществлять связь с, шлюзом IP (например, сервер Мультимедийной Подсистемы на Базе Протокола IP), который служит в качестве интерфейса между базовой сетью 106b и PSTN 108. В дополнение, базовая сеть 106b может предоставлять WTRU 102a, 102b, 102c доступ к сетям 112, которые могут включать в себя другие проводные или беспроводные сети, которыми владеют и/или оперируют другие поставщики услуг.

[0150] Фиг. 17E является схемой системы варианта осуществления системы 100 связи, которая включает в себя RAN 104c и базовую сеть 106c, которые выполнены в виде примерных реализаций RAN 104 и базовой сети 106, соответственно. RAN 104, например, RAN 104c, может быть сетью доступа к услуге (ASN), которая использует технологию радиосвязи IEEE 802.16, чтобы осуществлять связь с WTRU 102a, 102b, 102c через радиоинтерфейс 116. Как описано в данном документе, линии связи между разными функциональными объектами из WTRU 102a, 102b, 102c, RAN 104c и базовой сети 106c могут быть определены в качестве опорных точек.

[0151] Как показано на Фиг. 17E, RAN 104c может включать в себя базовые станции 180a, 180b, 180c и шлюз 182 ASN, несмотря на то, что следует иметь в виду, что RAN 104c может включать в себя любое количество базовых станций и шлюзов ASN, при этом оставаясь совместимой с вариантом осуществления. Базовые станции 180a, 180b, 180c каждая может быть ассоциирована с конкретной сотой (не показано) в RAN 104с и каждая может включать в себя один или более приемопередатчики для осуществления связи с WTRU 102a, 102b, 102c через радиоинтерфейс 116. В одном варианте осуществления, базовые станции 180a, 180b, 180c могут реализовывать технологию MIMO. Таким образом, базовая станция 180a, например, может использовать несколько антенн, чтобы передавать беспроводные сигналы к, и принимать беспроводные сигналы от, WTRU 102a. Базовые станции 180a, 180b, 180c также могут предоставлять функции управления мобильностью, такие как инициирование передачи обслуживания, создание тоннеля, администрирование радиоресурса, классификация трафика, обеспечение соблюдения политики качества услуги (QoS) и подобные. Шлюз 182 ASN может служить в качестве точки агрегации трафика и может отвечать за поисковый вызов, кэширование профилей абонента, маршрутизацию к базовой сети 106c и подобное.

[0152] Радиоинтерфейс 116 между WTRU 102a, 102b, 102c и RAN 104c может быть определен как опорная точка R1, которая реализует спецификацию IEEE 802.16. В дополнение, каждый из WTRU 102a, 102b, 102c может создавать логический интерфейс (не показано) с базовой сетью 106c. Логический интерфейс между WTRU 102a, 102b, 102c и базовой сетью 106с может быть определен как опорная точка R2, которая может быть использована для аутентификации, авторизации, администрирования конфигурации хоста IP, и/или управления мобильностью.

[0153] Линия связи между каждой из базовых станций 180a, 180b, 180c может быть определена как опорная точка R8, которая включает в себя протоколы для обеспечения передач обслуживания WTRU и переноса данных между базовыми станциями. Линия связи между базовыми станциями 108a, 108b, 108c и шлюзом 182 ASN может быть определена как опорная точка R6. Опорная точка R6 может включать в себя протоколы для обеспечения управления мобильностью на основании событий мобильности, ассоциированных с каждым из WTRU 102a, 102b, 102c.

[0154] Как показано на Фиг. 17E, RAN 104с может быть соединена с базовой сетью 106c. Линия связи между RAN 104c и базовой сетью 106с может быть определена как опорная точка R3, которая включает в себя протоколы, для обеспечения переноса данных и возможностей управления мобильностью, например. Базовая сеть 106c может включать в себя домашнего агента 184 протокола мобильного интернета (MIP-HA), сервер 186 аутентификации, авторизации и учета (AAA) и шлюз 188. Несмотря на то, что вышеупомянутые элементы изображены как часть базовой сети 106c, следует иметь в виду, что любым из этих элементов может владеть и/или оперировать субъект, отличный от оператора базовой сети.

[0155] MIP-HA 184 может отвечать за администрирование IP-адреса и может предоставлять WTRU 102a, 102b, 102c возможность осуществлять роуминг между разными ASN и/или разными базовыми сетями. MIP-HA 184 может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как Интернет 110, чтобы обеспечивать связь между WTRU 102a, 102b, 102c и устройствами с возможностями IP. Сервер 186 AAA может отвечать за аутентификацию пользователя и за поддержку услуг пользователя. Шлюз 188 может обеспечивать межсетевой обмен с другими сетями. Например, шлюз 188 может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией каналов, таким как PSTN 108, чтобы обеспечивать связь между WTRU 102a, 102b, 102c и традиционными устройствами связи наземной линии связи. В дополнение, шлюз 188 может предоставлять WTRU 102a, 102b, 102c доступ к сетям 112, которые могут включать в себя другие проводные или беспроводные сети, которыми владеют и/или оперируют другие поставщики услуги.

[0156] Несмотря на то, что не показано на Фиг. 17E, следует иметь в виду, что RAN 104c может быть соединена с другими ASN, а базовая сеть 106c может быть соединена с другими базовыми сетями. Линия связи между RAN 104c и другими ASN может быть определена как опорная точка R4, которая может включать в себя протоколы для координации мобильности WTRU 102a, 102b, 102c между RAN 104c и другими ASN. Линия связи между базовой сетью 106c и другими базовыми сетями может быть определена как опорная точка R5, которая может включать в себя протоколы для обеспечения межсетевого обмена между домашними базовыми сетями и посещаемыми базовыми сетями.

[0157] Несмотря на то, что признаки и элементы описываются выше в конкретных сочетаниях, специалисту в соответствующей области техники следует иметь в виду, что каждый признак или элемент может быть использован отдельно или в любом сочетании с другими признаками и элементами. В дополнение, способы, описанные в данном документе, могут быть реализованы в компьютерной программе, программном обеспечении, или встроенном программном обеспечении, включенном в машиночитаемый носитель информации для исполнения посредством компьютера или процессора. Примеры машиночитаемых носителей информации включают в себя электронные сигналы (передаваемые через проводные или беспроводные соединения) и машиночитаемые запоминающие носители информации. Примеры машиночитаемых запоминающих носителей информации включают в себя, но не ограничиваются, постоянную память (ROM), память с произвольным доступом (RAM), регистр, кэш-память, полупроводниковые устройства памяти, магнитные носители информации, такие как внутренние жесткие диски и съемные диски, магнитооптические носители информации и оптические носители информации, такие как диски CD-ROM и цифровые универсальные диски (DVD). Процессор в ассоциации с программным обеспечением может быть использован, чтобы реализовать радиочастотный приемопередатчик для использования в WTRU, WTRU, терминал, базовую станцию, RNC или любой хост-компьютер. Признаки и/или элементы, описанные в данном документе в соответствии с одним или более примерными вариантами осуществления, могут быть использованы в сочетании с признаками и/или элементами, описанными в данном документе в соответствии с одним или более другими примерными вариантами осуществления.

1. Способ межслойной обработки видеосигнала, при этом способ содержит этапы, на которых:

принимают видеосигнал, содержащий базовый слой (BL) и слой улучшения (EL);

реконструируют картинку BL из BL;

вычисляют битовую глубину элемента дискретизации входного компонента яркости и битовую глубину элемента дискретизации входных компонентов цветности на основе указания битовой глубины элемента дискретизации входного компонента яркости и указания битовой глубины элемента дискретизации входных компонентов цветности в принятом видеосигнале;

вычисляют битовую глубину элемента дискретизации выходного компонента яркости и битовую глубину элемента дискретизации выходных компонентов цветности на основе указания битовой глубины элемента дискретизации выходного компонента яркости и указания битовой глубины элемента дискретизации выходных компонентов цветности в принятом видеосигнале;

выполняют первую межслойную обработку в отношении реконструированной картинки BL упомянутого видеосигнала, используя объединенный модуль обработки, который одновременно выполняет процессы обратного отображения тона и масштабируемости преобразования цветовой гаммы с использованием трехмерной (3D) поисковой таблицы (LUT) на основе битовой глубины элемента дискретизации входного компонента яркости и битовой глубины элемента дискретизации входных компонентов цветности, битовой глубины элемента дискретизации выходного компонента яркости и битовой глубины элемента дискретизации выходных компонентов цветности, причем процессы масштабируемости преобразования цветовой гаммы содержат масштабирование реконструированной картинки BL из первой цветовой гаммы, которая охватывает первый объем цветов, до второй цветовой гаммы, которая охватывает более широкий объем цветов в сравнении с первым объемом цветов; и

выполняют вторую межслойную обработку в отношении выходных данных первой межслойной обработки, используя модуль обработки повышающей дискретизации.

2. Способ по п. 1, в котором входной компонент яркости и входные компоненты цветности ассоциированы с цветовой гаммой BT.709, а выходной компонент яркости и выходные компоненты цветности ассоциированы с цветовой гаммой BT.2020.

3. Способ по п. 1, в котором вторая межслойная обработка выполняется на основании битовой глубины элемента дискретизации выходного компонента яркости и битовой глубины элемента дискретизации выходных компонентов цветности.

4. Способ по п. 1, в котором BL имеет первое пространственное разрешение, а EL имеет второе пространственное разрешение, причем второе пространственное разрешение выше первого пространственного разрешения, и модуль обработки повышающей дискретизации масштабирует выходные данные первой межслойной обработки до второго пространственного разрешения.

5. Способ по п. 1, в котором 3D LUT ассоциирована как с процессом обратного отображения тона, так и с процессом масштабируемости преобразования цветовой гаммы.

6. Способ по п. 1, причем способ дополнительно содержит этап, на котором предсказывают по меньшей мере одну картинку EL упомянутого видеосигнала на основании обработанного первого слоя видеосигнала.

7. Устройство кодирования видео для межслойной обработки, причем устройство кодирования видео содержит:

процессор, выполненный с возможностью:

приема видеосигнала, содержащего базовый слой (BL) и слой улучшения (EL);

реконструирования картинки BL из BL;

вычисления битовой глубины элемента дискретизации входного компонента яркости и битовой глубины элемента дискретизации входных компонентов цветности на основе указания битовой глубины элемента дискретизации входного компонента яркости и указания битовой глубины элемента дискретизации входных компонентов цветности в принятом видеосигнале;

вычисления битовой глубины элемента дискретизации выходного компонента яркости и битовой глубины элемента дискретизации выходных компонентов цветности на основе указания битовой глубины элемента дискретизации выходного компонента яркости и указания битовой глубины элемента дискретизации выходных компонентов цветности в принятом видеосигнале;

выполнения первой межслойной обработки в отношении реконструированной картинки BL упомянутого видеосигнала с использованием объединенного модуля обработки, который одновременно выполняет процессы обратного отображения тона и масштабируемости преобразования цветовой гаммы с использованием трехмерной (3D) поисковой таблицы (LUT) на основе битовой глубины элемента дискретизации входного компонента яркости и битовой глубины элемента дискретизации входных компонентов цветности, битовой глубины элемента дискретизации выходного компонента яркости и битовой глубины элемента дискретизации выходных компонентов цветности, причем процессы масштабируемости преобразования цветовой гаммы содержат масштабирование реконструированной картинки BL из первой цветовой гаммы, которая охватывает первый объем цветов, до второй цветовой гаммы, которая охватывает более широкий объем цветов в сравнении с первым объемом цветов; и

выполнения второй межслойной обработки в отношении выходных данных первой межслойной обработки с использованием модуля обработки повышающей дискретизации.

8. Устройство кодирования видео по п. 7, в котором входной компонент яркости и входные компоненты цветности ассоциированы с цветовой гаммой BT.709, а выходной компонент яркости и выходные компоненты цветности ассоциированы с цветовой гаммой BT.2020.

9. Устройство кодирования видео по п. 7, в котором вторая межслойная обработка выполняется на основании битовой глубины элемента дискретизации выходного компонента яркости и битовой глубины элемента дискретизации выходных компонентов цветности.

10. Устройство кодирования видео по п. 7, в котором BL имеет первое пространственное разрешение, а EL имеет второе пространственное разрешение, причем второе пространственное разрешение выше первого пространственного разрешения, и процессор выполнен с возможностью, с помощью модуля обработки повышающей дискретизации, масштабирования выходных данных первой межслойной обработки до второго пространственного разрешения.

11. Устройство кодирования видео по п. 7, в котором 3D LUT ассоциирована как с процессом обратного отображения тона, так и с процессом масштабируемости преобразования цветовой гаммы.

12. Устройство кодирования видео по п. 7, в котором процессор дополнительно выполнен с возможностью предсказывания по меньшей мере одной картинки EL упомянутого видеосигнала на основании обработанного первого слоя видеосигнала.



 

Похожие патенты:

Изобретение относится к вычислительной технике. Технический результат заключается в сдерживании увеличения емкости запоминающего устройства, необходимой для кодирования и декодирования.

Изобретение относится к области предоставления мультимедийного контента пользователям. Техническим результатом является контроль за воспроизведением медиа-контента, включающего объекты интеллектуальных прав.

Изобретение относится к системе передачи и приемнику сигнала стандарта спутникового формата цифрового телевидения (DVB-S2). Технический результат заключается в обеспечении разделения высокоскоростного цифрового потока типа транспортного потока MPEG (MPEG-TS) на несколько потоков для передачи через спутник по множеству частотных каналов.

Изобретение относится к устройству предоставления контента, который доставляется посредством многоадресной передачи по протоколу доставки файлов через однонаправленный транспорт (FLUTE).

Изобретение относится к управлению питанием устройства отображения. Технический результат заключается в обеспечении быстрого включения питания устройства отображения от пульта дистанционного управления.

Изобретение относится к потоковой передаче данных. Техническим результатом является обеспечение требуемого качества воспроизведения медиаконтента.

Изобретение относится к области кодирования/декодирования изображений. Технический результат – обеспечение повышения качества изображений.

Группа изобретений относится к технологиям кодирования и декодирования изображений. Техническим результатом является повышение эффективности кодирования/декодирования изображений.

Изобретение относится к способу и устройству для уведомления об аномальной видеоинформации. Технический результат - своевременное предоставление пользователю уведомления об аномальной информации.

Изобретение относится к области видеосъемки и видеонаблюдения. Технический результат – повышение качества и достоверности изображения путем устранения эффекта скользящего затвора камеры.

Группа изобретений относится к медицинской технике, а именно к эндоскопическим видеосистемам. Способ идентификации особенности в данных изображения включает осуществление доступа к данным изображения, снятого с помощью эндоскопического видеоустройства, при этом данные изображения кодируются в первом цветовом пространстве, преобразование данных изображения, к которым осуществляется доступ, из первого цветового пространства во второе цветовое пространство, при этом второе цветовое пространство отличается от первого цветового пространства и является цветовым пространством сегментирования, определение местоположения особенности на изображении при анализе данных изображения во втором цветовом пространстве, сохранение данных сегментации, которые указывают местоположение особенностей на изображении, и отображение, на основе данных сегментации, изображения с указанием определенного местоположения особенностей.

Группа изобретений относится к медицинской технике, а именно к средствам для мониторинга или измерения состояния кожи путем обнаружения колебаний концентрации воды и порфиринов, находящихся в ней.

Изобретение относится к области вычислительной техники. Технический результат направлен на повышение точности и скорости автоматического обнаружения паллеты.

Изобретение относится к области компьютерных технологий. Технический результат – повышение точности при рекомендации облачной карты контактному субъекту.

Изобретение относится к вычислительной технике. Технический результат заключается в преобразовании частоты кадров в реальном времени на мобильном устройстве при улучшенном сочетании энергопотребления, качества и производительности.

Группа изобретений относится к области обработки данных компьютерной томографии (КТ) и может быть использована для сегментации изображений очагов легких. Получают данные КТ органов грудной клетки, содержащие изображения.

Изобретение относится к медицинской технике. Система содержит интерфейс, выполненный с возможностью приема потока данных, содержащего данные изображений, представляющие всю наблюдаемую область, содержащую по меньшей мере один исследуемый объект; разделительный блок, выполненный с возможностью образования множества подобластей в общей области; а также классификатор, выполненный с возможностью классификации множества подобластей по меньшей мере на один индикативный тип области и по меньшей мере один вспомогательный тип области, при этом по меньшей мере один индикативный тип области содержит по меньшей мере одну индикативную область исследования, по меньшей мере частично представляющую исследуемый объект.

Изобретение относится к области анализа и обработки изображений документов. Технический результат – повышение точности разделения текстов и иллюстраций в изображениях документов и минимизация ошибок такого разделения.

Группа изобретений относится к медицине. Группа изобретений представлена способом определения жизненно важных показателей человеческого тела, устройством для определения жизненно важных показателей, способом аутентификации человека и способом для распознавания реакции человека.

Изобретение относится к области видеосъемки и видеонаблюдения. Технический результат – повышение качества и достоверности изображения путем устранения эффекта скользящего затвора камеры.

Изобретение относится к области обработки видеосигналов. Технический результат – обеспечение повышения качества видеосигнала. Способ межслойной обработки видеосигнала содержит этапы, на которых: принимают видеосигнал, содержащий базовый слой и слой улучшения ; реконструируют картинку BL; выполняют первую межслойную обработку, используя объединенный модуль обработки, который одновременно выполняет процессы обратного отображения тона и масштабируемости преобразования цветовой гаммы с использованием трехмерной поисковой таблицы на основе битовой глубины элемента дискретизации входного компонента яркости и битовой глубины элемента дискретизации входных компонентов цветности, битовой глубины элемента дискретизации выходного компонента яркости и битовой глубины элемента дискретизации выходных компонентов цветности, причем процессы масштабируемости преобразования цветовой гаммы содержат масштабирование реконструированной картинки BL из первой цветовой гаммы до второй цветовой гаммы, которая охватывает более широкий объем цветов; и выполняют вторую межслойную обработку в отношении выходных данных первой межслойной обработки, используя модуль обработки повышающей дискретизации. 2 н. и 10 з.п. ф-лы, 21 ил.

Наверх