Устройство передачи, способ передачи, устройство приема и способ приема

Изобретение относится к области приема/передачи и кодирования/декодирования данных изображения. Технический результат – обеспечение на стороне приема возможности выполнения улучшенной обработки декодирования за счет приема или передачи значения обозначения уровня для потока битов и информации о диапазоне слоев. Устройство передачи содержит: модуль кодирования изображения, выполненный с возможностью классифицировать данные изображения для каждого кадра, составляющего данные движущегося изображения, по множеству слоев, кодировать классифицированные данные изображения для кадра в каждом из множества слоев и генерировать видеоданные, имеющие кодированные данные изображения для кадра в каждом из множества слоев; модуль передачи данных, выполненный с возможностью передачи видеоданных; модуль передачи информации, выполненный с возможностью передачи значения обозначения уровня для потока битов и информации о диапазоне слоев в каждом из множества диапазонов слоев, имеющих разный максимальный слой. 4 н. и 7 з.п. ф-лы, 18 ил.

 

Область техники, к которой относится изобретение

Настоящая технология относится к устройству передачи, способу передачи, устройству приема и способу приема и относится к устройству передачи, и т.п., которое иерархически кодирует и передает данные изображения каждого изображения, составляющего данные движущегося изображения.

Уровень техники

Когда предоставляется услуга сжатого движущегося изображения, используя широковещательную передачу, Интернет и т.п., верхний предел воспроизводимой частоты кадров определен возможностями декодирования приемников. Таким образом, рабочие стороны услуги должны ограничивать услуги, имеющие низкую частоту кадров, и одновременно предоставлять услуги, имеющие множество высоких и низких частот кадров, учитывая возможности воспроизведения широко распространенных приемников.

Стоимость приемника слишком высока для работы с услугой, имеющей высокую частоту кадров, что представляет собой заградительный фактор для распространения. Когда стороны услуги запускают услугу, имеющую высокую частоту кадров, несмотря на то, что широкое распространение получили недорогостоящие приемники, предназначенные для услуг, имеющих низкую частоту кадров, для использования услуги, имеющей высокую частоту кадров, нужен новый приемник, что представляет собой заградительный фактор для распространения услуги.

Например, при видеокодировании высокой эффективности (HEVC), была представлена масштабируемость в направлении времени путем иерархического кодирования данных изображения каждого кадра, составляющего данные движущегося изображения (Непатентный документ 1). Сторона приема может идентифицировать, на основе временного ID (temporal_id) вставленного в заголовок модуля слоя сетевой абстракции (NAL), слой каждого изображения, и может избирательно выполнять декодирование для слоя, соответствующего возможностям декодирования.

Список литературы

Непатентный документ

Непатентный документ 1: Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012

Раскрытие сущности изобретения

Задачи, решаемые изобретением

Назначение настоящей технологии состоит в том, чтобы обеспечить для принимающей стороны возможность превосходной обработки декодирования в соответствии с возможностями декодирования.

Решения задач

Концепция настоящей технологии состоит в устройстве передачи, включающем себя модуль кодирования изображения, который классифицирует данные изображения каждого изображения, составляющего данные движущегося изображения на множество слоев, кодирует классифицированные данные изображения для изображения в каждом из множества слоев и генерирует видеопоток, имеющий кодированные данные изображения для изображения в каждом из множества слоев,

модуль передачи данных, который передает видеоданные,

и модуль передачи информации, который передает значение обозначения уровня потока битов и информацию о диапазоне слоя в каждом из множества диапазонов слоя, имеющих разный максимальный слой.

В настоящей технологии кодируют данные изображения каждого изображения, составляющего данные движущегося изображения, и генерируют видеоданные с помощью модуля кодирования изображения. В этом случае данные изображения каждого изображения, составляющего данные движущегося изображения, классифицируют на множество слоев и кодируют, и генерируют поток данных, имеющий данные изображения для изображения в каждом из множества слоев. Видеоданные передают с помощью модуля передачи.

Значение обозначения уровня потока битов и информацию о диапазоне слоя в каждом из множества диапазонов слоев, имеющих разный максимальный слой, передают с помощью модуля передачи информации. Например, модуль передачи информации может вставлять информацию в слой контейнера, содержащего видеоданные, и передавать информацию. В этом случае, например, контейнер представляет собой MPEG2-TS, и модуль передачи информации может вставлять информацию под таблицей карты программы, и передавать эту информацию. Кроме того, например, модуль передачи информации может вставлять информацию в метафайл, имеющий метаинформацию, относящуюся к видеоданным, и передавать эту информацию. В этом случае, например, метафайл может представлять собой файл MPD.

Как описано выше, в настоящей технологии передают значения обозначения уровня потока битов и информацию о диапазоне слоя в каждом множестве диапазонов слоя, имеющих разный максимальный слой. Таким образом, на стороне приема возможно легко декодировать кодированные данные изображения для изображения в диапазоне слоя, в соответствии с характеристикой декодирования.

Следует отметить, что в настоящей технологии модуль передачи информации может передавать, вместе с информацией о профиле, значения обозначения уровня потока битов и информацию о диапазоне слоя в каждом из множества диапазонов слоев, имеющих различный максимальный слой. В этом случае возможно, чтобы сторона приема подтверждала диапазон слоя в соответствии с характеристиками декодирования на основе информации о профиле в дополнение к значению обозначения уровня потока битов.

Кроме того, другая концепция настоящей технологии направлена на устройство приема, включающее в себя модуль приема данных, который принимает видеоданные, имеющие кодированные данные изображения для изображения в каждом из множества слоев, полученных путем классификации данных изображения каждого изображения, составляющего данные движущегося изображения во множестве слоев, и кодирующее данные изображения,

модуль приема информации, который принимает значение обозначения уровня потока битов и информацию о диапазоне слоя в каждом из множества диапазонов слоев, имеющих разный максимальный слой,

и модуль обработки, который выделяет из видеоданных данные изображения для изображения в слое, который ниже, чем заданный слой, и декодирует данные изображения на основе информации.

В настоящей технологии видеоданные принимают с помощью модуля приема. Видеоданные содержат кодированные данные изображения для изображения в каждом из множества слоев, полученных путем классификации данных изображения каждого изображения, составляющего данные движущегося изображения, на множество слоев и кодирования данных изображения.

Значение обозначения уровня потока битов и информацию о диапазоне слоя в каждом из множества диапазонов слоев, имеющих различный максимальный слой, принимают с помощью модуля приема информации. Например, модуль приема информации может получать информацию из слоя контейнера, содержащего видеоданные. Кроме того, например, модуль приема информации может получать информацию из метафайла, имеющего метаинформацию, относящуюся к видеоданным. Данные изображения для изображения в слое, который ниже, чем заданный слой, выделяют из видеоданных и декодируют на основе информации с помощью модуля обработки.

Как описано выше, в настоящей технологии, принимают значения обозначения уровня потока битов и информацию диапазона слоя в каждом из множества диапазонов слоя, имеющих разный максимальный слой, и данные изображения для изображения в слое, ниже, чем заданный слой, выделяют из видеоданных и декодируют на основе информации. Таким образом, возможно легко декодировать кодированные данные изображения для изображения в диапазоне слоя, в соответствии с характеристиками декодирования.

Результаты изобретения

В соответствии с настоящей технологией на стороне приема возможно выполнять превосходную обработку декодирования в соответствии с возможностями декодирования. Следует отметить, что, эффекты не обязательно ограничены эффектами, описанными здесь, и могут представлять собой любой один из эффектов, описанных в настоящем раскрытии.

Краткое описание чертежей

На фиг. 1 показана блок-схема, поясняющая пример конфигурации системы приемопередатчика в соответствии с вариантом осуществления.

На фиг. 2 (а) и (b) показаны примеры структуры заголовка модуля NAL и схема, поясняющая семантику основного параметра в примере структуры.

На фиг. 3 (а)-(с) показаны схемы, поясняющие пример иерархического кодирования.

На фиг. 4 показана схема, иллюстрирующая "level_idc" и пример значения.

На фиг. 5 представлена блок-схема, поясняющая пример конфигурации устройства передачи.

На фиг. 6 представлена схема, иллюстрирующая пример структуры дескриптора HEVC с добавленным элементом.

На фиг. 7 представлена схема, иллюстрирующая пример структуры слоя/ сигналов/дескриптора.

На фиг. 8 представлена схема, иллюстрирующая семантику основной информации в примере структуры слоя/сигналов/дескриптора.

На фиг. 9 (а)-(с) показаны схемы, поясняющие пример конфигурации слоя профиля.

На фиг. 10 представлена схема, иллюстрирующая пример конфигурации транспортного потока TS.

На фиг. 11 показана блок-схема, поясняющая пример конфигурации устройства приема.

На фиг. 12 представлена схема, схематично поясняющая конфигурацию демультиплексора и декодера.

На фиг. 13 представлена схема, схематично поясняющая поведение модуля анализа временного ID.

На фиг. 14 представлен пример потока обработки декодера и модуля последующей обработки.

На фиг. 15 (а) и (b) показаны схемы, поясняющие пример конфигурации система распределения потока на основе MPEG-DASH.

На фиг. 16 (а)-(d) показаны схемы, поясняющие пример соотношения между структурами, иерархически размещенными в файле MPD.

На фиг. 17 представлена схема, иллюстрирующая пример конфигурации потока FragmentedMP4 в ассоциации с файлом MPD.

На фиг. 18 представлена схема, иллюстрирующая вариант выполнения файла MPD.

Осуществление изобретения

Ниже описан режим для выполнения изобретения (ниже называется "вариантом осуществления"). Следует отметить, что описание представлено в следующем порядке:

1. Вариант осуществления

2. Модифицированный пример

1. Вариант осуществления

Система приемопередатчика

На фиг. 1 иллюстрируется пример конфигурации системы 10 приемопередатчика, в соответствии с вариантом осуществления. Система 10 приемопередатчика включает в себя устройство 100 передачи и устройство 200 приема.

Устройство 100 передачи передает транспортный поток TS, как контейнер, по волне широковещательной передачи. Транспортный поток TS содержит видеоданные, имеющие кодированные данные изображения для изображения в каждом из множества слоев, полученных путем классификации данных изображения для изображения, составляющего данные движущегося изображения, во множестве слоев, и кодирования данных изображения. В этом случае путем, например, выполнения кодирования, такой как H.264/AVC или H.265/HEVC, данные изображения кодируют таким образом, что изображение, на которое делается ссылка, принадлежит собственному слою и/или слою, ниже, чем собственный слой.

Информацию идентификации слоя добавляют к кодированным данным изображения для изображения каждого из слоев, для идентификации слоя, которому принадлежит каждое изображение. В этом варианте осуществления информация идентификации слоя ("nuh_temporal_id_plus1", обозначающая temporal_id), размещается в части заголовка модуля NAL (nal_unit) каждого изображения. Путем добавления информации идентификации слоя таким образом для стороны приема возможно избирательно выделять кодированные данные изображения в слое, ниже, чем заданный слой, и выполнять обработку декодирования.

На фиг. 2 (а) иллюстрируется пример структуры (Синтаксис) заголовка модуля NAL, и на фиг. 2 (b) иллюстрируется семантика основного параметра в примере структуры. 1-битное поле "Forbidden_zero_bit" обязательно равно 0. 6-битное поле "Nal_unit_type" обозначает тип модуля NAL. 6-битное поле "Nuh_layer_id" принимает значение 0. 3-битное поле "Nuh_temporal_id_plus1" обозначает temporal_id, и принимает значение, получаемое путем добавления 1 (от 1 до 7).

Транспортный поток TS содержит одиночный видеопоток. Кроме того, значение обозначения уровня потока битов и информацию о диапазоне слоя в каждом из множества диапазонов слоев, имеющих разный максимальный слой, вставляют в транспортный поток TS. Информацию вставляют, например, под таблицей карты программы (РМТ).

На фиг. 3 (а)-(с) иллюстрируется пример иерархического кодирования, и каждый прямоугольная рамка обозначает изображение. На фиг. 3 (а) представлен пример, в котором самый верхний слой равен 3. Например, значение обозначения уровня потока битов диапазона слоя, максимальный слой которого представляет собой слой 3, представляет собой "level5.2", соответствующий услуге 2160/1 OOP, и информация диапазона слоя обозначает от 0 до 3. Кроме того, например, значение обозначения уровня потока битов диапазона слоя, максимальный слой которого представляет собой слой 2, представляет собой "level5.1", соответствующий услуге 2160/50Р, и информация диапазона слоя обозначает от 0 до 2.

На фиг. 3 (b) представлен пример, в котором самый верхний слой равен 3. Например, значение обозначения уровня потока битов для диапазона слоя, максимальный слой которого представляет собой слой 3, составляет "level5.2", соответствующий услуге 2160/100Р, и информация диапазона слоя обозначает от 0 до 3. Кроме того, например, значение обозначения уровня потока битов диапазона слоя, максимальный слой которого представляет собой слой 2, представляет собой "level5.1", соответствующий услуге 2160/50Р, и информация диапазона слоя обозначает от 0 до 2.

На фиг. 3 (с) показан пример, в котором самый верхний слой составляет 4. Например, значение обозначения уровня потока битов диапазона слоя, максимальный слой которого составляет слой 4, представляет собой "level5.2", соответствующий услуге 2160/100P, и информация о диапазоне слоя обозначает от 0 до 4. Кроме того, например, значение обозначения уровня потока битов диапазона слоя, максимальный слой которого составляет слой 3, представляет собой "level5.1", соответствующий услуге 2160/50Р, и информация о диапазоне слоя обозначает от 0 до 3. Кроме того, например, значение обозначения уровня потока битов диапазона слоя, максимальный слой которого составляет слой 2, представляет собой "level5", соответствующий услуге 2160/25Р, и информация о диапазоне слоя обозначает от 0 до 2.

Здесь описано значение "level_idc". На фиг. 4 иллюстрируется "level_idc" и пример значения. Например, "level_idc", соответствующий услуге 1080/50Р, представляет собой "level4.1", и значение равно "123" в десятичном выражении и "0x7b" в шестнадцатеричном. Для обозначения этого уровня "level4.1", "b", которое составляет младшие 4 бита, должно быть описано, как "ls4b_sublayer_level_idc" в дескрипторе HEVC, который будет описан ниже. Кроме того, например, "level_idc", соответствующий услуге 1080/100Р, представляет собой "level4.2", и значение представляет собой "126" в десятичном выражении и "0х7е" в шестнадцатеричном.

Кроме того, например, "level_idc", соответствующий услуге 2160/50Р, представляет собой "level5.1", и значение равно "153" в десятичном выражении и "0x99" в шестнадцатеричном. Для обозначения этого уровня "level5.1", "9", которое составляет нижние 4 бита, должно быть описано, как "ls4b_sublayer_level_idc" в дескрипторе HEVC, который будет описан ниже. Кроме того, например, "level_idc", соответствующий услуге 2160/100Р, представляет собой "level5.2", и значение "156" в десятичном выражении и "0x9c" в шестнадцатеричном.

Кроме того, например, "level_idc", соответствующий услуге 4320/50Р, представляет собой "level6.1", и значение равно "183" в десятичном выражении и "0xb7" в шестнадцатеричном. Для обозначения этого "level6.1", "7", которое составляет нижние 4 бита, должно быть описано, как "ls4b_sublayer_level_idc" в дескрипторе HEVC, который будет описан ниже. Кроме того, например, "level_idc", соответствующий услуге 4320/100P, представляет собой "level6.2", и значение составляет "186" в десятичном выражении и "0xba" в шестнадцатеричном.

Устройство 200 приема принимает описанный выше транспортный поток TS, передаваемый из устройства 100 передачи по волне широковещательной передачи или в пакете Интернет. Устройство 200 приема выделяет кодированные данные изображения для изображения в слое, ниже, чем заданный слой, из видеоданных, содержащихся в транспортном потоке TS, и декодирует кодированные данные изображения в соответствии с собственной возможностью декодирования. В это время устройство 200 приема выполняет декодирование на основе значения обозначения уровня потока битов и информации о диапазоне слоя в каждом из диапазонов слоя, имеющих разный максимальный слой, которые вставляют в транспортный поток TS, как описано выше.

Конфигурация устройства передачи

На фиг. 5 иллюстрируется пример конфигурации устройства 100 передачи. Устройство 100 передачи включает в себя центральное процессорное устройство (CPU) 101, кодер 102, буфер 103 сжатых данных (cpb: буфер кодированного изображения), мультиплексор 104 и модуль 105 передачи. CPU 101 представляет собой модуль управления и управляет операциями модулей устройства 100 передачи.

Кодер 102 вводит декодированные данные движущегося изображения VD и иерархически кодирует эти данные. Кодер 102 классифицирует данные изображения каждого изображения, составляющего данные VD движущегося изображения на множество слоев. Затем кодер 102 кодирует классифицированные данные изображения для изображения в каждом из слоев и генерирует видеопоток (видеоданные), имеющий кодированные данные изображения для изображения в каждом из слоев.

Кодер 102 выполняет кодирование, такое как H.264/AVC или H.265/HEVC. В это время кодер 102 выполняет кодирование таким образом, что изображение, на которое должна быть сделана ссылка (изображение, на которое делается ссылка), принадлежит собственному слою и/или слою, ниже, чем собственный слой. Буфер 103 кодированного изображения (cpb) временно сохраняет видеопоток, содержащий кодированные данные изображения для изображения в каждом из слоев и генерируемых кодером 102.

Мультиплексор 104 считывает и выполняет формирование пакетов PES видеопотока, сохраняемого в буфере 103 сжатых данных, мультиплексирует видеопоток путем формирования транспортных пакетов видеопотока и получает транспортный поток TS, как мультиплексированный поток. Транспортный поток TS содержит одиночный видеопоток, как описано выше. Мультиплексор 104 вставляет, в слое контейнера, значения обозначения уровня потока битов и информацию о диапазоне слое в диапазонах слоев (слои уровня), имеющих разный максимальный слой. Модуль 105 передачи передает транспортный поток TS, полученный мультиплексором 104, в устройство 200 приема по волне широковещательной передачи или в пакете Интернет.

Вставка информации

Вставка информации мультиплексором 104 будет описана ниже. Для вставки информации используется существующий дескриптор HEVC (HEVC_descriptor) или вновь определенный слой/сигналы/дескриптор (дескриптор Layer_signaling).

На фиг. 6 иллюстрируется пример структуры (синтаксис) в случае существующего дескриптора HEVC, к которому добавлены элементы. 8-битное поле "descriptor_tag" обозначает тип дескриптора и обозначает здесь дескриптор HEVC. 8-битное поле "descriptor_length" обозначает длину (размер) дескриптора и обозначает следующее количество байтов, как длину дескриптора.

8-битное поле "profile_idc" обозначает профиль потока битов. 8-битное поле "level_idc" обозначает значение обозначения уровня потока битов в самом верхнем слое. 4-битное поле "ls4b_sublayer_level_idc" обозначает значение обозначения уровня потока битов в слое, ниже, чем самый верхний слой (например, в слое на один уровень ниже, чем самый верхний слой). В этом случае нижние 4 бита размещены в шестнадцатеричном выражении.

Кроме того, в случае "temporal_layer_subset_flag=1" существует 3-битное поле каждого из "temporal_id_min", "temporal_id_max", "temporal_id_sublayer_min" и "temporal_id_sublayer_max". "temporal_id_max" обозначает значение temporal_id самого верхнего слоя для диапазона слоев, в котором максимальный слой представляет собой самый высокий слой, то есть, самый верхний слой, и "temporal_id_min" обозначает значение temporal_id самого низкого слоя в диапазоне слоев. Кроме того "temporal_id_sublayer_max" обозначает значение temporal_id самого верхнего слоя диапазона слоя, в котором максимальный слой ниже, чем самый верхний слой (обычно, слой на один уровень ниже, чем самый верхний слой), и "temporal_id_sublayer_min" обозначает значение temporal_id самого низкого слоя диапазона слоев.

В качестве примера, описан конкретный пример каждого описания поля в примере иерархического кодирования, представленном на фиг. 3 (а). "0x9c", которое представляет собой значение уровня "level5.2", описано в 8-битном поле "level_idc". "9" из 0x99", которое представляет собой значение "level5.1", описано в 4-битном поле "ls4b_sublayer_level_idc".

"011", обозначающее temporal_id=3, описано в поле 3-его бита "temporal_id_max", и "000", обозначающее t temporal_id=0, описано в 3-битном поле "temporal_id_min". Кроме того, "010", обозначающее temporal_id=2, описано в 3-битном поле "temporal_id_sublayer_max", и "000", обозначающее temporal_id=0, описано в 3-битном поле "temporal_id_min".

На фиг. 7 иллюстрируется пример структуры (синтаксис) слоя/сигналов/дескриптора (дескриптора Layer_signaling). Кроме того, на фиг. 8 иллюстрируется семантика основной информации в примере структуры. Используя описанный выше дескриптор HEVC (фиг. 6), передают значение обозначения уровня потока битов и информации о диапазоне слоя в каждом из двух диапазонов слоя. Однако, используя слой/сигналы/дескриптор, может быть передано значение обозначения уровня потока битов и информация о диапазоне слоя в каждом из трех или больше диапазонов слоев.

8-битное поле "descriptor_tag" обозначает тип дескриптора и обозначает здесь слой/сигналы/дескриптор. 8-битное поле "descriptor_length" обозначает длину (размер) дескриптора и обозначает следующее количество байтов, как длину дескриптора.

8-битное поле "overall_profile_idc" обозначает профиль максимального диапазона, относящегося к масштабируемым инструментам кодирования. 8-битное поле "highest_level_idc" обозначает максимальный уровень масштабируемого диапазона. 8-битное поле "number_of_profile_layers" обозначает количество слоев профиля, имеющих масштабируемую функцию. "number_of_level_layers" обозначает количество слоев уровня.

8-битное поле "layer_profile_idc [i]" обозначает профиль каждого слоя профиля. 8-битное поле "layer_level_idc [i] [j]" обозначает уровень каждого слоя уровня. 8-битное поле "temporal_id_layer_min [i] [j]" обозначает значение минимального temporal_id в каждом слое уровня. 8-битное поле "temporal_id_layer_max [i] [j]" обозначает значение максимального temporal_id в каждом слое уровня.

Например, описан конкретный пример каждого описания поля, относящегося к уровню в примере иерархического кодирования, представленном на фиг. 3 (с). "0x9c", которое представляет собой значение "level5.2", описано в 8-битнорм поле "highest_level_idc". Когда установлены три диапазона слоя, в которых каждый слой 4, 3 и 2 представляет собой максимальный слой, "3", обозначающее, что количество слоев уровня равно трем, описано в 8-битном поле "nrnnber_of_level_layers".

Затем, в отношении первого слоя уровня, "0x9c", которое представляет собой значение "level5.2", описано в 8-битном поле "layer_level_idc [i] [j]", "100", обозначающее temporal_id=4, описано в 8-битном поле "temporal_id_layer_max [i] [j]", и "000", обозначающее temporal_id=0, описано в 8-битном поле "temporal_id_layer_min [i] [j]".

Кроме того, что касается второго слоя уровня, "0x99", которое представляет собой значение "level5.1", описано в 8-битном поле "layer_level_idc [i] [j]", "011", обозначающее temporal_id=3, описано в 8-битном поле "temporal_id_layer_max [i] [j]", и "000", обозначающее temporal_id=0, описано в 8-битном поле "temporal_id_layer_min [i] [j]".

Кроме того, что касается третьего слоя уровня, "0x96", которое представляет собой значение "level5", описано в 8-битном поле "layer_level_idc [i] [j]", "010", обозначающее temporal_id=2, описано в 8-битном поле "temporal_id_layer_max [i] [j]", и "000", обозначающее temporal_id=0, описано в 8-битном поле "temporal_id_layer_min [i] [j]".

Здесь пример конфигурации слоя профиля описан со ссылкой на фиг. 9 (а)-(с). На фиг. 9 (а) показан пример кодирования 8-битного изображения, качество изображения которого улучшено двумя потоками, путем кодирования данных разности в виде расширенного потока масштабируемого основного профиля "Profile_layering_id=1", и добавления к основному потоку основного профиля "Profile_layering_id=0", по сравнению только с основным потоком.

На фиг. 9 (b) показан пример кодирования 10-битного изображения, качество изображения которого улучшено двумя потоками, используя данные разности кодирования в качестве расширенного потока масштабируемого 10 основного профиля "Profile_layering_id=1" в дополнение к основному потоку основного 10 профиля "Profile_layering_id=0", по сравнению только с основным потоком.

На фиг. 9 (с) показан пример кодирования 8-битного изображения, качество изображения которого улучшено двумя потоками, с помощью данных разности кодирования в качестве расширенного потока 1 масштабируемого основного профиля "Profile_layering_id=1", в дополнение к основному потоку основного профиля "Profile_layering_id=0", по сравнению только с основным потоком. Кроме того, кодируют изображение, имеющее точность 10 битов, полученное с использованием данных разности кодирования между 10 битами и 8 битами, в качестве расширенного потока 2 масштабируемого основного профиля "Profile_layering_id=2".

Следует отметить, что, добавленное значение отображения, используя масштабируемый расширенный поток, не только улучшает описанное выше качество изображения, но также применимо к масштабируемому расширению, относящемуся к увеличению пространственного разрешения, расширению цветового диапазона и расширению уровня яркости. Что касается этих потоков, путем анализа пакета из входного буфера декодера приемника и путем соответствующей дискриминации пакета, возможно выполнить требуемое декодирование.

Конфигурация транспортного потока TS

На фиг. 10 иллюстрируется пример конфигурации транспортного потока TS. Транспортный поток TS содержит один видеопоток. Другими словами, в этом примере конфигурации существует пакет PES "видео PES 1" видеопотока, имеющего кодированные данные изображения для изображений множества слоев, с использованием, например, HEVC.

В кодированных данных изображения каждого изображения существует модуль NAL, такой как VPS, SPS, PPS, SLICE или SEI. Как описано выше, информация идентификации слоя изображения ("nuh_temporal_id_plus1", обозначающая temporal_id), размещена в заголовке модуля NAL. "general_level_idc", которое представляет собой значение, обозначающее уровень потока битов, вставлено в SPS.

Кроме того, транспортный поток TS содержит таблицу карты программы (РМТ), как информацию, специфичную для программы (PSI). PSI представляет собой информацию, в которой описано, какой программе принадлежит каждый элементарный поток, содержащийся в транспортном потоке.

В РМТ существует программа/контур (программный контур), описывающий информацию, относящуюся ко всей программе. Кроме того, существует элементарный/контур, имеющий информацию, относящуюся к каждому элементарному потоку в РМТ. В примере конфигурации существует элементарный/контур видеоданных (видеоконтур ES1).

В элементарном/контуре видеоданных размещены информация, такая как тип потока и идентификатор пакета (РШ), соответствующий видеопотоку (видео PES1), и дескриптор, описывающий информацию, относящуюся к видеопотоку. В качестве одного из дескрипторов, описан и вставлен описанный выше дескриптор HEVC (HEVC_descriptor), или слой/сигналы/дескриптор (дескриптор Layer_signaling). Следует отметить, что, слой/сигналы/дескриптор не вставлен, когда используется HEVC, добавленный к элементу дескриптора, представленному на фиг. 6.

Далее будут кратко описаны операции устройства 100 передачи, представленного на фиг. 5. Декодированные данные движущегося изображения VD вводят в кодер 102. Кодер 102 выполняет иерархическое кодирование для данных движущегося изображения VD. Другими словами, кодер 102 классифицирует данные изображения каждого изображения, состоящего из данных движущегося изображения VD на множество слоев, кодирует данных изображения и генерирует видеопоток (видеоданные), имеющий кодированные данные изображения для изображения в каждом из слоев. В этом случае данные изображения кодируют таким образом, что изображение, на которое должна быть сделана ссылка, принадлежит собственному слою и/или слою ниже, чем собственный слой.

Видеопоток, содержащий кодированные данные изображения в каждом из слоев и генерируемый кодером 102, подают в буфер 103 сжатых данных (cpb) и временно сохраняют. С помощью мультиплексора 104, видеопоток, Сохраняемый в буфере 103 сжатых данных, считывают, выполняют формирование пакетов PES и мультиплексируют, выполняя формирование транспортных пакетов, и получают транспортный поток TS, как мультиплексированный поток. Транспортный поток TS содержит одиночный видеопоток.

Когда транспортный поток TS генерируют с помощью мультиплексора 104 таким образом, значение обозначения уровня потока битов и информацию диапазона слоя в диапазонах слоев, имеющих разный максимальный слой, вставляют в слой контейнера. Например, дескриптор HEVC добавленного элемента (см. фиг. 6) или слой/сигналы/дескриптор (см. фиг. 7) вставляют под таблицей карты программы (РМТ). Транспортный поток TS, генерируемый мультиплексором 104, передают в модуль 105 передачи. Транспортный поток TS передают в устройство 200 приема по волне широковещательной передачи или как пакет Интернет с помощью модуля 105 передачи.

Конфигурация устройства приема

На фиг. 11 иллюстрируется пример конфигурации устройства 200 приема. Устройство 200 приема включает в себя центральное процессорное устройство (CPU) 201, модуль 202 приема, демультиплексор 203 и буфер 204 сжатых данных (cpb: буфер кодированного изображения). Кроме того, устройство 200 приема включает в себя декодер 205, буфер 206 развернутых данных (dpb: буфер декодированного изображения), модуль 207 последующей обработки и модуль 208 дисплея. CPU 201 состоит из модуля управления и управляет операциями модулей устройства 200 приема.

Модуль 202 приема принимает транспортный поток TS, переданный из устройства 100 передачи по волне широковещательной передачи или как пакет интернет. Демультиплексор 203 выделяет из транспортного потока TS пакет TS, состоящий из видеопотока, содержащегося в транспортном потоке TS после фильтрации пакета TS с использованием фильтра PID, и передает транспортный поток TS в буфер 204 сжатых данных (cpb: буфер кодированного изображения).

Кроме того, демультиплексор 203 выделяет данные данных блока из транспортного потока TS, и передает данные данных блока в CPU 201. Данные блока содержат описанный выше дескриптор HEVC (HEVC_descriptor) и слой/сигналы/дескриптор (дескриптор Layer_signaling). CPU 201 определяет диапазон слоя, который декодер 205 может декодировать из диапазонов слоя, обозначенных этими дескрипторами, с использованием значения обозначения уровня потока битов и информации диапазона слоя и передает эту информацию по временному ID (temporal_id) диапазона слоя в декодер 205.

Кроме того, демультиплексор 203 выделяет ссылку на программные часы (PCR) из пакета TS, содержащего PCR, и передает PCR в CPU 201. Кроме того, демультиплексор 203 выделяет временные метки (DTS и PTS), вставленные в заголовок PES для каждого изображения, и передает временные метки в CPU 201.

Буфер 204 сжатых данных (cpb) временно сохраняет кодированные данные изображения для каждого изображения в соответствии с пакетом TS, переданным из демультиплексора 203. Декодер 205 считывает и декодирует кодированные данные изображения каждого изображения, сохраненного в буфере 204 сжатых данных и временные характеристики декодирования, передаваемые временной меткой декодирования (DTS) изображения, и передает декодированные данные изображения в буфер 206 развернутых данных (dpb: буфер декодированного изображения). В это время декодер 205 избирательно декодирует только кодированные данные изображения для изображения, содержащегося в декодируемом диапазоне слоя на основе информации временного ID (temporal_id) декодируемого диапазона слоя, передаваемой из CPU 201.

На фиг. 12 схематично иллюстрируется пример конфигурации демультиплексора 203 и декодера 205. Демультиплексор 203 включает в себя буфер 203а мультиплексирования видеоданных и буфер 203b данных блока. Пакет TS, соответствующий номеру программы, эквивалентному каналу услуги широковещательной передачи и выделенному из транспортного потока TS с помощью фильтра PID, временно сохраняют в буфере 203а мультиплексирования видеоданных и затем передают в буфер 204 сжатых данных. Кроме того, данные блока, выделенные из транспортного потока TS с помощью фильтра PID, временно сохраняют в буфере 203b данных блока и затем передают в CPU 201.

Кроме того, декодер 205 включает в себя модуль 205а временного анализа ID и модуль 205b обработки декодирования. Модуль 205а временного анализа ID последовательно считывает кодированные данные каждого изображения, сохраненного в буфере 204 сжатых данных в моменты времени декодирования, и анализирует информацию о временном ID (temporal_id), вставленном в заголовок модуля NAL. Затем модуль 205а анализа временного ID передает кодированные данные в модуль 205b обработки декодирования при определении, что кодированные данные находятся в пределах диапазона декодируемого слоя, и отбрасывает кодированные данные, без передачи кодированных данных в модуль 205b обработки декодирования, при определении, что кодированные данные не находятся в пределах диапазона декодируемого слоя. Следует отметить, что информация о временном ID (temporal_id) диапазона декодируемого слоя поступает в модуль 205а анализа временного ID из CPU 201.

В качестве примера описан случай примера иерархического кодирования на фиг. 3 (а). Например, когда декодер 205 представляет собой декодер 100р, "от 0 до 3" подают в модуль 205а анализа временного ID, как информацию о временном ID диапазонов декодированного слоя из CPU 201. Таким образом, модуль 205а анализа временного ID передает кодированные данные изображения для изображений в слоях от 0 до 3 в модуль 205b обработки декодирования.

С другой стороны, когда декодер 205 представляет собой декодер 50р, "от 0 до 2" подают в модуль 205а анализа временного ID, как информацию о временном ID диапазонов декодируемого слоя с помощью CPU 201. Таким образом, модуль 205а анализа временного ID передает кодированные данные изображения для изображений в слоях от 0 до 2 для модуля 205b обработки декодирования. С другой стороны, модуль 205а анализа временного ID отбрасывает кодированные данные изображения для изображения в слое 3 без передачи кодированного изображения в модуль 205b обработки декодирования. На фиг. 13 схематично иллюстрируется такое поведение модуля 205а анализа временного ID. Следует отметить, что "tid=high" обозначает слой 3, и "tid=low" обозначает слои от 0 до 2.

Возвращаясь обратно к фиг. 11, в буфере 206 развернутых данных (dpb) временно содержатся данные изображения каждого изображения, декодированного декодером 205. Модуль 207 последующей обработки выполняет для данных изображения каждого изображения, последовательно считываемого в моменты времени отображения, подаваемые меткой времени представления (PTS), из буфера 206 развернутых данных (dpb), обработку для регулирования частоты кадров, в соответствии с возможностями дисплея.

Например, когда частота кадров данных изображения каждого изображения после декодирования составляет 50 кадров/с, и возможности отображения составляет 100 кадров/с, модуль 207 последующей обработки выполняет обработку интерполяции для данных изображения каждого изображения после декодирования таким образом, что разрешение в направлении времени становится двойным, и передает эти данные изображения с частотой 100 кадров/с в модуль 208 дисплея.

Модуль 208 дисплея состоит, например, из жидкокристаллического дисплея (LCD), панели органической электролюминесценции (EL) и т.п. Следует отметить, что модуль 208 дисплея может представлять собой внешнее устройство, соединенное с устройством 200 приема.

На фиг. 14 иллюстрируется пример потока обработки декодера 205 и модуля 207 последующей обработки. На этапе ST1 обработка начинается и затем переходит к обработке на этапе ST2. На этапе ST2 декодер 205 считывает из буфера 204 сжатых данных (cpb) поток видеоданных, который должен быть декодирован в моменты времени декодирования (кодированных данных изображения для изображения, предназначенного для декодирования), и детектирует временной ID (temporal_id).

Затем, на этапе ST3, декодер 205 определяет, находится ли временной ID (temporal_id), детектированный на этапе ST2 в пределах декодируемого диапазона. Когда временной ID не находится в пределах декодируемого диапазона, декодер 205 не выполняет обработку декодирования и возвращается обратно к обработке на этапе ST2. С другой стороны, когда временной ID находится в пределах декодируемого диапазона, декодер 205 переходит к обработке на этапе ST4. На этапе ST4 декодер 205 выполняет обработку декодирования и передает данные изображения для изображения после декодирования в буфер 206 развернутых данных (dpb).

Затем, на этапе ST5, модуль 207 последующей обработки считывает из буфера 206 развернутых данных (dpb) данные изображения для данных изображения для изображения, предназначенного для отображения, в моменты времени отображения. Затем, на этапе ST6, модуль 207 последующей обработки определяет, являются ли частота отображения и частота считывания из буфера 206 развернутых данных (dpb) разными. Когда частоты разные, на этапе ST7, модуль 207 последующей обработки регулирует частоту считывания относительно частоты отображения путем выполнения интерполяции кадров или прореживания изображения. После обработки на этапе ST7 обработка заканчивается на этапе ST8. Кроме того, когда частоты не отличаются на этапе ST6, обработка немедленно заканчивается на этапе ST8.

Операции устройства 200 приема, представленные на фиг. 11, были кратко описаны выше. Транспортный поток TS, передаваемый из устройства 100 передачи на волне широковещательной передачи или в виде пакета Интернет, принимается модулем 202 приема. Транспортный поток TS передают в демультиплексор 203. Пакет TS, соответствующий услуге, выделяют из транспортного потока TS на основе информации PID, содержащейся в РМТ, с помощью демультиплексора 203. Пакет TS передают в буфер 204 сжатых данных (cpb) и временно сохраняют.

Кроме того, данные блока выделяют из транспортного потока TS, и передают в CPU 201 с помощью демультиплексора 203. Диапазон слоя, который может декодировать декодер 205, определяют из диапазонов слоя, описанных дескриптором HEVC или слоем/сигналами/дескриптором со значением обозначения слоя потока битов и информацией диапазона слоя, и информацию о временном ID (temporal_id) диапазона слоя передают в декодер 205 с помощью CPU 201.

Кодированные данные изображения каждого изображения, сохраненные в буфере 204 сжатых данных, декодируют в моменты времени декодирования изображения, переданного в буфер 206 развернутых данных (dpb), и временно сохраняют с помощью декодера 205. В этом случае с помощью декодера 205 кодированные данные изображения для изображения в пределах диапазона декодируемого слоя только избирательно декодируют на основе информации о временном ID (temporal_id) диапазона декодируемого слоя, подаваемого в CPU 201.

Данные изображения каждого изображения, сохраненные в буфере 206 развернутых данных (dpb), последовательно считывают в моменты времени отображения, и передают в модуль 207 последующей обработки. Интерполяция, подвыборка или прореживание выполняют для данных изображения каждого изображения, чтобы регулировать частоту кадров в соответствии с возможностями отображения модуля 207 последующей обработки. Данные изображения каждого изображения, обработанного модулем 207 последующей обработки, подают в модуль 208 дисплея, и движущееся изображение отображают с данными изображения каждого изображения.

Как описано выше, в системе 10 приемопередатчика, представленной на фиг. 1, дескриптор HEVC добавленного элемента (см. фиг. 6) или слоя/сигналов/дескриптора (см. фиг. 7) вставлен в слой контейнера транспортного потока TS с помощью устройства 100 передачи. Такие дескрипторы имеют значение обозначения уровня потока битов и информацию о диапазоне слоя в каждом из диапазонов слоя, имеющем разный максимальный слой. Таким образом, например, возможно на стороне приема декодировать кодированные данные изображения для изображения в диапазоне слоя, в соответствии с характеристиками декодирования на основе информации.

2. Модифицированный пример

Применение для системы распределения потока на основе MPEG-DASH

Следует отметить, что в представленном выше варианте осуществления был описан пример, в котором контейнер представляет собой транспортный поток (MPEG-2 TS). Однако настоящая технология аналогично может применяться в системе, имеющей конфигурацию, в которой поток распределяют в терминал приема, используя сеть, такую как Интернет. При распределении по Интернет поток, в основном, распределяется с использованием контейнера МР4 или других форматов.

На фиг. 15 (а) иллюстрируется пример конфигурации системы 30 распределения потока на основе MPEG-DASH. Система 30 распределения потока имеет конфигурацию, в которой сервер 31 потока файла потока DASH и сервер 32 DASH MPD соединены с множеством N приемников 33-1, 33-2 …, и 33-N через сеть 34 доставки содержания (CDN).

Сервер 31 файла потока DASH генерирует на основе мультимедийных данных (видеоданных, аудиоданных, данных субтитров и т.п.) заданного содержания сегмент потока, соответствующий DASH (ниже, соответственно, называется "сегментом DASH"), и передает этот сегмент в ответ на запрос HTTP из приемника. Сервер 31 файла потока DASH может представлять собой сервер специализированной потоковой передачи, или может использоваться, как веб-сервер.

Кроме того, сервер 31 файла потока DASH передает, в ответ на запрос сегмента заданного потока, переданного из приемника 33 (33-1, 33-2 …, и 33-N) через CDN 34, сегмент потока в приемник, который представляет собой источник запроса, через CDN 34. В этом случае приемник 33 выполняет запрос путем ссылки на значение частоты, описанной в файле описания представления мультимедийных данных (MPD) и выбора потока с оптимальной частотой, в соответствии с сетевым окружением, где размещен клиент.

Сервер 32 MPD-DASH представляет собой сервер для генерирования файла MPD для получения сегмента DASH, генерируемого сервером 31 файла потока DASH. Файл MPD генерируют на основе метаданных содержания из сервера администрирования содержанием (не представлен) и адреса (url) сегмента, сгенерированного сервером 31 файла потока DASH.

В формате MPD, используя элемент представления для каждого потока видеоданных и аудиоданных, описан каждый атрибут. Например, путем разделения представления для каждого из множества потоков видеоданных, имеющих разную скорость, каждая скорость описана в файле MPD. Приемник 33 может выбирать оптимальный поток, в соответствии с условиями сетевого окружения, где размещен приемник 33 путем ссылки назначение скорости, как описано выше.

На фиг. 15 (b) также иллюстрируется пример конфигурации системы 30А распределения потока на основе MPEG-DASH. Система 30А распределения потока состоит из системы 36 широковещательной передачи, с которой соединены сервер 31 файла потока DASH и сервер 32 DASH MPD, и множество М приемников 35-1, 35-2 …, и 35m. В случае системы ЗОА распределения потока система 36 широковещательной передачи передает сегмент потока, соответствующий DASH (сегмент DASH), генерируемому сервером 31 файла потока DASH, и файлу MPD, генерируемому сервером 32 MPD DASH, по волне широковещательной передачи.

На фиг. 16 (а)-(d) иллюстрируется пример соответствия между структурами, иерархически размещенными в описанном выше файле MPD. Как представлено на фиг. 16 (а), множество периодов, разделенных на временные интервалы, существует в представлении мультимедийных данных, как весь файл MPD. Например, первый период начинается с 0 секунд, и следующий период начинается со 100 секунд, и так далее.

Как представлено на фиг. 16 (b), множество представлений существует в периодах. Атрибут потока, сгруппированный с помощью AdaptationSet, такого как группа, ассоциированная с потоком видеоданных, имеющих разную скорость и одинаковое содержание, существуют в представлениях.

Как показано на фиг. 16 (с), представление содержит SegmentInfo. Как представлено на фиг. 16 (d), в SegmentInfo существует сегмент инициализации и множество мультимедийных сегментов, в которых описана информация о сегменте, на который дополнительно разделен период. Существует информация и т.п. об адресе (url), для фактического получения данных сегмента, таких как видеоданные или аудиоданные, в сегменте мультимедийных данных.

Следует отметить, что переключение потока может быть свободно выполнено между представлениями, сгруппированными с использованием AdaptationSet. Таким образом, в соответствии с условиями сетевого окружения, где размещен клиент IPTV, возможно выбрать поток с оптимальной частотой, и выполнить распределение движущегося изображения без стыков.

На фиг. 17 иллюстрируется пример конфигурации потока FragmentedMP4 в ассоциации с файлом MPD. Поток FragmentedMP4 содержит FragmentedMP4, полученный путем формирования пакетов из потока видеоданных. Кодированные видеоданные заданных изображений видеопотока, например, 1 GOP вставляют в часть "mdat" FragmentedMP4.

Настоящая технология может применяться для систем 30 и 30А распределения потока, представленных на фиг. 15 (а) и (b). В этом случае видеопоток был иерархически кодирован, аналогично описанному выше варианту осуществления. Кроме того, содержание, эквивалентное содержанию описания, например, описанного выше слоя/сигналов/дескриптора (см. фиг. 7), вставляют в файл MPD, и передают на сторону приема. На фиг. 18 иллюстрируется вариант осуществления файла MPD.

Кроме того, система 10 приемопередатчика, состоящая из устройства 100 передачи и устройства 200 приема, была описана в представленном выше варианте осуществления, однако, система приемопередатчика, в которой может применяться настоящая технология, не ограничена этим. Например, часть устройства 200 приема может, например, представлять собой телевизионную приставку и монитор, соединенные с цифровым интерфейсом, таким, как интерфейс мультимедийных данных высокой четкости (HDMI). Следует отметить, что "HDMI" представляет собой зарегистрированный товарный знак.

Кроме того, настоящая технология может иметь следующие конфигурации:

(1) Устройство передачи включает в себя модуль кодирования изображения, который классифицирует данные изображения каждого изображения, составляющего данные движущегося изображения на множество слоев, кодирует классифицированные данные изображения для изображения в каждом из множества слоев и генерирует видеопоток, имеющий кодированные данные изображения для изображения в каждом из множества слоев,

модуль передачи данных, который передает видеоданные,

и модуль передачи информации, который передает значение обозначения уровня потока битов и информацию о диапазоне слоя в каждом из множества диапазонов слоя, имеющих разный максимальный слой.

(2) Устройство передачи по (1),

в котором модуль передачи информации вставляет информацию в слой контейнера, содержащего видеоданные, и передает эту информацию.

(3) Устройство передачи по (2),

в котором контейнер представляет собой MPEG2-TS,

и модуль передачи информации вставляет информацию под таблицей карты программы и передает эту информацию.

(4) Устройство передачи по (1),

в котором модуль передачи информации вставляет информацию в метафайл, имеющий метаинформацию, относящуюся к видеоданным, и передает эту информацию.

(5) Устройство передачи по (4),

в котором метафайл представляет собой файл MPD.

(6) Устройство передачи по любому из (1)-(5),

в котором модуль передачи информации передает, вместе с информацией о профиле, значения обозначения уровня потока битов и информацию о диапазоне слоя в каждом из множества диапазонов слоев, имеющих различный максимальный слой.

(7) Способ передачи включает в себя этап кодирования изображения для классификации данных изображения каждого изображения, составляющего данные движущегося изображения, на множество слоев, кодирования классифицированных данных изображения для изображения в каждом из множества слоев, и генерирования видеоданных, имеющих кодированные данные изображения для изображения в каждом из множества слоев,

этап передачи данных для передачи видеоданных,

и этап передачи информации, для передачи значения обозначения уровня потока битов и информации о диапазоне слоя в каждом из множества диапазонов слоев, имеющих разный максимальный слой.

(8) Устройство приема включает в себя модуль приема данных, который принимает видеоданные, имеющие кодированные данные изображения для изображения в каждом из множества слоев, полученных путем классификации данных изображения каждого изображения, составляющего данные движущегося изображения во множестве слоев, и кодирующий данные изображения,

модуль приема информации, который принимает значение обозначения уровня потока битов и информацию о диапазоне слоя в каждом из множества диапазонов слоев, имеющих разный максимальный слой,

и модуль обработки, который выделяет из видеоданных данные изображения для изображения в слое, который ниже, чем заданный слой, и декодирует данные изображения на основе информации.

(9) Устройство приема по (8),

в котором модуль приема информации получает информацию из слоя контейнера, содержащего видеоданные.

(10) Устройство приема по (8),

в котором модуль приема информации получает информацию из метафайла, имеющего метаинформацию, относящуюся к видеоданным.

(11) Способ приема включает в себя этап приема данных, предназначенный для приема видеоданных, имеющих кодированные данные изображения для изображения в каждом из множества слоев, полученных путем классификации данных изображения каждого изображения, составляющего данные движущегося изображения, на множество слоев и кодирования данных изображения,

этап приема информации, предназначенный для приема значения обозначения уровня потока битов и информации диапазона слоя в каждом из множества диапазонов слоя, имеющих разный максимальный слой,

и этап обработки, предназначенный для выделения из видеоданных, кодированных данных изображения для изображения в слое ниже, чем заданный слой, и декодирования кодированных данных изображения на основе информации.

Основное свойство настоящей технологии состоит в передаче значения, обозначающего уровень потока битов и информации диапазона слоя в каждом из множества диапазонов слоев, имеющих разный максимальный слой, когда передают видеоданные, кодированные иерархически, при этом возможно на стороне приема легко декодировать кодированные данные изображения для изображения диапазона слоя, в соответствии с характеристиками декодирования (см. фиг. 10, фиг. 6 и фиг. 7).

Список номеров ссылочных позиций

10 - Система приемопередатчика

30, 30А - Система распределения потока на основе MPEG-DASH

31 - Файловый сервер потока DASH

32 - Сервер DASH MPD

33-1, 33-2 …, 33-N, 35-1, 35-2 …, 35-М - Приемник

34 - Сеть доставки содержания (CDN)

36 - Система широковещательной передачи

100 - Устройство передачи

101 - CPU

102 - Кодер

103 - Буфер сжатых данных (cpb)

104 - Мультиплексор

105 - Модуль передачи

200 - Устройство приема

201 - CPU

202 - Модуль приема

203 - Демультиплексор

203а - Буфер мультиплексирования видеоданных

203b - Буфер данных блока

204 - Буфер сжатых данных (cpb)

205 - Декодер

205а - Модуль анализа временного ID

205b - Модуль обработки декодирования

206 - Буфер развернутых данных (dpb)

207 - Модуль последующей обработки

208 - Модуль дисплея

1. Устройство передачи, содержащее:

модуль кодирования изображения, выполненный с возможностью классифицировать данные изображения для каждого кадра, составляющего данные движущегося изображения, по множеству слоев, кодировать классифицированные данные изображения для кадра в каждом из множества слоев и генерировать видеоданные, имеющие кодированные данные изображения для кадра в каждом из множества слоев,

модуль передачи данных, выполненный с возможностью передачи видеоданных, и

модуль передачи информации, выполненный с возможностью передачи значения обозначения уровня для потока битов и информации о диапазоне слоев в каждом из множества диапазонов слоев, имеющих разный максимальный слой.

2. Устройство передачи по п. 1, в котором модуль передачи информации выполнен с возможностью вставки упомянутой информации в слой контейнера, содержащего видеоданные, и передачи упомянутой информации.

3. Устройство передачи по п. 2, в котором контейнер представляет собой MPEG2-TS,

при этом модуль передачи информации выполнен с возможностью вставки упомянутой информации под таблицей карты программы и передачи упомянутой информации.

4. Устройство передачи по п. 1, в котором модуль передачи информации выполнен с возможностью вставки упомянутой информации в метафайл, содержащий метаинформацию, относящуюся к видеоданным, и передачи упомянутой информации.

5. Устройство передачи по п. 4, в котором метафайл представляет собой файл MPD.

6. Устройство передачи по п. 1, в котором модуль передачи информации выполнен с возможностью передачи, вместе с информацией о профиле, значения обозначения уровня потока битов и информации о диапазоне слоев в каждом из множества диапазонов слоев, имеющих разный максимальный слой.

7. Способ передачи, содержащий:

этап кодирования изображения, на котором классифицируют данные изображения для каждого кадра, составляющего данные движущегося изображения, по множеству слоев, кодируют классифицированные данные изображения для кадра в каждом из множества слоев и генерируют видеоданные, имеющие кодированные данные изображения для кадра в каждом из множества слоев,

этап передачи данных, на котором передают видеоданные, и

этап передачи информации, на котором передают значение обозначения уровня потока битов и информацию о диапазоне слоев в каждом из множества диапазонов слоев, имеющих разный максимальный слой.

8. Устройство приема, содержащее:

модуль приема данных, выполненный с возможностью приема видеоданных, имеющих кодированные данные изображения для кадра в каждом из множества слоев, полученных путем классификации данных изображения для каждого кадра, составляющего данные движущегося изображения, по множеству слоев, и кодирования данных изображения,

модуль приема информации, выполненный с возможностью приема значения обозначения уровня потока битов и информации о диапазоне слоев в каждом из множества диапазонов слоев, имеющих разный максимальный слой, и

модуль обработки, выполненный с возможностью извлечения из видеоданных данных изображения для кадра в слое, находящегося ниже заданного слоя, и декодирования кодированных данных изображения на основе упомянутой информации.

9. Устройство приема по п. 8, в котором модуль приема информации выполнен с возможностью получения информации из слоя контейнера, содержащего видеоданные.

10. Устройство приема по п. 8, в котором модуль приема информации выполнен с возможностью получения упомянутой информации из метафайла, имеющего метаинформацию, относящуюся к видеоданным.

11. Способ приема, содержащий:

этап приема данных, на котором принимают видеоданные, содержащие кодированные данные изображения для кадра в каждом из множества слоев, полученных путем классификации данных изображения для каждого кадра, составляющего данные движущегося изображения, по множеству слоев, и кодирования данных изображения,

этап приема информации, на котором принимают значение обозначения уровня потока битов и информацию о диапазоне слоев в каждом из множества диапазонов слоев, имеющих разный максимальный слой, и

этап обработки, на котором извлекают из видеоданных кодированные данные изображения для кадра в слое, находящемся ниже заданного слоя, и декодируют кодированные данные изображения на основе упомянутой информации.



 

Похожие патенты:

Изобретение относится к области обработки изображений. Техническим результатом является снижение объема кодированных данных при кодировании или декодировании.

Изобретение относится к области кодирования/декодирования видео. Технический результат – обеспечение сигнализации и вывода времен удаления закодированных единиц данных из буфера кодированных картинок.

Изобретение относится к вычислительной технике. Технический результат заключается в устранении ненужной избыточности общей информации в заголовке слайса.

Изобретение относится к системам взаимодействия приложений, которые используются, когда прикладная программа выполняется совместно с процессом обработки контента, например, телевизионной программы.

Группа изобретений относится к технологиям обработки видеоданных, а именно к кодированию изображений точки произвольного доступа (RAP) в видеопоследовательности. Техническим результатом является обеспечение корректного декодирования изображения с нерабочей ссылкой (BLA).

Изобретение относится к технологиям кодирования/декодирования видеоданных. Техническим результатом является повышение эффективности кодирования/декодирования изображений за счет многократного использования одного и того же опорного изображения для множества изображений.

Изобретение относится к области декодирования видеоданных. Технический результат – обеспечение уменьшения задержки при декодировании видеоданных.

Группа изобретений относится к технологиям кодирования/декодирования видео. Техническим результатом является обеспечение корректного декодирования опережающих картинок для картинок с произвольным доступом CRA посредством индикации единицы NAL.

Изобретение относится к системе отображения видео. Технический результат заключается в создании системы отображения видео, которая передает видео из устройства передачи видео, не оснащенного ни модулем отображения, ни функциональным модулем для реализации пользовательского интерфейса, в устройство приема и отображения видео согласно стандарту радиопередачи видео для передачи видео через прямую радиосвязь "один-к-одному" и выполняет отображение.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности использования памяти видеокодера/видеодекодера.

Изобретение относится к приемному устройству и системам взаимодействия прикладных программ. Техническим результатом является выполнение приложения, подходящего для пользователя, которое должно выполняться во взаимодействии с воспроизведением произвольного содержимого, которое просматривается пользователем. Предложено приемное устройство, содержащее: извлекающий модуль для извлечения из воспроизводимого содержимого данных об отличительных признаках объекта, указывающих характеристики содержимого, модуль генерирования профиля для генерирования данных профиля пользователя, модуль генерирования запроса для генерирования запроса, включающего в себя по меньшей мере данные об отличительных признаках объекта и данные профиля пользователя, передачи сгенерированного запроса передающему устройству и приема ответа, согласованного с данными профиля пользователя в передающем устройстве и возвращенного передающим устройством, в соответствии с запросом, и модуль выполнения приложения для сбора данных и выполнения приложения во взаимодействии с воспроизведением содержимого, на основе принятого ответа. 5 н. и 5 з.п. ф-лы, 7 ил.

Изобретение относится к технологиям сетевой связи. Технический результат заключается в повышении безопасности передачи данных. Способ содержит этапы, на которых: получают адрес унифицированного указателя ресурса, соответствующий материальному ресурсу веб-страницы, причем материальный ресурс веб-страницы включает в себя по меньшей мере одно из графического ресурса, аудиоресурса, видеоресурса и буквенного ресурса; выполняют поиск на предмет того, хранится ли URL-адрес в списке кэширования адресов, причем список кэширования адресов предназначен для хранения URL-адресов, сопоставленных заданным алгоритмом сопоставления, при этом URL-адреса в списке кэширования адресов хранятся с использованием хэш-таблицы; и если URL-адрес не хранится в списке кэширования адресов, выполняют операцию сопоставления в отношении URL-адреса в соответствии с заданным алгоритмом сопоставления, чтобы определить, является ли URL-адрес URL-адресом, который нужно отфильтровать. 3 н. и 13 з.п. ф-лы., 3 табл., 8 ил.

Группа изобретений относится к области кодирования. Техническим результатом является повышение эффективности сжатия кодированных данных. Кодер (20) для кодирования данных (D1, 10) с получением соответствующих кодированных данных (Е2, 30), содержащих информацию о частотах, вероятностях или значениях диапазонов различных символов, которые должны быть представлены в кодированных данных (Е2, 30), при этом упомянутая информация указывает символы, к которым относятся упомянутые частоты, вероятности или значения диапазонов, при этом кодер (20) способен включать в кодированные данные (Е2, 30) дополнительную информацию, указывающую, включена ли в кодированные данные (Е2, 30) информация о частотах, вероятностях или значениях диапазонов для упомянутых различных символов. 7 н. и 14 з.п. ф-лы, 3 ил., 2 табл.

Изобретение относится к средствам кодирования изображения для кодирования сигналов изображения, включающих в себя сигнал яркости и цветоразностный сигнал. Технический результат заключается в обеспечении кодирования режима внутрикадрового предсказания в соответствии с цветоразностным форматом. Устройство содержит блок декодирования режима внутрикадрового предсказания яркости, который декодирует элемент синтаксиса внутрикадрового предсказания сигнала яркости; блок декодирования режима внутрикадрового предсказания цветоразности; блок внутрикадрового предсказания сигнала яркости и блок внутрикадрового предсказания цветоразностного сигнала блока преобразования цветоразностного сигнала, причем в случае когда пикселы сигнала яркости и цветоразностного сигнала являются отличными один от другого, блок декодирования режима внутрикадрового предсказания цветоразности преобразует номер режима первого режима внутрикадрового предсказания цветоразности, используемого в случае равенства аспектных отношений одного другому, и извлекает второй режим внутрикадрового предсказания цветоразности, используемый в случае когда аспектные отношения являются отличными одно от другого. 3 н.п. ф-лы, 35 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении производительности или упрощении обработки копии внутрикадрового блока (IntraBC) для кодирования содержимого экрана или видеокодирования. Способ сигнализации режима кодирования, в том числе режима IntraBC, для изображения, где изображение разделяется на несколько блоков кодирования, включающий: получение данных ввода, связанных с текущим блоком кодирования в текущем срезе текущего изображения; если для текущего блока кодирования выбран режим IntraBC: кодирование или декодирование режима разбивки, связанного с режимом IntraBC и выбранного из группы режимов разбивки, для текущего блока кодирования с использованием бинарного поддерева, представляющего все члены группы режима разбивки и включающего в себя только все указанные члены группы режима разбивки; а также кодирование или декодирование текущего блока кодирования согласно выбранному режиму разбивки с использованием предсказания с межкадровой компенсацией движения на основании реконструированных элементов текущего изображения, где текущий блок кодирования разбит на ряд подблоков согласно режиму разбивки. 2 н. и 14 з.п. ф-лы, 11 ил., 22 табл.

Изобретение относится к области трехмерного кодирования видеосигналов. Технический результат – упрощение процесса извлечения кандидата вектора движения или вектора диспаратности для блока изображения. Способ извлечения кандидата вектора движения (MV) или вектора диспаратности (DV) для блока на изображении включает: получение данных, связанных с текущим вектором движения или вектором диспаратности текущего блока исходного изображения; извлечение кандидата вектора движения (MV) или вектора диспаратности (DV) из блока изображения на ближайшем кадре; применение предикативного кодирования к рассматриваемому вектору движения или вектору диспаратности текущего блока исходного изображения на основе предсказания вектора движения (МVР) или предсказания векторов диспаратности (DVP), включая кандидат вектора движения (MV) или вектор диспаратности (DV); и проверку информации о движении блока изображения на ближайшем кадре, и если информация о движении блока изображения на ближайшем кадре недействительна для текущего блока, использование вектора диспаратности (DV) блока изображения на ближайшем кадре в качестве вектора движения блока изображения на ближайшем кадре. 2 н. и 17 з.п. ф-лы, 7 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности декодирования. Способ декодирования изображения, в котором декодируют коэффициенты преобразования для целевого изображения, которое следует декодировать, и информацию, указывающую режим внутреннего предсказания для целевого изображения; сканируют коэффициенты преобразования для генерации сканированных коэффициентов преобразования; задают комбинацию из матрицы вертикального обратного преобразования и матрицы горизонтального обратного преобразования, соответствующую целевому изображению, на основе предварительно определенного отношения; выполняют обратное преобразование сканированных коэффициентов преобразования вдоль вертикального направления и горизонтального направления, используя комбинацию из матрицы вертикального обратного преобразования и матрицы горизонтального обратного преобразования, когда режим внутреннего предсказания является первым режимом или вторым режимом, для получения ошибки предсказания; и генерируют декодированное изображение на основе ошибки предсказания. 46 ил.

Изобретение относится к способу и устройству для управления зарядкой терминального устройства. Технический результат заключается в повышении надежности. Способ включает, при зарядке аккумулятора терминального устройства, определение, должна ли первая микросхема зарядки, в текущий момент выполняющая зарядку аккумулятора, быть переключена на вторую микросхему зарядки, ожидающую выполнения зарядки аккумулятора; и когда определено, что первая микросхема зарядки должна быть переключена на вторую микросхему зарядки, управление первой микросхемой зарядки для прекращения выполнения зарядки аккумулятора, и запуск второй микросхемы зарядки для выполнения зарядки аккумулятора. Это позволяет гарантировать, что время зарядки для первой микросхемы зарядки не будет слишком длительным, а тепловыделение - повышенным; и поскольку зарядка аккумулятора продолжается с использованием второй микросхемы зарядки, то нет необходимости в снижении тока зарядки во второй микросхеме зарядки, благодаря чему повышается эффективность зарядки с помощью микросхемы зарядки. 5 н. и 8 з.п. ф-лы, 6 ил.

Изобретение относится к способу загрузки данных о фрагменте изображения с сервера на клиентское устройство. Технический результат заключается в увеличении скорости отрисовки изображения на клиентском устройстве. Данные о фрагменте изображения организованы сервером в иерархическую структуру, причем каждый уровень иерархической структуры сохраняет подмножество фрагментов изображения, связанных с конкретным уровнем разрешения. При запросе клиентским устройством нового вида изображения с более высоким разрешением определяют опорную точку первого вида изображения. На основе опорной точки определяют первый опорный фрагмент изображения из фрагментов изображения первого уровня. С помощью иерархической структуры определяют соответствующие четыре дочерних фрагментаы изображения второго уровня, причем соответствующие четыре дочерних фрагмента изображения второго уровня формируют второй опорный фрагмент изображения. Передают клиентскому устройству второй опорной фрагмент изображения. Заменяют в памяти первый опорный фрагмент изображения на второй опорный фрагмент изображения. Заменяют на устройстве вывода первый опорный фрагмент изображения на второй опорный фрагмент изображения. 2 н. и 24 з.п. ф-лы, 10 ил.

Изобретение относится к средствам кодирования видео, а также декодирования видео. Технический результат заключается в формировании восстановленного изображения, имеющего минимальную ошибку относительно исходного изображения. Указанный результат достигается за счет применения способа декодирования видео, в котором: синтаксический анализ информации объединения смещений указывает то, являются или нет параметры смещения текущего блока и, по меньшей мере, одного соседнего блока из числа блоков видео идентичными друг другу, из принимаемого потока битов; восстановление типа смещения и значений смещения из числа параметров смещения текущего блока на основе информации объединения смещений; определение класса края или полосы пикселных значений восстановленного пиксела на основе типа края или типа полосы пикселных значений текущего блока, указывающего тип смещения; и определение значения смещения, соответствующего классу края или полосе пикселных значений восстановленного пиксела, из значений смещения и регулирование пикселного значения восстановленного пиксела согласно значению смещения. 20 ил., 1 табл.

Изобретение относится к области приемапередачи и кодированиядекодирования данных изображения. Технический результат – обеспечение на стороне приема возможности выполнения улучшенной обработки декодирования за счет приема или передачи значения обозначения уровня для потока битов и информации о диапазоне слоев. Устройство передачи содержит: модуль кодирования изображения, выполненный с возможностью классифицировать данные изображения для каждого кадра, составляющего данные движущегося изображения, по множеству слоев, кодировать классифицированные данные изображения для кадра в каждом из множества слоев и генерировать видеоданные, имеющие кодированные данные изображения для кадра в каждом из множества слоев; модуль передачи данных, выполненный с возможностью передачи видеоданных; модуль передачи информации, выполненный с возможностью передачи значения обозначения уровня для потока битов и информации о диапазоне слоев в каждом из множества диапазонов слоев, имеющих разный максимальный слой. 4 н. и 7 з.п. ф-лы, 18 ил.

Наверх