Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования сигнала изображения и программа

Настоящее изобретение относится к устройству декодирования сигнала изображения, способу декодирования сигнала изображения, устройству кодирования сигнала изображения, способу кодирования сигнала изображения и программе, которые обеспечивают простое детектирование границ изображения зависимого потока в потоке битов. Технический результат - детектирование границ изображения в зависимом потоке по потоку битов с недопущением переполнения или недозаполнения буфера. В потоке битов AD (разграничитель AU) помещают в начальное положение каждого AU (блок доступа), a DD (зависимый разграничитель) помещают на границе кадра зависимого потока. Начало блока NAL детектируют путем детектирования начального кода и DD, то есть границу кадра (начало) зависимого потока детектируют путем проверки, равно ли 18 значение nal_unit_type, начало которого было детектировано. Настоящее изобретение можно применять к устройству, которое обрабатывает сигнал стереоскопического изображения. 3 н.п. ф-лы, 32 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству декодирования сигнала изображения, способу декодирования сигнала изображения, устройству кодирования сигнала изображения, способу кодирования сигнала изображения и программе, и более конкретно к устройству декодирования сигнала изображения, способу декодирования сигнала изображения, устройству кодирования сигнала изображения, способу кодирования сигнала изображения и программе, которые позволяют легко определять границы изображения зависимого потока в потоке битов.

Уровень техники

В последние годы устройства, соответствующие схемам сжатия на основе ортогонального преобразования, такого как дискретное косинусное преобразование и компенсации движения, такого как MPEG, используя избыточность, присущую информации видеоизображения, с целью реализации высокоэффективной передачи и накопления информации, все в большей степени преобладают при использовании как при распределении информации от станций широковещательной передачи или тому подобного, так и при приеме информации в обычных домах потребителей.

В частности, стандарт MPEG2 (ISO/IEC 13818-2) определен как схема кодирования изображения общего назначения и охватывает как изображения с чересстрочной разверткой, так и изображения с прогрессивной разверткой, а также изображения со стандартной четкостью и изображения с высокой четкостью, которые в настоящее время широко используются в самых разных приложениях, включая в себя профессиональные приложения и потребительские приложения.

При использовании MPEG2 возможно достичь высокой степени сжатия и высокого качества воплощения изображений, например, путем назначения кодовой скорости (скорости передачи битов) 4-8 Мбит/с для изображений с чересстрочной разверткой стандартной четкостью, имеющих 720×480 пикселей. Кроме того, высокая степень сжатия и высокое качество воплощения изображений возможны при назначении скорости кода 18-22 Мбит/с для изображения с прогрессивной разверткой и высокой четкостью, имеющего 1920×1088 пикселей.

MPEG2 в основном был предназначен для кодирования с высокой четкостью, пригодного для широковещательной передачи, но не поддерживает схемы кодирования с более низкой кодовой скоростью, то есть с более высокой степенью сжатия, чем MPEG1.

По мере увеличения популярности мобильных терминалов потребность в таких схемах кодирования в будущем будет увеличиваться. Для удовлетворения этого спроса была стандартизирована схема кодирования MPEG4. Для схем кодирования изображения был принят стандарт ISO/IEC 14496-2 как международный стандарт в декабре 1998 г.

Кроме того, также был принят стандарт, называемый Н.2 64/AVC (MPEG-4 часть 10, ISO/IEC 14496-10 | ITU-T Н. 264). Этот стандарт разработан организацией под названием JVT (Объединенная группа по обработке видеоизображений), которая была совместно учреждена ITU-T и ISO/IEC для стандартизации кодирования видеоданных.

Известно, что Н.2 64/AVC требует большего количества вычислений при кодировании и декодировании, чем в обычных схемах кодирования, таких как MPEG2 и MPEG4, но позволяет достигать более высокой эффективности кодирования.

[Н.2 64/AVC]

На фиг. 1 показана блок-схема, иллюстрирующая пример конфигурации устройства кодирования видеоинформации, которое реализует сжатие изображения на основе ортогонального преобразования, такого как дискретное косинусное преобразование или преобразование Кархунена - Лоэва, и компенсации движения.

1 обозначает модуль A/D преобразования, 2 обозначает буфер изменения порядка вывода на экран, 3 обозначает модуль сумматора, 4 обозначает модуль ортогонального преобразования, 5 обозначает модуль дискретизации, 6 обозначает модуль кодирования без потерь, 7 обозначает буфер накопления, 8 обозначает модуль обратной дискретизации, 9 обозначает модуль обратного ортогонального преобразования, 10 обозначает запоминающее устройство кадра, 11 обозначает модуль прогнозирования/компенсации движения и 12 обозначает модуль управления скоростью передачи данных.

Вводимый сигнал изображения вначале преобразуют в цифровой сигнал с помощью модуля 1 A/D преобразования.

Затем выполняют изменение порядка вывода кадров с помощью буфера 2 изменения порядка вывода на экран в соответствии со структурой GOP (Группа кадров) выводимой информации сжатия изображения.

Для изображения, подвергаемого внутрикадровому кодированию, информацию видеоизображения для всех кадров вводят в модуль 4 ортогонального преобразования, в котором выполняют ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Кархунена - Лоэва.

Коэффициент преобразования, который выводят из модуля 4 ортогонального преобразования, подвергают обработке дискретизации с помощью модуля 5 дискретизации.

Дискретизированный коэффициент преобразования, который выводят из модуля 5 дискретизации, подают в модуль 6 кодирования без потерь, где выполняют кодирование без потерь, такое как кодирование с переменной длиной кодирования или арифметическое кодирование. После этого полученный в результате коэффициент преобразования накапливают в буфере 7 накопления и выводят как информацию сжатия изображения. Работой модуля 5 дискретизации управляют с помощью модуля 12 управления скоростью передачи данных.

Одновременно дискретизированный коэффициент преобразования, который выводят из модуля 5 дискретизации, подают в модуль 8 обратной дискретизации и, кроме того, подвергают обработке обратного ортогонального преобразования, используя модуль 9 обратного ортогонального преобразования, в информацию декодированного видеоизображения. Эту информацию накапливают в запоминающем устройстве 10 кадра.

Изображение, подвергаемое межкадровому кодированию, вначале выводят из буфера 2 изменения порядка вывода на экран в модуль 11 прогнозирования/компенсации движения.

Одновременно информацию изображения, на которую будет сделана ссылка, получают из запоминающего устройства 10 кадра и подвергают обработке прогнозирования/компенсации движения. Таким образом, генерируют информацию опорного изображения.

Информацию опорного изображения передают в модуль 3 сумматора и преобразуют здесь в сигнал разности между информацией опорного изображения и информацией изображения.

Модуль 11 компенсации/прогнозирования движения одновременно выводит информацию вектора движения в модуль 6 кодирования без потерь. Информацию вектора движения подвергают обработке кодирования без потерь, такой как кодирование переменной длины или арифметическое кодирование, и вводят в участок заголовка информации сжатия изображения. Другая обработка аналогична выполняемой для информации сжатия изображения, которую подвергают внутрикадровому кодированию.

На фиг. 2 показана блок-схема, иллюстрирующая конфигурацию примера устройства декодирования информации изображения.

21 обозначает буфер накопления, 22 обозначает модуль кодирования/декодирования без потерь, 23 обозначает модуль обратного квантования, 24 обозначает модуль обратного ортогонального преобразования, 25 обозначает модуль сумматора, 26 обозначает буфер изменения порядка вывода на экран, 27 обозначает модуль ЦА преобразования, 28 обозначает запоминающее устройство кадра и 29 обозначает модуль прогнозирования/компенсации движения.

Вводимую информацию сжатия изображения (поток битов) вначале сохраняют в буфере 21 накопления и после этого передают в модуль 22 кодирования/декодирования без потерь.

В модуле 22 кодирования/декодирования без потерь выполняют обработку, такую как декодирование переменной длины или арифметическое декодирование, в соответствии с определенным форматом информации сжатия изображения.

Одновременно, если кадр представляет собой кадр, подвергнутый межкадровому кодированию, модуль 22 кодирования/декодирования без потерь также декодирует информацию вектора движения, сохраненную на участке заголовка информации сжатия изображения, и выводит эту информацию в модуль 29 прогнозирования/компенсации движения.

Дискретизированный коэффициент преобразования, выводимый из модуля 22 кодирования/декодирования без потерь, подают в модуль 23 обратной дискретизации и здесь выводят как коэффициент преобразования.

Коэффициент преобразования подвергают обратному ортогональному преобразованию, такому как обратное дискретное косинусное преобразование или обратное преобразование Кархунена - Лоэва, с помощью модуля 24 обратного ортогонального преобразования, в соответствии с определенным форматом информации сжатия изображения.

В случае, когда кадр представляет собой кадр, кодированный внутри кадра, информацию изображения, подвергаемую обработке обратного ортогонального преобразования, сохраняют в буфере 26 изменения порядка вывода на экран и выводят после обработки ЦА преобразования.

В случае, когда кадр представляет собой кадр, подвергнутый межкадровому кодированию, опорное изображение генерируют на основе информации вектора движения, подвергнутой процессу декодирования без потерь, и информации изображения, сохраненной в запоминающем устройстве 28 кадра. Опорное изображение и выход модуля 24 обратного ортогонального преобразования комбинируют с помощью модуля 25 сумматора. Другая обработка аналогична выполняемой для кадра, кодированного внутри кадра.

Описанный выше стандарт AVC, разработанный JVT, представляет собой гибридную схему кодирования, сформированную из компенсации движения и дискретного косинусного преобразования, такого как MPEG2 или MPEG4.

Дискретное косинусное преобразование может представлять собой целочисленное преобразование, аппроксимирующее настоящее дискретное косинусное преобразование. Хотя детальные схемы отличаются, например, тем, что способ преобразования при дискретном косинусном преобразовании представляет собой способ, в котором используется целочисленный коэффициент с размером блока 4×4 или с переменным размером блока при компенсации движения, основная схема аналогична схеме кодирования, воплощенной в конфигурации, показанной на фиг. 1.

В то же время в последние годы по мере развития технологий съемки и отображения стереоскопического изображения были проведены исследования по разработке расширения стандарта H.264/AVC для кодирования сигналов стереоскопического изображения.

В настоящее время разрабатывают стандарты MVC (Кодирование видеоданных, снятых с множества точек съемки), которое обеспечивает кодирование изображений, снятых с множества точек съемки, которые были сняты с использованием множества устройств съемки изображения.

Изображение, для которого предполагается, что оно было снято и отображается с двух точек съемки, называется стереоизображением. Стереоскопический дисплей, предназначенный для обзора невооруженным глазом, выполнен с возможностью поддержки отображения, снятого с множества точек съемки.

Хотя следующее описание будет приведено, в основном, для стереоизображения, снятого с двух точек съемки, в качестве примера применение изображений, снятых с множества точек съемки, полученных с трех или более точек съемки, может быть выполнено аналогичным образом.

[MVC]

На фиг. 3 показана схема, иллюстрирующая устройство кодирования изображения, снятого с множества точек съемки.

В устройстве 41 кодирования изображения, снятого с множества точек съемки, кодируют видеосигналы, подаваемые из двух устройств съемки изображения, а именно из устройств 31 и 32 съемки изображения, и выводят потоки битов, генерируемые в результате кодирования. Эти потоки битов, состоящие из данных изображений, снятых с двух точек съемки, могут быть мультиплексированы в один поток, который затем выводят, или могут быть выведены как два или больше потока битов.

На фиг. 4 показана блок-схема, иллюстрирующая пример конфигурации устройства 41 кодирования изображения, снятого с множества точек съемки по фиг. 3.

В устройстве 41 кодирования изображения, снятого с множества точек съемки, изображение, снятое с одной точки съемки, из изображений, снятых с множества точек съемки, кодируют как основной поток, а другие изображения кодируют как зависимые потоки.

В случае стереоскопического изображения одно изображение из изображения L (изображения, снятого с левой точки съемки) и изображения R (изображения, снятого с правой точки съемки), кодируют как основной поток, и другое изображение кодируют как зависимый поток.

Основной поток представляет собой поток битов, аналогичный существующему потоку битов AVC, кодированному с использованием стандарта Н.2 64 AVC/High Profile или тому подобному. Поэтому основной поток становится потоком, который можно декодировать, используя существующий декодер AVC, который поддерживает стандарт Н.2 64 AVC/High Profile.

Изображения, кодируемые как основной поток, вводят в буфер 51 изменения порядка следования и изменяют их порядок следования для того, чтобы сделать пригодными для кодирования, как изображения I, изображения Р и изображения В. Изображения с измененным порядком следования выводят в модуль 52 видеокодирования.

Модуль 52 видеокодирования имеет конфигурацию, аналогичную устройству кодирования информации изображения по фиг.1. В модуле 52 видеокодирования, например, выполняют кодирование в соответствии с Н.2 64 AVC/High Profile, и полученный в результате поток битов выводят в модуль 57 мультиплексирования. Кроме того, локально декодированные изображения сохраняют в запоминающем устройстве 53 кадра и используют как опорное изображение для кодирования следующего изображения или изображения в зависимом потоке.

В то же время изображения, которые должны быть кодированы как зависимый поток, вводят в буфер 54 изменения порядка следования и изменяют их порядок следования для того, чтобы сделать пригодными для кодирования, как изображение I, изображение Р и изображение В. Изображения с измененным порядком следования выводят в модуль 55 кодирования зависимого потока.

В модуле 55 кодирования зависимого потока в дополнение к нормальному кодированию AVC выполняют кодирование с использованием в качестве опорного изображения локального декодированного изображения в основном потоке, сохраненном в запоминающем устройстве 53 кадра, и выводят поток битов в модуль 57 мультиплексирования. Кроме того, локально декодированное изображение сохраняют в запоминающем устройстве 56 кадра и используют как опорное изображение для кодирования следующего изображения.

В модуле 57 мультиплексирования основной поток и зависимый поток мультиплексируют в один поток битов, который выводят. Основной поток и зависимый поток могут быть выведены как отдельные потоки битов.

На фиг. 5 показана схема, иллюстрирующая пример опорного изображения MVC.

Основной поток кодируют путем выполнения только прогнозирования в направлении времени, аналогично выполняемому в нормальном AVC.

Зависимый поток кодируют путем выполнения в дополнение к прогнозированию в направлении времени в пределах изображения, снятого с той же точки съемки, которое аналогично прогнозированию в нормальном AVC, прогнозирования, используя изображение в основном потоке, которое получено в тот же момент времени, что и опорное изображение. Даже в случае, когда прогнозирование в направлении времени не может быть соответствующим образом выполнено, возможность обращения к изображению, снятому с другой точки съемки, полученному в тот же момент времени, может улучшить эффективность кодирования.

На фиг. 6 показана блок-схема, иллюстрирующая конфигурацию модуля 52 видеокодирования по фиг. 4, который генерирует основной поток, и запоминающее устройство 53 кадра.

Конфигурация, показанная на фиг. 6, аналогична конфигурации устройства кодирования информации изображения по фиг.1, за исключением того, что к изображению, сохраненному в запоминающем устройстве 53 кадра, обращается модуль 55 кодирования зависимого потока.

На фиг. 7 показана блок-схема, иллюстрирующая конфигурацию модуля 55 кодирования зависимого потока по фиг. 4, который генерирует зависимый поток, и запоминающее устройство 56 кадра.

Конфигурация, показанная на фиг. 7, аналогична конфигурации устройства кодирования информации изображения по фиг. 1, за исключением того, что на изображение, сохраненное в запоминающем устройстве 53 кадра, можно ссылаться. Опорное изображение, считываемое из запоминающего устройства 53 кадра, вводят в модуль 90 прогнозирования/компенсации движения и используют для прогнозирования движения и компенсации движения.

На фиг. 8 показана блок-схема, иллюстрирующая пример конфигурации устройства 101 декодирования изображения, снятого с множества точек съемки.

Основной поток, подаваемый из устройства 41 кодирования изображения, снятого с множества точек съемки, через сеть или носитель записи, вводят в буфер 111 и зависимый поток вводят в буфер 114. В случае, когда подают один мультиплексированный поток, этот поток разделяют на основной поток и зависимый поток, которые вводят в буфер 111 и буфер 114 соответственно.

Основной поток, который задерживают в буфере 111 на заданный период времени, выводят в модуль 112 декодирования видеоданных.

В модуле 112 декодирования видеоданных основной поток декодируют в соответствии с AVC, и полученное в результате декодированное изображение сохраняют в запоминающем устройстве 113 кадра. Декодированное изображение, сохраненное в запоминающем устройстве 113 кадра, используют как опорное изображение для декодирования следующего изображения или изображения в зависимом потоке.

Декодированное изображение, полученное модулем 112 декодирования видеоданных, выводят как видеосигнал в 3D дисплей 102 в заданные моменты времени.

В то же время зависимый поток, который задерживают в буфере 114 на заданный период времени, выводят в модуль 115 декодирования зависимого потока.

В модуле 115 декодирования зависимого потока зависимый поток декодируют и полученное в результате декодированное изображение сохраняют в запоминающем устройстве 116 кадра. Декодированное изображение, сохраненное в запоминающем устройстве 116 кадра, используют как опорное изображение для декодирования следующего изображения.

В модуле 115 декодирования зависимого потока при необходимости изображение, сохраненное в запоминающем устройстве 113 кадра, используют как опорное изображение в соответствии с информацией (такой как флаг) в потоке битов.

Декодированное изображение, полученное модулем 115 декодирования зависимого потока, выводят как видеосигнал в 3D дисплей 102 в заданные моменты времени.

В 3D дисплее 102 стереоизображение отображают в соответствии с видеосигналом, подаваемым из модуля 112 декодирования видеоданных, и видеосигналом, подаваемым из модуля 115 декодирования зависимого потока.

На фиг. 9 показана схема, иллюстрирующая конфигурацию модуля 112 декодирования видеоданных по фиг. 8, который декодирует основной поток, и запоминающее устройство 113 кадра.

Конфигурация, показанная на фиг. 9, аналогична конфигурации устройства декодирования информации изображения по фиг. 2, за исключением того момента, что к изображению, сохраненному в запоминающем устройстве 113 кадра, обращается модуль 115 декодирования зависимого потока.

На фиг. 10 показана блок-схема, иллюстрирующая конфигурацию модуля 115 декодирования зависимого потока по фиг. 8, который декодирует зависимый поток, и запоминающего устройства 116 кадра.

Конфигурация, показанная на фиг. 10, аналогична конфигурации устройства декодирования информации изображения по фиг. 2, за исключением того, что можно обращаться к изображению, сохраненному в запоминающем устройстве 113 кадра. Опорное изображение, считываемое из запоминающего устройства 113 кадра, вводят в модуль 148 прогнозирования/компенсации движения и используют для прогнозирования движения и компенсации движения.

Список ссылок

Патентная литература

PTL 1: Публикация №2007-208917 нерассмотренной заявки на японский патент

Сущность изобретения

Техническая задача изобретения

В AVC и MVC определена виртуальная модель буфера, которая имитирует операцию буфера на стороне устройства декодирования для недопущения переполнения или недозаполнения буфера.

На стороне устройства кодирования кодирование выполняют таким образом, чтобы предотвратить переполнение или недозаполнение виртуального буфера. Устройство декодирования может декодировать поток битов, кодированный таким образом, без нарушения работы буфера.

Ниже будет описана виртуальная модель буфера.

На фиг. 11 показана схема, иллюстрирующая пример виртуальной модели буфера.

Входной поток битов вначале подают в буфер 151. Поток битов считывают непосредственно из буфера 151 блоками, называемыми AU (блоки доступа), и подают модуль 152 декодирования видеоданных.

В модуле 152 декодирования видеоданных данные, считываемые из буфера 151, мгновенно декодируют и генерируют декодированное изображение. Приведенное выше предположение делают в виртуальной модели буфера.

Следует отметить, что буфер 151 на фиг. 11 соответствует буферам 111 и 114 в устройстве 101 декодирования изображений, снятых с множества точек съемки по фиг. 8. Кроме того, модуль 152 декодирования видеоданных по фиг. 11 соответствует модулю 112 декодирования видеоданных и модулю 115 декодирования зависимого потока в устройстве 101 декодирования изображений, снятых с множества точек съемки по фиг. 8.

В случае AVC AU хранит данные одного кадра.

В случае MVC один AU хранит данные всех видов (основной поток и зависимый поток), полученных одновременно. Здесь термин «вид» означает изображение, полученное с каждой точки съемки.

Поведение буфера 151 в такой виртуальной модели буфера показано на фиг. 12. На фиг. 12 по вертикальной оси представлена степень заполнения буфера, и по горизонтальной оси представлено время.

Как показано на фиг. 12, поток битов подают в буфер 151 с заданной скоростью подачи битов. Кроме того, во время считывания каждого AU поток битов, сохраненный в соответствующем AU, извлекают из буфера 151. Моменты времени t1, t2, t3… представляют собой моменты времени считывания из буфера 151.

На фиг. 13 показана схема, иллюстрирующая конфигурацию AU потока битов, кодированного с использованием MVC.

В верхней части фиг. 13 представлены AU №1, №2 и №3.

[0082] AU №1 состоит из кадра P1 в основном потоке и кадра P2 в зависимом потоке, которые представляют собой кадры, снятые в один и тот же момент времени (данные кадров сохранены).

AU №2 состоит из кадра P3 в основном потоке и кадра P4 в зависимом потоке, которые представляют собой кадры, снятые в один момент времени.

AU №3 состоит из кадра P5 в основном потоке и кадра P6 в зависимом потоке, которые представляют собой кадры, снятые в один момент времени.

В нижней части на фиг. 13 иллюстрируется конфигурация потока битов.

Поток битов на фиг. 13 представляет собой один поток, составленный в результате мультиплексирования основного потока и зависимого потока. Каждый AU имеет блок NAL, называемый AD (разграничитель AU), вставленный в его начале. AD представляет собой некоторую уникальную строку данных.

AD представляет начальное положение данных кадра в основном потоке и кадра в зависимом потоке, которые находятся в одной и той же точке времени.

Как показано на фиг. 13, в потоке битов AU №1 состоит из AD №1, кадра P1 и кадра P2.

AU №2 состоит из AD №2, кадра P3 и кадра P4.

AU №3 состоит из AD №3, кадра P5 и кадра P6.

Поиск AD позволяет найти начало AU и легко осуществлять доступ к определенному кадру.

На фиг. 14 представлены схемы, иллюстрирующие пример структуры потоков битов.

В части А на фиг. 14 показана структура в случае, когда основной поток и зависимый поток мультиплексируют в единый поток битов. Структура потока битов в части А на фиг. 14 та же, что и структура потока битов на фиг. 13.

В части В на фиг. 14 иллюстрируется структура в случае, когда основной поток и зависимый поток отдельно включены в два потока битов. Участки, соответствующие участкам, показанным в части А на фиг. 14, обозначены одинаковыми номерами ссылочных позиций.

Как показано в части В на фиг. 14, основной поток выполнен путем размещения AD №1, кадра P1, AD №2, кадра P3, AD №3 и кадра P5 в данном порядке.

В то же время зависимый поток выполнен путем размещения кадра P2, кадра P4 и кадра P6 в данном порядке.

Процесс декодирования для битовых потоков на фиг. 14 будет описан со ссылкой на конфигурацию, показанную на фиг. 11.

Например, в случае, когда поток битов в части А на фиг. 14 подают после детектирования AD №1, модуль 152 декодирования видеоданных на фиг. 11 последовательно считывает кадр P1 в основном потоке и кадр P2 в зависимом потоке и по отдельности декодирует эти кадры.

Кроме того, в случае, когда подают битовые потоки, показанные в части В на фиг. 14, для первого AU в основном потоке модуль 152 декодирования видеоданных детектирует AD №1 и считывает и декодирует кадр P1. Кроме того, для второго AU модуль 152 декодирования видеоданных детектирует AD №2 и считывает и декодирует кадр P3.

Поскольку зависимый поток не содержит AD, необходимо анализировать синтаксис в потоке битов и определять границы кадров P2, P4 и P6 для считывания каждого кадра. Поэтому обработка становится очень сложной.

Здесь рассматривается случай, в котором AD просто добавляют к началу каждого кадра в зависимом потоке, аналогично основному потоку, таким образом, что начало кадра может быть легко детектировано.

В этом случае, например, если основной поток и зависимый поток мультиплексируют в один поток битов, модуль 152 видеодекодирования может распознавать AU основного потока и AU зависимого потока как разные AU. Это не позволяет правильно воспроизвести работу виртуальной модели буфера.

Настоящее изобретение было разработано с учетом такой ситуации и предназначено для обеспечения возможности простого детектирования границ изображения в зависимом потоке по потоку битов.

Решение задачи

Устройство декодирования сигнала изображения в одном аспекте настоящего изобретения представляет собой устройство декодирования сигнала изображения, которое декодирует поток битов, формируемый путем кодировании сигнала стереоскопического изображения, включающего в себя сигналы изображения, полученные с множества точек съемки, включающее в себя средство декодирования для декодирования первой уникальной строки данных, указывающей начало кодированных потоков битов изображения, полученных со всех точек съемки в заданный момент времени, причем первая уникальная строка данных кодирована в изображении, полученном с одной точки съемки, для определения начала кодированных данных, полученных в указанный заданный момент времени, для декодирования второй уникальной строки данных, указывающей начало кодированного потока битов изображения, полученного с другой точки съемки в указанный заданный момент времени, причем вторая уникальная строка данных отдельно кодирована в начале кодированного потока битов изображения, полученного с другой точки съемки, для определения начала кодированных данных сигнала изображения, полученного с другой точки съемки, и для декодирования потока битов.

Сигналы изображения, полученные с множества точек съемки, могут представлять собой сигналы изображения, полученные с двух точек съемки, и они выполнены в виде одного потока битов.

Сигналы изображения, полученные с множества точек съемки, могут представлять собой сигналы изображения, полученные с двух точек съемки, и они выполнены в виде двух потоков битов.

Средство декодирования может быть выполнено с возможностью декодирования первой уникальной строки данных, указывающей начало кодированных потоков битов изображения, полученных со всех точек съемки в указанный заданный момент времени, причем первая уникальная строка данных кодирована в изображении, полученном с одной из точки съемки, определения начала кодированных данных, полученных в указанный заданный момент времени, декодирования второй уникальной строки данных, указывающей начало кодированного потока битов изображения, полученного с другой точки съемки в указанный заданный момент времени, причем вторая уникальная строка данных, кодирована в начале кодированного потока битов изображения, полученного с другой точки съемки, определения начала кодированных данных сигнала изображения, полученного с другой точки съемки, и декодирования потока битов.

Средство декодирования может быть выполнено с возможностью в случае доступа к положению, в котором декодирование может быть начато правильно, декодирования первой уникальной строки данных, указывающей начало кодированных потоков битов изображения, полученных со всех точек съемки в указанный заданный момент времени, причем первая уникальная строка данных кодирована в изображении, полученном с одной точки съемки, определения начала кодированных данных, полученных в указанный заданный момент времени с одной точки съемки, декодирования второй уникальной строки данных, указывающей начало кодированного потока битов изображения, полученного с другой точки съемки, в указанный заданный момент времени, причем вторая уникальная строка данных отдельно кодирована в начале кодированного потока битов изображения, полученного с другой точки съемки, определения начала кодированных данных сигнала изображения, полученного с другой точки съемки, и декодирования потока битов от определенных начальных положений.

Способ декодирования сигнала изображения в этом аспекте настоящего изобретения представляет собой способ декодирования сигнала изображения для декодирования потока битов, формируемого путем кодирования сигнала стереоскопического изображения, включающего в себя сигналы изображения, полученные с множества точек съемки, включающий в себя следующие этапы: декодируют первую уникальную строку данных, указывающую начало кодированных потоков битов изображения, полученных со всех точек съемки в заданный момент времени, причем первая уникальная строка данных кодирована в изображении, полученном с одной точки съемки; определяют начало кодированных данных, полученных в указанный заданный момент времени; декодируют вторую уникальную строку данных, указывающую начало кодированного потока битов изображения, полученного с другой точки съемки в указанный заданный момент времени, причем вторая уникальная строка данных отдельно кодирована в начале кодированного потока битов изображения, полученного с другой точки съемки; определяют начало кодированных данных сигнала изображения, полученного с другой точки съемки; и декодируют поток битов.

Программа в этом аспекте настоящего изобретения представляет собой программу, обеспечивающую выполнение компьютером процесса декодирования потока битов, получаемого в результате кодирования сигнала стереоскопического изображения, включающего в себя сигналы изображения, полученные с множества точек съемки, при этом программа вызывает выполнение компьютером процесса, содержащего этапы, на которых декодируют первую уникальную строку данных, указывающую начало кодированного потока битов изображения, полученного со всех точек съемки в заданный момент времени, причем первая уникальная строка данных кодирована в изображении, полученном с одной точки съемки; определяют начало кодированных данных, полученных в указанный заданный момент времени; декодируют вторую уникальную строку данных, указывающую начало кодированного потока битов изображения, полученного с другой точки съемки в указанный заданный момент времени, причем вторая уникальная строка данных отдельно кодирована в начале кодированного потока битов изображения, полученного с другой точки съемки; определяют начало кодированных данных сигнала изображения, полученного с другой точки съемки; и декодируют поток битов.

Устройство кодирования сигнала изображения в другом аспекте настоящего изобретения представляет собой устройство кодирования сигнала изображения, которое кодирует сигнал стереоскопического изображения, включающий в себя сигналы изображения, полученные с множества точек съемки, включающее в себя средство кодирования для кодирования первой уникальной строки данных в изображении, полученном с одной точки съемки, причем первая уникальная строка данных указывает начало кодированных потоков битов изображения, полученных со всех точек съемки в заданный момент времени, и для отдельного кодирования второй уникальной строки данных в начале кодированного потока битов изображения, полученного с другой точки съемки, причем вторая уникальная строка данных указывает начало кодированного потока битов изображения, полученного с другой точки съемки в указанный заданный момент времени.

Средство кодирования может быть выполнено с возможностью мультиплексирования кодированных данных, полученных со всех точек съемки, в один поток битов.

Средство кодирования может быть выполнено с возможностью обеспечения включения кодированных данных, полученных со всех точек съемки, в два потока битов.

Сигналы изображения, полученные с множества точек съемки, могут представлять собой сигналы изображения, полученные с двух точек съемки.

Способ кодирования сигнала изображения в этом другом аспекте настоящего изобретения представляет собой способ кодирования сигнала изображения для кодирования сигнала стереоскопического изображения, включающего в себя сигналы изображения, полученные с множества точек съемки, включающий в себя следующие этапы: кодируют первую уникальную строку данных в изображении, полученном с одной точки съемки, причем первая уникальная строка данных указывает начало кодированных потоков битов изображения, полученных со всех точек съемки в заданный момент времени; и отдельно кодируют вторую уникальную строку данных в начале кодированного потока битов изображения, полученного с другой точки съемки, причем вторая уникальная строка данных указывает начало кодированного потока битов изображения, полученного с другой точки съемки в указанный заданный момент времени.

Программа в этом другом аспекте настоящего изобретения представляет собой программу, вызывающую выполнение компьютером процесса кодирования сигнала стереоскопического изображения, включающего в себя сигналы изображения, полученные с множества точек съемки, причем программа вызывает выполнение компьютером процесса, содержащую следующие этапы: кодируют первую уникальную строку данных в изображении, полученном с одной точки съемки, причем первая уникальная строка данных указывает начало кодированных потоков битов изображения, полученных со всех точек съемки в заданный момент времени; и отдельно кодируют вторую уникальную строку данных в начале кодированного потока битов изображения, полученного с другой точки съемки, причем вторая уникальная строка данных указывает начало кодированного потока битов изображения, полученного с другой точки съемки в указанный заданный момент времени.

В одном аспекте настоящего изобретения декодируют первую уникальную строку данных, указывающую начало кодированных потоков битов изображения, полученных со всех точек съемки в заданный момент времени, и кодированную в изображении, полученном с одной точки съемки, и определяют начало кодированных данных, полученных в указанный заданный момент времени. Кроме того, декодируют вторую уникальную строку данных, указывающую начало кодированного потока битов изображения, полученного с другой точки съемки в указанный заданный момент времени, и отдельно кодированную в начале кодированного потока битов изображения, полученного с другой точки съемки, определяют начало кодированных данных сигнала изображения, полученного с другой точки съемки, и декодируют поток битов.

В другом аспекте настоящего изобретения в изображении, полученном с одной точки съемки, кодируют первую уникальную строку данных, указывающую начало кодированных потоков битов изображения, полученных со всех точек съемки в заданный момент времени, и отдельно кодируют вторую уникальную строку данных, указывающую начало кодированного потока битов изображения, полученного с другой точки съемки в указанный заданный момент времени, в начале кодированного потока битов изображения, полученного с другой точки съемки.

Предпочтительные результаты изобретения

В соответствии с аспектом настоящего изобретения можно легко определять границы кадров в зависимом потоке в потоке битов.

Краткое описание чертежей

На фиг. 1 показана блок-схема, иллюстрирующая пример конфигурации устройства кодирования информации изображения.

На фиг. 2 показана блок-схема, иллюстрирующая пример конфигурации устройства декодирования информации изображения.

На фиг. 3 показана схема, иллюстрирующая устройство кодирования изображения, снятого с множества точек съемки.

На фиг. 4 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования изображения, снятого с множества точек съемки по фиг. 3.

На фиг. 5 показана схема, иллюстрирующая пример опорного изображения MVC.

На фиг. 6 показана блок-схема, иллюстрирующая конфигурацию модуля кодирования видеоданных по фиг. 4 и запоминающего устройства кадра.

На фиг. 7 показана блок-схема, иллюстрирующая конфигурацию модуля кодирования зависимого потока по фиг. 4 и запоминающего устройства кадра.

На фиг. 8 показана блок-схема, иллюстрирующая пример конфигурации устройства декодирования данных для множества точек съемки.

На фиг. 9 показана схема, иллюстрирующая конфигурацию модуля декодирования видеоданных по фиг.8 и запоминающего устройства кадра.

На фиг. 10 показана блок-схема, иллюстрирующая конфигурацию модуля декодирования зависимого потока по фиг. 8 и запоминающего устройства кадра.

На фиг. 11 показана схема, иллюстрирующая пример виртуальной модели буфера.

На фиг. 12 показана схема, иллюстрирующая поведение буфера по фиг. 11.

На фиг. 13 показана схема, иллюстрирующая конфигурацию AU потока битов, кодированных с использованием MVC.

Фиг. 14 включает в себя схемы, иллюстрирующие пример структуры потоков битов.

На фиг. 15 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования зависимого потока, который представляет собой часть устройства кодирования изображения, снятого с множества точек съемки, в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 16 включает в себя схемы, иллюстрирующие пример структуры потоков битов.

На фиг. 17 показана схема, иллюстрирующая пример конфигурации модуля NAL.

На фиг. 18 показана схема, иллюстрирующая синтаксис модуля NAL.

На фиг. 19 показана схема, иллюстрирующая определение nal_unit_type.

На фиг. 20 показана схема, иллюстрирующая определение nal_unit_type.

На фиг. 21 показана схема, иллюстрирующая упрощенный синтаксис модуля NAL.

На фиг. 22 показана схема, иллюстрирующая синтаксис, включающий в себя модуль NAL.

На фиг. 23 показана схема, иллюстрирующая упрощение синтаксиса по фиг. 22.

На фиг. 24 показана блок-схема, иллюстрирующая пример конфигурации модуля декодирования зависимого потока, который представляет собой часть устройства декодирования изображения, полученного с множества точек съемки, в соответствии с вариантом осуществления настоящего изобретения.

На фиг. 25 показана схема, иллюстрирующая пример виртуальной модели буфера.

На фиг. 26 показана схема, иллюстрирующая пример способа доступа к началу AU.

На фиг. 27 показана блок-схема последовательности операций, описывающая операцию модуля анализа синтаксиса.

На фиг. 28 показана блок-схема последовательности операций, описывающая процесс обычного анализа.

На фиг. 29 показана схема, иллюстрирующая конфигурацию AU в потоках битов, полученных путем кодирования видеоданных, полученных с трех точек съемки, используя MVC.

Фиг. 30 включает в себя схемы, иллюстрирующие пример структуры потоков битов.

Фиг. 31 включает в себя схемы, иллюстрирующие пример структуры потоков битов.

На фиг. 32 показана блок-схема, иллюстрирующая примерную конфигурацию компьютера.

Подробное описание изобретения

Конфигурация устройства кодирования изображения, снятого с множества точек съемки

На фиг. 15 показана блок-схема, иллюстрирующая пример конфигурации модуля кодирования зависимого потока, который представляет собой часть устройства кодирования изображения, снятого с множества точек съемки, в соответствии с вариантом осуществления настоящего изобретения.

В устройстве кодирования изображения, снятого с множества точек съемки, в соответствии с вариантом осуществления настоящего изобретения в основном потоке кодирована информация, указывающая границы AU, и в зависимом потоке кодирована информация, указывающая границы между кадрами в зависимом потоке.

Это позволяет устройству декодирования изображения, снятого с множества точек съемки, при декодировании потоков битов стереоскопического изображения определять границы AU или тому подобное в результате простой обработки и выполнять операцию декодирования на основе виртуальной модели буфера.

Устройство кодирования изображения, снятого с множества точек съемки, имеет такую же конфигурацию, что и конфигурация, показанная на фиг. 4. На фиг. 15 иллюстрируется примерная конфигурация модуля 55 кодирования зависимого потока по фиг. 4. Модуль 52 кодирования видеоданных устройства 41 кодирования изображения, снятого с множества точек съемки, в соответствии с вариантом осуществления настоящего изобретения имеет такую же конфигурацию, что и конфигурация на фиг. 6. Одинаковые элементы конфигурации обозначены одинаковыми номерами ссылочных позиций.

Конфигурация модуля 55 кодирования зависимого потока, показанная на фиг. 15, является той же конфигурацией, что и конфигурация на фиг. 7, за исключением того, что предусмотрен модуль 201 кодирования DD и что выходной сигнал модуля 201 кодирования DD подают в модуль 86 кодирования без потерь.

Модуль 201 кодирования DD вставляет блок NAL, называемый DD (зависимый разграничитель) (блок NAL разграничения представления по виду и зависимости), в начало каждого кадра в зависимом потоке. DD представляет собой уникальную строку данных, такую как AD, но имеет значение, отличающееся от AD.

Модуль 86 кодирования без потерь вставляет блок NAL DD, генерируемый модулем 201 кодирования DD, в начало каждого изображения, выполняет кодирование и выводит зависимый поток, в который был вставлен DD.

Фиг. 16 включает в себя схемы, иллюстрирующие пример структуры потоков битов, генерируемых устройством 41 кодирования изображений, снятых с множества точек съемки, включающим в себя модуль 55 кодирования зависимого потока по фиг. 15.

В части А на фиг. 16 показан пример структуры в случае, когда основной поток и зависимый поток мультиплексированы в один поток битов.

В части В на фиг. 16 показан пример структуры в случае, когда основной поток и зависимый поток отдельно включены в два потока битов. Участки, соответствующие участкам, представленным в части А на фиг. 16, обозначены теми же номерами ссылочных позиций.

В случае генерирования потока битов в части А на фиг. 16 после кодирования AD №1 устройство 41 кодирования изображения, снятого с множества точек съемки, кодирует кадр P1 в основном потоке. Затем устройство 41 кодирования изображения, снятого с множества точек съемки, кодирует DD №1 перед кодированием кадра в зависимом потоке и после этого кодирует кадр P2 в зависимом потоке.

Когда цель процесса переключают к следующему AU, устройство 41 кодирования изображения, снятого с множества точек съемки, кодирует AD №2 и кодирует кадр P3 в основном потоке. Затем устройство 41 кодирования изображения, снятого с множества точек съемки, кодирует DD №2 перед кодированием кадра в зависимом потоке и после этого кодирует кадр P4 в зависимом потоке.

Аналогично устройство 41 кодирования изображения, снятого с множества точек съемки, кодирует DD перед кодированием кадров в зависимом потоке и размещает эти кадры в зависимом потоке непосредственно после DD.

Также в этом примере AD размещены в начале AU. Первый AU состоит из AD №1, кадра P1, DD №1 и кадра P2, а второй AU состоит из AD №2, кадра P3, DD №2 и кадра P4. Третий AU состоит из AD №3, кадра P5, DD №3 и кадра P6.

В случае генерирования потоков битов в части В на фиг. 16 для основного потока после кодирования AD №1 устройство 41 кодирования изображения, снятого с множества точек съемки, кодирует кадр P1 в основном потоке. Когда цель процесса переключают на следующий AU, устройство 41 кодирования изображения, снятого с множества точек съемки, кодирует AD №2 и кодирует кадр P3 в основном потоке.

Кроме того, для зависимого потока после кодирования DD №1 устройство 41 кодирования изображения, снятого с множества точек съемки, кодирует кадр P2 в зависимом потоке. Когда цель процесса переключают на следующий AU, устройство 41 кодирования изображения, снятого с множества точек съемки, кодирует DD №2 и кодирует кадр P4 в зависимом потоке.

Аналогичным образом устройство 41 кодирования изображения, снятого с множества точек съемки, кодирует DD перед кодированием кадров в зависимом потоке и размещает кадры в зависимом потоке непосредственно после DD.

Как представлено в части В на фиг. 16, основной поток выполнен путем размещения AD №1, кадра P1, AD №2, кадра P3, AD №3 и кадра P5 в указанном порядке.

В то же время зависимый поток выполнен путем размещения DD №1, кадра P2, DD №2, кадра P4, DD №3 и кадра P6 в указанном порядке.

Также в примере в части В на фиг. 16 первый AU состоит из AD №1, кадра P1, DD №1 и кадра P2, а второй AU состоит из AD №2, кадра P3, DD №2 и кадра P4. Третий AU состоит из AD №3, кадра P5, DD №3 и кадра P6.

AD представляет собой начальное положение данных кадра в основном потоке и кадра в зависимом потоке, которые получают в один и тот же момент времени, то есть представляет начальное положение потоков битов кодирования изображения, полученных со всех точек съемки в заданный момент времени. A DD представляет собой положение границы данных кадра в зависимом потоке, то есть представляет начальное положение потока битов кодирования изображения в зависимом потоке.

Синтаксис

Синтаксис DD будет описан ниже.

Все кодированные элементы данных, включая AD и кадры, сохраняют в модуле, называемом модулем NAL, и изменяют их порядок следования в заданном порядке для конфигурирования потока битов. Детали описаны в ISO/IEC 14496-10 | ITU-T Н.264.

DD также сохраняют в блоке NAL.

На фиг. 17 показана схема, иллюстрирующая пример конфигурации модуля NAL.

Кодированные элементы данных и заголовок обрабатывают побайтно. NAL_BytesInNALunit представляет собой параметр, указывающий размер блока NAL в байтах, который необходим для идентификации границ блока NAL.

Один способ идентификации границ блока NAL состоит в поиске начальных кодов. В других случаях необходимо передавать размер блока NAL в декодер, используя определенный способ. rbsp_byte[] представляет кодированные элементы данных или заголовок, которые содержатся в блоке NAL.

На фиг. 18 показана схема, иллюстрирующая синтаксис блока NAL.

forbidden_zero_bit представляет собой 1-битные данные, которые всегда равны 0.

nal_ref_idc представляет собой 2-битные данные, которые указывают, что на элементы данных в блоке NAL ссылаются другие блоки NAL, если значение naljrefjdc представляет собой другое значение, кроме 0. Если значение nal_ref_idc равно 0, другие блоки NAL не ссылаются на эти элементы данных.

nal_unit_type представляет собой 5-битные данные, которые указывают содержание блока NAL.

forbidden_zero_bit, nal_ref_idc и nal_unit_type составляют заголовок по фиг. 17.

На фиг. 19 и 20 показаны схемы, иллюстрирующие определение nal_unit_type.

Как показано на фиг. 19, nal_unit_type=9 обозначает, что содержание блока NAL представляет собой AD.

Как показано на фиг. 20, nal_unit_type=18 обозначает, что содержание блока NAL - это DD.

Упрощенный синтаксис блока NAL на фиг. 18 представлен на фиг. 21.

К блоку NAL добавлен начальный код в соответствии с синтаксисом, представленным на фиг. 22, и он составляет поток, называемый потоком байтов. Поток байтов соответствует потоку битов, описанному выше.

startcode_prefix (start_code__prefix_one_3 байта) из 3 байтов (0×000001) по фиг. 22 представляет собой начальный код, который должен быть добавлен к началу блока NAL. startcode_prefix представляет собой уникальный код, который не должен появляться в других местах в потоке байтов.

Поиск startcode_prefix в потоке байтов приводит к детектированию начала блока NAL. Кроме того, проверка nal_unit_type в заголовке блока NAL, начало которого было детектировано, позволяет обратиться к требуемому блоку NAL.

Упрощение синтаксиса на фиг. 22 выполнено так, как иллюстрируется на фиг. 23.

Таким образом, DD размещены на границах кадров в зависимом потоке, независимо от того, является ли зависимый поток мультиплексированным с основным потоком в одиночный поток битов или включен в другой поток битов.

Начальный код добавляют к началу блока NAL, в котором содержится DD, и значение nal_unit_type блока NAL устанавливают равным 18, что обозначает, что содержание представляет собой DD.

Устройство декодирования для множества точек съемки может детектировать начало блока NAL путем детектирования начального кода. Кроме того, проверка, что значение nal_unit_type блока NAL, начало которого было детектировано, равно 18, позволяет детектировать DD, то есть границу (начало) изображения в зависимом потоке.

Устройство декодирования изображения, снятого с множества точек съемки

На фиг. 24 показана блок-схема, иллюстрирующая пример конфигурации модуля декодирования зависимого потока, который представляет собой часть устройства декодирования изображения, снятого с множества точек съемки, в соответствии с вариантом осуществления настоящего изобретения.

Устройство декодирования изображения, снятого с множества точек съемки в соответствии с вариантом осуществления настоящего изобретения, имеет ту же конфигурацию, что и конфигурация, показанная на фиг. 8. На фиг. 24 представлена примерная конфигурация модуля 115 декодирования зависимого потока по фиг. 8. Модуль 112 декодирования видеоданных устройства 101 декодирования изображения, снятого с множества точек съемки, в соответствии с вариантом осуществления настоящего изобретения имеет ту же конфигурацию, что и конфигурация, показанная на фиг. 9.

Конфигурация модуля 115 декодирования зависимого потока, показанная на фиг. 24, является той же конфигурацией, что и конфигурация на фиг. 10, за исключением того, что DD выводят из модуля 142 кодирования/декодирования без потерь.

Модуль 142 кодирования/декодирования без потерь декодирует DD, включенный в зависимый поток, и выводит этот DD. На основе вывода DD начальное положение декодирования или тому подобное во время случайного доступа устанавливают с помощью вышележащего приложения или тому подобного.

Модель виртуального буфера MVC будет описана ниже.

На фиг. 25 показана схема, иллюстрирующая пример модели виртуального буфера в случае, когда поток битов MVC состоит из двух потоков, то есть основного потока и зависимого потока.

Подаваемый на вход основной поток сохраняют в буфере 151A, а зависимый поток сохраняют в буфере 151B. Битовые потоки считывают мгновенно из буферов 151A и 151B по блокам AU и декодируют мгновенно с помощью устройства 152 декодирования видеоданных.

Следует отметить, что буфер 151A на фиг. 25 соответствует буферу 111 устройства 101 декодирования изображения, снятого с множества точек съемки, на фиг. 8, а буфер 151B на фиг. 25 соответствует буферу 114 устройства 101 декодирования изображения, снятого с множества точек съемки, на фиг. 8. Кроме того, модуль 152 декодирования видеоданных на фиг. 25 соответствует модулю 112 декодирования видеоданных и модулю 115 декодирования зависимого потока устройства 101 декодирования изображения, снятого с множества точек съемки, по фиг. 8.

Например, в случае, когда основной поток в части В на фиг. 16 сохраняют в буфере 151A, а зависимый поток сохраняют в буфере 151B в определенный момент времени, кадр P1 считывают из буфера 151A в соответствии с AD №1, а кадр P2 считывают из буфера 151B в соответствии с DD №1. Считанные кадры декодируют с помощью модуля 152 видеодекодирования.

Кроме того, в следующий момент времени кадр P3 считывают из буфера 151A в соответствии с AD №2, а кадр P4 считывают из буфера 151B в соответствии с DD №2.

Виртуальная модель буфера в случае, когда поток битов MVC состоит из одного потока, имеющего основной поток и зависимый поток, представляет собой то же, что показано на фиг. 11.

Например, в случае, когда поток битов в части А на фиг. 16 сохраняют в буфере 151 на фиг. 11, в определенный момент времени кадры P1 и P2 считывают из буфера 151 в соответствии с AD №1.

Кроме того, в следующий момент времени кадры P3 и P4 считывают из буфера 151 в соответствии с AD №2.

Далее, со ссылкой на фиг. 26 будет описан пример способа доступа к началу заданного AU во время случайного доступа в момент возникновения ошибки или тому подобного.

Входной поток битов вначале подают в буфер 211 и временно сохраняют. После этого поток битов подают в модуль 212 детектирования начального кода и в декодер 214.

Модуль 212 детектирования начального кода детектирует начальный код, имеющий уникальную строку данных. После детектирования начального кода модуль 212 детектирования начального кода выводит последовательные данные в модуль 213 анализа синтаксиса.

Модуль 213 анализа синтаксиса анализирует данные, подаваемые из модуля 212 детектирования начального кода. Поскольку данные следуют после начального кода, данные, подаваемые из модуля 212 детектирования начального кода, представляют собой данные блока NAL.

После определения начального положения AU в результате анализа заголовка или тому подобного блока NAL модуль 213 анализа синтаксиса выводит сигнал, указывающий положение начала AU, в декодер 214 и в буфер 211.

В случае, когда присутствует AD (в случае, когда подают данные блока NAL), модуль 213 анализа синтаксиса проверяет, удовлетворяется или нет nal_unit_type=9. В случае, когда nal_unit_type=9 удовлетворяется, как описано выше, содержание блока NAL представляет собой AD. Таким образом, детектируют начало AU.

Аналогично, в случае, когда присутствует AD, модуль 213 анализа синтаксиса проверяет, удовлетворяется ли nal_unit_type=18. В случае, когда nal_unit_type=18 удовлетворяется, как описано выше, содержание блока NAL представляет собой DD. Таким образом, детектируют начало изображения в зависимом потоке.

Декодер 214 и буфер 211 последовательно выполняют декодирование изображений на основе блоков AU нормальным образом в соответствии с сигналом из модуля 213 анализа синтаксиса.

Операция детектирования начала изображения в зависимом потоке будет описана со ссылкой на блок-схему последовательности операций, показанную на фиг. 27.

Здесь, как показано в части В на фиг. 16, предполагается, что основной поток и зависимый поток составляют разные потоки битов, и что зависимый поток имеет кодированный DD.

На этапе S1 модуль 212 детектирования начального кода выполняет поиск начального кода.

После детектирования начального кода на этапе S2 модуль 213 анализа синтаксиса проверяет, удовлетворяется или нет nal_unit_type=18.

В случае, когда на этапе S2 определяют, что условие nal_unit_type=18 удовлетворяется, на этапе S3, модуль 213 анализа синтаксиса детектирует, что блок NAL, имеющий детектированный начальный код, представляет собой блок, в котором хранится DD и который находится в начале изображения зависимого потока.

Операция в случае, когда, как показано в части В на фиг. 14, поток состоит из двух потоков битов, и когда, как в обычном MVC, зависимый поток не имеет DD, показана на фиг. 28.

Как показано на фиг. 28, в случае, когда зависимый поток не имеет DD, заголовки сегмента также декодируют и выполняют множество обычных определений. В конечном итоге на этапе S23 становится возможным детектировать начало AU (начало кадра).

На фиг. 28 значения, используемые при соответствующих определениях, вплоть до этапа S23, представляют собой части информации, записанные в заголовках среза, сохраненные в RBSP (фиг. 17) блока NAL. В отличие от nal_unit_type=18, описанного выше, представленные выше части информации не записаны в заголовках модулей NAL, и поэтому, выполняется сложная обработка анализа.

Поток битов для трех точек съемки

Потоки битов для трех точек съемки будут описаны ниже.

На фиг. 29 показана схема, иллюстрирующая конфигурацию AU, полученных в результате кодирования видеоизображений для трех точек съемки, используя MVC.

Как описано выше, в случае MVC, в одном AU содержатся данные всех точек съемки, полученные в один момент времени. То же относится также и к случаю, когда количество точек съемки равно трем.

На фиг. 29 AU №11 состоит из кадра P11 в основном потоке, кадра P12 в зависимом потоке 1 и кадра P13 в зависимом потоке 2.

AU №12 состоит из кадра P14 в основном потоке, кадра P15 в зависимом потоке 1 и кадра P16 в зависимом потоке 2.

AU №13 состоит из кадра P17 в основном потоке, кадра P18 в зависимом потоке 1 и кадра P19 в зависимом потоке 2.

На фиг. 30 приведены схемы, иллюстрирующие пример структуры потоков битов.

Потоки битов, показанные на фиг.30, не включают в себя DD.

В части А на фиг. 30 иллюстрируется пример структуры в случае, когда основной поток, зависимый поток 1 и зависимый поток 2 мультиплексированы в один поток битов.

В части В на фиг. 30 иллюстрируется пример структуры в случае, когда основной поток, зависимый поток 1 и зависимый поток 2 включены, в общей сложности, в три разных потока битов. Участки, соответствующие участкам, показанным в части А на фиг. 30, обозначены теми же номерами ссылочных позиций.

Например, в случае, когда поток битов в части А на фиг.30 подают после детектирования AD №11, модуль 152 декодирования видеоданных последовательно считывает кадр P11 в основном потоке, кадр P12 в зависимом потоке 1 и кадр P13 в зависимом потоке 2 и по отдельности декодирует эти изображения.

Кроме того, в случае, когда подают потоки битов в части В на фиг. 30, для первого AU в основном потоке модуль 152 видеодекодирования детектирует AD №11 и считывает и декодирует кадр P11. Кроме того, модуль 152 видеодекодирования детектирует для второго AU, AD №12 и считывает и декодирует кадр P14.

Зависимые потоки 1 и 2 не имеют DD. Поэтому для считывания отдельных изображений существует потребность в анализе синтаксиса в потоках битов в соответствии с процессом, показанным на фиг. 28, и детектировании границ кадров P12, P13, P15, P16, P18 и P19.

На фиг. 31 включены схемы, иллюстрирующие пример структуры потоков битов, генерируемых устройством 101 кодирования для множества точек съемки, в соответствии с вариантом осуществления настоящего изобретения.

В части А на фиг. 31 иллюстрируется пример структуры в случае, когда основной поток, зависимый поток 1 и зависимый поток 2 мультиплексированы в один поток битов.

В части В на фиг. 31 иллюстрируется пример структуры в случае, когда основной поток, зависимый поток 1 и зависимый поток 2 включены, в общей сложности, в три разных потока битов.

В случае, когда подают поток битов части А на фиг. 31 после детектирования AD №11, модуль 152 декодирования видеоданных последовательно считывает кадр P11 в основной поток, кадр P12 в зависимый поток 1 и кадр P13 в зависимый поток 2 и по отдельности декодирует кадры.

В случае, когда потоки битов части В на фиг. 31 подают для первого AU в основном потоке, после детектирования AD №11 модуль 152 декодирования видеоданных декодирует кадр P11. Для второго AU после детектирования AD №12 модуль 152 декодирования видеоданных декодирует кадр P14.

В дополнение к зависимому потоку 1 после детектирования DD №11 модуль 152 декодирования видеоданных декодирует кадр P12. Кроме того, после детектирования DD №12 модуль 152 декодирования видеоданных декодирует кадр P15.

Кроме того, для зависимого потока 2 после детектирования DD №21 модуль 152 декодирования видеоданных декодирует кадр P13. Кроме того, после детектирования DD №22 модуль 152 декодирования видеоданных декодирует кадр P16.

Таким образом, в устройстве 101 декодирования для множества точек съемки выполняют операцию таким образом, чтобы требуемый AU был детектирован и декодирован в соответствии с AD, который представляет собой часть информации, иллюстрирующей границу AU, и DD, который представляет собой часть информации, иллюстрирующей границу между изображениями в зависимом потоке, и так, что отображается стереоскопическое изображение.

Поскольку нет необходимости в анализе заголовка сегмента в случае детектирования начального положения определенного изображения в зависимом потоке, становится осуществимым высокоскоростной случайный доступ.

Последовательность обработки, описанная выше, может быть выполнена с использованием аппаратных средств или программных средств. В случае, когда последовательность считывают, выполняют с помощью программных средств программу, составляющую программное средство, устанавливают с носителя записи программы в компьютер, в котором встроено специализированное аппаратное средство, персональный компьютер общего назначения или тому подобное.

На фиг. 32 показана блок-схема, иллюстрирующая пример конфигурации аппаратных средств компьютера, который выполняет последовательность обработки, описанную выше в соответствии с программой.

ЦПУ (центральное процессорное устройство) 301, ПЗУ (постоянное запоминающее устройство) 302 и ОЗУ (оперативное запоминающее устройство) 303 соединены друг с другом через шину 304.

Интерфейс 305 ввода/вывода дополнительно соединен с шиной 304. Модуль 306 ввода, имеющий клавиатуру, мышь и т.п., и модуль 307 вывода, имеющий дисплей, громкоговорители и т.п., соединены с интерфейсом 305 ввода/вывода. Кроме того, модуль 308 накопителя, имеющий жесткий диск, энергонезависимое запоминающее устройство и т.п., модуль 309 передачи данных, имеющий сетевой интерфейс и т.п., и привод 310, в котором осуществляют привод съемного носителя 311 информации, соединены с шиной 304.

В компьютере, имеющем описанную выше конфигурацию, например, ЦПУ 301 загружает программу, сохраненную в модуле 308 накопителя в ОЗУ 303 через интерфейс 305 ввода/вывода и шину 304, и выполняет эту программу. Таким образом, выполняют последовательность обработок, описанную выше.

Программа, выполняемая ЦПУ 301, записана, например, на съемном носителе 311 информации или ее предоставляют через кабельную или беспроводную среду передачи данных, такую как локальная вычислительная сеть, Интернет или цифровая широковещательная передача, и устанавливают в модуле 308 накопителя.

Следует отметить, что программа, выполняемая компьютером, может представлять собой программу, в соответствии с которой процессы выполняют во временной последовательности, в порядке, описанном здесь, или может представлять собой программу, в соответствии с которой процессы выполняют параллельно или в требуемые моменты времени, например по вызову.

Варианты выполнения настоящего изобретения не должны быть ограничены описанным выше вариантом осуществления, и различные изменения могут быть выполнены без отхода от сущности настоящего изобретения.

Список номеров ссылочных позиций

41 устройство кодирования изображения, снятого с множества точек съемки, 51 буфер изменения порядка следования, 52 модуль видеокодирования, 53 запоминающее устройство кадра, 54 буфер изменения порядка следования, 55 модуль кодирования зависимого потока, 56 запоминающее устройство кадра, 57 модуль мультиплексирования, 101 устройство декодирования изображения, снятого с множества точек съемки, 102 3D дисплей, 111 буфер, 112 модуль декодирования видеоданных, 113 запоминающее устройство кадра, 114 буфер, 115 модуль декодирования зависимого потока, 116 запоминающее устройство кадра, 201 модуль кодирования DD

1. Способ декодирования для декодирования потока битов, включающего в себя основной поток, сгенерированный путем кодирования первого сигнала изображения, полученного с первой точки съемки, и зависимый поток, сгенерированный путем кодирования второго сигнала изображения, полученного со второй точки съемки, при этом способ содержит этапы, на которых
обнаруживают на основе разграничителя блока доступа, указывающего границу между блоками доступа, границу в потоке битов, образованную путем вставки разграничителя блока доступа в виде блока NAL, включающего в себя параметр nal_unit_type, причем параметр nal_unit_type указывает содержание блока NAL, а блок доступа содержит кадр основного потока и кадр зависимого потока;
обнаруживают на основе зависимого разграничителя, указывающего границу между кадрами в зависимом потоке, границу кадра в зависимом потоке, образованную путем вставки зависимого разграничителя в начало кадра зависимого потока, причем зависимый разграничитель представляет собой блок NAL, включающий в себя параметр nal_unit_type, значение которого отличается от значения параметра nal_unit_type, включенного в блок NAL, являющийся разграничителем блока доступа; и
декодируют основной поток на основе обнаруженной границы в потоке битов и декодируют зависимый поток на основе обнаруженной границы кадра в зависимом потоке.

2. Устройство декодирования для декодирования потока битов, включающего в себя основной поток, сгенерированный путем кодирования первого сигнала изображения, полученного с одной точки съемки, и зависимый поток, сгенерированный путем кодирования второго сигнала изображения, полученного со второй точки съемки, при этом устройство декодирования содержит:
средство обнаружения на основе разграничителя блока доступа, указывающего границу между блоками доступа, границы в потоке битов, образованной путем вставки разграничителя блока доступа в виде блока NAL, включающего в себя параметр nal_unit_type, причем параметр nal_unit_type указывает содержание блока NAL, а блок доступа содержит кадр основного потока и кадр зависимого потока;
средство обнаружения на основе зависимого разграничителя, указывающего границу между кадрами в зависимом потоке, границы кадра в зависимом потоке, образованной путем вставки зависимого разграничителя в начало кадра зависимого потока, причем зависимый разграничитель представляет собой блок NAL, включающий в себя параметр nal_unit_type, значение которого отличается от значения параметра nal_unit_type, включенного в блок NAL, являющийся разграничителем блока доступа; и
средство декодирования основного потока на основе обнаруженной границы в потоке битов и декодирования зависимого потока на основе обнаруженной границы кадра в зависимом потоке.

3. Устройство декодирования для декодирования потока битов, включающего в себя основной поток, сгенерированный путем кодирования первого сигнала изображения, полученного с одной точки съемки, и зависимый поток, сгенерированный путем кодирования второго сигнала изображения, полученного со второй точки съемки, при этом устройство декодирования содержит:
блок обработки, выполненный с возможностью обнаружения на основе разграничителя блока доступа, указывающего границу между блоками доступа, границы в потоке битов, образованной путем вставки разграничителя блока доступа в виде блока NAL, включающего в себя параметр nal_unit_type, причем параметр nal_unit_type указывает содержание блока NAL, а блок доступа содержит кадр основного потока и кадр зависимого потока;
обнаружения на основе зависимого разграничителя, указывающего границу между кадрами в зависимом потоке, границы кадра в зависимом потоке, образованной путем вставки зависимого разграничителя в начало кадра зависимого потока, причем зависимый разграничитель представляет собой блок NAL, включающий в себя параметр nal_unit_type, значение которого отличается от значения параметра nal_unit_type, включенного в блок NAL, являющийся разграничителем блока доступа; и
декодирования основного потока на основе обнаруженной границы в потоке битов и декодирования зависимого потока на основе обнаруженной границы кадра в зависимом потоке.



 

Похожие патенты:

Изобретение относится к средствам кодирования видео. Техническим результатом является повышение эффективности использования пропускной способности памяти при кодировании.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности декодирования за счет адаптивного переключения между размерами блоков преобразования.

Изобретение относится к вычислительной технике. Технический результат заключается в предотвращении ухудшения субъективного качества изображения для декодированного изображения.

Изобретение относится к области кодирования нескольких видеопоследовательностей с различных планов сцены. Технический результат - обеспечение улучшения эффективности кодирования.

Изобретение относится к области обработки цифровых сигналов, в частности к сжатию данных и улучшению энтропийного кодирования видеопоследовательностей. Техническим результатом является повышение эффективности и снижение вычислительной сложности энтропийного кодирования.

Изобретение относится к средствам кодирования видео. Техническим результатом является повышение эффективности кодирования.

Изобретение относится к технологиям обработки видеоданных. Техническим результатом является обеспечение эффективного декодирования видео с высоким разрешением за счет использования иерархического блока кодирования, имеющего различный размер.

Изобретение относится к технологиям обработки видеоданных. Техническим результатом является обеспечение эффективного декодирования видео с высоким разрешением за счет использования иерархического блока кодирования, имеющего различный размер.

Изобретение относится к передающему устройству, способу передачи таблицы информации приложений (AIT) и приемному устройству, используемым системой широкодиапазонного телевещания гибридного типа (HbbTV).

Изобретение относится к генерированию, хранению, передаче, приему и воспроизведению стереоскопических потоковых видео. Техническим результатом является уменьшение генерирования искажений и дефектов изображения при сжатии изображения с высоким коэффициентом сжатия. В способе генерирования стереоскопического потокового видео (101), содержащего составные изображения (С), которые содержат информацию о правом изображении (R) и левом изображении (L), пикселы выбираются из правого изображения (R) и из левого изображения (L), а затем выбранные пикселы вводятся в составное изображение (С) стереоскопического потокового видео. Обеспечивается ввод всех пикселов правого изображения (R) и всех пикселов левого изображения (L) в составное изображение (С) путем оставления одного из указанных изображений в неизменном виде и разбивания другого на участки (R1, R2, R3), содержащие множество пикселов. Указанные участки последовательно вводятся в составное изображение (С). 4 н. и 18 з.п. ф-лы, 19 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в устранении ненужной избыточности общей информации в заголовке слайса. Способ совместного использования информации в системе видеодекодирования, в котором принимают первый флаг совместного использования информации в данных уровня изображения или данных уровня последовательности; если первый флаг совместного использования информации указывает на совместное использование, то определяют общую информацию петлевого фильтра, соответствующего фильтру на основе адаптивного по выборке сдвига (SAO) или адаптивному циклическому фильтру (ALF), в данных уровня изображения или данных уровня последовательности, причем эта общая информация содержит частичные параметры фильтра петлевого фильтра, включающие в себя по меньшей мере один коэффициент фильтра ALF-фильтра или по меньшей мере одно значение сдвига SAO-фильтра; определяют информацию фильтра, соответствующую петлевому фильтру, для одного или более слайсов изображения, при этом часть информации фильтра определяют из общей информации; и применяют ALF-фильтр, используя по меньшей мере один коэффициент фильтра в общей информации, или применяют SAO-фильтр, используя по меньшей мере одно значение сдвига в общей информации, к одному или более слайсам изображения. 8 н. и 52 з.п. ф-лы, 41 ил.

Изобретение относится к средствам кодирования видео. Техническим результатом является повышение качества изображения при кодировании. Устройство содержит устройство вычисления сходства между областью внутренней вырезки картинки-объекта кодирования и областью внутренней вырезки каждой из ранее кодированных картинок, где сходство является индексом, при котором чем ближе изображения двух различных внутренних вырезок, тем выше сходство, устройство выбора картинки, имеющей самое высокое сходство из ранее кодированных, устройство определения этапа квантования, используемого для кодирования картинки-объекта на основе сложности для области внутренней вырезки, вычисляемой с использованием информации кодирования и сложности для области вне внутренней вырезки. 3 н. и 10 з.п. ф-лы, 9 ил.

Изобретение относится к средствам кодирования и декодирования видеоданных. Техническим результатом является уменьшение числа битов, используемых для сигнализации параметров фильтра удаления блочности. В способе декодируют первый синтаксический элемент, заданный для указания, присутствуют ли параметры фильтра удаления блочности как в наборе параметров уровня изображения, так и в заголовке слайса, когда первый синтаксический элемент указывает, что параметры фильтра удаления блочности присутствуют как в наборе параметров уровня изображения, так и в заголовке слайса, декодируют второй синтаксический элемент в заголовке слайса. 8 н. и 52 з.п. ф-лы, 9 ил., 23 табл.

Изобретение относится к средствам кодирования видео. Техническим результатом является устранение избыточности в видеопоследовательности за счет ограничения количества буферизующейся во время кодирования информации предсказания из соседних блоков. Способ содержит определение режима внутреннего предсказания для блока видеоданных, включенного в кодированный элемент видеоданных и расположенного ниже верхней строки верхних соседних блоков в кодированном элементе, определение режима внутреннего предсказания осуществляется на основе самого вероятного режима внутреннего предсказания, основанного на режиме внутреннего предсказания из других блоков в кодированном элементе, но не на основе режима внутреннего предсказания из блоков верхней строки в кодированном элементе, кодирование блока на основе определенного режима внутреннего предсказания. 4 н. и 44 з.п. ф-лы, 18 ил.

Изобретение относится к технологиям кодирования и декодирования видео. Техническим результатом является повышение эффективности кодирования или декодирования за счет адаптации местоположений интерполяции в зависимости от свойства входного изображения. Предложен способ кодирования видео c использованием компенсации движения с дробной точностью. Способ включает в себя этап выполнения поиска движения для получения вектора движения, этап вычисления эталонных вероятностей в местоположениях дробных пикселей, обозначенных полученным вектором движения. Способ также включает в себя этап деления местоположений интерполяции, которые представляют собой местоположения дробных пикселей, на многочисленные группы на основе вычисленных эталонных вероятностей; этап выбора, для каждой из групп местоположений интерполяции, коэффициентов интерполяционного фильтра, которые должны использоваться для генерации интерполированного изображения прогнозирования из числа многочисленных кандидатов коэффициентов интерполяционного фильтра. 7 н. и 2 з.п. ф-лы, 14 ил., 2 табл.

Изобретение относится к области обработки цифровых изображений. Технический результат - обеспечение увеличения быстродействия и эффективности сжатия изображений, устранение потери целостности изображения и сохранение контрастности границ между различными объектами изображения. Способ сжатия цифрового цветного изображения заключается в: разделении на цветовые компоненты, каждая из которых является цифровым полутоновым изображением, представленным g-разрядными двоичными числами; разделении цифрового полутонового изображения на разрядные двоичные изображения; выделении окрестности для каждого элемента изображения; применении для старших разрядных двоичных изображений, содержащих крупные элементы изображения, процедуры 1 предсказания элементов на основе коэффициентов корреляции по горизонтали и вертикали и теории условных марковских процессов и удалении правильно предсказанных; применении для младших разрядных двоичных изображений, содержащих мелкие детали изображения и фон, схожий по своей структуре с белым гауссовским шумом процедуры 2, предусматривающей выделение областей, содержащих детали изображения, и применении к ним процедуры 1; удалении областей, содержащих фон; кодировании битового потока. 1 з.п. ф-лы, 5 ил.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении защищенного временного доступа к элементам содержимого, перечисленным в чарте, исключающий несанкционированный доступ пользователя к элементам содержимого, в том числе во время распределения элементов содержимого. Устройство для предоставления чарта элементов содержимого множеству пользовательских устройств содержит интерфейс пользовательского устройства для связи с приложениями пользовательских устройств; модуль разрешений для определения разрешений пользователям на доступ, включая временные разрешения; распределительный модуль для осуществления разрешений, определенных в модуле разрешений; распределительный модуль дополнительно содержит фрагментирующий модуль, предназначенный для фрагментации каждого элемента из одного или нескольких элементов содержимого на множество фрагментов. 6 н. и 84 з.п. ф-лы, 7 ил.

Изобретение относится к средствам кодирования сигналов изображения. Техническим результатом является упрощение детектирования границ изображения в зависимом потоке битов. В способе кодируют первый сигнал изображения для генерирования основного потока, кодируют второй сигнал изображения для генерирования зависимого потока, вставляют зависимый разграничитель в виде блока NAL, включающего в себя параметр nal_unit_type, имеющий значение, отличное от значения указанного параметра разграничителя блока доступа, указывающего границу между блоками доступа. В способе зависимый разграничитель указывает границу между кадрами в зависимом потоке в начале кадра. 3 н.п. ф-лы, 32 ил.

Изобретение относится к средствам кодирования параметра квантования изображений. Техническим результатом является повышение эффективности кодирования параметра квантования. В способе генерируют предсказанный параметр квантования из восстановленного параметра квантования; генерируют дельта-параметр квантования из параметра квантования и предсказанного параметра квантования; осуществляют двоичное арифметическое кодирование первой ячейки, указывающей, является ли дельта-параметр квантования значимым, других ячеек, следующих после первой ячейки, указывающей абсолютное значение дельта-параметра квантования, ячейки знака, следующей после других ячеек, указывающей, является ли дельта-параметр квантования положительным или отрицательным, если дельта-параметр квантования является значимым. 6 н. и 3 з.п. ф-лы, 15 ил.

Настоящее изобретение относится к устройству декодирования сигнала изображения, способу декодирования сигнала изображения, устройству кодирования сигнала изображения, способу кодирования сигнала изображения и программе, которые обеспечивают простое детектирование границ изображения зависимого потока в потоке битов. Технический результат - детектирование границ изображения в зависимом потоке по потоку битов с недопущением переполнения или недозаполнения буфера. В потоке битов AD помещают в начальное положение каждого AU, a DD помещают на границе кадра зависимого потока. Начало блока NAL детектируют путем детектирования начального кода и DD, то есть границу кадра зависимого потока детектируют путем проверки, равно ли 18 значение nal_unit_type, начало которого было детектировано. Настоящее изобретение можно применять к устройству, которое обрабатывает сигнал стереоскопического изображения. 3 н.п. ф-лы, 32 ил.

Наверх