Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения

Группа изобретений относится к технологиям сжатия цифровых видео сигналов, в частности к сжатию многоканального видео, каналы которого сняты устройствами съемки с различными углами зрения. Техническим результатом является повышение визуального качества сжатого видеосигнала за счет того, что каждому из каналов соответствует свой угол зрения. Предложен способ кодирования кадров многоканального видео, использующий межканальное предсказание, причем многоканальное видео снято устройствами с различными углами зрения. Способ содержит этап, на котором получают множество входных кадров и соответствующих им углов зрения. Далее, осуществляют поиск кадра-предиктора из упомянутого множества входных кадров для кодируемого кадра так, чтобы угол зрения, соответствующий кадру-предиктору, отличался от угла зрения, соответствующего упомянутому кодируемому кадру, и получают указатель, указывающий найденный кадр-предиктор. 2 н. и 6 з.п. ф-лы, 6 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Заявленное изобретение относится к способам сжатия цифровых видео сигналов, в частности к сжатию многоканального видео (МВ), каналы которого сняты устройствами съемки (например, физическими и/или виртуальными камерами) с различными углами зрения.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Сжатие видео (в частности, МВ) представляет собой актуальную задачу, т.к. видеосигнал, даже после сжатия, требует большого количества информации для представления. Передача видеосигнала по сети (в проводных и беспроводных сетях передачи данных, кабельных ТВ сетях и пр.) предъявляет серьезные требования к пропускной способности сети (10-16 Мбит/с в случае потоковой передачи для сервиса Google, Youtube, 18-25 Мбит/с для передачи видеоматериалов высокого качества при разрешении 1920х1080 с применением кодека H.264) и представляет собой сильную нагрузку на сеть и/или сетевое оборудование - если пропускной способности сети/сетевого оборудования недостаточно, то пользователь не будет своевременно получать видеосигнал, или будет обслужено меньшее количество абонентов из-за исчерпания пропускной способности сети и/или сетевого оборудования. В то же время, при хранении сжатого видеосигнала на устройствах хранения данных, видеофайлы занимают значительный объем памяти этих устройств (от 8-10 Гбайт для хранения полнометражного фильма в разрешении 1920х1080 точек с применением кодека H.264). Точный размер, занимаемый сжатым видеофайлом на носителе, может быть получен умножением бит-рейта (частоты следования битов) на продолжительность. Данные для значений бит-рейта приведены в указании требований к пропускной способности сети. Таким образом, повышение степени сжатия МВ позволяет снизить нагрузку на сети и сетевое оборудование, уменьшить использование памяти при локальном хранении сжатых видеофайлов и/или позволяет повысить визуальное качество сжатого видеосигнала при неизменной нагрузке на сеть и сетевое оборудование.

На данный момент известны кодеки (стандарты H.264, H.265 (HEVC) и пр.), способные осуществлять сжатие (компрессию) многоканального видео, которые могут быть использованы на всех устройствах, совместимых с данными форматами. Однако указанные кодеки не предназначены для сжатия многоканального видео, снятого устройствами съемки c различными углами зрения (УЗ), так как не учитывают такой возможности на уровне процессов сжатия: один и тот же объект (например, футболист), изображенный на кадрах из разных каналов МВ, которым соответствуют различные УЗ, может иметь различный масштаб и искажения перспективы в зависимости от УЗ устройства съемки, которые необходимо компенсировать для осуществления эффективного межканального предсказания, что позволяет улучшить сжатие МВ. Под улучшением сжатия здесь и далее понимается меньшее количество данных, необходимое для представления сжатого видеосигнала при неизменном визуальном качестве, определенном по метрике PSNR (Peak Signal to Noise Ratio - пиковое соотношение «сигнал - шум»), или более высокое визуальное качество по метрике PSNR при неизменном количестве данных, необходимых для представления сжатого видеосигнала. Перечисленные выше стандарты такими возможностями не обладают, в связи с чем требуют большего количества данных для представления сжатого видеосигнала с таким же уровнем визуального качества по метрике PSNR, либо осуществляют сжатие с меньшим визуальным качеством при неизменном количестве данных, необходимых для представления сжатого видеосигнала.

Патентная заявка US 2010/0142614 A1 (опубл. 10.06.2010) раскрывает способ и устройство для предсказания между различными уровнями масштабируемости многомасштабного видео с использованием предиктора, разрешение которого отличается от разрешения кодируемого кадра. В данном решении улучшение сжатия видео достигается за счет использования предиктора из другого уровня масштабируемости, обладающего не меньшим разрешением, чем кодируемый кадр. Однако данное техническое решение имеет следующие недостатки:

- Техническое решение применимо только к многомасштабному видео, но не к МВ, снятому устройствами съемки c различными углами зрения.

- Невозможно использовать изображение с меньшим уровнем масштабируемости в качестве предиктора для изображения с большим уровнем масштабируемости.

Патентная заявка US 2014/0078250 A1 (опубл. 20.03.2014) раскрывает способ предсказания остатков кодирования для масштабируемого кодека с использованием межканального предсказания. В данном решении улучшение сжатия достигается за счет предсказания остатков кодирования текущего кадра из других каналов МВ. Однако данное техническое решение применимо только для предсказания остатков кодирования текущего кадра и не предусматривает возможность компенсации межканальной разницы с учетом различия УЗ устройств съемки.

Наиболее близкое решение к заявленному изобретению раскрыто в патентной заявке US 2008/0170753 A1 (опубл. 17.07.2008), которая раскрывает способ межканального предсказания, в том числе с использованием предикторов, обладающих временной разницей. В данном решении улучшение сжатия достигается за счет формирования предиктора для текущего кадра с использованием частей изображений, полученных из кадров, принадлежащих другим каналам МВ, а также кадров, обладающих временной разницей с текущим кадром. Однако в данном техническом решении также не предусмотрена возможность компенсации межканальной разницы с учетом различия УЗ устройств съемки.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Заявленное изобретение позволяет выполнить межканальное предсказание и межканальную реконструкцию для многоканального видео, снятого устройствами с различными углами зрения, повысить визуальное качество сжатого видеосигнала и/или уменьшить количество данных, необходимых для его представления. Это сокращает время приема/передачи данных и объем, занимаемый сжатым видеосигналом на устройствах хранения данных.

Два устройства съемки обладают различными углами зрения, например, в том случае, если они оснащены объективами с различными углами зрения (в том числе, несколькими объективами одновременно) в случае физических камер, или если их проекционные матрицы отличаются в случае виртуальных камер.

Под каналом многоканального видео (МВ) в данной заявке понимается множество изображений, снятых одним устройством съёмки с некоторым УЗ. Примером многоканального видео может быть съемка футбольного матча несколькими камерами с разных ракурсов, например, съемка общего плана - камерой с широкоугольным объективом, и съемка крупного плана - камерой с телеобъективом, т.е. с объективами с разными углами зрения.

Заявленное изобретение решает задачу повышения качества изображения за счет использования изображений из различных каналов МВ, в качестве предиктора(ов) для текущего кадра, при этом каждому из упомянутых различных каналов МВ соответствует свой УЗ.

При этом для минимизации межканальной разницы применяется компенсация УЗ для изображений из других каналов, которая уменьшает межкадровую разницу за счет компенсации разницы масштабов изображений и искажений перспективы, вызванных использованием устройств съемки с различными УЗ для записи такого МВ. Уменьшение межканальной разницы позволяет сжимать меньшее количество информации, что является улучшением сжатия.

Настоящее изобретение обеспечивает возможность эффективного межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения, благодаря компенсации разницы в углах-зрения между кадром-предиктором и текущим кодируемым или декодируемым кадром.

Таким образом, настоящее изобретение повышает качество изображения многоканального видео, снятого устройствами съемки с различными углами зрения при неизменном количестве данных, используемых для представления сжатого видеосигнала, или сокращает количество данных, используемых для представления сжатого видеосигнала при неизменном визуальном качестве изображения. На Фиг.4 представлены графики, наглядно демонстрирующие эффективность работы настоящего изобретения в сравнении с известными способами.

Другими словами, в настоящей заявке предусмотрен более совершенный способ предсказания межканальной разницы МВ, который позволяет компенсировать разницу УЗ устройств съемки, использованных для съемки МВ.

В первом аспекте настоящего изобретения обеспечен способ межканального предсказания для кодирования кадров многоканального видео, снятого устройствами с различными углами зрения, содержащий этапы, на которых: получают множество входных кадров и соответствующих им углов зрения, причем каждому кадру соответствует угол зрения из по меньшей мере двух разных углов зрения; осуществляют поиск кадра-предиктора из упомянутого множества входных кадров для кодируемого кадра так, чтобы угол зрения, соответствующий кадру-предиктору, отличался от угла зрения, соответствующего упомянутому кодируемому кадру, и получают указатель, указывающий найденный кадр-предиктор; модифицируют найденный кадр-предиктор для компенсации разницы в угле зрения, соответствующем кадру-предиктору, и угле зрения, соответствующем упомянутому кодируемому кадру, и получают указатель, указывающий тип выполненной модификации; и осуществляют межканальное предсказание по меньшей мере одного пиксела кодируемого кадра из по меньшей мере одного пиксела модифицированного кадра-предиктора, при этом осуществление межканального предсказания содержит: поиск схожих частей кодируемого кадра и модифицированного кадра-предиктора; определение разности положений найденных схожих частей; и запись определенной разности положений и упомянутых указателей в битовый поток.

Во втором аспекте настоящего изобретения обеспечен способ межканальной реконструкции для декодирования кадров многоканального видео, снятого устройствами с различными углами зрения, содержащий этапы, на которых: принимают битовый поток; декодируют по меньшей мере один кадр для получения по меньшей мере одного кадра-предиктора; извлекают из битового потока: - по меньшей мере один указатель, указывающий тип модификации упомянутого по меньшей мере одного кадра-предиктора; - первый угол зрения, соответствующий упомянутому по меньшей мере одному кадру-предиктору; - второй угол зрения, соответствующий текущему декодируемому кадру; и - разность положений между модифицируемым упомянутым по меньшей мере одним кадром-предиктором и текущим декодируемым кадром; осуществляют модификацию упомянутого по меньшей мере одного кадра-предиктора, которая указывается упомянутым указателем, указывающим тип модификации, для компенсации разницы между упомянутым первым углом зрения и вторым углом зрения, соответствующим текущему декодируемому кадру, и получения модифицированного по меньшей мере одного кадра-предиктора; осуществляют межканальную реконструкцию по меньшей мере одного пиксела текущего декодируемого кадра из по меньшей мере одного пиксела модифицированного по меньшей мере одного кадра-предиктора с использованием разности между их положениями.

В третьем аспекте настоящего изобретения предусмотрен способ кодирования, содержащий этапы способа межканального предсказания согласно первому аспекту настоящего изобретения.

В четвертом аспекте настоящего изобретения предусмотрен способ декодирования, содержащий этапы способа межканальной реконструкции согласно первому аспекту настоящего изобретения.

В пятом аспекте настоящего изобретения предусмотрено устройство кодирования изображений, реализующее способ кодирования согласно третьему аспекту настоящего изобретения.

В шестом аспекте настоящего изобретения предусмотрено устройство декодирования изображений, реализующее способ декодирования согласно четвертому аспекту настоящего изобретения.

В седьмом аспекте настоящего изобретения предусмотрен компьютерный программный продукт, содержащий компьютерную программу, имеющую исполняемые компьютером инструкции, которые при исполнении процессором выполняют способ по любому одному из первого, второго, третьего и четвертого аспектов настоящего изобретения.

В восьмом аспекте настоящего изобретения предусмотрен считываемый компьютером носитель, содержащий компьютерную программу, имеющую исполняемые компьютером инструкции, которые при исполнении процессором выполняют способ по любому одному из первого, второго, третьего и четвертого аспектов настоящего изобретения. Считываемый компьютером носитель может быть долговременным в одном из вариантов осуществления.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Другие особенности и преимущества настоящего изобретения станут понятны специалисту в данной области после изучения нижеследующего подробного описания вместе с приложенными фигурами, на которых:

Фиг.1а: представляет иллюстративное взаимное положение устройств съемки с различными УЗ и снимаемой сцены согласно варианту осуществления настоящего изобретения.

Фиг.1б: представляет пример кадров МВ в прямоугольной проекции согласно варианту осуществления настоящего изобретения.

Фиг.1в: представляет пример кадров МВ в прямоугольной проекции с частичным попаданием снимаемой сцены в поле зрения одного из устройств съемки согласно варианту осуществления настоящего изобретения.

Фиг.2: представляет блок-схему способа межканального предсказания для кодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.

Фиг.3: представляет блок-схему способа межканальной реконструкции для декодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.

Фиг.4: Графики, наглядно демонстрирующие технический результат работы настоящего изобретения в сравнении с известными способами.

ПОБРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

На Фиг.1а представлено иллюстративное взаимное положение устройств съемки 102, 103 с различными УЗ и снимаемой сцены согласно варианту осуществления настоящего изобретения. На данной фигуре показана схема съемки объекта сцены 101 с по меньшей мере двух устройств 102, 103 съемки с разными УЗ согласно варианту осуществления настоящего изобретения. Расстояние между устройствами 102, 103 съемки и сценой 101 не обязательно должно быть равным. Для работы описываемых далее способов предпочтительно, чтобы в поле зрения устройств съемки 102, 103 находились одни и те же объекты снимаемой сцены - полностью или частично (см. описание фиг. 1в). Необходимым условием применимости описываемых далее способов является наличие по меньшей мере двух устройств съемки, которые осуществляют съемку c разными УЗ. Во время съемки объекта 101 сцены по меньшей мере двумя устройствами 102, 103 съемки осуществляется захват, соответственно, кадров 104, 105, содержащих, соответственно, изображения 106а, 106б сцены. Из-за разных технических характеристик устройств 102, 103 съемки с разными УЗ, кадры 104, 105 могут иметь различное соотношение сторон и разрешение. Вследствие разницы в углах зрения, положении устройств 102, 103 съемки по отношению к объекту 101 сцены, разрешении кадров 104, 105 и соотношении их сторон, изображения 106а и 106б могут иметь различные искажения перспективы, пропорции и размеры относительно соответствующих кадров 104, 105. Описываемый способ может быть использован для сжатия МВ, каналы которого имеют различное разрешение, соотношение сторон, различные настройки цветовых гамм (баланса белого цвета) для изображений, принадлежащих к разным каналам в случае цветного изображения, и уровня интенсивности в случае черно-белого изображения. Следует отметить, что настоящее изобретение не ограниченно конкретной показанной на Фиг.1а схемой съемки. В качестве примера, специалисту в данной области должно быть понятно, что количество используемых устройств съемки может быть больше двух, снимаемая сцена может содержать множество объектов, и взаимное расположение устройств съемки и сцены может отличаться от показанного на Фиг.1а расположения. Кроме того, технические характеристики, за исключением углов зрения, устройств съемки могут по меньшей мере частично совпадать.

На Фиг.1б представлен пример кадров МВ в прямоугольной проекции согласно варианту осуществления настоящего изобретения. Кадры 104, 105 содержат, соответственно, изображения 106а, 106б сцены. Показанные кадры 104, 105 являются кадрами с устройств 102, 103 съемки с разными УЗ в прямоугольной проекции в том виде, в котором они попадают на вход кодеку (кодеру/декодеру), в котором реализован описываемый способ. Изображение сцены в каждом из кадров 104, 105, представлено полностью, т.е. охватывает все поле зрения соответствующего устройства съемки. Кроме того, как показано на Фиг.1б, объект 101 сцены попадает в поле зрения обоих устройств съемки полностью. Данный случай не ограничивает настоящее изобретение, но является наиболее благоприятным для него, поскольку после компенсации разницы УЗ, компенсацию межканальной разницы можно будет произвести наиболее эффективно. В качестве примера, на следующей Фиг.1в, которая будет подробно описана ниже по тексту, показан другой вариант осуществления настоящего изобретения, в котором объект 101 сцены попадает в поле зрения одного устройства съемки частично. Кроме того, следует отметить, что настоящее изобретение не ограничено конкретным, показанным на Фиг.1б вариантом осуществления также и в других аспектах. Например, специалисту в данной области должно быть понятно, что количество объектов сцены может быть более одного, а также, что расположение объектов в сцене может отличаться от конкретного, показанного на Фиг.1б.

На Фиг.1в представлен пример кадров МВ в прямоугольной проекции с частичным попаданием снимаемой сцены в поле зрения одного из устройств съемки согласно варианту осуществления настоящего изобретения. Кадры 104, 105 содержат, соответственно, изображения 106а, 106б сцены. Показанные кадры 104, 105 являются кадрами с устройств 102, 103 съемки с разными УЗ в прямоугольной проекции в том виде, в котором они попадают на вход к кодеку, в котором реализован описываемый способ. Изображение сцены 101 в каждом из кадров 104, 105 представлено полностью, т.е. охватывает все поле зрения соответствующего устройства съемки. Отличием данного варианта осуществления от варианта осуществления, показанного на Фиг.1б, является то, что объект сцены 101, имеющийся в изображении 106а, попадает в поле зрения устройства 102 съемки частично. Данный вариант осуществления не является наиболее благоприятным для описываемого изобретения, поскольку после компенсации разницы УЗ устройств съемки можно будет произвести межканальную компенсацию меньшей части изображения, представленной в кадрах 104, 105 по сравнению со случаем, описанным со ссылкой на Фиг.1б, но все же позволяет осуществить компенсацию межканальной разницы более эффективным образом, нежели в решениях, известных из уровня техники. Кроме того, следует отметить, что настоящее изобретение не ограниченно конкретным показанным на Фиг.1в вариантом осуществления также и в других аспектах. Например, специалисту в данной области должно быть понятно, что частичное попадание объекта сцены может иметь место в другом изображении, например, в изображении 106б, а также, что попадающая в изображение часть объекта сцены может отличаться от конкретной попадающей части объекта сцены, показанной в изображении 106а на Фиг.1в.

На Фиг.2 представлена блок-схема способа межканального предсказания для кодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.

Способ начинается с этапа S201.

На этапе S201 получают множество входных кадров и соответствующих им углов зрения, причем каждому кадру соответствует угол зрения из по меньшей мере двух разных углов зрения.

представляет собой множество входных кадров на момент кодирования текущего кадра, где , т.е. на момент кодирования текущего кодируемого кадра, должно быть, по меньшей мере 2 входных кадра. Множество может пополняться новыми входными кадрами по мере их поступления.

представляет собой множество различных углов зрения, каждое из которых соответствует соответствующему входному кадру из упомянутого множества , где , т.е. на момент кодирования текущего кодируемого кадра должно быть как минимум 2 различных УЗ. По мере поступления новых входных кадров и соответствующих им значений углов зрения, множество может пополняться новыми элементами.

представляет собой множество входных кадров и соответствующих им углов зрения на момент кодирования текущего кадра, где - текущий кодируемый кадр и соответствующий ему угол зрения , .

На этапе S202 осуществляют поиск кадра-предиктора из упомянутого множества входных кадров для кодируемого кадра так, чтобы угол зрения, соответствующий кадру-предиктору, отличался от угла зрения, соответствующего упомянутому кодируемому кадру, и получают указатель, указывающий найденный кадр-предиктор.

- текущий кодируемый кадр и соответствующий ему угол зрения ,

- кадр-предиктор с соответствующим ему углом зрения , отличным от угла зрения , соответствующего текущему кодируемому кадру , .

На этапе S203 модифицируют найденный кадр-предиктор для компенсации разницы в угле зрения, соответствующем кадру-предиктору, и угле зрения, соответствующем упомянутому кодируемому кадру, и получают указатель, указывающий тип выполненной модификации. Выходом данного этапа является модифицированный кадр-предиктор .

представляет собой множество модификаций, которым может быть подвергнут кадр-предиктор. Состав данного множества указан в стандарте или спецификации кодека и не может быть изменён в процессе кодирования.

представляет собой модификацию, выбираемую кодеком для найденного кадра-предиктора с указателем модификации . Критерий выбора зависит от углов зрения и текущего кодируемого кадра и найденного кадра-предиктора . Модификация применяется для уменьшения межкадровой разницы между текущим кодируемым кадром и найденным кадром-предиктором

представляет собой модифицированный найденный кадр-предиктор , к которому была применена модификация с указателем модификации .

Затем на этапах S204 - S205 - S206 осуществляют межканальное предсказание по меньшей мере одного пиксела кодируемого кадра из по меньшей мере одного пиксела модифицированного кадра-предиктора.

На этапе S204 осуществляют поиск схожих частей кодируемого кадра и модифицированного кадра-предиктора .

представляют собой множества частей текущего кодируемого кадра и модифицированного кадра-предиктора , между которыми найдено соответствие. Алгоритм поиска соответствия раскрыт в стандарте или спецификации кодека и не модифицируется каким-либо образом для использования с настоящим изобретением.

представляет собой множество частей текущего кодируемого кадра , для которых найдено соответствие в найденном модифицированном кадре-предикторе , где , каждый элемент содержит по меньшей мере 1 пиксел.

представляет собой множество частей найденного модифицированного кадра-предиктора , из которых будет осуществлено межканальное предсказание множества частей текущего кодируемого кадра .

На этапе S205 осуществляют определение разности положений найденных схожих частей. На данном этапе осуществляется определение множества разностей положений
, которое определяет взаимно-однозначное соответствие между множествами и частей текущего кодируемого кадра и найденного модифицированного кадра-предиктора .

На этапе S206 осуществляется запись определенной разности положений и указателей, указывающих найденный кадр-предиктор и тип выполненной модификации, в битовый поток. На данном этапе осуществляется запись в битовый поток указателя найденного кадра-предиктора , указателя модификации , которой подвергнут найденный кадр-предиктор для получения найденного модифицированного кадра-предиктора , а также в другом варианте осуществления, множества разности положений между частями текущего кодируемого кадра и частями найденного модифицированного кадра-предиктора для осуществления межканального предсказания для кодирования кадра многоканального видео, снятого устройствами с различными углами зрения.

На Фиг.3 представлена блок-схема способа межканальной реконструкции для декодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.

Способ начинается с этапа S301.

На этапе S301 осуществляется прием битового потока. Битовый поток содержит сжатый видеосигнал и принимается устройством декодирования изображения.

На этапе S302 осуществляют декодирование по меньшей мере одного кадра для получения по меньшей мере одного кадра-предиктора, т.е. для получения, на момент декодирования текущего декодируемого кадра, одного уже декодированного кадра-предиктора. представляет собой множество уже декодированных кадров на момент декодирования текущего декодируемого кадра, где - на момент декодирования текущего декодируемого кадра, по меньшей мере 1 кадр уже должен быть декодирован. По мере декодирования кадров, множество может пополняться новыми элементами. В одном варианте осуществления декодирование, осуществляемое на данном этапе S302, выполняется с помощью известных из уровня техники способов декодирования. Различным кадрам из множества кадров на момент декодирования текущего декодируемого кадра соответствуют соответствующие различные углы зрения из множества , представляющего собой множество различных УЗ. По мере декодирования кадров, множество может пополняться новыми элементами.

На этапе S303 осуществляется извлечение из принятого битового потока информации, необходимой для декодирования текущего декодируемого кадра:

1) - угол зрения, соответствующий текущему декодируемому кадру ,;

2) указатель на - кадр-предиктор и соответствующий ему угол зрения, при условии отличия угла зрения, соответствующего кадру-предиктору и угла зрения, соответствующего текущему декодируемому кадру , и условии вхождения кадра во множество уже декодированных кадров на момент декодирования текущего декодируемого кадра: ;

3) указатель на модификацию , которой необходимо подвергнуть кадр-предиктор для получения модифицированного кадра-предиктора ;

4) множество разности положений между частями текущего декодируемого кадра и модифицируемого кадра-предиктора ;

На этапе S304 осуществляют модификацию кадра-предиктора для получения модифицированного кадра-предиктора . Для этого кодек подвергает кадр модификации , указываемой указателем , извлеченным из принятого битового потока с учётом угла зрения , соответствующего текущему декодируемому кадру, и угла зрения , соответствующего модифицируемому кадру-предиктору .

На этапе S305 осуществляется межканальная реконструкция частей текущего декодируемого кадра из частей модифицированного кадра-предиктора . Для установления взаимно однозначного соответствия между множествами и используется множество разности положений между частями текущего декодируемого кадра и модифицированного кадра-предиктора , извлеченное из битового потока. Выходом данного этапа является текущий декодируемый кадр , части которого реконструированы из частей модифицированного кадра-предиктора .

На Фиг.4 показаны графики, наглядно демонстрирующие эффективность работы настоящего изобретения в сравнении с известными способами.

График 401 представляет собой график кривой «Скорость кодирования - Искажение» для МВ, сжатого при использовании кодека HEVC HM 13.1 с использованием настоящего изобретения. Упомянутое сжатие МВ осуществляется с использованием межканального предсказания с учетом разницы УЗ, и сжатое МВ записывается в единый выходной поток. В данном эксперименте, сжатый видеосигнал имеет на 7% - 36% меньший размер по сравнению с результатом, представленным на графиках 402 и 403 при равных показателях метрики визуального качества PSNR.

График 402 представляет собой график кривой «Скорость кодирования - Искажение» для МВ, сжатого при использовании кодека HEVC HM-13.1 с использованием набора настроек кодирования «Simulcast». Данный набор настроек осуществляет компрессию отдельных каналов МВ в отдельные сжатые видеосигналы без использования межканального предсказания.

График 402 представляет собой график кривой «Скорость кодирования - Искажение» для МВ, сжатого при использовании кодека HEVC HM-13.1 с использованием набора настроек кодирования «MVC». Данный набор настроек осуществляет компрессию МВ с использованием межканального предсказания, и записывает результат в единый сжатый видеосигнал с несколькими каналами.

Варианты реализации заявленного изобретения

Способ может быть реализован как составная часть кодека, предназначенного для сжатия МВ, снятого устройствами съемки с разными УЗ. Кодек может быть реализован как программное или аппаратное обеспечение. При программной реализации инструкции для исполнения вышеописанных способов могут быть записаны на считываемый компьютером носитель, который может быть долговременным.

Описанное изобретение также представляет встроенную функциональность, когда способ реализован в виде компонента, встроенного в устройство программного и/или аппаратного кодека таким образом, что пользователь, осуществляющий съемку этим устройством, получает на выходе сжатое МВ. Примеры таких устройств: телефон, планшетный компьютер, фото/видеокамера, оснащенные двумя и более устройствами съемки, снимающими МВ с разными УЗ; несколько виртуальных камер с различными УЗ, осуществляющие захват изображения трехмерной компьютерной сцены.

Кроме того, описанное изобретение представляет отдельную функциональность, когда способ реализован в виде компонента программного и/или аппаратного кодека в составе отдельного устройства и/или службы, которые осуществляют сжатие МВ, поступающего извне посредством проводной и/или беспроводной передачи данных, например, но без ограничения упомянутым, с локальных и/или удаленных устройств хранения данных, по сети и т.п.

Способ может быть реализован в виде компонента программного и/или аппаратного кодека/кодера в составе устройства, обладающего встроенной и/или отдельной функциональностью.

Реализация способа может быть применена в составе программного и/или аппаратного кодека на устройствах, осуществляющих съемку и сжатие МВ, а также в составе отдельного программного и/или аппаратного кодека, осуществляющего сжатие. Примером первого сценария является устройство, оснащенное камерой (камерами), и способное проводить съемку МВ с различными УЗ: смартфон или планшетный компьютер с несколькими камерами, фото- или видеокамера с несколькими объективами, обеспечивающими стереоизображение, а также устройство виртуальной или дополненной реальности, снабженное камерами с разными УЗ. Данный список приведен для иллюстрации и не является исчерпывающим. Примером второго сценария использования может быть программный кодек, установленный на рабочую станцию/сервер, и/или аппаратный кодек в виде отдельного устройства и/или платы расширения, который осуществляет (транс)кодирование поступающего на него МВ.

Кроме того, устройства кодирования и декодирования изображений могут быть реализованы посредством процессора, интегральной схемы специального назначения (ASIC), программируемой пользователем вентильной матрицы (FPGA), или - в некоторых вариантах осуществления - как система на кристалле (SoC). Вышеуказанные способы согласно первому и второму аспектам настоящего изобретения могут быть реализованы как часть способов согласно, соответственно, третьему и четвертому аспектам настоящего изобретения.

Другие варианты и последовательности выполнения этапов раскрытых способов, а также компоновки раскрытых устройств, будут очевидны специалистам в данной области техники из этого описания, при его рассмотрении вместе с приложенными фигурами. Все такие варианты, последовательности и компоновки находятся в рамках объема нижеследующей формулы изобретения.

1. Способ кодирования кадров многоканального видео, использующий межканальное предсказание, причем многоканальное видео снято устройствами с различными углами зрения, содержащий этапы, на которых:

получают множество входных кадров и соответствующих им углов зрения;

осуществляют поиск кадра-предиктора из упомянутого множества входных кадров для кодируемого кадра так, чтобы угол зрения, соответствующий кадру-предиктору, отличался от угла зрения, соответствующего упомянутому кодируемому кадру, и получают указатель, указывающий найденный кадр-предиктор;

модифицируют найденный кадр-предиктор для компенсации разницы в угле зрения, соответствующем кадру-предиктору, и угле зрения, соответствующем упомянутому кодируемому кадру, и получают указатель, указывающий тип выполненной модификации;

осуществляют межканальное предсказание по меньшей мере одного пиксела кодируемого кадра из по меньшей мере одного пиксела модифицированного кадра-предиктора; и

осуществляют кодирование кадра многоканального видео;

при этом осуществление межканального предсказания содержит:

поиск схожих частей кодируемого кадра и модифицированного кадра-предиктора;

определение разности положений найденных схожих частей; и

запись определенной разности положений и упомянутых указателей в битовый поток.

2. Способ по п.1, в котором каждому кадру соответствует угол зрения из по меньшей мере двух разных углов зрения.

3. Способ по п.1, в котором:

входные кадры имеют различное разрешение, соотношение сторон, различные настройки цветовой гаммы для цветных изображений, различные настройки уровня интенсивности для черно-белых изображений.

4. Способ по п.1, в котором этап, на котором осуществляют модификацию найденного кадра-предиктора, дополнительно содержит этап, на котором применяют преобразование, содержащее по меньшей мере одно из масштабирования, кадрирования, сверточного преобразования, к найденному кадру-предиктору.

5. Способ по п.1, в котором на этапе записи в битовый поток дополнительно записывают определенные разности положений найденных схожих частей между частями кодируемого кадра и частями модифицированного кадра-предиктора.

6. Способ декодирования кадров многоканального видео, использующий межканальную реконструкцию, причем многоканальное видео снято устройствами с различными углами зрения, содержащий этапы, на которых:

принимают битовый поток;

декодируют по меньшей мере один кадр для получения по меньшей мере одного кадра-предиктора;

извлекают из битового потока:

- по меньшей мере один указатель, указывающий тип модификации упомянутого по меньшей мере одного кадра-предиктора;

- первый угол зрения, соответствующий упомянутому по меньшей мере одному кадру-предиктору;

- второй угол зрения, соответствующий текущему декодируемому кадру; и

- разность положений между модифицируемым упомянутым по меньшей мере одним кадром-предиктором и текущим декодируемым кадром;

осуществляют модификацию упомянутого по меньшей мере одного кадра-предиктора, которая указывается упомянутым указателем, указывающим тип модификации, для компенсации разницы между упомянутым первым углом зрения и вторым углом зрения, соответствующим текущему декодируемому кадру, и получения модифицированного по меньшей мере одного кадра-предиктора;

осуществляют межканальную реконструкцию по меньшей мере одного пиксела текущего декодируемого кадра из по меньшей мере одного пиксела модифицированного по меньшей мере одного кадра-предиктора с использованием разности между их положениями.

7. Способ по п.6, при этом первый угол зрения отличается от второго угла зрения.

8. Способ по п.6, при этом этап, на котором осуществляют извлечение из битового потока, дополнительно содержит этап, на котором извлекают

- по меньшей мере один указатель, указывающий упомянутый по меньшей мере один кадр-предиктор.



 

Похожие патенты:

Изобретение относится к вычислительной технике. Технический результат заключается в повышении устойчивости к ошибкам.

Изобретение относится к области декодирования движущихся изображений. Технический результат - создание эффективной технологии декодирования движущегося изображения, позволяющей обеспечивать высокую эффективность параллельной обработки данных предсказания с компенсацией движения при одновременном выполнении предсказания с компенсацией движения на множестве смежных блоков предсказания.

Изобретение относится к технологиям кодирования/декодирования видеосигнала. Техническим результатом является повышение эффективности декодирования видеосигнала.

Изобретение относится к технологиям кодирования/декодирования видеосигнала. Техническим результатом является повышение эффективности декодирования видеосигнала.

Изобретение относится к технологиям кодирования/декодирования видеосигнала. Техническим результатом является повышение эффективности декодирования видеосигнала.

Изобретение относится к технологиям кодирования/декодирования видеосигнала. Техническим результатом является повышение эффективности декодирования видеосигнала.

Изобретение относится к технологиям кодирования/декодирования видеосигнала. Техническим результатом является повышение эффективности декодирования видеосигнала.

Изобретение относится к вычислительной технике. Технический результат заключается в уменьшении визуальных артефактов для некоторых трудных для кодирования видов контента.

Группа изобретений относится к технологиям арифметического кодирования/декодирования данных. Техническим результатом является повышение эффективности арифметического кодирования/декодирования данных.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества восстановленного изображения.

Изобретение относится к области декодирования. Технический результат – обеспечение повторного формирования высококачественного движущегося изображения. Устройство декодирования видео для декодирования блоков изображения на основе обратного квантования входных сжатых видеоданных, предназначенное для того, чтобы выполнять процесс формирования данных изображения в качестве набора блоков изображения, содержащее средство декодирования размера шага квантования для декодирования размера шага квантования, который управляет степенью детализации обратного квантования, и средство формирования прогнозного изображения для формирования прогнозного изображения блока изображения, который должен быть декодирован, посредством использования уже декодированного изображения и параметра прогнозирования изображения, при этом средство декодирования размера шага квантования прогнозирует размер шага квантования, который управляет степенью детализации обратного квантования, посредством использования упомянутого параметра прогнозирования изображения. 2 н.п. ф-лы, 27 ил.

Изобретение относится к области кодирования. Технический результат – обеспечение устойчивой к ошибкам и эффективной сигнализации и выведению времен удаления из буфера кодированных картинок закодированных единиц данных при кодировании видео. Устройство для определения соответствия потока битов, содержащее: буфер кодированных картинок (СРВ); и один или более процессоров, сконфигурированных, чтобы: принимать закодированный поток битов видео, который включает в себя сообщение дополнительной информации расширения (SEI) периода буферизации, при этом сообщения SEI периода буферизации подлежат ограничению, заключающемуся в том, что никакое сообщение SEI периода буферизации в потоке битов не может быть ассоциировано с единицей доступа (AU) с TemporalId больше 0, причем сообщение SEI периода буферизации обеспечивает информацию о начальной задержке удаления из СРВ и смещении начальной задержки удаления из СРВ, сообщение SEI периода буферизации содержит элемент синтаксиса начальной задержки удаления из СРВ для индекса выбора плана, причем элемент синтаксиса начальной задержки удаления из СРВ является элементом синтаксиса альтернативной начальной задержки удаления из СРВ для индекса выбора плана, гипотетический эталонный декодер (HRD) включает в себя модель буферизации СРВ и буфера декодированных картинок (DPB), причем соответствие потока битов задано как часть спецификации HRD, причем HRD полагается на сообщение SEI периода буферизации, сообщение SEI тактирования картинок, параметры HRD, обеспеченные в потоке битов в синтаксической структуре hrd_parameters() в наборе параметров видео (VPS) или наборе параметров последовательности (SPS), поток битов представляет блоки видео закодированного слайса видео картинки и ассоциированные элементы синтаксиса, причем картинка имеет TemporalId, равный 1; и устанавливать значение переменной начальной задержки удаления из СРВ для индекса выбора плана равным элементу синтаксиса начальной задержки удаления из СРВ для индекса выбора плана, когда DefaultInitCpbParamsFlag равен 0. 4 н. и 4 з.п. ф-лы, 16 ил., 4 табл.

Изобретение относится к кодированию и декодированию движущихся изображений на поблочной основе. Техническим результатом является обеспечение кодирования и декодирования движущихся изображений с уменьшенной нагрузкой по обработке без вызывания снижения эффективности кодирования. Способ содержит: избирательное добавление, в список, вектора движения каждого из одного или более соответствующих блоков; выбор вектора движения, используемого для кодирования текущего блока, из числа векторов движения в списке; и кодирование текущего блока с использованием выбранного вектора движения, при этом добавление вектора движения дополнительно включает в себя: вычисление второго вектора движения посредством масштабирования первого вектора движения соседнего во времени соответствующего блока; определение, находится ли абсолютная величина второго вектора движения в предварительно определенном фиксированном диапазоне абсолютных величин, добавление второго вектора движения в список и добавление третьего вектора движения в список. 4 н. и 6 з.п. ф-лы, 44 ил.

Изобретение относится к области обработки видеоданных. Технический результат – повышение эффективности кодирования и декодирования видеоданных. Способ декодирования видеоданных содержит этапы, на которых: декодируют из сообщений информации дополнительного улучшения (SEI) с информацией единицы декодирования уникальный идентификатор для каждой единицы декодирования в единице доступа, при этом идентификатор для одной единицы декодирования отличается от идентификатора для любой другой единицы декодирования, при этом каждая единица декодирования включает в себя множество единиц уровня сетевой абстракции (NAL), при этом уникальный идентификатор для каждой единицы декодирования является индексом каждой единицы декодирования в списке всех единиц декодирования в этой единице доступа; определяют, какие из упомянутых единиц декодирования включают в себя какие единицы NAL из множества на основе уникального идентификатора; и декодируют множество единиц NAL каждой из упомянутых единиц декодирования в этой единице доступа на основе упомянутого определения для воссоздания изображения. 6 н. и 25 з.п. ф-лы, 8 ил., 5 табл.

Изобретение относится к средствам кодирования и декодирования изображений. Технический результат заключается в повышении эффективности кодирования и декодирования при повышении числа режимов направленного предсказания без увеличения объемов вычислений. Модуль внутреннего предсказания настоящего изобретения, если режим кодирования, выбранный посредством модуля управления кодированием, является режимом внутреннего предсказания, формирует предсказанное изображение (Pin) посредством выполнения обработки внутрикадрового предсказания с использованием пикселов, смежных с сегментом Pin, который сегментирован посредством модуля сегментации на блоки, или пикселов, смежных с сегментом Pin-1 верхнего уровня сегмента Pin. 4 н.п. ф-лы, 14 ил.

Изобретение относится к области кодирования и декодирования видео с предсказанием. Технический результат заключается в повышении эффективности кодирования и декодирования со сжатием изображений в точке произвольного доступа. Технический результат достигается за счет генерирования сжатых данных изображения, которые включают в себя изображения с произвольным доступом, вместе с кодированием данных относительно информации о порядке отображения изображений, восстановления воспроизводимых изображений посредством декодирования сжатых данных изображения, сохранения воспроизводимых изображений в качестве опорных изображений и управления средством хранения изображений. 4 н.п. ф-лы, 11 ил.

Изобретение относится к области кодирования изображений с использованием арифметического кодирования. Техническим результатом является высокая эффективность кодирования. Способ кодирования изображений содержит: выполнение контекстного арифметического кодирования для того, чтобы последовательно кодировать (i) первую информацию, указывающую то, выполнять ли обработку адаптивного к выборке смещения (SAO) для первой области изображения, и (ii) вторую информацию, указывающую то, использовать ли, при SAO-обработке для первой области, информацию относительно SAO-обработки для области, отличной от первой области, причем контекстное арифметическое кодирование является арифметическим кодированием с использованием переменной вероятности, SAO-обработка является обработкой смещения в отношении пиксельного значения; и выполнение обходного арифметического кодирования для того, чтобы кодировать другую информацию, которая является информацией относительно SAO-обработки для первой области и отличается от первой информации или второй информации, после того как кодируются первая информация и вторая информация, причем обходное арифметическое кодирование является арифметическим кодированием с использованием фиксированной вероятности. 5 н. и 6 з.п. ф-лы, 72 ил.

Изобретение относится к области кодирования и декодирования видео. Технический результат – повышение эффективности декодирования видео. Способ восстановления текущего блока изображения содержит этапы, на которых: определяют глубину текущей единицы кодирования на основе информации разделения; определяют индекс первой контекстной модели согласно упомянутой глубине текущей единицы кодирования; получают первый бит, указывающий, является ли внешнее предсказание текущего блока двунаправленным или однонаправленным предсказанием, посредством использования индекса упомянутой первой контекстной модели; если первый бит указывает, что внешнее предсказание текущего блока является однонаправленным предсказанием, получают второй бит, указывающий, является ли внешнее предсказание первым или вторым однонаправленным предсказанием, посредством использования индекса второй контекстной модели; и восстанавливают текущий блок посредством выполнения одного из двунаправленного предсказания, первого или второго однонаправленного предсказания. 33 ил., 1 табл.

Настоящее раскрытие направлено на способ и устройство для доступа к сети. Технический результат - способствование устройству доступа в осуществлении доступа к сети посредством терминала. Устройство для доступа к сети, характеризующееся тем, что применяется в терминале, причем устройство содержит: модуль подсказки, выполненный с возможностью выдачи подсказки ввести SSID и пароль доступа для маршрутизатора, к которому должен быть осуществлен доступ, когда принят запрос доступа к сети от устройства доступа; модуль сравнения, выполненный с возможностью сравнения введенных SSID и пароля доступа с SSID и паролями доступа в предварительно сохраненной записи архивных данных доступа к сети; и модуль передачи, выполненный с возможностью передачи введенных SSID и пароля доступа на устройство доступа, если введенные SSID и пароль доступа совпадают с SSID и паролем доступа в записи архивных данных доступа к сети, причем устройство доступа осуществляет доступ к соответствующему серверу на основе принятых SSID и пароля доступа, причем модуль передачи содержит: подмодуль доступа, выполненный с возможностью осуществления доступа к серверу на основе введенных SSID и пароля доступа; и подмодуль передачи, выполненный с возможностью передачи введенных SSID и пароля доступа на устройство доступа, если осуществление доступа к серверу успешно. 2 н. и 4 з.п. ф-лы, 9 ил.

Изобретение относится к средствам подсказки удаления приложения. Технический результат заключается в сокращении случайных операций удаления. Указанный результат достигается посредством устройства, реализующего способ, который включает в себя: прием инструкции для удаления приложения; получение информации о предыстории использования приложения в соответствии с инструкцией для удаления приложения и вывод соответствующей информации подсказки удаления в соответствии с информацией о предыстории использования. Средства подсказки удаления могут выводить разную информацию подсказки удаления для подлежащих удалению приложений, имеющих разные значимости, сокращать случайные операции удаления у пользователя и предотвращать потерю данных приложения. 3 н. и 14 з.п. ф-лы, 18 ил.
Наверх