Способ и устройство для реконструкции данных изображений по декодированным данным изображений

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества реконструированного изображения путем исключения артефактов мелькания и нежелательных эффектов. Способ реконструкции данных изображений, характеризующих исходные данные изображений, по декодированным данным изображений и по параметрам, полученным из битового потока, содержит проверку того, являются ли упомянутые параметры потерянными, искаженными или несогласованными с декодированными данными изображений с вставленной поверх их графикой или наложением; когда по меньшей мере один из упомянутых параметров является потерянным, искаженным или несогласованным с декодированными данными изображений, к которым добавляется графика или наложение, выбор режима восстановления в соответствии с информационными данными, указывающими, как обработаны упомянутые параметры; и восстановление упомянутого по меньшей мере одного потерянного, искаженного или несогласованного параметра путем применения выбранного режима восстановления; и реконструкцию данных изображений на основании декодированных данных изображений и по меньшей мере одного восстановленного параметра, при этом реконструкция изображений содержит по меньшей мере обратное отображение яркости и коррекцию цветности. 3 н. и 14 з.п. ф-лы, 9 ил., 2 табл.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящие принципы, в основном, относятся к реконструкции изображений/видео по декодированным данным изображений/видео. В том числе, но не исключительно, область техники настоящих принципов относится к восстановлению параметров для реконструкции изображения по другому изображению.

УРОВЕНЬ ТЕХНИКИ

Настоящий раздел предназначен для ознакомления читателя с различными аспектами данного уровня техники, которые могут быть связаны с различными аспектами настоящих принципов, описываемыми и/или заявляемыми ниже. Можно предположить, что данное описание поможет предоставить читателю дополнительную информацию для обеспечения лучшего понимания различных аспектов настоящих принципов. В связи с этим, следует понимать, что данные утверждения должны рассматриваться с этой точки зрения, а не как допущения уровня техники.

В дальнейшем данные изображений означают одну или несколько матриц отсчетов (значений пикселей) в конкретном формате изображений/видео, который задает всю информацию, относящуюся к значениям пикселей изображения (или видео), и всю информацию, которая может использоваться, например, дисплеем и/или иным устройством для визуализации и/или декодирования изображения (или видео). Изображение содержит первую компоненту в форме первой матрицы отсчетов, обычно характеризующую яркость (или сигнал яркости) изображения, и вторую и третью компоненту в форме других матриц отсчетов, обычно характеризующие цвет (или сигнал цветности) изображения. Или, что то же самое, та же информация может также быть представлена набором матриц отсчетов цвета, например, в традиционном трехцветном представлении RGB.

Значение пикселя представлено вектором значений C, где C - число компонентов. Каждое значение вектора представлено числом бит, которое определяет максимальный динамический диапазон значений пикселей.

Изображения со Стандартным Динамическим Диапазоном (SDR-изображения) представляют собой изображения, значения яркости которых представлены ограниченным числом бит (как правило, 8). Столь ограниченное представление не обеспечивает точного воспроизведения небольших изменений сигнала, в частности, в темном и светлом диапазонах яркости. В изображениях с расширенным динамическим диапазоном (HDR-изображениях) представление сигнала расширено для сохранения высокой точности сигнала во всем его диапазоне. В HDR-изображениях значения пикселей, представляющие значения яркостей, обычно представлены в формате с плавающей точкой (как правило, по меньшей мере, 10 бит на компоненту, а именно, float или half-float), наиболее популярным форматом является формат half-float в openEXR (16 бит на RGB-компоненту, т.е., 48 бит на пиксель) или в целых числах с длинным представлением, как правило, по меньшей мере, 16 бит.

Принятие стандарта Высокоэффективного Кодирования Видеоизображений (HEVC) (ITU-T H.265 Сектор стандартизации по электросвязи ITU (10/2014), серия H: аудиовизуальные и мультимедийные системы, инфраструктура аудиовизуальных услуг - кодирование движущихся видеоизображений, Высокоэффективное кодирование видеоизображений, рекомендация ITU-T H.265) обеспечивает разработку новых видеоуслуг с повышенным качеством просмотра, таких как услуги широковещательной передачи сверхвысокой четкости (Ultra HD). Помимо повышенного пространственного разрешения, Ultra HD может дать более широкую цветовую гамму (WCG) и более расширенный динамический диапазон (HDR), чем телевидение высокой четкости (HD-TV) со Стандартным Динамическим Диапазоном (SDR), развернутое в настоящее время. Предлагались различные решения для представления и кодирования видео с HDR/WCG (SMPTE 2014, «Функция электронно-оптического преобразования эталонных дисплеев с широким динамическим диапазоном, используемых для мастеринга», либо SMPTE ST 2084, 2014, либо Diaz R., Blinstein S. и Qu S. «Объединение сжатия видеоинформации HEVC с конвейером видеоинформации с расширенным динамическим диапазоном», SMPTE Motion Imaging Journal, том 125, выпуск 1, февраль 2016, с. 14-21).

Обратная совместимость SDR с устройствами декодирования и рендеринга является важной особенностью в некоторых системах распределения видеоинформации, таких как системы широковещательной передачи и многоадресной передачи.

Решение на основе процесса одноуровневого кодирования/декодирования может являться обратно совместимым, например, совместимым с SDR и может максимально использовать уже имеющиеся традиционные сети и услуги распределения.

Такое основанное на одном уровне решение распределения и обеспечивает высококачественный HDR-рендеринг на устройствах Потребительской Электроники (CE) с поддержкой HDR, и в то же время обеспечивает высококачественный SDR-рендеринг на CE-устройствах с поддержкой SDR.

Такое основанное на одном уровне решение распределения генерирует кодированный сигнал, например, SDR-сигнал и соответствующие метаданные (объемом несколько байт на видеокадр или сцену), которые могут использоваться для реконструкции другого сигнала, например, HDR-сигнала по декодированному сигналу, например, SDR-сигналу.

Хранящиеся в метаданных значения параметров используются для реконструкции сигнала и могут являться статическими или динамическими. Статические метаданные означают метаданные, которые остаются без изменений для видео (набора изображений) и/или программы.

Статические метаданные действительны для всего видеоконтента (сцены, фильма, клипа...) и могут не зависеть от контента изображений. Они могут определять, например, формат изображений или цветовое пространство, цветовую гамму. Например, принятый SMPTE стандарт ST 2086:2014 «Работа с метаданными цветового объема на дисплеях, поддерживающих режим повышенной яркости и изображения в широкой цветовой гамме» является таким видом статических метаданных для использования в производственной среде. Сообщение с SEI (Информацией для Дополнительной Оптимизации) Объема Цвета Дисплея, используемого для Мастеринга (MDCV) является разновидностью распределения ST 2086 для видеокодеков и H.264/AVC («Передовое кодирование видеосигналов для универсальных аудиовизуальных Услуг», СЕРИЯ H: АУДИОВИЗУАЛЬНЫЕ И МУЛЬТИМЕДИЙНЫЕ СИСТЕМЫ, Рекомендация ITU-T H.264, Сектор стандартизации по электросвязи ITU, январь 2012), и HEVC.

Динамические метаданные являются зависимыми от контента, то есть, метаданные могут изменяться с контентом изображения/видео, например, для каждого изображения или каждой группы изображений. Например, семейства стандартов ST 2094:2016 SMPTE «Динамические Метаданные для Преобразования Объема Цвета» представляют собой динамические метаданные для использования в производственной среде. ST 2094-30 SMPTE может распределяться по кодированным видеопотокам HEVC благодаря сообщению с SEI Информации Повторного Преобразования Цвета (CRI).

В распределительных сетях существует другие решения распределения на основе одного уровня, для которых динамические метаданные адаптации дисплея передаются вместе с традиционным видеосигналом. Указанные решения распределения на основе одного уровня могут создавать 10-битовые данные изображений HDR (например, данные изображений, сигнал которых представлен в виде сигнала HLG10 или PQ10, как задано в Рекомендации ITU-R BT.2100-0 «Рекомендация ITU-R BT.2100-0, Значения параметров изображений для систем телевидения большого динамического диапазона для использования в производстве программ и международном обмене ими») и соответствующие метаданные по входного сигнала (как правило, 12 или 16 бит), кодируют упомянутые 10-битовые данные изображений HDR с помощью, например, схемы кодирования Основного профиля 10 HEVC и реконструируют видеосигнал по декодированному видеосигналу и упомянутым соответствующим метаданным. Динамический диапазон реконструированного сигнала адаптируется в соответствии с соответствующими метаданными, которые могут зависеть от характеристик целевого дисплея.

Передачу динамических метаданных в реальных физических средствах производства и распределения сложно гарантировать, при этом они, вероятно, могут быть потеряны или искажены ввиду соединения, вставки оверлейных уровней, профессионального оборудования, обрезающего битовый поток, обработки потоков аффилированными компаниями и отсутствия в настоящее время стандартизации в части переноса метаданных посредством постпроизводства/профессионального оборудования.

Основанные на одном уровне решения распределения не могут работать без наличия разнородной совокупности динамических метаданных, при этом некоторые из них исключительно важны для обеспечения успеха реконструкции видеосигнала.

Подобные проблемы могут также возникать, когда динамические метаданные не согласуются с изображением, к которому добавляется графика или наложение. Это возникает, например, когда графика (наложения, OSD,...) вставляется (добавляется) в изображение вне цепочки распределения, поскольку метаданные, вычисленные для упомянутого изображения, применяются, как только графика вставляется (добавляется) в изображение. Метаданные при этом считаются не согласующимися с изображением, к которому добавляется графика или наложение, поскольку они могут не быть адаптированными к части упомянутого изображения, которая содержит графику или наложение.

Указанные проблемы можно характеризовать мельканием изображения в фиксированной части графики, когда декодированное изображение отображается в течение долгого времени, или нежелательными эффектами (насыщение, отсечение...) в части изображения, содержащей графику или наложение, обработанные с использованием неподходящих метаданных (например, яркий OSD, обработанный с помощью метаданных, генерированных для темного контента).

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Далее представлено упрощенная сущность настоящих принципов, чтобы обеспечить базовое понимание некоторых аспектов настоящих принципов. Данная сущность не является широким обзором настоящих принципов. Она не предназначена для выявления ключевых или критических элементов настоящих принципов. В нижеследующей сущности лишь представлены некоторые аспекты настоящих принципов в упрощенном виде в качестве вводной части для более подробного описания, которое представлено далее.

Целью настоящих принципов является устранение, по меньшей мере, одного из недостатков предшествующего уровня техники с использованием способа и устройства для реконструкции данных изображений, характеризующих исходные данные изображений, по декодированным данным изображений и параметрам, полученным из битового потока, причем, упомянутые параметры обрабатываются по упомянутым исходным данным изображений. Способ включает в себя:

- проверку того, являются ли упомянутые параметры потерянными, искаженными или несогласованными с декодированными данными изображений, к которым добавляется графика или наложение;

- когда, по меньшей мере, один из упомянутых параметров является потерянным, искаженным или не согласованным с декодированными данными изображений, к которым добавляется графика или наложение,

- выбор режима восстановления в соответствии с информационными данными, указывающими, как обработаны упомянутые параметры; и

- восстановление упомянутого, по меньшей мере, одного потерянного, искаженного или несогласованного параметра путем применения выбранного режима восстановления, причем, упомянутая реконструкция данных изображений при этом учитывает также упомянутые восстановленные параметры.

В соответствии с одним из вариантов осуществления, информационные данные явно сигнализируются элементом синтаксиса в битовом потоке.

В соответствии с одним из вариантов осуществления, информационные данные (ID) неявно сигнализируются.

В соответствии с одним из вариантов осуществления, информационные данные идентифицируют, какая обработка применяется к исходным данным изображений для обработки параметров.

В соответствии с одним из вариантов осуществления, параметр считается потерянным в тех случаях, когда он не извлечен из битового потока.

В соответствии с одним из вариантов осуществления, параметр считается искаженным в тех случаях, когда выполняется, по меньшей мере, одно из следующих условий:

- его значение находится за пределами диапазона значений;

- упомянутый параметр не имеет согласованного значения параметра в соответствии с другими значениями параметра.

В соответствии с одним из вариантов осуществления, режим восстановления состоит в замене всех параметров восстановленными параметрами, даже если только некоторые из параметров не искажены, потеряны или не согласованы с декодированными данными изображений, к которым добавляется графика или наложение.

В соответствии с одним из вариантов осуществления, режим восстановления состоит в замене каждого из потерянных, искаженных или несогласованных параметров восстановленным параметром.

В соответствии с одним из вариантов осуществления, режим восстановления состоит в замене потерянного, искаженного или несогласованного параметра значением из набора ранее сохраненных предварительно определенных значений параметра.

В соответствии с одним из вариантов осуществления, режим восстановления выбирается в соответствии либо, по меньшей мере, с одной характеристикой исходных данных изображений или применяемого для мастеринга дисплея, используемого для градуировки исходных данных изображений или подлежащих реконструкции данных изображений, либо, по меньшей мере, с одной характеристикой реконструированных данных изображений или целевого дисплея.

В соответствии с другими своими аспектами, настоящие принципы также относятся к устройству, содержащему средства для реализации вышеизложенного способа, и постоянному машиночитаемому носителю, программный код которого выдает команды на исполнение этапов вышеизложенного способа при исполнении данной программы на компьютере.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На чертежах иллюстрируются примеры настоящих принципов. На них изображено следующее:

- на фиг. 1 изображена диаграмма этапов способа реконструкции изображения I₃, характеризующего исходное изображение I₁, по декодированному изображению в соответствии с одним из примеров настоящих принципов;

- на фиг. 2 изображен сквозной поток действий, обеспечивающий производство контента и его передачу на СЕ-дисплеи с поддержкой HDR и SDR в соответствии с одним из примеров настоящих принципов;

- на фиг. 3 изображен вариант показанного на фиг. 2 сквозного потока действий в соответствии с одним из вариантов осуществления настоящих принципов;

- на фиг. 4 изображен вариант показанного на фиг. 2 сквозного потока действий в соответствии с еще одним вариантом осуществления настоящих принципов;

- на фиг. 5а изображена иллюстрация функции передачи восприятия;

- на фиг. 5b изображен пример кусочно-заданной кривой, используемой для отображения;

- на фиг. 5с изображен пример кривой, используемой для преобразования сигнала обратно в область линейного света;

- на фиг. 6 изображен еще один пример использования способа реконструкции изображения по декодированным данным и параметрам изображения, получаемым из битового потока, в соответствии с одним из примеров настоящих принципов; и

- на фиг. 7 изображен пример архитектуры устройства в соответствии с одним из примеров настоящих принципов.

Подобные или одинаковые элементы упоминаются с одинаковыми ссылочными позициями.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Настоящие принципы подробнее описываются ниже со ссылками на прилагаемые чертежи, на которых изображены примеры настоящих принципов. Однако настоящие принципы могут быть осуществлены во множестве альтернативных форм и не должны трактоваться как ограниченные изложенным в данном документе примерами. В связи с этим, несмотря на то, что настоящие принципы подвержены различным модификациям и альтернативным формам, их конкретные примеры изображены в качестве примеров на чертежах и подробно описываются в данном документе. Однако следует понимать, что не предполагается ограничивать настоящие принципы конкретными описываемыми формами, а напротив, описание охватывает все модификации, эквиваленты и альтернативы, находящиеся в пределах сущности и объема настоящих принципов и определяемые формулой изобретения.

Терминология, используемая в данном документе, приводится только с целью описания конкретных примеров и не предназначена для ограничения настоящих принципов. В контексте данного документа формы единственного числа предполагают также включение форм множественного числа, если контекст явно не указывает на иное. В дальнейшем будет понятно, что термины «включает в себя», «включающий в себя», «содержит» и/или «содержащий» при использовании в данном описании означают присутствие заявляемых признаков, целых чисел, этапов, операций, элементов и/или компонентов, но не исключают присутствия или добавления одного или более других признаков, целых чисел, этапов, операций, элементов, компонентов и/или их групп. Кроме того, когда элемент упоминается как «реагирующий» на другой элемент или «соединенный» с другим элементом, он может являться непосредственно «реагирующим» на другой элемент или «соединенным» с другим элементом, либо могут присутствовать промежуточные элементы. И наоборот, когда элемент упоминается как «непосредственно реагирующий» на другой элемент или «непосредственно соединенный» с другим элементом, промежуточные элементы отсутствуют. В контексте данного документа термин «и/или» содержит все возможные комбинации одного или более из соответствующих перечисленных элементов и может быть сокращен в виде «/».

Будет понятно, что, хотя термины «первый», «второй» и т.д. могут использоваться в контексте данного документа для описания различных элементов, эти элементы не должны ограничиваться указанными терминами. Эти термины используются только для того, чтобы отличить один элемент от другого. Например, первый элемент может называться вторым элементом, а второй элемент аналогичным образом может называться первым элементом в пределах идей настоящих принципов.

Несмотря на то, что некоторые из диаграмм содержат стрелки на путях передачи данных для указания основного направления передачи данных, следует понимать, что передача данных может осуществляться в направлении, противоположном показанному стрелками.

Описываются некоторые примеры применительно к блок-диаграммам и структурным схемам операций, на которых каждый блок представляет элемент схемы, модуль или часть кода, который включает в себя одну или более исполнимых команд для реализации заданной логической функции (функций). Необходимо также отметить, что в других реализациях функция (функции), указанная в блоках, может находиться не в указанном порядке. Например, два блока, изображенные последовательно, в действительности могут исполняться практически параллельно, либо блоки иногда могут исполняться в обратном порядке в зависимости от задействованной функциональности.

Ссылка в данном документе на «в соответствии с одним из примеров» или «в одном из примеров» означает, что конкретный признак, структура или характеристика, описываемая в связи с примером, может быть включена, по меньшей мере, в одну реализацию настоящих принципов. Появление фразы «в соответствии с одним из примеров» или «в одном из примеров» в различных местах в описании не обязательно относится к одному и тому же примеру, равно как и отдельные или альтернативные примеры не обязательно взаимно исключают другие примеры.

Ссылочные позиции, появляющиеся в формуле изобретения, приводятся лишь для наглядности и не оказывают ограничительного влияния на объем формулы изобретения.

Хотя это и не описано в явном виде, настоящие примеры и варианты могут использоваться в любой комбинации или подкомбинации.

В дальнейшем прописные символы, например, (C1,C2,C3) обозначают компоненты первого изображения, а символы нижнего регистра, например, (c1, c2, c3) обозначают компоненты другого изображения, динамический диапазон яркости которого ниже, чем динамический диапазон яркости первого изображения.

Динамический диапазон яркости изображения представляет собой отношение максимума к минимуму значений яркости упомянутого изображения. Как правило, динамический диапазон яркости SDR-изображения составляет 500 (100 кд/м² к 0,2 кд/м²) и 10000 (1000 кд/м² к 0,1 кд/м²) для HDR-изображения.

Простые символы в дальнейшем, например, (Y'=,U'=,V'=) обозначают компоненты гамма-компрессии первого изображения, когда указанные простые символы являются прописными символами, а простые символы, например, (y',u',v') обозначают компоненты гамма-компрессии второго изображения, когда указанные простые символы являются прописными символами нижнего регистра.

Настоящие принципы описываются в отношении кодирования/декодирования/реконструкции изображения, но распространяются на кодирование/декодирование/реконструкцию последовательности изображений (видео), поскольку каждое изображение последовательности последовательно кодируется/декодируется/реконструируется, как описывается ниже.

На фиг. 1 изображена диаграмма этапов способа реконструкции изображения I₃, характеризующего исходное изображение I₁, по декодированному изображению в соответствии с одним из примеров настоящих принципов.

На этапе 10 осуществляется получение набора SP параметров для реконструкции изображения I₃. Эти параметры представляют собой либо параметры Р, получаемые из битового потока В, либо восстановленные параметры P_r, когда, по меньшей мере, один параметр Р потерян, искажен или не согласован с декодированным изображением , к которому добавляется графика или наложение.

На этапе 11 модуль М1 получает декодированное изображение , а на этапе 12 модуль М2 реконструирует изображение I₃ по декодированному изображению путем использования набора SP параметров.

Осуществляется получение декодированных данных изображения из битового потока (сигнала) В или иного битового потока, при этом, возможно, упомянутые битовые потоки могут храниться в локальной памяти или ином носителе данных.

На подэтапе 101 (этапа 10) модуль М3 получает параметры Р, требуемые для реконструкции изображения I₃.

На подэтапе 102 (этапа 10) модуль М4 проверяет, является ли, по меньшей мере, один из параметров Р потерянным, искаженным или несогласованным с декодированным изображением , к которому добавляется графика или наложение.

Когда ни один из параметров Р не является потерянным, искаженным или несогласованным с декодированным изображением , к которому добавляется графика или наложение, набор SP параметров содержит только параметры Р.

Когда, по меньшей мере, один из параметров Р является либо потерянным, либо искаженным, либо несогласованным с декодированным изображением , к которому добавляется графика или наложение, на подэтапе 103 (этапа 10) модуль М5 получает информационные данные ID, указывающие, как обработаны упомянутые параметры, модуль М6 выбирает режим RM_i восстановления в соответствии с упомянутыми информационными данными ID, а на подэтапе 105 (этапа 10) модуль М7 восстанавливает упомянутый, по меньшей мере, один потерянный, искаженный или несогласованный параметр путем применения выбранного режима RM_i восстановления. Указанный, по меньшей мере, один восстановленный параметр P_r добавляется к набору SP параметров.

На этапе 12 изображение I₃ после этого реконструируется с учетом также упомянутого, по меньшей мере, одного восстановленного параметра P_r.

Данный способ является эффективным, поскольку он позволяет получать параметры для основанного на одном уровне решения распределения, когда множество основанных на одном уровне решений распределения совместно используют один и тот же набор элементов синтаксиса для передачи общего набора параметров и когда упомянутым основанным на одном уровне решениям распределения требуются различные режимы (процесс) восстановления для восстановления потерянных, искаженных или несогласованных параметров, обеспечивая тем самым успех реконструкции изображения I₃ для каждого из упомянутых основанных на одном уровне решений распределения.

Данный способ также является эффективным, когда СЕ-устройство, как правило, телевизионная приставка или воспроизводящее устройство вставляет графику поверх декодированного изображения , поскольку данный способ выбирает конкретный режим восстановления для замены несогласованных параметров параметрами, адаптированными к декодированному изображению I₂, плюс графику (или наложение) и восстанавливает изображение I₃ путем использования упомянутых восстановленных параметров по упомянутому декодированному изображению , к которому добавляется графика или наложение, тем самым исключая некоторые артефакты мелькания или нежелательные эффекты, влияющие на качество реконструированного изображения.

Данный способ, как описывается со ссылкой на фиг. 1, может использоваться в различных сферах применения, когда изображение должно реконструироваться по декодированному изображению.

На фиг. 2 изображен сквозной поток действий, обеспечивающий производство контента и его передачу на СЕ-дисплеи с поддержкой HDR и SDR в соответствии с одним из примеров настоящих принципов.

Данный поток действий предполагает основанное на одном уровне решение распределения с соответствующими метаданными и иллюстрирует пример использования способа для реконструкции изображения I₃, характеризующего исходные данные I₁ изображений, по декодированным данным изображений и набор параметров SP, получаемых в соответствии с примером настоящих принципов, иллюстрируемом на фиг. 1.

В основном, указанное основанное на одном уровне решение распределения включает в себя часть предобработки и часть постобработки.

В части предобработки стадия 20 предобработки разлагает исходное изображение I₁ на выходное изображение I₁₂ и набор SP параметров, а этап 24 переключения определяет, является ли либо исходное изображение I₁, либо выходное изображение I₁₂ кодированным в битовом потоке B (этап 23).

На этапе 23 изображение I₂ может кодироваться с использованием любого традиционного видеокодека, а битовый поток В передается по всей существующей традиционной сети распределения с сопутствующими соответствующими метаданными (набором параметров SP), передаваемыми по конкретному каналу или встроенными в битовый поток В.

В одном из вариантов битовый поток В с сопутствующими метаданными хранится на носителе данных, таком как, например, диск Blu-ray, либо память, либо регистр телевизионной приставки.

В одном из вариантов сопутствующие соответствующие метаданные передаются с помощью другого конкретного канала или хранятся в отдельном носителе данных.

Предпочтительно видео кодируется с использованием кодека H.265/HEVC (ITU-T H.265 Сектор стандартизации по электросвязи ITU (10/2014), серия H: аудиовизуальные и мультимедийные системы, инфраструктура аудиовизуальных услуг - кодирование движущихся видеоизображений, Высокоэффективное кодирование видеоизображений, Рекомендация ITU-T H.265) или H.264/AVC («Передовое кодирование видеосигналов для универсальных аудиовизуальных Услуг», СЕРИЯ H: АУДИОВИЗУАЛЬНЫЕ И МУЛЬТИМЕДИЙНЫЕ СИСТЕМЫ, Рекомендация ITU-T H.264, Сектор стандартизации по электросвязи ITU, январь 2012).

В том случае, когда информационные данные ID определяют, что исходное изображение I₁ (возможно, представленное компонентами (C1,U', V') либо видеосигналом Y'CbCr 4:2:0 PQ10 или HLG10) кодируется на этапе 23, помянутое исходное изображение I₁ может кодироваться с использованием Основного профиля 10 HEVC.

В том случае, когда информационные данные ID определяют, что выходное изображение I₁₂ кодируется на этапе 23, выходное изображение I₁₂, которое может быть представлено в виде сигнала с гаммой передающей трубки (Стандартным Динамическим Диапазоном) Y'CbCr 4:2:0, может кодироваться с использованием любого профиля HEVC, включая Основной профиль 10 или Основной профиль.

Информационные данные ID могут также передаваться в виде соответствующих метаданных (этап 23). В части постобработки осуществляется получение декодированного изображения из битового потока В (этап 11), осуществляется получение набора SP параметров, как объясняется на фиг. 1 (этап 10), а стадия 12 постобработки, которая является функциональной противоположностью стадии 20 предобработки, реконструирует изображение I₃ по декодированному изображению и набору SP параметров.

Указанное основанное на одном уровне решение распределения может также включать в себя необязательные этапы 21, 22, 25, 26 адаптации формата.

Например, на этапе 21 (необязательном) формат исходного изображения I₁ может адаптироваться к конкретному формату (C1,U',V') выхода стадии 20 предобработки, а на этапе 22 (необязательном) формат (c, u', v') выходного изображения I₁₂ может также адаптироваться к конкретному выходному формату перед кодированием. На этапе 25 формат декодированного изображения может адаптироваться к конкретному формату входа стадии 12 постобработки, а на этапе 26 изображение I₃ может адаптироваться, по меньшей мере, к одной характеристике целевого устройства (например, телевизионной приставки, подключенного телевизора, СЕ-устройства с поддержкой HDR/SDR, проигрывателя дисков Blu-ray), и/или обратное отображение цветовой гаммы может использоваться, когда декодированное изображение и изображение I₃ либо исходное изображение I₁ представлены в различных цветовых пространствах и/или цветовых гаммах.

Упомянутые этапы адаптации формата (21, 22, 25, 26) могут включать в себя преобразование цветового пространства и/или отображение цветовой гаммы. Могут использоваться обычные процессы адаптации формата, такие как преобразование RGB в YUV или YUV в RGB, BT.709 в BT.2020 или BT.2020 в BT.709, компоненты понижающей дискретизации или повышающей дискретизации сигнала цветности и т.д. Необходимо отметить, что хорошо известное цветовое пространство YUV означает также хорошо известное YCbCr в предшествующем уровне техники. В Приложении Е к рекомендации ETSI - ETSI TS 103 433 V1.1.1, выпуск 2016-8 - приведен пример процессов адаптации формата и обратного отображения цветовой гаммы (Приложение D).

Упомянутый этап 21 адаптации входного формата может также включать в себя адаптацию глубины в битах исходного изображения I₁ к конкретной глубине в битах, например, 10 бит путем применения функции преобразования к исходному изображению I₁. Например, может использоваться функция преобразования PQ или HLG (Rec. ITU-R BT.2100-0).

Более детально, стадия 20 предобработки включает в себя этапы 200-202.

На этапе 200 осуществляется получение первой компоненты с1 выходного изображения I₁₂ путем отображения первой компоненты C1 исходного изображения I₁:

,

где - функция отображения. Функция TM отображения может уменьшать или увеличивать динамический диапазон яркости исходного изображения I₁, а ее обратная функция может уменьшать или увеличивать динамический диапазон яркости изображения.

На этапе 201 осуществляется получение второй и третьей компонент u', v' выходного изображения I₁₂ путем коррекции второй и третьей компонент U', V' исходного изображения I₁ в соответствии с первой компонентой .

Коррекция компонент цветности может контролироваться путем настройки параметров отображения. Тем самым контролируются цветовая насыщенность и оттенок.

В соответствии с одним из вариантов осуществления этапа 201, получение второй и третьей компонент U' и V' осуществляется с помощью масштабирующей функции , значение которой зависит от первой компоненты .

С математической точки зрения, вторая и третья компоненты u', v' имеют вид:

При необходимости на этапе 202 первая компонента может регулироваться для дополнительного контроля воспринимаемой насыщенности следующим образом:

,

где a и b - два параметра из набора SP параметров.

Этап 202 позволяет контролировать яркость выходного изображения I₁₂ для обеспечения согласования воспринимаемых цветов между цветами выходного изображения I₁₂ и цветами исходного изображения I₁.

Набор SP параметров может содержать параметры, относящиеся к функции ТМ или ее обратной функции ITM - масштабирующей функции . Эти параметры связаны с динамическими метаданными и передаются в битовом потоке, например, битовом потоке В. Параметры a и b могут также передаваться в битовом потоке.

Более детально, в части постобработки - на этапе 10 - осуществляется получение набора SP параметров, как объясняется на фиг. 1.

В соответствии с одним из вариантов осуществления этапа 10, набор SP параметров передается с помощью статических/динамических метаданных, получаемых из конкретного канала или из битового потока, включая битовый поток В, и, возможно, хранящихся на носителе данных.

На этапе 11 модуль М1 получает декодированное изображение путем декодирования битового потока В, и декодированное изображение после этого доступно для СЕ-дисплея с поддержкой либо SDR, либо HDR.

Более детально, стадия 12 постобработки включает в себя этапы 120-122.

На необязательном этапе 120 первая компонента декодированного изображения может корректироваться следующим образом:

c ,

где a и b - два параметра из набора SP параметров.

На этапе 121 осуществляется получение первой компоненты C1 изображения I₃ путем обратного отображения первой компоненты :

На этапе 122 осуществляется получение второй и третьей компонент U', V' изображения I₃ путем обратной коррекции второй и третьей компонент u', v' декодированного изображения в соответствии с компонентой .

В соответствии с одним из вариантов осуществления, вторая и третья компоненты u' и v' умножаются на масштабирующую функцию , значение которой зависит от первой компоненты .

С математической точки зрения, две компоненты - первая и вторая компоненты U', V' - имеют вид:

В соответствии с первым вариантом осуществления изображенного на фиг. 2 способа, как показано на фиг. 3, в части предобработки первая компонента C1 исходного изображения I₁ является компонентой L яркости линейного света, получаемой по RGB-компоненте исходного изображения I₁ следующим образом:

,

а вторая и третья компоненты U', V' получаются применением псевдо-гаммирования с использованием квадратного корня (подобно BT.709 OETF) к RGB-компонентам исходного изображения I₁:

На этапе 200 осуществляется получение первой компоненты выходного изображения I₁₂ путем отображения упомянутой компоненты L яркости линейного света:

На этапе 201 осуществляется получение второй и третьей компонент u', v' выходного изображения I₁₂ путем коррекции первой и второй компонент U', V' в соответствии с первой компонентой .

В части постобработки на этапе 201 осуществляется получение компоненты L яркости линейного света изображения I₃ путем обратного отображения первой компоненты :

На этапе 122 осуществляется получение второй и третьей компонент U', V' изображения I₃ путем обратной коррекции второй и третьей компонент u', v' выходного изображения I₁₂ в соответствии с первой компонентой .

В соответствии с одним из вариантов осуществления этапа 122, вторая и третья компоненты u' и v' умножается на масштабирующую функцию , значение которой зависит от первой компоненты .

С математической точки зрения, две компоненты - первая и вторая компоненты U', V' - имеют вид:

В соответствии со вторым вариантом осуществления изображенного на фиг. 2 способа, как показано на фиг. 4, в части предобработки первая компонента C1 исходного изображения I₁ является компонентой Y', получаемой по прошедшим гамма-компрессию RGB-компонентам исходного изображения I₁ следующим образом:

и второй и третьей компонентам U', V' путем применения гаммирования к RGB-компонентам исходного изображения I₁:

,

где может являться коэффициентом гамма, предпочтительно равным 2,4.

Необходимо отметить, что компонента Y', которая является нелинейным сигналом, отличается от компоненты L яркости линейного света.

На этапе 200 осуществляется получение первой компоненты выходного изображения I₁₂ путем отображения упомянутой компоненты Y':

На этапе 121 осуществляется получение реконструированной компоненты путем обратного отображения первой компоненты :

,

где ITM - обратная функция функции ТМ отображения.

Значения реконструированной компоненты принадлежат при этом динамическому диапазону значений компоненты Y'.

На этапе 201 осуществляется получение второй и третьей компонент u', v' выходного изображения I₁₂ путем коррекции первой и второй компонент U', V' в соответствии с первой компонентой и реконструированной компонентой .

Данный этап 201 позволяет контролировать цвета выходного изображения I₁₂ и обеспечивает их согласование с цветами исходного изображения I₁.

Коррекция компонент сигнала цветности может контролироваться путем настройки параметров отображения (обратного отображения). Тем самым контролируются цветовая насыщенность и оттенок. Обычно такой контроль невозможен в тех случаях, когда используется непараметрическая функция передачи восприятия.

В соответствии с одним из вариантов осуществления этапа 201, получение второй и третьей компонент U' и V' осуществляется с помощью масштабирующей функции , значение которой зависит от отношения реконструированной компоненты к компоненте :

где - постоянная величина, зависящая от основных цветов исходного изображения I₁ (например, равна 1,3 для BT.2020).

В части постобработки на этапе 121 осуществляется получение компоненты изображения I₃ путем обратного отображения первой компоненты :

На этапе 122 осуществляется получение второй и третьей компонент U', V' изображения I₃ путем обратной коррекции второй и третьей компонент u', v' декодированного изображения в соответствии с первой компонентой и компонентой .

В соответствии с одним из вариантов осуществления этапа 122, вторая и третья компоненты u' и v' умножаются на масштабирующую функцию .

С математической точки зрения, две компоненты - первая и вторая компоненты U', V' - имеют вид:

Функция ТМ отображения основана на функции передачи восприятия, цель которой состоит в преобразовании компоненты исходного изображения I₁ в компоненту выходного изображения I₁₂, тем самым уменьшая (или увеличивая) динамический диапазон значений их яркости. Значения компоненты выходного изображения I₁₂ принадлежат при этом меньшему (или большему) динамическому диапазону, чем значения компоненты исходного изображения I₁.

Упомянутая функция передачи восприятия использует ограниченный набор управляющих параметров.

На фиг. 5а изображена иллюстрация функции передачи восприятия, которая может использоваться для отображения компонент яркости, но может использоваться и аналогичная функции передачи восприятия для отображения компонент сигнала яркости.

Отображение контролируется параметром пиковой яркости используемого для мастеринга дисплея (равным 5000 кд/м² на фиг. 5а). Для лучшего контроля уровней черного и белого между зависящими от контента уровнями черного и белого используется вытягивание сигнала. Затем преобразованный сигнал отображается с использованием кусочно-заданной кривой, построенной из трех частей, как показано на фиг. 5b. Нижний и верхний участки являются линейными, при этом крутизна определяется параметрами shadowGain и highlightGain соответственно. Средний участок представляет собой параболу, обеспечивающую плавный переход между двумя линейными участками. Ширина области перехода определяется параметром midToneWidthAdjFactor.

Все параметры, контролирующие отображение, могут передаваться в виде метаданных, например, путем использования сообщения с SEI, как задано в JCTVC-W0133 для передачи метаданных SMPTE ST 2094-20.

На фиг. 5с изображен пример функции, обратной функции передачи восприятия (фиг. 5а), для иллюстрации того, как оптимизированный видеосигнал восприятия может быть преобразован обратно в область линейного света на основе целевой традиционной максимальной яркости дисплея, например, 100 кд/м².

На этапе 10 (фиг. 1) осуществляется получение набора SP параметров для реконструкции изображения I₃ по декодированному изображению .

Эти параметры могут быть получены по метаданным, полученным из битового потока, например, битового потока В.

В рекомендации ETSI TS 103 433 V1.1.1, статья 6, 2016-08 приведен пример синтаксиса упомянутых метаданных.

Синтаксис из рекомендации ETSI TS 103 433 v1.1.1 описывается для реконструкции HDR-видео по SDR-видео, но данный синтаксис может распространяться на реконструкцию изображения I₃ по любому декодированному изображению .

Постобработка (этап 12) работает на функции ITM обратного преобразования и масштабирующей функции , получение которых осуществляется по динамическим метаданным, поскольку они зависят от первой компоненты c₁.

В соответствии с рекомендацией ETSI TS 103 433 V1.1.1, упомянутые динамические метаданные могут передаваться в соответствии либо с так называемым основанным на параметрах режимом, либо с основанным на таблицах режимом.

Основанный на параметрах режим может представлять интерес для потоков действий распределения, основная цель которых состоит в обеспечении прямых обратно совместимых услуг SDR с весьма низкой дополнительной полезной нагрузкой или коэффициентом использования полосы частот для передачи динамических метаданных. Основанный на таблицах режим может представлять интерес для потоков действий, оснащенных терминалами низкого уровня, или в тех случаях, когда для надлежащего представления как HDR-, так и SDR-потоков требуется более высокий уровень адаптации.

В основанном на параметрах режиме передаваемые динамические метаданные представляют собой параметры отображения яркости, характеризующие обратную функцию ITM, т.е., следующие параметры:

tmInputSignalBlackLevelOffset;

tmInputSignalWhiteLevelOffset;

shadowGain;

highlightGain;

midToneWidthAdjFactor;

tmOutputFineTuning.

Кроме того, прочие передаваемые динамические метаданные представляют собой параметры цветовой коррекции (saturationGainNumVal, saturationGainX(i) и saturationGainY(i)), используемые для задания функции (рекомендация ETSI - ETSI TS 103 433 V1.1.1, статьи 6.3.5 и 6.3.6).

Необходимо отметить, что параметры a и b могут, соответственно, быть переданы/скрыты в параметрах функции saturationGain, как объяснялось выше.

Указанные динамические метаданные могут передаваться с использованием пользовательских данных Информации о Реконструкции Объема Цвета (CVRI) HEVC, регистрируемых в сообщении с SEI, синтаксис которого основан на спецификации SMPTE ST 2094-20 (рекомендация ETSI TS 103 433 V1.1.1, Приложение A.3).

Типичная полезная нагрузка динамических метаданных составляет около 25 байт на сцену.

На этапе 101 сообщение с SEI CVRI представляет собой прошедшее синтаксический анализ сообщение с SEI для получения параметров отображения и параметров цветовой коррекции.

На этапе 12 осуществляется реконструкция (получение) функции ITM обратного отображения (так называемой lutMapY) по полученным параметрам отображения (для получения дополнительной информации см. рекомендацию ETSI TS 103 433 V1.1.1, статья 7.2.3.1).

На этапе 12 осуществляется также реконструкция (получение) масштабирующей функции (так называемой lutCC) по полученным параметрам цветовой коррекции (для получения дополнительной информации см. рекомендацию ETSI TS 103 433 V1.1.1, статья 7.2.3.2).

В основанном на таблицах режиме передаваемые динамические данные являются точками поворота кусочно-заданной линейной кривой, характеризующей функцию ITM обратного отображения. Например, динамические метаданные представляют собой luminanceMappingNumVal, указывающее на число точек поворота, luminanceMappingX, указывающее на значения х точек поворота, и luminanceMappingY, указывающее на значения y точек поворота (для получения дополнительной информации см. рекомендацию ETSI TS 103 433 V1.1.1, статьи 6.2.7 и 6.3.7).

Кроме того, прочие передаваемые динамические метаданные могут являться точками поворота кусочно-заданной линейной кривой, характеризующей масштабирующую функцию . Например, динамические метаданные представляют собой colorCorrectionNumVal, указывающее на число точек поворота, colorCorrectionX, указывающее на значения х точек поворота, и colorCorrectionY, указывающее на значения y точек поворота (для получения дополнительной информации см. рекомендацию ETSI TS 103 433 V1.1.1, статьи 6.2.8 и 6.3.8).

Указанные динамические метаданные могут передаваться с использованием сообщения с SEI Информации о Реконструкции Объема Цвета (CVRI) HEVC, синтаксис которого основан на спецификации SMPTE ST 2094-30 (рекомендация ETSI TS 103 433 V1.1.1, Приложение A.4).

Типичная полезная нагрузка составляет около 160 байт на сцену.

На этапе 102 осуществляется синтаксический анализ сообщения с SEI Информации Повторного Преобразования Цвета (CRI) (как задано в версии HEVC/H.265, опубликованной в декабре 2016 г.) для получения точек поворота кусочно-заданной линейной кривой, характеризующей функцию ITM обратного отображения, и точек поворота кусочно-заданной линейной кривой, характеризующей масштабирующую функцию , а также параметров a и b введения сигнала цветности в сигнал яркости.

На этапе 12 осуществляется получение функции ITM обратного отображения по указанным точкам поворота, относящимся к кусочно-заданной линейной кривой, характеризующей функцию ITM обратного отображения (для получения дополнительной информации см. рекомендацию ETSI TS 103 433 V1.1.1, статья 7.2.3.3).

На этапе 12 осуществляется также получение масштабирующей функции по указанным точкам поворота, относящимся к кусочно-заданной линейной кривой, характеризующей масштабирующую функцию (для получения дополнительной информации см. рекомендацию ETSI TS 103 433 V1.1.1, статья 7.2.3.4).

Необходимо отметить, что статические метаданные, также используемые стадией постобработки, могут передаваться с помощью сообщения с SEI. Например, выбор либо основанного на параметрах режима, либо основанного на таблицах режима может осуществляться с помощью пользовательских данных Информации (TSI), зарегистрировавших сообщение с SEI (payloadMode), как задано в рекомендации ETSI TS 103 433 V1.1.1 (статья A.2.2). Статические метаданные, например, основные цвета или максимальная яркость дисплея, используемого для мастеринга, передаются с помощью сообщения с SEI Объема Цвета Дисплея, используемого для Мастеринга (MDCV), как задано в AVC, HEVC.

В соответствии с одним из вариантов осуществления этапа 103, информационные данные ID явно сигнализируются с помощью элемента синтаксиса в битовом потоке и, следовательно, получаются с помощью синтаксического анализа битового потока.

Например, упомянутый элемент синтаксиса является частью сообщения с SEI.

В соответствии с одним из вариантов осуществления, упомянутые информационные данные ID идентифицируют, какая обработка применяется к исходному изображению I₁ для обработки набора SP параметров.

В соответствии с этим вариантом осуществления, информационные данные ID могут после этого использоваться, чтобы установить, как использовать параметры для реконструкции изображения I₃ (этап 12).

Например, в тех случаях, когда они равны 1, информационные данные ID указывают, что параметры SP получены путем применения стадии предобработки (этапа 20) к исходному HDR-изображению I₁, и что декодированное изображение представляет собой SDR-изображение.

В тех случаях, когда они равны 2, информационные данные ID указывают, что параметры получены путем применения стадии предобработки (этапа 20) к изображению HDR10bits (вход этапа 20), что декодированное изображение представляет собой изображение HDR10, и что функция ТМ отображения представляет собой функцию PQ преобразования.

В тех случаях, когда они равны 3, информационные данные ID указывают, что параметры получены путем применения стадии предобработки (этапа 20) к изображению HDR10 (вход этапа 20), что декодированное изображение представляет собой изображение HLG10, а функция ТМ отображения представляет собой функцию передачи HLG в исходное изображение I₁.

В соответствии с одним из вариантов осуществления этапа 103, информационные данные ID сигнализируются неявно.

Например, элемент синтаксиса «характеристики передачи», присутствующий в VUI из HEVC (приложение E) или AVC (приложение E) обычно идентифицирует используемую функцию передачи (функцию ТМ отображения). Поскольку различные одноуровневые решения распределения используют различные функции передачи PQ, HLG,…), элемент синтаксиса «характеристики передачи» может использоваться для неявной идентификации используемого режима восстановления.

Информационные данные ID могут также неявно сигнализироваться с помощью услуги, заданной на более высоком транспортном или системном уровне.

В соответствии с еще одним примером, пиковое значение яркости и цветовое пространство изображения I₃ могут быть получены путем синтаксического анализа сообщения с SEI MDCV, передаваемого с помощью битового потока, а информационные данные ID могут быть установлены по конкретным комбинациям пиковых значений яркости и цветовым пространствам (основным цветам).

В соответствии с одним из вариантов осуществления этапа 102, параметр Р считается потерянным, когда он отсутствует в битовом потоке (не извлекается из него).

Например, когда параметры Р передаются с помощью сообщения с SEI, такого как сообщения с SEI CVRI или CRI, как описано выше, параметр Р считается потерянным (отсутствующим), когда сообщение с SEI не передается в битовом потоке, либо, когда синтаксический анализ сообщения с SEI завершается неуспехом.

В соответствии с одним из вариантов осуществления этапа 103, параметр Р считается искаженным, когда выполняется, по меньшей мере, одно из следующих условий:

- его значение находится за пределами определенного диапазона значений (например, saturation_gain_num_val равно 10, когда соответствующий диапазон составляет от 0 до 6);

- упомянутый параметр не имеет согласованного значения в соответствии с другими значениями параметра (например, saturation_gain_y[i] содержит выброс, т.е., значение, которое далеко от других значений saturation_gain_y[i]; как правило значения с saturation_gain[0] по saturation_gain[4] равны значению в диапазоне от 0 до 16, а saturation_gain[1]=255).

В соответствии с одним из вариантов осуществления способа, режим RM_i восстановления состоит в замене всех параметров Р восстановленными параметрами P_r, даже если лишь некоторые из параметров Р не искажены, потеряны или не согласованы с декодированным изображением , к которому добавляется графика или наложение.

В соответствии с одним из вариантов осуществления способа, еще один режим RM_i восстановления состоит в замене каждого потерянного, искаженного или несогласованного параметра Р восстановленным параметром P_r.

В соответствии с одним из вариантов осуществления способа, режим RM_i восстановления состоит в замене потерянного, искаженного или несогласованного параметра Р некоторым значением из набора ранее сохраненных предопределенных значений параметра.

Например, набор предопределенных значений параметра может включать в себя предопределенное значение, по меньшей мере, для одних метаданных, передаваемых с помощью сообщения с SEI CRI и/или CVRI.

Конкретный набор предопределенных значений параметра может определяться, например, для каждого основанного на одном уровне решения распределения, идентифицируемого информационными данными ID.

Таблица 1 представляет собой неограничительный набор предопределенных значений для 3 различных основанных на одном уровне решений распределения.

Информационные данные ID	Параметры ETSI TS 103 433
0	Усиление теней: 1,16 Усиление ярких участков: 2,0 Коррекция средних тонов: 1,5 Растяжение белого: 0 Растяжение черного: 0 Усиление в режиме насыщения []:{(0,64); (24,64); (62,59); (140,61); (252,64); (255,64)}
1	Усиление теней: 1,033 Усиление ярких участков: 2,0 Коррекция средних тонов: 1,5 Растяжение белого: 0 Растяжение черного: 0
2	Усиление теней: 1,115 Усиление ярких участков: 2,0 Коррекция средних тонов: 1,5 Растяжение белого: 0

Таблица 1

В соответствии с Таблицей 1, в соответствии с информационными данными ID задаются три различных набора предопределенных значений параметра. Эти наборы предопределенных значений параметра задают восстановленные значения для некоторых параметров, используемых стадией постобработки. Остальные параметры устанавливаются равными фиксированным значениям, которые являются общими для различных одноуровневых решений.

В соответствии с одним из вариантов осуществления этапа 104, режим RMi восстановления выбирается в соответствии либо, по меньшей мере, с одной характеристикой исходного видео (изображения I₁), как правило, пиковой яркостью исходного контента или используемого для мастеринга дисплея, используемого для градуировки входных данных изображений или восстанавливаемых данных изображений, либо, по меньшей мере, с одной характеристикой другого видео, как правило, пиковой яркостью реконструированного изображения I₃ или целевого дисплея.

В соответствии с одним из вариантов осуществления, режим RMi восстановления состоит в проверке того, присутствует ли характеристика исходного видео (I₁) или используемого для мастеринга дисплея, используемого для градуировки входных данных изображений или восстанавливаемых данных изображений (например, характеристика, заданная в ST 2086), и в вычислении, по меньшей мере, одного восстановленного параметра по упомянутой характеристике. Если упомянутая характеристика входного видео отсутствует, и характеристика используемого для мастеринга дисплея отсутствует, проверяют, присутствует ли характеристика реконструированного изображения I₃ или целевого дисплея (например, пиковая яркость, заданная в CTA-861.3), и вычисляют, по меньшей мере, один восстановленный параметр по упомянутой характеристике. Если упомянутая характеристика реконструированного изображения I₃ отсутствует, и упомянутая характеристика целевого дисплея отсутствует, по меньшей мере, один восстановленный параметр является фиксированным значением (например, фиксированным комитетом по стандартизации видеоинформации или отраслевым сообществом, например, 1000 кд/м²).

В соответствии с неограничительным примером, в Таблице 2 приведены примеры значений восстановления для некоторых параметров, используемых стадией постобработки, который зависит от наличия доступной информации по входному/выходному контенту и используемым для мастеринга/целевым дисплеям.

Элемент синтаксиса	Значение восстановления
matrix_coefficient_value[ i ]	{889; 470; 366; 994}, если BT.2020 {915; 464; 392; 987}, если BT.709
shadow_gain_control	если сообщение с SEI MDCV отсутствует, режим 1 восстановления, в остальных случаях режим 2 восстановления

Таблица 2

Параметры matrix_coefficient_value[ i ] могут устанавливаться в соответствии с цветовым пространством входного/выходного видео - BT.709 или BT.2020 (характеристикой входного или выходного видео) - получаемой путем синтаксического анализа сообщения с SEI MDCV/ST 2086 при его наличии. Режим восстановления зависит от упомянутых цветовых пространств.

Параметр shadow_gain_control может вычисляться в соответствии со значением, получаемым путем синтаксического анализа сообщения с SEI MDCV/ST 2086 при его наличии.

Например, осуществляется получение информации, характеризующей пиковую яркость используемого для мастеринга дисплея, по упомянутому сообщению с SEI MDCV/ST 2086, при этом параметр shadow_gain_control вычисляется (режим 1 восстановления) следующим образом:

shadow_gain_control =Clip(0; 255; Floor( rs( hdrDisplayMaxLuminance ) x 127,5 +0,5)),

при этом и

По-видимому, в информации на уровне услуг или для конкретного потока действий значение hdrDisplayMaxLuminance известно. Это значение может также устанавливаться равным пиковой яркости целевого (демонстрационного) дисплея, когда эта характеристика доступна. В иных случаях (режим 2 восстановления) она произвольно устанавливается равной заданному по умолчанию значению, как правило, 1000 кд/м². Это заданное по умолчанию значение соответствует наблюдаемой в настоящее время опорной максимальной яркости мастеринга дисплея на большей части текущих HDR-рынков.

На фиг. 6 изображен еще один пример использования способа реконструкции изображения I₃ по декодированным данным изображений и набору SP параметров, получаемым из битового потока В, в соответствии с одним из примеров настоящих принципов.

Упомянутый пример предназначен для реализации, по меньшей мере, частично в любом (промежуточном) устройстве, реализующем механизм вставки и микширования наложения (например, в телевизионной приставке или UltraHD-проигрывателе дисков Blu-ray) и сигнализирующем/отправляющем в решающий модуль событие (как правило, overlay_present_flag, установленный равным 1), состоящее в том, что к декодированному изображению должно быть добавлено наложение.

В тех случаях, когда наложение (графика) не должно добавляться к декодированному изображению , осуществляется получение набора SP параметров (этап 10), осуществляется получение декодированного изображения (этап 11), и реконструируется изображение I₃ (этап 12), как описано на фиг. 1.

В тех случаях, когда к декодированному изображению должно добавляться наложение, осуществляется получение декодированного изображения (этап 11), а на этапе 60 осуществляется получение составного изображения I'₂ путем добавления графики (наложения) к декодированному изображению .

Затем осуществляется получение информационных данных ID (этап 103), выбирается режим восстановления (этап 104), и выбранный режим RMi восстановления применяется (этап 105) для получения реконструированных параметров P_r.

После этого изображение I₃ реконструируется (этап 12) по восстановленным параметрам P_r и декодированному изображению .

В соответствии с одним из вариантов осуществления, получение параметров Pr осуществляется путем обучения на большом наборе изображений различного вида (ярких, темных, с логотипами...).

При необходимости (не показано на фиг. 6) этап 12 может быть реализован в удаленном устройстве, таком как телевизор. В этом случае на упомянутый телевизор передаются либо декодированное изображение плюс параметры Р, либо составное изображение I'₂ плюс параметры Pr.

На фиг. 1-6 модули являются функциональными блоками, которые могут иметь или не иметь отношение к различным физическим блокам. Например, эти модули или некоторые из них могут быть объединены в едином компоненте или схеме, либо вносить вклад в функциональности программных средств. В противоположность этому, некоторые модули могут потенциально состоять из отдельных физических объектов. Устройства, которые соответствуют настоящим принципам, реализуются либо с помощью исключительно аппаратных средств, например, с помощью специализированных аппаратных средств, таких как ASIC, либо FPGA, либо VLSI - соответственно, «Специализированной интегральной схемы», «Программируемой пользователем вентильной матрицы», «Сверхбольшой интегральной схемы», либо из нескольких интегральных электронных компонентов, встроенных в устройство, либо из комбинации аппаратных и программных компонентов.

На фиг. 7 представлен пример архитектуры устройства 70, которое может быть конфигурировано для реализации способа, описываемого применительно к фиг. 1-6.

Устройство 70 содержит следующие элементы, которые связаны друг с другом шиной 71 данных и адреса:

- микропроцессор 72 (или CPU), который представляет собой, например, DSP (или Цифровой Сигнальный Процессор);

- ROM (или Постоянное Запоминающее Устройство) 73;

- RAM (или Оперативное Запоминающее Устройство) 74;

- интерфейс 75 ввода-вывода для приема передаваемых данных от приложения; и

- батарею 76.

В соответствии с одним из примеров, батарея 76 является внешней по отношению к устройству. В каждой упоминаемой памяти слово «регистр», используемое в описании, может соответствовать области небольшой емкости (несколько бит) или очень большой области (например, программе в целом или большому объему принятых или декодированных данных). ROM 73 содержит, по меньшей мере, программу и параметры. ROM 73 может хранить алгоритмы и команды для осуществления методов в соответствии с настоящими принципами. При включении CPU 72 загружает программу в RAM и исполняет соответствующие команды.

RAM 64 содержит в регистре программу, исполняемую CPU 72 и загружаемую после включения устройства 70, входные данные в регистре, промежуточные данные в различных состояниях способа в регистре и прочие переменные, используемые для исполнения способа в регистре.

Реализации, описываемые в данном документе, могут быть выполнены, например, в способе или процессе, устройстве, программном продукте, потоке данных или сигнале. Даже если это рассматривалось применительно к одной форме реализации (например, рассматривалось только в качестве способа или устройства), реализация рассматриваемых признаков может также быть выполнена в других формах (например, в программе). Устройство может быть выполнено в виде, например, соответствующих аппаратных средств, программных средств и микропрограммных средств. Способы могут быть выполнены в виде, например, устройства, например, процессора, который относится к устройствам обработки в общем смысле, включая, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, например, компьютеры, сотовые телефоны, портативные/персональные цифровые помощники («PDA») и прочие устройства, которые обеспечивают передачу информации между конечными пользователями.

В соответствии с одним из примеров, получение входного видео или исходного изображения входного видео осуществляется из источника. Например, источник принадлежит группе, включающей в себя:

- локальную память (73 или 74), например, память видеоданных или RAM (или Оперативное Запоминающее Устройство), флэш-память, ROM (или Постоянное Запоминающее Устройство), жесткий диск;

- интерфейс хранения (75), например, интерфейс с массовым запоминающим устройством, RAM, флэш-памятью, ROM, оптическим диском или магнитным носителем;

- интерфейс передачи данных (75), например, проводной интерфейс (например, интерфейс шины, интерфейс глобальной сети, интерфейс локальной сети) или беспроводной интерфейс (такой как интерфейс IEEE 802.11 или интерфейс Bluetooth); и

- цепь захвата изображений (например, датчик, например, CCD (или Прибор с Зарядовой Связью) или CMOS (или Комплементарная структура Металл-Оксид-Полупроводник)).

В соответствии с примерами, битовые потоки, передающие метаданные, отправляются адресату. Например, один или оба из этих битовых потоков хранятся в локальной или удаленной памяти, например, памяти видеоданных (74) или RAM (74), жестком диске (73). В одном из вариантов, по меньшей мере, один из битовых потоков отправляется в интерфейс хранения (75), например, интерфейс с массовым запоминающим устройством, RAM, флэш-памятью, ROM, оптическим диском или магнитным носителем и/или передается через интерфейс связи (75), например, интерфейс с двухточечным соединением, шиной связи, соединением «точка-многоточка» или широковещательной сетью.

В соответствии с другими примерами, получение битового потока, передающего метаданные, осуществляется из источника. Например, битовый поток считывается из локальной памяти, например, памяти видеоданных (74), RAM (74), ROM (73), флэш-памяти (73) или жесткого диска (73). В одном из вариантов битовый поток принимается из интерфейса хранения (75), например, интерфейса с массовым запоминающим устройством, RAM, ROM, флэш-памятью, оптическим диском или магнитным носителем и/или принимается из интерфейса связи (75), например, интерфейса с двухточечным соединением, шиной, соединением «точка-многоточка» или широковещательной сетью.

В соответствии с примерами, устройство 70, выполненное с возможностью реализации способа, описанного выше, принадлежит группе, включающей в себя:

- мобильное устройство;

- устройство связи;

- игровое устройство;

- планшет (или планшетный компьютер);

- ноутбук;

- камеру получения неподвижных изображений;

- видеокамеру;

- микросхему шифрования/дешифрирования;

- телевизор;

- телевизионную приставку;

- дисплей;

- сервер неподвижных изображений; и

- видеосервер (например, сервер широковещательной рассылки, сервер видео по запросу или веб-сервер).

Реализации различных процессов и признаков, описываемых в данном документе, могут быть выполнены в самом разнообразном оборудовании или приложениях. К примерам такого оборудования относятся кодер, декодер, постпроцессор, обрабатывающий выход с декодера, препроцессор, обеспечивающий вход в кодер, видеокодер, видеодекодер, видеокодек, веб-сервер, телевизионная приставка, ноутбук, персональный компьютер, сотовый телефон, PDA и любое другое устройство для обработки изображения или видео, либо иные устройства связи. Как должно быть ясно, оборудование может являться передвижным или даже установленным на передвижном средстве.

Кроме того, способы могут быть реализованы с помощью команд, выполняемых процессором, и такие команды (и/или значения данных, создаваемые реализацией) могут храниться на машиночитаемом носителе данных. Машиночитаемый носитель данных может принимать вид машиночитаемого программного продукта, осуществляемого на одной или более машиночитаемой среде (средах) и имеющего осуществляемый на нем машиночитаемый программный код, который может исполняться компьютером. Машиночитаемым носителем данных в контексте данного документа считается постоянный носитель данных, обладающий присущими ему способностями хранения информации, а также присущими ему способностями обеспечения извлечения из него информации. Машиночитаемый носитель данных может представлять собой, например, но не ограничиваясь этим, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, устройство или приспособление, либо любую комбинацию вышеперечисленного. Следует понимать, что нижеследующее, хотя и приводя более конкретные примеры машиночитаемых носителей данных, к которым могут применяться настоящие принципы, является лишь наглядным и не исчерпывающим перечнем, как нетрудно понять специалистам в данной области техники: дискета портативного компьютера; жесткий диск; постоянное запоминающее устройство (ROM); стираемое программируемое постоянное запоминающее устройство (EPROM или Флэш-память); портативное постоянное запоминающее устройство на компакт-дисках (CD-ROM); оптическое запоминающее устройство; магнитное запоминающее устройство; или любая подходящая комбинация вышеперечисленного.

Команды могут образовывать прикладную программу, практически осуществленную в считываемой процессором среде.

Программы могут находиться, например, в аппаратных средствах, микропрограммных средствах, программных средствах или их комбинации. Команды могут иметься, например, в операционной системе, отдельном приложении или комбинации перечисленного. Вследствие этого процессор может характеризоваться, например, и как устройство, выполненное с возможностью осуществления процесса, и как устройство, которое содержит считываемый процессором носитель (такой как устройство хранения), имеющий команды для осуществления процесса. Кроме того, считываемый процессором носитель может хранить - помимо или вместо команд - значения данных, создаваемые реализацией.

Как будет очевидно специалистам в данной области техники, реализации могут создавать различные сигналы, форматируемые для переноса информации, которые могут, например, храниться или передаваться. Информация может содержать, например, команды для осуществления способа или данные, создаваемые одной из описываемых реализаций. Например, сигнал может форматироваться для переноса в качестве данных правил записи или считывания синтаксиса описанного примера настоящих принципов, либо для переноса в качестве данных действительных значений синтаксиса, записанных описанным примером настоящих принципов. Такой сигнал может форматироваться, например, как электромагнитная волна (например, с использованием радиочастотной части спектра) или как модулирующий сигнал. Форматирование может включать в себя, например, кодирование потока данных и модулирование несущей кодированным потоком данных. Информация, которую может переносить сигнал, может представлять собой, например, аналоговую или цифровую информацию. Как известно, сигнал может передаваться по множеству различных проводных или беспроводных линий связи. Сигнал может храниться в считываемом процессором носителе.

Описан ряд реализаций. Тем не менее, ясно, что могут быть выполнены различные модификации. Например, элементы различных реализаций могут быть объединены, дополнены, модифицированы или удалены для создания других реализаций. Кроме того, специалистам будет понятно, что другие структуры и процессы могут быть заменены на описанные, и полученные в результате этого реализации будут выполнять, по меньшей мере, в основном ту же функцию (функции) для достижения, по меньшей мере, в основном того же результата (результатов), что и описанные реализации. В этой связи, указанные и прочие реализации предусматриваются данной заявкой.

1. Способ реконструкции данных (I₃) изображений, характеризующих исходные данные (I₁) изображений, по декодированным данным () изображений и по параметрам, полученным из битового потока (101), причем упомянутые параметры обработаны по упомянутым исходным данным (I₁) изображений, отличающийся тем, что способ содержит:

- проверку (102) того, являются ли упомянутые параметры потерянными, искаженными или несогласованными с декодированными данными изображений с вставленной поверх их графикой или наложением;

- когда по меньшей мере один из упомянутых параметров является потерянным, искаженным или несогласованным с декодированными данными изображений, к которым добавляется графика или наложение, выбор (104) режима (RMi) восстановления в соответствии с информационными данными (ID, 103), указывающими, как обработаны упомянутые параметры; и

- восстановление (105) упомянутого по меньшей мере одного потерянного, искаженного или несогласованного параметра путем применения выбранного режима (RMi) восстановления; и

- реконструкцию (12) данных изображений на основании декодированных данных изображений и по меньшей мере одного восстановленного параметра, при этом реконструкция изображений содержит по меньшей мере обратное отображение яркости и коррекцию цветности.

2. Способ по п. 1, в котором информационные данные (ID) явно сигнализируются элементом синтаксиса в битовом потоке.

3. Способ по одному из пп. 1 или 2, в котором параметр считается потерянным в тех случаях, когда он не извлечен из битового потока.

4. Способ по одному из пп. 1-3, в котором параметр считается искаженным в тех случаях, когда выполняется по меньшей мере одно из следующих условий:

- его значение находится за пределами диапазона значений;

- упомянутый параметр не имеет согласованного значения в соответствии с другими значениями параметра.

5. Способ по одному из пп. 1-4, в котором режим восстановления состоит в замене всех параметров восстановленными параметрами, даже если только некоторые из параметров не искажены, потеряны или не согласованы с декодированными данными изображений, к которым добавляется графика или наложение.

6. Способ по одному из пп. 1-5, в котором режим восстановления состоит в замене каждого из потерянных, искаженных или несогласованных параметров восстановленным параметром.

7. Способ по одному из пп. 1-4, в котором режим восстановления состоит в замене потерянного, искаженного или несогласованного параметра значением из набора ранее сохраненных предварительно определенных значений параметра.

8. Способ по одному из пп. 1-7, в котором режим восстановления выбирается в соответствии либо по меньшей мере с одной характеристикой исходных данных изображений или применяемого для мастеринга дисплея, используемого для градуировки исходных данных изображений или подлежащих реконструкции данных изображений, либо по меньшей мере с одной характеристикой реконструированных данных изображений или целевого дисплея.

9. Устройство для реконструкции данных изображений, характеризующих исходные данные изображений, по декодированным данным изображений и по параметрам, полученным из битового потока, причем упомянутые параметры обработаны по упомянутым исходным данным изображений, отличающееся тем, что устройство содержит средства для:

- проверки того, являются ли упомянутые параметры потерянными, искаженными или несогласованными с декодированными данными изображений с вставленной поверх их графикой или наложением;

- когда по меньшей мере один из упомянутых параметров является потерянным, искаженным или несогласованным с декодированными данными изображений, к которым добавляется графика или наложение, получения (103) информационных данных (ID), указывающих, как обработаны упомянутые параметры;

- выбора режима восстановления в соответствии с указанными информационными данными; и

- восстановления упомянутого по меньшей мере одного потерянного, искаженного или несогласованного параметра путем применения выбранного режима восстановления; и

- реконструкции (12) данных изображений на основании декодированных данных изображений и по меньшей мере одного восстановленного параметра, при этом реконструкция изображений содержит по меньшей мере обратное отображение яркости и коррекцию цветности.

10. Устройство по п. 9, в котором информационные данные (ID) явно сигнализируются элементом синтаксиса в битовом потоке.

11. Устройство по одному из пп. 9 или 10, в котором параметр считается потерянным в тех случаях, когда он не извлечен из битового потока.

12. Устройство по одному из пп. 9-11, в котором параметр считается искаженным в тех случаях, когда выполняется по меньшей мере одно из следующих условий:

- его значение находится за пределами диапазона значений;

- упомянутый параметр не имеет согласованного значения в соответствии с другими значениями параметра.

13. Устройство по одному из пп. 9-12, в котором режим восстановления состоит в замене всех параметров восстановленными параметрами, даже если только некоторые из параметров не искажены, потеряны или не согласованы с декодированными данными изображений, к которым добавляется графика или наложение.

14. Устройство по одному из пп. 9-13, в котором режим восстановления состоит в замене каждого из потерянных, искаженных или несогласованных параметров восстановленным параметром.

15. Устройство по одному из пп. 9-12, в котором режим восстановления состоит в замене потерянного, искаженного или несогласованного параметра значением из набора ранее сохраненных предварительно определенных значений параметра.

16. Устройство по одному из пп. 9-15, в котором режим восстановления выбирается в соответствии либо по меньшей мере с одной характеристикой исходных данных изображений или применяемого для мастеринга дисплея, используемого для градуировки исходных данных изображений или подлежащих реконструкции данных изображений, либо по меньшей мере с одной характеристикой реконструированных данных изображений или целевого дисплея.

17. Постоянный машиночитаемый носитель данных, программный код которого выдает команды на исполнение этапов способа по одному из пп. 1-8 при исполнении данной программы на компьютере.