Улучшенные способы и устройства кодирования и декодирования hdr изображения

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении технически оптимального изображения для различных дисплеев. Кодер изображения содержит вход для входного изображения высокого динамического диапазона; блок градуировки изображения, выполненный с возможностью позволять человеку-градуировщику цвета задавать отображение цвета из представления входного изображения высокого динамического диапазона на первое изображение низкого динамического диапазона с помощью алгоритма определяемого человеком отображения цвета и выполненный с возможностью вывода данных, задающих отображение цвета; и блок автоматической градуировки, выполненный с возможностью получения второго изображения низкого динамического диапазона путем применения алгоритма автоматического отображения цвета к входному изображению высокого динамического диапазона, с алгоритмом отображения цвета, выполняющим условие, что реконструированное изображение высокого динамического диапазона, попадающее в пределы второй предопределенной точности, из входного изображения высокого динамического диапазона может быть вычислено путем применения второго алгоритма отображения цвета, который является инверсией алгоритма автоматического отображения цвета, ко второму изображению низкого динамического диапазона. 2 н. и 9 з.п. ф-лы, 22 ил.

 

Область техники, к которой относится изобретение

Изобретение относится к устройствам и способам и получаемым продуктам, таким как продукты хранения данных или кодированные сигналы, например, как сохраненные в памяти, для улучшенного кодирования по меньшей мере одного изображения или видео с увеличенным динамическим диапазоном яркости по сравнению с унаследованными изображениями, называемыми изображениями низкого динамического диапазона (LDR).

Уровень техники

Недавно появившаяся область формирования изображений высокого динамического диапазона (HDR) отличается от унаследованных систем, которые в настоящее время для сравнения можно назвать формированием изображений низкого динамического диапазона (LDR) (и которые содержат такие системы кодирования изображения или видео, как PAL или MPEG2, AVC, HEVC или другой член семейства MPEG или подобных видео стандартов, таких как, например, VC1, VC2 и т.д., или JPEG для неподвижных изображений и т.д.).

Говоря о HDR, необходимо рассмотреть различные компоненты цепи. Так как это совсем новая область технологии, где, возможно, не все подготовлены в равной степени, мы хотим быстро установить опорную концепцию с несколькими важными определениями, чтобы избежать неверного толкования. В конечном счете, имеется динамический диапазон визуализации, который может генерировать среда отображения. Динамический диапазон визуализации, как правило, определяется как RDR = самая светлая яркость белого/самая темная яркость черного всех пикселов в изображении (внутри-кадровый RDR) или пикселов в последовательных изображениях (меж-кадровый RDR, например, когда дисплей (почти) выключен, и видно только отражение окружающей среды на фронтальном стекле). Однако он является более содержательным, когда связан с значением пика_белого (то есть значением самой светлой яркости белого). LDR рендереры (визуализаторы), как правило, находятся в диапазоне или вокруг диапазона, определенного пиком белого 100 нит (1 нит = 1 кд/м3), и в динамическом диапазоне около 100:1. Это то, что CRT-дисплей мог бы сформировать, где, конечно, наиболее темная яркость черного сильно зависит от освещения среды просмотра, поэтому можно пойти на 40:1 для большей верности, а также 2:1 может быть практическим динамическим диапазоном при рассмотрении изображения на дисплее под солнцем. Среда просмотра, которая обуславливает адаптацию к яркости человека-наблюдателя, связана с, например, типично 20% от пика_белого. Некоторые стандарты ЕВС, SMPTE и т.д. задают, каким образом следует градуировать сигнал видео, чтобы он мог быть использован стандартным способом, например, он является оптимальным, если показывается в предписанной среде просмотра. Под градуировкой имеется в виду формирование изображения с измененными цветами пикселов, которые изменяются/задаются в соответствии с некоторым предпочтением. Например, камера может автоматически градуировать RAW (необработанное) изображение (картинку, кадр) камеры (что является зависимым от специфики камеры, как линейного инструмента измерения яркости) при заданной цели визуализации в непосредственно используемое связанное с дисплеем кодирование, с помощью которого можно управлять, например, таким CRT-дисплеем при эталонных условиях, так что он будет показывать четкое изображение зрителю.

Часто градуирование человеком включает в себя более художественные решения. Например, градуировщик хочет сделать цвет растения точно пурпурным цветом, но это требуется задать в эталонных условиях (как технологии дисплея, так и среды просмотра, и в теории также других условиях, влияющих на состояние зрителя, подобно приему медикамента, но, конечно, они типично игнорируются в значительной степени), потому что конкретный дисплей может сделать этот цвет более синеватым, и в этом случае желательный художественный эффект (создания красивой картинки) может ухудшаться. Не является типичным, что камера автоматически создает оптимальный вид пурпура, поэтому градуировщик делает это с программным обеспечением обработки изображения. Такой градуировщик может быть как фотографом, так и художником, работающим над фильмом, или даже специалистом, работающим над (возможно, даже в прямом эфире) телевизионной программой. Конечно, различные приложения будут иметь различные степени сложности градуировки, связанной с желательным техническим и/или художественным качеством для этих приложений. Типично, вышеуказанные стандарты предписывают, что градация должна быть сделана на эталонном мониторе около 100 нит в эталонной среде. Вопрос в том, как цвет будет визуализироваться и восприниматься на практике. Графические художники для публикаций печатной прессы также производят свою работу в эталонных условиях, чтобы иметь некоторую общую основу и избегать ненужных источников ошибок, например в принтере. Однако это не значит, конечно, что каждый читатель этой книги или журнала будет читать книгу при калиброванной D50 лампе, но вместо этого он может воспринимать более тусклые цвета при чтении в постели при плохом освещении. То же самое происходит, когда фильм или телевизионная программа или потребительское фото показывается на неэталонном дисплее из числа многих разных дисплеев, которые доступны в настоящее время. Например, изображение (градуировка) может быть показано на дисплее с 500 нит пика_белого. Потом происходит то, что осветляются цвета всех пикселов посредством по меньшей мере линейного растяжения, которое происходит путем управления дисплеем с градуировкой, т.е. отображением максимального белого (например, значения R=G=B=255) на пик_белого дисплея (конечно, может иметься дополнительная деформация яркости для различных цветов пикселов изображения, если дисплей имеет специальную “родную” электро-оптическую передаточную функцию EOTF, но обычно это обрабатывается внутренним образом, что обеспечивает работу дисплея как более яркой версии эталонной CRT, то есть с гаммой дисплея около 2,5).

Теперь такие стандартизированные (произведенные в эталонной среде, в частности, на эталонном дисплее с 100 нит) LDR градуировки можно использовать (т.е. вид достаточно хороший, т.е. все еще достаточно подобен тому, как они будут выглядеть при эталонных условиях) в диапазоне дисплея и/или условиях окружающей среды вокруг эталонной дисплейной системы (то есть 100 нит пика_белого и т.д.). Это объясняется тем, что большинство людей не настолько сверхкритичны к точному (абсолютному) виду цветов, так как мозг работает релятивно (например, в зависимости от критериев для допустимости, цвета лица, которые являются одними из более критичных цветов, могут варьироваться от бледного, почти белого цвета, до почти оранжевого цвета и т.д., прежде чем менее критичная большая часть людей начнет возражать), а также тем, что для многих объектов никто не знает, какими были исходные цвета в сцене. Частично это также потому, что LDR сцены созданы в стратегии цветов объектов «около среднего» (которая реализуется, в частности, с хорошо управляемым освещением студии, может быть, не всегда так, но мы имеем уже не различный оперативный контент), что означает, что все цвета яркие, можно даже сделать изображение несколько ярче до выше 18% уровня, с некоторыми тенями, но не слишком глубоко или важно и т.д., и которое воспроизводится физически и психологически довольно хорошо на различных системах. Это, например, сходно с тем, как работают художники-примитивисты, прежде чем они обнаруживают такие сложные вопросы, как контрастное сопоставление и т.д. Поэтому в зависимости от критерия качества, определяющего приемлемое сходство, LDR_100 нит градуировка может использоваться, например, на дисплеях от 30 нит до 600 нит, и в средах просмотра от 3-кратно менее яркой до 5-кратно более яркой. Свобода действий для использования градуировки может быть увеличена путем модификации ее с так называемым дисплейным преобразованием. Яркость дисплея и окружения (в связи с эффектом Стивенса и эффекта Бартлесона-Бреннемана) могут корректироваться в разумной степени гораздо легче, чем вопросы, связанные с ограничениями гаммы дисплея, и, как правило, можно обрабатывать изображение с гамма-функциями или аналогично. Например, при перемещении дисплея из тусклого окружения в темное окружение (или на самом деле при выключении освещения для просмотра в уютной гостиной), переходят от дополнительной гаммы 1.25 к 1.5, т.е. используют остаточную гамму для увеличения контраста визуализируемых изображений, потому что человеческое зрение более чувствительно в темноте, следовательно, воспринимает черные цвета визуализируемого изображения как более серые, что способствует уменьшению воспринимаемого контраста, которое должно быть скомпенсировано. Подобной LDR технологией является печать. Там, конечно, не надо априори контролировать окружающую освещенность, определяющую пик_белого печати, но по меньшей мере, как со всеми отражающими объектами, бело-черный RDR составляет около 100:1 (в зависимости от качества бумаги, например, глянцевая или матовая, чернил и т.д.).

Осложнение возникает, когда нужно воспроизвести изображение сцены с огромным динамическим диапазоном, и обычно также условия сцены очень отличаются от условий визуализации. Например, в ночной сцене глаз может наблюдать при динамическом диапазоне сцены SDR между автомобильными фарами с 100.000 нит (или, например, даже больше для натриевой лампы высокого давления или ртутной лампы в сцене) в сравнении с темными областями в тенях, соответствующих долям нит. Даже в дневное время, когда может быть более трудно создавать темные тени от всепроникающего освещения, в помещении может быть, как правило, в 100 раз темнее, чем на открытом воздухе, а также темные облака, лесной покров и т.д. могут влиять на необходимые яркости (как при съемке, так и при визуализации), если не внутри сцены, то по меньшей мере в меж-кадровом, то есть последовательном во времени воспроизведении. Оценки для «внутренне присущего динамического диапазона» человеческого зрения варьируются между 10.000:1 и 100.000:1 и даже 1.000.000:1, потому что это зависит, конечно, от условий (например, нужно ли видеть темную небольшую область при ярком свете, или наоборот, можно ли видеть некоторый яркий малый объект в темноте, и будет, возможно, зависеть частично от выцветания зрительного пурпура; считается ли количество бликов дискомфортным, и т.д.; и тогда, конечно, также имеется психологический фактор [принимая во внимание такие вещи, как важность некоторых объектов, их совершенная или достаточная видимость, эмоциональное воздействие на зрителя, и т.д.], что приводит к вопросу, как много из этого должно визуализироваться на дисплее [например, зритель может быстро отбросить некоторую область как «просто черную» не заботясь о том, какая черная точно], учитывая, что зритель находится в совершенно различной ситуации так или иначе [реально не на отдыхе или реально не при допросе офицером полиции, направляющим свет на его лицо], но хочет определенной степени реализма, который дополнительно может быть компромиссом с другими факторами, как, например, потребление электроэнергии, поэтому можно прагматично фактически определить несколько динамических диапазонов человеческого зрения, например, один для просмотра реальной сцены определенного типа и один для телевизионного просмотра). Например, если зритель адаптирован к темному ночному небу, но видит луну уголком глаза, это имеет незначительное влияние на то, как палочки в других местах сетчатки могут видеть слабые звезды, то есть «мгновенный» динамический диапазон наблюдения будет высоким. Наоборот, когда глаз находился при ярком дневном свете (на большой площади его поля зрения), более трудно различить темные цвета в более темном интерьере, наблюдаемом и освещенном через небольшое отверстие или окно, особенно если яркий источник примыкает в этой темной области. Оптические системы будут тогда проявлять некоторые бликовые явления. В действительности, мозг даже может не отрабатывать такой темный интерьер, а просто определять все эти цвета психологически черными. В качестве другого примера того, как утечка света влияет и определяет динамический диапазон сцены с точки зрения человека-наблюдателя, рассмотрим плохо освещенный темный куст ночью за фонарным столбом. Лампа на фонарном столбе создает профиль рассеяния света на царапинах очков наблюдателя (или, если он не носит очки, на неровностях его хрусталика, например, субмикронных частицах, воде между клетками,…), в частности, как гало вокруг лампы, что уменьшает возможность различения темных цветов кустарника позади него. Но когда наблюдатель проходит пару секунд, лампа остается позади него вне зоны захвата хрусталика, и глаз может быстро настроиться, чтобы найти хищника, скрывающегося в темноте.

Таким образом, однако, определяется полезный динамический диапазон сцены для кодирования и визуализации для пользовательского потребления (можно даже рассматривать не только кодирование внутри-кадровых яркостей с коэффициентом масштабирования глобальной освещенности, но действительно возникающих яркостей от солнечной тропической среды до самой темной облачной ночи), ясно, что гораздо больше, чем 100:1 необходимо для верной или по меньшей мере правдоподобной визуализации этих сред. Например, нам желательно, чтобы самый яркий объект на дисплее для тусклого окружения был около 10000 нит, а самый темный - 0.01 нит (или по меньшей мере 0.1 нит), по меньшей мере, если мы могли бы, например, затемнить свет в случае, если мы имеем полностью или в основном темные сцены в фильме или изображении(ях).

Это случай, когда применяется HDR. А также, когда снимается такая сцена, которая требует очень сложного математического отображения, чтобы аппроксимировать ее (или даже быть в состоянии визуализировать ее) на LDR дисплее (на самом это часто является реально не возможным). Например, некоторые алгоритмы отображения HDR-на-LDR используют локальную адаптацию к некоторому типу выравнивания поля освещения, оставляя в LDR визуализации в основном впечатление от отражений объекта, т.е. цветов. В связи с утечкой (многократным отражением, рассеянием и т.д.) света из более ярких к более темным частям сцены, не просто создать сцены чрезвычайно высокого динамического диапазона, но разница освещенности 100:1 может быть легко достигнута во многих практических ситуациях. Например, сцена в помещении может иметь (конечно, в зависимости от глубины помещения, размера и положения окон, отражательной способности стен и т.д.) значение доли или кратного примерно 1/100 яркости на открытом воздухе (что также определяется как фактор дневного света освещения здания). Более высокие SDR могут быть получены при наблюдении солнечной внешней среды из подвала через маленькую щель и т.д. Кроме того, на стороне визуализации на дисплее, HDR диапазон становится актуальным, когда начинают рассматривать новые концепции представления изображения. Например, на ярких дисплеях, подобных 5000 нит SIM2 дисплею, можно, при наличии корректных входных картинок (корректно градуированных) реалистично визуализировать впечатление реальных включенных фар или реальных солнечных пейзажей. В отличие от указанного выше LDR диапазона, можно, как правило, сказать, что HDR начинается для нормальных условий телевизионного просмотра в гостиной с пика_белого около 1000 нит и выше, но более точно это также зависит от точных условий просмотра (например, визуализация в кинематографе, хотя при пике_белого 50 нит, уже демонстрирует практически HDR представления). Еще более точно, ввиду адаптации глаз и мозга, HDR-ый вид в количественных деталях также зависел бы в некоторой степени не только от физических яркостей, но и от содержания изображения, то есть выбранного градуирования. Но в любом случае имеется ясное различие LDR визуализацией, которая в основном показывает скучную, неосвещенную версию сцены, как если бы она была освещена почти однородно и просто показывала отражения объектов, и HDR, в котором накладывается вид полностью освещенного поля. Если вы можете затем визуализировать приемлемые черные цвета, например 1 нит или ниже, вы действительно можете получить диапазон выше LDR контраста kx100:1, где k типично равно 2-3 (что при конкретной парадигме близкого сходства, то есть, пожалуй, только с небольшим растяжением контраста, относительно визуализации отображаемых яркостей по сравнению с яркостями сцены, будет соответствовать аналогичному DR в сцене). На высоком конце яркостей это отчасти дело вкуса, где яркость должна закончиться, в частности, когда дальнейшая яркость становится только раздражающей. Мы обнаружили, что, чтобы градуировать некоторые типы HDR сцены, 5000 нит является до некоторой степени тем, что имеется на нижнем конце, в частности, при необходимости иметь дело с дальнейшими ограничениями дисплея, подобно разрешению подсветки. В экспериментах мы обнаружили, что, безусловно, можно перейти к 10000 нит при просмотре в темноте без того, что яркость становится излишней или раздражающей (по меньшей мере, для некоторых зрителей). Изменение выше 20000 нит пика_белого, может быть практическим соображением технического проектирования, что визуализировать согласно реальной яркости и что аппроксимировать, давая по меньшей мере видимость яркости. Отметим, что, как правило, не требуется управлять таким ярким дисплеем всегда на максимальной яркости, а вместо того чтобы создавать оптимальный опыт HDR, следует использовать только наиболее яркую визуализацию в определенных местах и моментах времени, консервативно, а также правильно выбранную в отношении их временной эволюции. Следует акцентировать внимание не только на внутри-кадровом DR, но также и на том, как среды различной яркости должны визуализироваться в последовательности, принимая во внимание визуальную адаптацию человека.

Другим динамическим диапазоном является динамический диапазон камеры CDR, который (при условии настроек экспозиции) определяется полным заполнением потенциальной ямы фотодиода пиксела и шумом на темной стороне. При использовании приемов, таких как множественная экспозиция или различным образом экспонируемые массивы пикселов (например, в 3-чиповых камерах), CDR становится ограниченным оптикой (например, рассеянием объектива, отражением на объективе или корпусе камеры и т.д.), но это также может быть улучшено путем подходящих вычислительных методов формирования изображения, которые пытаются отделить реальную освещенность от темных областей сцены от ошибочного облучения из-за рассеянного света. Конечно, когда источник изображения является программой компьютерной графики (как, например, в специальных эффектах или игровом приложении) можно легко создавать HDR далеко за пределами этих ограничений. Мы будет игнорировать CDR, и только предполагаем, что это либо очень высокий, либо, возможно, ограничивающий фактор, но в системе, которая, как предполагается, обрабатывает ситуации очень высоких оригиналов. В частности, когда мы вводим ограничение, мы будем считать, что это не из-за съемки камерой низкого качества, а из-за практической обработки некоторых других ограничений во всей цепи формирования изображения, подобно неспособности дисплея визуализировать очень яркие цвета.

Теперь помимо RDR среды отображения, которая действительно генерирует правильное распределение фотонов, чтобы стимулировать зрителя для правильного восприятия (если оно зависит также от состояния адаптации этого зрителя), когда речь идет об обработке или кодировании HDR, есть еще один интересный аспект, который также может быть обобщен в динамическом диапазоне, который мы будем называть динамическим диапазоном кодирования CODR. Пара мысленных экспериментов должна уточнить эту важную концепцию. Предположим, что мы должны рисовать на яркой белой панели с задней подсветкой высоко поглощающим черным маркером, так что мы должны были бы получить пропускание в 1/16000-ую окружающего белого цвета панели (и предполагая, что окружающее помещение и зритель являются совершенно поглощающими объектами). В линейном битовом мире (под которым имеется в виду, что мы линейно представляем все значения между 0 и 2^B, где ^ представляет собой операцию возведения в степень и В - число битов), например, съемки камерой (ее ADC (АЦП)) потребовалось бы, следовательно, 14 битов для представления этого сигнала. Однако, так как этот кодек будет бесполезно тратить много кодов для значений, которые не встречаются в любом случае, мы можем сказать, что для верного представления конкретного сигнала, нам потребуется теоретически только 1-битное кодирование. Присвоим черному цвету код 0 и белому цвету 1, а затем преобразуем их к тому, чему соответствует текущая яркость. Также отметим, что дисплей не обязательно должен реально визуализировать эти значения с точно такими же яркостями, как в сцене. В самом деле, так как этот сигнал может выглядеть не лучше (психологически и семантически), чем более низкий его DR эквивалент (на самом деле, такой высоко контрастный черно-белый рисунок может даже выглядеть странно), мы могли бы также визуализировать его на дисплее со значениями 1 нит и 2000 нит. Мы видим здесь впервые интересное различие, которое важно, когда речь идет о HDR кодировании: различие между физиологическим и психологическим (или семантическим) динамическим диапазоном. Человеческое зрение состоит из двух частей, глаза и мозга. Глазу может требоваться в качестве предшественника соответствующий физиологический динамический диапазон PDR, чтобы надлежащим образом стимулировать колбочки и/или палочки (и тем самым ганглиозные клетки и т.д.), но в конечном счете именно мозг определяет окончательный вид изображения или сцены (психологический динамический диапазон PSDR). Хотя это не совсем дает точное впечатление ярко освещенной области, художники, такие как Петрус Ван Шендел могут играть на PSDR психологических принципах, чтобы эмулировать в LDR среде сцены высокого динамического диапазона, как, например, огня в темном ночном городском ландшафте. Это также является тем, что пытаются сделать сложные алгоритмы отображения цветовой гаммы при предварительной подготовке HDR изображения для визуализации на LDR дисплее. Но другой стороной этого принципа является то, что некоторые сцены будут выглядеть более HDR-подобными на HDR дисплее, чем другие (например, солнечный зимний пейзаж с бледными сухими кустами и некоторыми деревьями на заднем плане может выглядеть высоко ярким, но не HDR). Для HDR действий, подобных, например, повороту яркой лампы к зрителю, психологические эмуляции обычно не так убедительны, как реальная яркая визуализация областей.

Рассмотрим в том же духе теперь второй пример: у нас есть сцена в помещении с яркостями, например, между 200 нит и 5 нит, и сцена на открытом воздухе с яркостями, например, между 1500 и 20000 нит. Это означает, что мы снова имеем две гистограммы яркости, разделенные несуществующими кодами. Мы можем изначально кодировать их в диапазоне, скажем, 16 линейных бит (максимальный код, например, соответствующий 32768 нит), хотя было бы предпочтительно использовать некоторую нелинейность, чтобы иметь достаточную точность в черных цветах, если имеется не слишком много шума съемки. Но можно также кодировать это по-другому. Например, мы могли бы пожертвовать 1 битом точности и разделить 8-битный нелинейный JPEG диапазон сигналов яркости на две смежных касающихся части, нижнюю для более темной части сцены и верхнюю для более светлой (может быть нежелательным делить точно в середине ввиду нелинейного распределения JND). Если критичной является потеря точной детализации при наличии меньшего количества битов, можно считать, что часто может быть лучше использовать имеющиеся биты, вместо HDR эффектов. Такое распределение, как правило, соответствуют смещению и (нелинейному) растяжению значений яркости (L) входного RAW захвата в 8-битовые значения сигнала яркости (Y). Теперь можно снова задать себе вопрос о том, что является динамическим диапазоном такой сцены, если она может «произвольно» сжиматься или растягиваться (делая яркий внешний вид еще более ярким, пока он не станет, например, нереальным), по меньшей мере в пост-обработке для визуализации. Здесь может помочь принцип различных внешних видов. У нас есть в обоих суб-гистограммах ряд различных значений яркости для различных пикселов или областей, которые предположительно являются большей частью или все релевантными (если нет, то нам не нужно кодировать их, и можно, например, сбросить один или более битов точности). Также разделение (например, измеренное как разница в средней яркости) двух гистограмм, при визуализации, в конечном счете, на дисплее, имеет некоторое значение внешнего вида. Известно, что человеческое зрение в какой-то степени обесценивает освещение, но не полностью (особенно, если есть две области яркости), так что требуется визуализировать/генерировать такие зрительные вводы, по меньшей мере в определенной степени. Так работа с имеющими значимые разные цвета (или по меньшей мере яркость или светлоту) внешними видами пикселов или объектов в визуализируемой сцене (например, при визуализации в сценарии наилучшего возможного дисплея) дает нам представление о динамическом диапазоне кодирования CODR, и, как мы, следовательно, должны кодировать HDR изображения. Если изображение имеет много различных внешних видов, именно HDR должен быть представлен некоторым образом в любом разумно верном кодировании.

Поскольку классические технологии кодирования изображения или видео (например, PAL, JPEG и т.д.) главным образом были связаны с визуализацией в основном яркостей объектов (отражения) в диапазоне 100:1, при изначально относительно фиксированных условиях наблюдения (CRT в домашних условиях, а не OLED в поезде, или тот же потребитель, имеющий на своем верхнем этаже специальный темный кинозал с оперативно управляемым динамически освещением, которое может настраиваться к видео-контенту), эти системы кодировали видео довольно фиксированным способом, в частности, с фиксированной универсальной основной гаммой кодирования, которая имитирует чувствительность к яркости глаза, как, например, V_709=1.099L^0.45-0.099, что является приближенно функцией квадратного корня. Однако такие системы не очень хорошо приспособлены для обработки широкого диапазона CODR. В последние пару лет делались попытки кодировать HDR, либо простым способом связанного со сценой линейного кодирования всех возможных входных яркостей, как в системе OpenEXR (F. Kainz and Р. Bogart: http:/www.openexr.com/TechnicalIntroduction.pdf). Или имеются 2-уровневые системы на основе классической философии масштабируемости. Им требуются, по меньшей мере два изображения: базовое изображение, которое типично будет традиционно используемым LDR изображением, и изображение для восстановления основного(ых) HDR изображения(ий). Примером этого является US2012/0314944, согласно которому требуется LDR изображение, логарифмическое добавочное или относительное изображение (полученное путем деления HDR яркостей на LDR яркости, полученные после соответствующей градуировки LDR изображения для систем LDR визуализации) и изображение коррекции с ограничением цвета на каждое HDR-кодируемое изображение. С добавочным изображением можно усиливать все области (в зависимости от суб-дискретизации) от их ограниченного диапазона до того яркостного положения, которое они должны занимать в HDR диапазоне. Отметим, что для простоты мы описываем все такие операции в яркостном представлении, так как специалист может представить себе, как они должны быть сформулированы в представлении через сигнал яркости конкретного определения кодирования. Такие множественные изображения по меньшей мере в ближайшие годы будут несколько громоздкими, так как они требуют серьезной модернизации ИС (де)кодирования в существующих устройствах, поскольку требуется обработка дополнительных изображений в дополнение к LDR изображению.

Недавно, как описано в WO2013/046095, мы разработали способ, чтобы усовершенствовать классическое кодирование видео (предпочтительно с незначительными изменениями, предпочтительно с большинством метаданных, чтобы применять преобразования, связывающие две градуировки той же самой сцены для двух весьма различных условий визуализации, таких как, например, обеспечивающие преобразование кодированной LDR градуировки в HDR градуировку или наоборот, и, возможно, с некоторыми вариантами, позволяющими сохранять в метаданных пару дополнительных малых картинок, чтобы выполнить окончательную настройку, если такая дальнейшая модификация желательна, например, аддитивная или мультипликативная коррекция на малых областях, содержащих объект, подобный, например, очень ярко освещенному лицу в одном кадре или сцене фильма, в которой корректирующие коэффициенты для пикселов могут затем кодироваться, например, в 200 изображений из 120x60 пикселов, отображаемых на пиксельные положения текущей HDR реконструкции посредством цветового преобразования, или даже некоторого суб-дискретизированного представления этих малых корректирующих изображений, применяемых в качестве грубых отображений точной настройки, описанных как изображения), чтобы иметь возможность кодировать изображения высокого динамического диапазона. В этой системе, как правило, человек-градуировщик может определять оптимальную функцию отображения из входного HDR изображения (основная HDR градуировка) на, например, 8- или 10- (или 12- или в принципе другое значение для по меньшей мере кодов яркости, но это значение составляет, как правило, то, что зарезервировано для «классического» LDR кодирования изображения) битное LDR-кодирование, которое может кодироваться с помощью классического сжатия видео (DCT и т.д.), оптимальная функция отображения (например, гамма-функция или аналогичная с оптимальным коэффициентом гаммы, линейная часть и т.д., или много-сегментная функция, подобная, например, S-кривой и т.д.), как правило, зависит от того, каким было содержание в основном HDR (например, темный фон, с очень ярко освещенной областью), и как это будет визуализироваться в LDR условиях. Мы называем это одновременным кодированием LDR и HDR градуировки путем отображения HDR градуировки в традиционно используемое LDR изображение и LDR-контейнер, кодирующий HDR. Мы хотели убедиться, что эта технология была обратно совместимой, так что созданное таким образом LDR изображение дает приемлемые результаты при визуализации, например, на унаследованной LDR (т.е. картинка выглядит достаточно приятно, хотя и не совершенно, как правило, не так, что слишком много людей будут считать цвета некоторых объектов все неправильными). Если допускается некоторое уменьшение точности, наша система может даже кодировать HDR сцены или эффекты на унаследованных 8-битных системах. Под приемлемыми результатами мы имеем в виду, что LDR визуализированные изображения, хотя, возможно, не наилучшее изображение, которое могло бы достичь художественный внешний вид, будут приемлемыми для создателя контента и/или зрителя, это, в зависимости, конечно, от приложения (например, для качества более дешевой, основанной на интернете или мобильной услуги ограничения могут быть менее критичными). По меньшей мере LDR градуировка даст хорошую видимость большинства или всех объектов (по меньшей мере объектов, наиболее важных для истории изображения или видео) в изображенной сцене при визуализации в LDR системе со свойствами, не сильно отличающимися от стандартизированной LDR визуализации. С другой стороны, для HDR дисплеев, исходный основной HDR может быть аппроксимирован в близком приближении путем отображения с обратимой инверсией функции совместно кодированного отображения от LDR изображения на реконструированное HDR изображение. Можно определить такую аппроксимацию с математическим допуском, например, в терминах едва заметных различий (JND) между исходным основным введенным HDR и его реконструкцией. Обычно будут проектировать любую такую систему путем тестирования для ряда типичных HDR сцен, действий и других ситуаций, насколько сильно отличающимися выглядит реконструированный HDR (если это еще приемлемо для определенных категорий пользователей, как, например, создателей телевизионного или кино контента), и подтверждать класс операций, таких как отображения конкретной гаммы в пределах определенных диапазонов параметров. Это гарантирует, что всегда можно достичь определенного качества аппроксимации.

Целью представленной ниже технологии является дать градуировщику еще больше гибкости в определении по меньшей мере двух градуировок, LDR и HDR.

Сущность изобретения

Вышеуказанная цель реализуется кодером (202) изображения, содержащим:

- вход (240) для входного изображения высокого динамического диапазона (М_HDR);

- блок (201) градуировки изображения, выполненный так, чтобы позволить человеку-градуировщику цвета задавать отображение цвета из представления (HDR_REP) входного изображения высокого динамического диапазона, определенного в соответствии с предопределенной точностью, на изображение низкого динамического диапазона (Im_LDR) с помощью алгоритма определяемого человеком отображения цвета, и выполненный с возможностью вывода данных, задающих отображение цвета (Fi_(МР_DH)); и

- блок (203) автоматической градуировки, выполненный с возможностью получения второго изображения низкого динамического диапазона (GT_IDR) путем применения алгоритма автоматического отображения цвета на одно из входного изображения высокого динамического диапазона (М_HDR) или изображения низкого динамического диапазона изображения (Im_LDR).

Как правило, будут выполнять GT_IDR градуировку либо из изображения высокого динамического диапазона (как правило, основная градуировка) или LDR градуировку, но, конечно, также может быть выгодно учитывать характеристики изображения, в частности, вид яркости или освещенности различных объектов, или другую градуировку (т.е., как должна выглядеть LDR градуировка, если мы отображаем GT_IDE из M_HDR, так что GT_IDR может быть некоторого рода балансом, но, конечно, оно может быть также образовано всеми видами других дополнительных условий/факторов). Мы предполагаем, что основное HDR изображение кодируется в любом формате, позволяющем такое кодирование (например, это может быть OpenEXR или система, как поясняется с помощью фиг. 7, в общем, то, что, например, предпочитает создатель программного обеспечения градуировки). Т.е. М_HDR кодирование может быть линейного, основанного на сцене типа или уже иметь некоторую интересную функцию распределения кода, примененную к нему, но для наших объяснений мы могли бы с уверенностью предположить, что оно будет линейным кодированием яркости. Обычно такое основное HDR изображение будет не прямо из камеры (так как камеры являются только автоматическими инструментами захвата, с характеристиками, как, например, цветными фильтрами, не похожими на человеческий глаз, но, что еще более важно, их схемы не сходны с человеческим мозгом; то, что выходит из них простой записью, может быть хорошим, но не обязательно оптимальным), а художественной оптимальной градуировкой (которая, например, затемняет фоновую окружающую среду подвала, чтобы создать оптимальное настроение для этой сцены), однако выполненная человеком градуировка может быть просто функциональным отображением изображения камеры куда-то (затем оно становится основным HDR входом), например, только, чтобы получить первое представление некоторого визуализатора (рендерера), после чего высококачественное HDR изображение кодируется (с помощью LDR изображения и параметров отображения). Блок градуировки изображения, как правило, является программным обеспечением, выполняемым на компьютере, что позволяет осуществлять отображение цветов от исходных цветов пикселов на конечные цвета пикселов, например, изменение коррелята-яркости этих пикселов от начального до конечного значения, например, путем применения функции отображения тонов (например, S-кривой) на этом корреляте-яркости или, например, кривых определения цвета (таких как R, G, B) одновременно. Специалист должен понимать, почему мы используем термин “коррелят-яркости” для обозначения любого математического кодирования, коррелирующего с яркостью пиксела (захваченного в сцене или визуализированного при ее визуализации), так как, учитывая сложность цветовых технологий, существуют несколько аналогичных вариантов, таких как сигналы яркости, значения (V), функциональные определения для коррелятов, называемых освещенностью, и т.д. Фактически, линейный или нелинейный компонент цвета, такой как величина красного, также может быть использован как коррелят-яркости. Таким образом, коррелят-яркости следует понимать как любую монотонную функцию отображения между осью яркости (яркости, как определено CIE) и другой осью, так что любое значение на этой другой оси сразу может быть преобразовано в значение яркости, и наоборот. Хотя формулировки для различных коррелятов различаются в своих точных деталях, принцип остается тем же. Но мы ввели этот термин также для указания того, что, хотя принципы наших вариантов осуществления могут быть определены на отображениях яркости, фактически они могут быть построены физически путем выполнения математических преобразований на других коррелятах-яркости или в общем любого кодирования цвета. Человек-градуировщик цвета может, например, направляться режиссером фильма в том, чтобы сформировать определенное внешнее представление для снятого фильма.

Принцип вышеприведенного варианта осуществления заключается в том, что, вопреки унаследованным системам с фиксированной функцией отображения, связывающей LDR и HDR градуировку (например, кодирование любого входного изображения, независимо от того, имеет ли оно увеличенный динамический диапазон или нет, в LDR кодирование), теперь мы имеем двойную систему. Она будет, как правило, создавать два набора параметров отображения (например, функции отображения коррелята-яркости или, в общем, данные, определяющие программно-реализованные математические преобразования для преобразования входных цветов в выходные цвета) вместо только одной обратимой функции для создания визуализируемого изображения (в случае РСТ/2012/054984 HDR-реконструкция для использования на HDR-дисплее для управления им непосредственно или после дополнительной цветовой обработки).

В этой двойной системе также имеются две градуировки, связываемые с основным HDR. Во-первых, имеется автоматическая градуировка, которая создает первое LDR изображение хорошего качества, которое мы называем вторым изображением низкого динамического диапазона GT_IDR. На него может (частично) оказывать влияние градуировщик цвета (например, путем выбора предпочтительной одной из набора функций отображения, которая обычно дала бы хорошие результаты на всех входных изображениях), но, как правило, является предпочтительным, если эта автоматическая градуировка появляется за сценами в устройстве, вне поля зрения и интереса градуировщика, который может затем сосредоточиться на своих художественных потребностях. Смысл этой технической градуировки состоит в создании изображения GT_IDR, которое, хотя, возможно, не в полной мере оптимальное в соответствии с конкретными художественными потребностями градуировщика, формирует хорошо видимое LDR изображение при визуализации на LDR системе (“хорошо видимое” снова означает не просто, что будет выходить любое изображение, но что зритель может отслеживать большинство из того, что происходит в фильме, потому что видимость всех объектов хорошая, хотя из-за некоторого обесцвечивания по сравнению с оптимумом настроение сцены может несколько изменяться). Но в основном оно определяет его математический вывод, так что это второе LDR изображение GT_IDR является технически оптимальным в том, что из него легко реконструировать реконструкцию REC_HDR основного HDR с оптимальным качеством. Это означает, что потеря информации в GT_IDR, например, из-за квантования после использования конкретного оптимального отображения на него из М_HDR должна быть минимальной, так что имеется минимально приемлемая величина в реконструированном HDR для всех типично возможных входных HDR изображений.

Затем, с другой стороны, имеется художественная градуировка человека-градуировщика. Он может получить любую картинку, какую он хочет видеть в соответствии с его предпочтениями, для систем LDR визуализации. Например, мы можем иметь действие, происходящее в темном подвале в фильме ужасов. Система HDR визуализации может быть в состоянии визуализировать темное окружение очень темным, сохраняя видимость большинства объектов (например, орудия пыток на полках в тенях от стен, или интерьер неосвещенной соседней комнате за открытой дверью). И в то же время она может быть в состоянии визуализировать очень яркие объекты, такие как одна светящаяся лампа, качающаяся на потолке этой темной комнаты, или факел в руках человека, идущего через нее. Однако система LDR визуализации может иметь меньше возможностей для визуализации темного окружения, в частности, потому, что она также должна освободить место в своем ограниченном диапазоне яркости для более ярких объектов, таких как светящаяся лампочка и лицо человека, идущего под ней, и градуировщик может пожелать эмулировать яркость путем увеличения контраста с яркостями окружающих объектов, то есть темного фона. Градуировщик может, например, решить художественно сделать этот фон полностью черным для LDR градуировки Im_HDR. Должно быть ясно, что это изображение низкого динамического диапазона HDR_Im не может тогда быть использовано для реконструкции REC_HDR с достаточной информацией в фоне, чтобы все объекты были там видны. Как обобщение этого, можно видеть, что блок автоматической градуировки должен быть уверен, что не происходит потеря релевантной информации, так что HDR реконструкция все еще может быть выведена с хорошей точностью аппроксимации из GT_IDR кодированного LDR изображения. Заметим, что это LDR изображение GT_IDR не требуется само по себе определять с теми же ограничениями окружающей среды (например, 100 нит пика_белого предполагаемого дисплея), но оно также может быть, например, для эталонного дисплея с 200 нит.

Как может понять специалист, есть два способа реализовать такую систему. Либо выполняющий техническую градуировку блок автоматической градуировки выполняет сначала свое отображение, а затем человек-градуировщик работает над этим GT_IDR, чтобы создать свое предпочтительное IM_LDR LDR градуировки, или человек-градуировщик сначала выполняет свою градуировку Im_LDR, а затем блок автоматической градуировки получает из нее технически более подходящее GT_IDR для кодирования всех релевантных HDR данных в формате LDR_контейнера. Таким образом, фактически это логически соответствует тому, что человек-градуировщик будет в обоих случаях работать над представлением основного HDR. В первом случае выполняемой человеком градуировки это будет сам (бесконечно точный) основной HDR, который служит отправной точкой. Во втором случае результирующее GT_IDR из автоматической технической градуировки будет хорошим представлением основного HDR, так как оно содержит большинство (по меньшей мере релевантных) данных основного HDR, которые должны быть в отображенном представлении различных коррелятов-яркости (например, яркость лампы 10000 нит в основном HDR может быть представлена в качестве кода 253 сигнала яркости в GT_IDR). В соответствии с предопределенной точностью это снова означает, что устанавливаются технические пределы, на сколько реконструкция REC_HDR из GT_IDR может отклоняться от первоначально введенного М_HDR. Обычно специалист знает, что можно (если не определяется исключительно в соответствии с предпочтениями экспертной группы) математически охарактеризовать такие отклонения, например, с помощью взвешенной разности между пиксельными цветами REC_HDR и М_HDR. Например, можно использовать математические функции, которые характеризуют разницу, следуя принципам органов зрения человека, например, глядя на цвета в областях, и, например, штрафуя различия меньше, если они происходят в текстурированных областях, и т.д. Можно позволить большие различия в некоторых семантических объектах, подобных, например лампам, так как фактически визуализированная яркость для этих объектов может быть менее важной. Таким образом, специалист поймет, что, как правило, техническая градуировка будет выполнять любое из набора заранее оговоренных отображений, что для любого или большинства из типично появляющихся входных М_HDR изображений позволит получить ошибки реконструкции ниже определенного порога (который может быть либо субъективным значением, согласованным группой экспертов, либо согласованным математическим значением). Обычно будет, например, набор гамма-подобных функций (то есть, как правило, начинающихся с линейной части в черных цветах, а затем изгибающихся, чтобы показать уменьшающуюся крутизну выхода по отношению к входу), или параметрические трех-сегментные кривые для осуществления темных/теневых, средних и ярких поддиапазонов оси яркости или коррелята-яркости, которые все демонстрируют приемлемое поведение, и некоторые могут дать меньшие ошибки реконструкции в конкретной области яркости конкретного типа М_HDR. Человек-градуировщик может тогда выбрать такую кривую. Или альтернативно, блок автоматической градуировки может выбрать такую оптимальную кривую, например, рассматривая гистограмму цвета или яркости М_HDR или выполняя на ней более сложный анализ (например, определить, где находится(ятся) лицо(а)). Так представление HDR_REP М_HDR в соответствии с предопределенной точностью означает, что это изображение содержит по существу все данные М_HDR, закодированные иным способом, так что можно реверсивно повторно получить введенное M_HDR в пределах предопределенной точности, т.е. с ошибками реконструкции, в наихудшем случае типично не превышающими согласованный уровень.

Таким образом, человек-градуировщик работает либо над M_HDR, либо над GT_IDR, чтобы получить свое предпочтительное изображение низкого динамического диапазона Im_LDR, которое будет использоваться в системах LDR визуализации. Он может использовать любое отображение цвета из набора доступных отображений в программном обеспечении градуировки, как он решит, например, он может приспособить конкретное глобальное тональное отображение (т.е. отображение яркости) или функцию отображения цвета, которая будет применяться для всех пикселов в любом пространственном положении в изображении исключительно на основе их входного значения цвета. Или он может использовать локально точно настроенные отображения. Например, он может в конкретной геометрической области изображения (например, заданной в пределах прямоугольной или иначе определенной ограничивающей форме) выбрать только те пикселы, которые светлее, чем конкретное значение сигнала яркости (или в пределах диапазонов заданных цветов), и преобразовывать только те пикселы в соответствии с локальной стратегией отображения цвета, и т.д. Он будет тогда записывать все, что он сделал, в качестве метаданных; например, глобальная функция изменения коррелята-яркости может быть записана в параметрической форме (например, коэффициенты степенной функции для трех областей S-образной кривой, такие как конечная точка теней, линейные части по обе стороны, коэффициент параболической кривизны и т.д.). Если эти функции (в основном) обратимы, принимающая сторона может затем использовать их, чтобы реконструировать обратно с использованием этого выходного изображения в качестве входного изображения и с использованием стратегии обратного отображения цвета, исходное изображение, из которого было получено это выходное изображение, по меньшей мере с определенной точностью (например, после того как артефакты квантования и/или DCT и т.д. были введены).

В первом варианте осуществления выполняемой человеком градуировки, человек-градуировщик будет формировать параметры отображения Fi(МР_DH) из отображения М_HDR. Однако, поскольку автоматическая градуировка будет все еще изменять LDR градуировку, в итоге не имеется интересных параметров. Блок автоматической градуировки выведет оттуда два набора новых параметров. Он получит другое отображение из HDR в новую LDR градуировку, представляющую собой GT_IDR, с параметрами отображения Fi(MP_T). Он также получит новые параметры отображения Fi(МР_DL), чтобы создать предпочтительную для человека LDR градуировку Im_LDR из технически градуированного второго LDR изображения GT_IDR. При сохранении данных, необходимых для принимающей стороны, чтобы работать над кодированным М_HDR изображением, т.е., в частности, позволяя приемнику воссоздать реконструкцию REC_HDR, модуль форматирования будет типично кодировать GT_IDR (для текстуры объектов) и два набора данных отображения Fi(МР_T) и Fi(МР_DL) в подходящее кодирование, определенное в спецификации любого стандарта сигнала, т.е., как правило, в метаданные сигнала изображения (или видео) TSIG. В случае сначала автоматической градуировки, человек-градуировщик будет работать над GT_IDR, чтобы сгенерировать параметры отображения Fi(МР_DL), а затем они будут записаны в сигнал (в дополнение к изображению GT_IDR и Fi(МH_Т)).

В зависимости от варианта системы, блок автоматической градуировки затем либо применит в качестве предварительной спецификации второе LDR изображение GT_IDR непосредственно из основного HDR М_HDR или в качестве пост-коррекции, основанной на предварительно градуированном человеком Im_LDR в качестве входа. Термин данные, задающие отображение цвета, должен быть ясен специалисту в данной области для любого из многих возможных вариантов отображения цвета. Обычно программное обеспечение градуировки может хранить параметры функций, которые оно использует, и, в частности, оно может использовать функции отображения, которые предварительно преобразованы, чтобы быть подходящими для кодирования. Например, мы можем разработать ряд локальных или глобальных функций, которые обратимы (в пределах заданной точности) при использовании консервативным методом, т.е. со значениями в диапазоне, и могут стать (частично) необратимыми при использовании градуировщиком агрессивным методом. Примером такого может быть гамма-функция. Коэффициенты гаммы до значения 3.0 можно рассматривать как обратимые для конкретной системы (т.е. идущие от конкретного исходного динамического диапазона, например CODR, или, например, со значимыми важными данными в нескольких поддиапазонах опорного диапазона определенного как 5000 нит, до конкретной LDR опорной ситуации, например, определения унаследованной LDR системы, например, спецификации окружающей среды просмотра для sRGB), но гаммы выше 3.0 можно рассматривать как строгие для по меньшей мере поддиапазона диапазона входной яркости (т.е. для обратимой реконструкции). Или в расширенном наборе для получения апостериорных LDR градуировок из автоматического GT_IDR могут быть функции, которые не существуют в автоматической градуировке и создают значительные потери информации во входной HDR информации после создания желаемого градуированного LDR изображения с ней. Система может типично работать в режиме или фазе, где градуировщик имеет ограниченную свободу для создания LDR изображения, но с хорошими техническими свойствами (то есть близко к хорошо функционирующему GT_IDR), и режиме или фазе, в которой градуировщик имеет (почти) неограниченную свободу или по меньшей мере большую свободу в определении его оптимального LDR градуированного изображения Im_LDR.

В предпочтительных вариантах осуществления блок (203) автоматической градуировки выполнен с возможностью определения своего алгоритма автоматического отображения цвета путем выполнения условия, что HDR реконструированное изображение (REC_HDR), попадающее в пределы второй предопределенной точности, из входного изображения высокого динамического диапазона (М_HDR) может вычисляться с применением второго алгоритма отображения цвета (CMAP_2) на второе изображение низкого динамического диапазона (GT_ IDR).

Таким образом, блок автоматической градуировки будет поддерживать качество второго LDR изображения GT_IDR, чтобы позволить хорошую реконструкцию основного HDR. Он будет выполнять это условие путем ограничения функций, которые могут быть использованы, чтобы связывать M_HDR с GT_IDR. В частности, не слишком много (значимых) данных должны теряться такими действиями, как, например, квантование цветовых компонентов, таких как, например, (R,G,B) или (Y,Cr,Cb) и т.д. Таким образом, он будет, как правило, выбирать свои функции отображения на основе такой оценки, было ли это априорное вычисление (например, с помощью алгоритма, предварительное тестированного в лаборатории, так что, когда он работает на HDR изображении, например, с определенными свойствами распределения гистограммы яркости, он будет давать хорошую возможность реконструирования для определенных функций или алгоритмов отображения), или с пост-вычислением, например, в итерационном цикле, выбирающем лучшее из числа возможных функций отображения. Вторая предопределенная точность представляет собой окончательную точность, достижимую путем реконструкции REC_HDR из данных, закодированных с выбранным алгоритмом отображения, т.е. с применением инверсии Fi(МР_Т) на GT_IDR, причем эту инверсию мы называем вторым алгоритмом отображения цвета CMПР_2. Для первых вариантов осуществления автоматической градуировки это будет означать, что блок автоматической градуировки будет только определять отображение между M_HDR и GT_IDR (и пользователю фактически не требуется беспокоиться об этом отношении). Он будет затем выбрать, например, соответствующую гамма-функцию, так что GT_IDR все еще имеет приемлемую аппроксимацию к темному виду в М_HDR, однако никакие релевантные значения яркости не сгруппированы слишком сильно вместе в одном сигнале яркости GT_IDR. В ситуации сначала градуировки человеком, блок автоматической градуировки еще должен определять окончательное отображение Fi(МР_T) между M_HDR и GT_IDR. Это соответствует переопределению нового второго LDR градуированного изображения GT_IDR после человека-градуировщика (но это не будет нарушать выполненную человеком градуировку, так как параметры отображения для реконструкции его из GT_IDR также определяются). Несколько стратегий могут существовать для этого. Например, блок автоматической градуировки может просмотреть функцию отображения и несколько отклонить ее в областях, которые приводят к серьезной потере данных, например, из-за квантования. Для этого блок автоматической градуировки может исследовать полученные изображения (Im_LDR против GT_IDR по сравнению с М_HDR), а также собственно кривую отображения (устанавливая, насколько она отклоняется от кривых, в целом хорошо выполняющих отображение). Другая возможность состоит в том, что блок автоматической градуировки выбирает одну из набора функций отображения, которая близка к выбранной человеком-градуировщиком, которая все еще хорошо выполняет отображение. На этой основе выполняется математическое вычисление, чтобы получить окончательную систему. Например, GT_IDR будет получено путем применения функции отклонения на выбранной человеком-градуировщиком функции отображения Fi(MP_DH) M_HDR-на-Im_LDR. На самом деле, блок автоматической градуировки может затем применить эту финальную функцию непосредственно к M_HDR, чтобы получить GT_IDR непосредственно с минимальной погрешностью. Im_LDR может быть выведено отсюда с использованием функции отклонения. Специалисту в данной области должно быть понятно, как, подобно другим математическим основам, блок автоматической градуировки может определить оптимальное отображение Fi(MP_T) и в соответствии с этим отображение из GT_IDR на Im_LDR градуировщика (т.е. Fi(МР_DL)). Мы схематично показали это на фиг. 6 как применение технической деформации DEF_TECH к градуировке человека-градуировщика, чтобы получить технически градуированное LDR изображение GT_IDR. Т.е. блок автоматической градуировки может работать, либо начиная с LDR изображения Im_LDR и работать на основе философии деформации и выводить оттуда Fi(МР_T), или он может напрямую просматривать внешний вид выполненной человеком градуировки Im_LDR и выполнять ее аппроксимацию, начиная с M_ HDR, учитывая технические ограничения его технической градуировки, что приводит к Fi(МР_T), и определять оттуда Fi(MP_DL), чтобы вывести выполненную человеком градуировку из GT_IDR (каковое отображение может быть тогда весьма либеральным технически), и т.д. Таким образом, специалисту должно быть ясно, какими путями это условие может и будет выполняться. Вновь, точность может быть заранее определена в какой-то мере, например, для класса качества технологии (например, высокое качество фильмов для премиум пользователей против низкокачественного HDR кодирования, дающего главным образом впечатление, но не конечное качество), например, путем указания, что некоторые отображения будут в трудном случае HDR изображения создавать артефакты, которые не больше, чем артефакты предварительно согласованной величины. Другие стратегии отображения, которые не ведут себя в соответствии со спецификацией, не должны тогда использоваться. В любом случае, независимо от поминутно точных деталей в определениях, должно быть ясно для любого нарушителя, использует ли он техническую систему цепочки двойной градуировки, как описано выше.

Как уже введено выше, может быть предпочтительным, если по меньшей мере блок (203) автоматической градуировки и, возможно, также блок (201) градуировки изображений выполнены так, чтобы применять монотонную функцию отображения на по меньшей мере корреляте-яркости пикселов в их соответствующем входном изображении, по меньшей мере в геометрической области соответствующего входного изображения, соответствующего той же самой геометрической области входного изображения высокого динамического диапазона (М_HDR). Наличие такого функционального определения один-к-одному в однозначно идентифицируемых областях изображения (например, всего изображения), означает, что по меньшей мере на бесконечной оси точности можно легко инвертировать эти функции. Особенно выгодно, если также производные или кривизны этих функций таковы, что они не объединяют многие из HDR_М яркостей в единый код Im_LDR или по меньшей мере GT_IDR. Кроме того, такие монотонные функции легко вычислить технически, например, с помощью таблицы преобразования. Например, она может использовать коррелят-яркости, например, сигнал яркости Y как вход и выход. Примером часто встречающейся HDR сцены, которая может быть сделана с двумя пространственными областями, является изображение, получаемое изнутри наружу, например, фотографированием изнутри автомобиля или комнаты и т.д. Под соответствующими этому геометрическими областями мы имеем в виду, что если область определяется, например, на Im_LDR, то пиксели могут быть идентифицированы с пикселями в М_HDR. Например, если изображение имеет ту же геометрию (разрешение и вырезку), пиксельные положения могут совпадать, но в случае геометрических преобразований, как например, масштабирования, специалисту также должно быть ясно, что имеется в виду.

Хотя простые системы могут, например, использовать фиксированные, заранее оговоренные, всегда корректно функционирующие функции отображения Fi(MP_T), является предпочтительным, если более продвинутые системы могут сами оптимально определить отображения, в частности, если блок (203) автоматической градуировки выполнен с возможностью определения своего алгоритма автоматического отображения цвета в соответствии с критерием качества, который оценивает разницу в количестве информации в коррелятах-яркости пикселов во входном изображении высокого динамического диапазона (М_HDR) и количестве информации в коррелятах-яркости пикселов во втором изображении низкого динамического диапазона (GT_IDR).

Специалисту должно быть понятно, что есть разные способы определения количества информации, но все они связаны с измерением того, какое количество данных имеется в представлении (особенно значимых данных). Могут быть семантически слепые способы, которые измеряют только доступные цвета, но не то, из какой области или объекта они происходят. Например, можно измерить, как много яркостей М_HDR отображаются на один сигнал яркости GT_IDR. Если, например, большинство яркостей отображаются только как два-на-два, но в некоторой области оси яркости М_HDR 5 цифровых значений яркости HDR (или в плавающем представлении диапазон (участок) яркостей, превышающих определенный размер) отображаются на один сигнал яркости GT_IDR, это может рассматриваться как слишком большая потеря информации. Таким образом, размер участков или количество оцифрованных яркостей в М_HDR является примером возможного количества мер информации. Конечно, эти меры могут быть сделаны более интеллектуальными, например, путем наблюдения, как они ведут себя в конкретных интересных суб-областях диапазона яркости М_HDR, или даже семантического объекта, как, например, лица. Может быть предписано, что, например, каждое лицо должно быть представлено по меньшей мере 50 кодами сигналов яркости в GT_IDR, или каждая область лица, имеющего N цифровых яркостей в М_HDR (или непрерывный участок, эквивалентный этому), не должна быть представлена в GT_IDR количеством М сигналов яркости менее половины этого количества N. Это может быть точно настроено на основе нелинейной значимости для человека при условии нелинейной функции отображения. Например, можно указать, сколько всего заметных различий JND должны соответствовать определенному кодированию GT_IDR при реконструкции REC_HDR в эталонной HDR среде просмотра. И тогда можно установить, что лицо должно реконструироваться с по меньшей мере R различимых JND. Или некоторая структура в лице, как морщинка, должна изменяться от более темного значения внутри морщинки до более яркого значения вне морщинки с помощью реконструируемого этапа максимально S (например, 3) JND. Мы также вводим концепцию только учитываемых различий JCD, которые могут быть использованы для некоторых семантических объектов. Например, для лампы, может быть достаточно, что лампа является яркой, и еще что-то из внутренней структуры (например, форма колбы) является различимым, но ни точное значение лампы, ни колбы, ни относительные яркости не могут являться критическими. В этом случае обе области могут кодироваться как считающиеся точными, например, в пределах 1 JCD, что может соответствовать, например, 20 JND или определяться как разность или доля яркостей (для яркостей, попадающих в определенный поддиапазон светлых яркостей, которые должны использоваться для визуализации огней). Так информационный критерий может быть определен на основе только одно- или трехмерного разбиения на интервалы (формы и/или размера) цветовых данных в обоих изображениях, на статистических критериях, подобных гистограммах светимости или цвета, и, в частности, семантической информации, какие области могут быть более сильно деформированы (например, человек-градуировщик может быстро написать неразборчиво (нарисовать “каракули”) на областях изображения, которые должны кодироваться с высокой точностью, таких как основная область действия, которые могут быть специально освещены во время съемки, или лицо), геометрической информации, такой как, например, края или формы структур в областях объекта, и как они деформируются (например, ясная видимость или контраст) при определенных классах отображений, или текстурных характеризаторов (например, в сложных текстурах допускается большее количество артефактов), или семантической информации, как автоматическое обнаружение конкретных объектов или характеризация их человеком (посредством по меньшей мере грубой маркировки области и ас-класса как «менее критичная лампа”), и т.д. Таким образом, специалист может понять, что могут быть различные способы заранее определить систему математических функций, которые определяют, когда слишком много данных было потеряно, например, снижение качества менее-текстурной переменной освещенности на объекте и т.д. Может быть один критерий или набор критериев, которые дают в результате полный анализ изображения GT_IDR и маркируют, что некоторая его область должна быть переделана. С помощью этой информации блок градуировки изображения может определить, удовлетворяет ли отображение техническому требованию, или может определить новое отображение, например, путем небольшой подстройки старого. Например, в случае, если одна область GT_IDR по-прежнему реконструирует одну область (например, объект) М_HDR слишком грубо, то блок градуировки изображения может либо полностью переопределить, например, глобальное отображение (как правило, конечно, он может точно настроить только отображение для тех областей яркости M_HDR, которые представляют собой проблему, например, он может увеличить производную Fi(MP_T) в направлении функции отображения для проблемного поддиапазона яркости, что, как правило, соответствует сдвигу наружу - к более темным или соответственно более ярким значениям цветов других пикселов, и настройке к новому доступному диапазону для них путем мягкого изгиба этих частей функции отображения). Или блок градуировки изображения может вывести дополнительную локальную градуировку для применения во временной последовательности, например, предварительное усиление этой области и сохранение в совместно кодированном частичном (скорректированном) изображении и т.д. Обычно является предпочтительным, когда блок градуировки изображения, даже если он создает GT_IDR с предварительно подтвержденной подходящей стратегией отображения цвета, после определяет, когда GT_IDR изображение действительно удовлетворяет условию, что REC_HDR является аппроксимацией достаточного качества.

Предпочтительно, блок (203) автоматической градуировки выполнен с возможностью определения монотонной функции отображения (Fi(МР_T)) из коррелятов-яркости пикселов входного изображения высокого динамического диапазона (М_HDR) на корреляты-яркости пикселов второго изображения низкого динамического диапазона (GT_IDR) в соответствии с критерием, который определяет соответствующие диапазоны коррелятов-яркости пикселов входного изображения высокого динамического диапазона (М_HDR), распределенных соответствующим одиночным значениям коррелята-яркости пикселов второго изображения низкого динамического диапазона (GT_IDR), причем соответствующие диапазоны образуют набор диапазонов коррелята-яркости, перекрывающих полный диапазон возможных значений коррелята-яркости для входного изображения высокого динамического диапазона (М_HDR). Это простой способ, чтобы определить потерю информации, например, из-за чрезмерного квантования. Например, может быть определен предопределенный размер диапазона для отображения на одно значение в зависимости от входной яркости М_HDR вдоль оси яркости М_HDR всех возможных значений, что позволяет установить, что более яркие объекты могут быть квантованы более грубо. Может быть, что они уже аппроксимированы со значительной погрешностью по сравнению с первоначальной снятой сценой (например, не требуется визуализировать фары автомобиля точно с 100000 нит на HDR дисплее), так что можно было бы принять дополнительную погрешность в REC_HDR. Этот критерий может быть легко преобразован, например, в определение формы функции отображения, так как ни в каком месте не требуется такое сильное искривление, чтобы отобразить больший диапазон, чем допустимо, на одно квантованное значение, давая известные настройки кодера GT_IDR (например, MPEG2 значения квантования).

Выше описаны внутренние операции кодера, который может быть использован в различных устройствах, например, как промежуточная система в блоке вычисления изображения, но предпочтительно, если полученные кодированные данные передаются вовне, например, в виде сигнала, который может быть использован приемником, т.е. кодер (202) изображения содержит модуль форматирования (220) данных, выполненный с возможностью вывода в сигнал изображения (TSIG) второго изображения низкого динамического диапазона (GT_ IDR) и по меньшей мере одних или обоих из данных, описывающих отображение цвета (Fi(МР_Т)) между входным сигналом высокого динамического диапазона (М_HDR) и вторым изображением низкого динамического диапазона (GT_IDR), и данных, описывающих отображение цвета (Fi(МР_DL)) между изображением низкого динамического диапазона (Im_LDR) и вторым изображением низкого динамического диапазона (GT_IDR). В принципе, не всем приемникам будут нужны оба набора параметров, но предпочтительно, если приемник получает оба, и может, например, оптимально определить, как использовать всю доступную информацию, чтобы прийти к окончательному управляющему сигналу для конкретного дисплея и среды просмотра (например, он может смешать информацию кодированной HDR и LDR градуировки, чтобы получить новую градуировку, которую мы называем возможностью настройки дисплея). Заметим, что хотя мы описали нашу базовую систему с только двумя градуировками, в той же системе могут быть дополнительные градуировки, например, вторая HDR градуировка для ультра-яркого HDR дисплея, или третья LDR градуировка или градуировка для MDR дисплея (промежуточного пика_белого между, скажем, 100 нит и 5000 нит эталонами LDR и соответственно HDR градуировок), или градуировка для суб_LDR дисплеев, и они могут быть построены как независимо спроектированные дополнения, но и в соответствии с представленной философией изобретения можно, например, получить вторую техническую градуировку GT_IDR2, которая является HDR градуировкой, технически выведенной из М_HDR, и служит для определения ультра-HDR градуировок. Например, GT_IDR2 может быть получено путем простого математического растяжения самых ярких светлых областей, но градуировщик может корректировать это путем определения дополнительных данных отображения Fi(MP_DHH), например, для коррекции путем отображения из GT_IDR2.

Кодер изображения соответствует декодеру (401) изображения, выполненному с возможностью приема через вход (405) сигнала изображения сигнала изображения, содержащего второе изображение низкого динамического диапазона (GT_IDR), и данных, описывающих первое отображение цвета (Fi(МР_Т)), позволяющих реконструировать реконструкцию (РЕС_HDR) изображения высокого динамического диапазона (М_HDR) на основе второго изображения низкого динамического диапазона (GT_IDR), и данных, описывающих второе отображение цвета (Fi(MP_DL)), позволяющих вычислить изображение низкого динамического диапазона (Im_LDR) на основе второго изображения низкого динамического диапазона (GT_IDR), причем декодер изображения содержит блок (403) получения изображения, выполненный с возможностью получения по меньшей мере изображения низкого динамического диапазона (Im_LDR) на основе данных, описывающих второе отображение цвета (Fi(МР_DL)), и цветов пикселов, закодированных во втором изображении низкого динамического диапазона (GT_IDR). Можно видеть из этого декодера, что он может получить доступ к параметрам отображения, чтобы отображать цвет LDR изображения как “вверх”, к REC_HDR, так и «вниз», чтобы получить желательную для создателя контента LDR градуировку Im_LDR. Блок получения изображения будет иметь функциональность (например, загружаемое программного обеспечение или части аппаратных средств IC) для выполнения необходимого (например, предварительно согласованного) декодирования отображения цветов. Можно также видеть, что технически градуированное GT_IDR является технической градуировкой, так как оно будет передавать меньше настроения (даже без сравнения с оптимальным Im_LDR), так как яркости объектов находятся не в оптимальном месте вдоль оси яркости и типично будут иметь меньший контраст, несколько более яркие темные цвета и т.д. и, конечно, ограниченное количество кодов для различных областей объектов на изображении.

Предпочтительно декодер (401) изображения содержит блок (402) конфигурирования системы, выполненный с возможностью определения, является ли декодер соединенным с и/или предполагается для получения изображения для по меньшей мере одного из дисплея (411) высокого динамического диапазона и дисплея (416) низкого динамического диапазона, и блок (402) конфигурирования системы выполнен с возможностью конфигурирования блока (403) получения изображения для определения по меньшей мере реконструкции (REC_HDR) в случае соединения с дисплеем (411) высокого динамического диапазона, и выполнен с возможностью конфигурирования блока (403) получения изображения для определения по меньшей мере изображения низкого динамического диапазона (Im_LDR) в случае соединения с дисплеем (416) низкого динамического диапазона. Наша система (т.е. кодированный сигнал, и различные типы декодера) должна быть в состоянии работать с простыми декодерами, которые, например, принимают HDR, кодированный как наш вышеописанный LDR_контейнер в GT_IDR, но нуждаются из этого только в LDR для LDR дисплея. Они будут тогда игнорировать большую часть информации и только извлекать GT_IDR и FI(МР_DL) и вычислять из них Im_LDR. Более сложные декодеры будут, например, оперативно определять дисплей, с которым они соединены, например, беспроводным способом, и предоставлять различные комбинации всей принятой кодированной информации оптимальным образом для различных подключенных дисплеев (например, тот же фильм родителям в мансардном помещении кинотеатра, и ребенку в кровати, просматривающему его на своем LDR портативном устройстве).

Так, преимущественно декодер (401) изображения по любому из предыдущих пунктов имеет в качестве выхода проводное соединение (410) или беспроводное соединение (415) к любому подключаемому дисплею и модуль (407) форматирования сигнала, выполненный с возможностью передачи по меньшей мере одного или обоих из реконструкции (REC_HDR) и изображения низкого динамического диапазона (Im LDR) на любой подключенный дисплей.

Также преимущественно блок (403) получения изображения выполнен с возможностью определения дополнительного изображения на основе реконструкции (REC_HDR) и изображения низкого динамического диапазона (Im_LDR) или второго изображения низкого динамического диапазона (GT_IDR) и данных, описывающих первое отображение цвета (Fi(МР_Т)), и данных, описывающих второе отображение цвета (Fi(МР_DL)). Это позволяет определять оптимальные окончательные градуировки (например, непосредственно управляющие сигналы) для различных подключенных дисплеев (возможность настройки дисплея, например, получение через измерение дисплея значения окружающего освещения и т.д., и оптимизация на этой основе сигнала управления дисплеем).

Кодер изображения может содержаться в различных устройствах, например, его вход (405) сигнала изображения может быть соединен со считывающим блоком (409), выполненным с возможностью считывания сигнала изображения из объекта памяти (102), такого как, например, blu-ray диск.

Все варианты вышеуказанных устройств могут быть дополнительно реализованы в виде эквивалентных способов, сигналов, продуктов хранения сигналов, в различных применениях или приложениях и т.д.

Краткое описание чертежей

Эти и другие аспекты способа и устройства в соответствии с изобретением будут очевидны и объяснены со ссылкой на реализации и варианты осуществления, описанные далее, и со ссылкой на прилагаемые чертежи, которые служат лишь в качестве неограничивающих конкретных примеров, иллюстрирующих более общий принцип, и на которых пунктир используется для указания, что компонент является опциональным, непунктирные компоненты не обязательно являются существенными. Пунктир может также использоваться для указания, что элементы, которые поясняются как существенные, скрыты внутри объекта, или нематериальных вещей, таких как, например, выбор объектов/областей (и как они могут быть показаны на дисплее).

На чертежах:

Фиг. 1 схематично иллюстрирует унаследованную систему кодирования изображения или видео, как иллюстрируется камерой с перестраиваемой точкой перегиба;

Фиг. 2 схематично иллюстрирует первую возможную реализацию нашей системы кодирования изображения, в которой блок автоматической градуировки получает автоматически градуированное второе LDR изображение IDR_GT на основе априорной выполняемой человеком LDR градуировки;

Фиг. 3 схематично иллюстрирует вторую возможную реализацию нашей системы кодирования изображения, в которой автоматически градуированное второе LDR изображение IDR_GT из блока автоматической градуировки служит в качестве основы для дальнейшей градуировки, определяющей окончательную LDR градуировку Im_LDR человеком-градуировщиком;

Фиг. 4 схематично иллюстрирует возможный вариант системы декодирования изображения, в которой высокопроизводительное устройство декодирования считывает кодированные данные в соответствии с любым из наших вариантов осуществления кодирования и получает из них соответствующие сигналы для разных подключенных дисплеев;

Фиг. 5 схематично показывает вариант осуществления кодера в соответствии с принципами нашего изобретения, включенного в камеру;

Фиг. 6 схематично иллюстрирует принцип, лежащий в основе варианта нашего кодирования, показанный в качестве логического графа отношений отображения цветов между градуировками;

Фиг. 7 схематично иллюстрирует способ определения нашего начального входа, который является основной HDR градуировкой М_HDR, и показывает, как данные с камеры или системы компьютерной графики могут быть записаны в такую математическую спецификацию цвета, в частности, по диапазону его коррелята-яркости;

Фиг. 8 схематично иллюстрирует пример стратегии отображения цвета, а именно, ее части отображения яркости;

Фиг. 9 схематично иллюстрирует пример того, как определить, имеет ли какая-либо функция отображения или алгоритм подходящую точность для реконструкции REC_HDR;

Фиг. 10 схематично иллюстрирует пример того, как преобразовать неподходящую функцию в подходящую функцию;

Фиг. 11 схематично иллюстрирует некоторые примеры того, как обрабатывать отображение цвета в 3D цветовом пространстве;

Фиг. 12b схематично иллюстрирует, как градуировщик может взаимодействовать с кривой распределения кода, чтобы точно настроить ее, и на фиг. 12a схематично показано, как области кривой распределения кода могут выбираться посредством взаимодействия с объектами в просматриваемом в текущий момент изображении;

Фиг. 13 схематично иллюстрирует, как можно перейти от технической градуировки, которая в данном примере будет использоваться уже для LDR визуализации, к имеющей лучший внешний вид LDR градуировке, посредством очень простого параметрического преобразования, реализующего адаптивное к контенту растяжение контраста хорошего качества;

Фиг. 14 дает пример того, как можно обрабатывать дополнительные колориметрические ограничения в технической градуировке, которая может после приема использоваться затем при создании оптимального изображения для визуализации на конкретном дисплее;

Фиг. 15 схематично иллюстрирует полезную новую стратегию для обработки насыщенности, что особенно интересно для градуировки цветовых представлений, имеющих различную структуру яркости, таких как, например, из-за предполагаемой визуализации на дисплее с отличающимся динамическим диапазоном яркости;

Фиг. 16 схематично иллюстрирует создание и использование части устройства для такой новой обработки насыщения; и

Фиг. 17 схематично иллюстрирует только два возможных применения, когда требуются градуировки для ситуации визуализации более высокого и более низкого динамического диапазона.

Подробное описание чертежей

Фиг. 1 кратко суммирует идеи, лежащие в основе всех классических кодирований изображения и видео, которые мы называем LDR кодированием. Предположим, у нас есть профессиональная телевизионная камера (хотя подобные соображения применимы к потребительским фотокамерам), захватывающая свет с датчиком 104 изображения, например, CMOS (КМОП) датчиком. Этот свет после ADC (АЦП) будет в линейном пространстве, которое коррелирует с яркостью (в принципе, являясь яркостью, умноженной на масштабный коэффициент, при игнорировании шума, ADC нелинейностей и т.д.), и будет, например, R, G, B так называемым необработанным сигналом (или голубым, пурпурным, желтым, зеленым или аналогичным для других датчиков, но все они будут затем матрицироваться в RGB, так что мы можем сосредоточиться на этом). Принцип этого LDR захвата состоит в том, что сигнал должен хорошо выглядеть на домашнем телевизоре (который обычно является CRT примерно с 100 нит пика_белого или несколько темнее или ярче). В студии режиссер, оператор камеры или аналогичный человек будет непосредственно наблюдать выход камеры на эталонной CRT, чтобы проверить, действительно ли снимаемая программа хорошо выглядит. Съемка такой LDR программы (фактически, автоматическая экспозиция, как предварительно определено путем установки диафрагмы) определяется по принципу наличия соответственно визуализируемой яркости для среднего серого. Этим средним серым является непосредственно связанный через нелинейность человеческого зрения белый цвет в аналогично освещенных частях сцены (и предполагая (почти) линейное воспроизведение, типично до масштабного коэффициента, также на CRT), а именно, он соответствует объектам, отражающим примерно 18% падающего света. Осветитель устанавливает свое освещение сцены так, чтобы вокруг действия освещение является относительно однородным (например, коэффициент контраста 3:1), и, возможно, также подсвечивает некоторые углы сцены, чтобы избежать “черных дыр” в окончательной визуализации. Теперь имея дисплей 110 с максимально достижимым пиком_белого (это особенно верно, например, для LCD с некоторой фиксированной TL подсветкой, но и для CRT, в которых интенсивность света может быть управляемой через настройку контраста, для любой настройки еще имеется максимально достижимая яркость), это не значит, что это точно должно соответствовать белому, скажем, высоко отражающей бумаге в зоне наилучшего восприятия сцены. Из-за существующей всегда вариации в освещении, особенно для движущегося действия в видео, это было бы непрактично, и если перемещают бумагу в зону несколько более высокой освещенности, может быстро произойти нежелательное ограничение. Таким образом, нужна некоторая мера предосторожности на яркой стороне, хотя для типичных LDR сцен и программ эта потребность не будет слишком большой. На темной стороне сигналу просто позволяют исчезнуть в шуме камеры. Таким образом, на яркой стороне белый цвет будут визуализировать в положении W ниже пика_белого PW. Предпочтительно не на слишком много, так что он по-прежнему выглядит белым, а не светло-серым (имеется некоторая свобода в этом для физических изображений, состоящих из объекта). Также средний серый МG и цвета лиц людей, встречающихся вокруг этого, тогда будут достаточно видимыми, так как они будут приемлемо яркими при визуализации. Минимальным требованием любой съемки или градуировки является то, что мы можем хорошо видеть действие актеров в их лицах (и глазах, которые могут быть несколько затененными из-за их расположения во впадинах), и, более конкретно, цвета лиц всех тех красивых актеров будет выглядеть привлекательно (а не слишком мутно или бледно). Остальная часть (например, более темных) цветов тогда становится приемлемой вдоль кривой автоматически. Обычно используют кривую, которая примерно соответствует квадратному корню, исторически из-за поведения CRT (электронной пушки, нелинейно модулированной подсветкой лицевой панели, и т.д.), и до сих пор используют эту весьма полезную кривую, потому что приходится моделировать характеристику яркости человеческого зрения (т.е. значения сигнала яркости являются приближенно яркостями, причем первое является математически кодированным значением, например, в Rec. 709 пространстве, а второе - психо-визуальным внешним видом для человека). Теперь телевизор может выполнить несколько простых преобразований на этой кривой, например, он может повысить все значения на мультипликативный коэффициент. Такие операции, например, для противодействия изменению среды просмотра, оказывают влияние на психо-визуальные свойства внешнего вида изображения, такие как контрастность изображения, и контрасты его объектов. Камера может делать подобные операции. Теперь вопрос в том, где расположить яркости, такие как MG, оптимально, и как сделать это простым способом. В простой системе, кодер 101 в камере может преобразовать все значения между максимальной яркостью (Max_Luminance) исходного сигнала и тем, что лежит ниже, искривляя их с помощью функции квадратного корня, определенной из Max_Luminance. Затем все возможные захваченные камерой значения из сцены будут кодироваться в изображение Im_LDR (здесь показано на носителе 102, содержащем кодированное изображение, таком как Blu-ray диск, но оно также может быть сигналом, передаваемым по кабелю или беспроводным способом), полученное таким образом (как правило, квантуют значения до, например, 8 бит, и могут выполнять другие операции, такие как операции кодирования изображения, подобные аппроксимации разложениями посредством дискретного косинусного преобразования DCT). Путем возведения в квадрат значений кодированных сигналов яркости, декодер 103 может извлекать с помощью дисплея исходные яркости снятой сцены вновь как визуализированные дисплеем яркости. В настоящее время в этой жестко управляемой системе, есть степень свободы для учета минимальных изменений в типичной LDR сцене. При использовании этого распределения типа квадратного корня вслепую может произойти (если определяют максимум в сцене по сильно освещенным объектам путем определения экспозиции для тех объектов, чтобы получить их хорошо захваченными), что средний серый и цвета лица становятся слишком темными на такой кривой. Если есть много ярких объектов, которые должны быть достаточно хорошо захвачены, хотелось бы иметь определяющую код кривую, которая идет вниз несколько медленнее, начиная с самого яркого RAW кода. Это может быть сделано путем предоставления оператору камеры управляемой точки перегиба. Он может, например, выбрать с помощью перегиба входной уровень яркости, соответствующий его белому зоны наилучшего восприятия действия, и установить его, например, на 90% от кода максимального сигнала яркости (соответственно пику_белого на дисплее). Он имеет тогда 10% кодов, оставшихся для кодирования всех значений выше этого, и он может настроить крутизну части кривой выше перегиба, чтобы включить, например, яркости до максимально 600% от яркости белого зоны наилучшего восприятия. Таким образом, он может настроить свою кривую в соответствии с более ясным или контрастным освещением LDR сцены. Если это сцена низкого контраста, он может установить свою точку перегиба вблизи максимального сигнала яркости, и вряд ли кодировать любые яркости выше белого зоны лучшего восприятия, а если он хочет иметь много информации высокой яркости, например, в ток-шоу, где обсуждаются блестящие металлические предметы из серебра, он может включать некоторые яркие блестящие световые эффекты в кодированный сигнал яркости. Эта простая система таким образом автоматически адаптируется к наилучшей градуировке конкретной LDR сцены на стороне дисплея, т.е. она создает некоторое дополнительное пространство для световых эффектов предметов из серебра путем затемнения темных цветов в некоторой степени и усиливает некоторые видимые структуры в более яркие объекты (главным образом деформированные по сравнению с исходными яркостями сцены для этих ярких объектов, и часто в пастельных тонах из-за формы гаммы RGB систем, но существующие в какой-то степени, тем не менее). Однако такая LDR система быстро ограничивает более высокие яркости, и не подходит для кодирования, например, внешнего мира, видимого через студийные окна, каковой внешний мир не вызывает никакого интереса. Иногда это приводит к странным ситуациям, когда работающий в полевых условиях оператор решает сфотографировать человека в конце его гостиной, где относительно темно. Тогда половина захваченного изображения, показывающего более светлые части комнаты, будут ограничены до белого при хорошей экспозиции для лица. В то время как это может еще быть незначительным неудобством на LDR экране, где белые цвета просто показаны как некоторые «окрашенные белым объекты», а не действительно светящиеся области, это приводит к довольно странной ситуации на 5000 нит дисплее, где половина картинки светится чрезвычайно ярко.

Таким образом, LDR система, ее философия, а также возможности, обусловленные ее технической конструкцией, не подходят для HDR съемки, где в то же самое время хотят снять первую освещенную часть сцены, и вторую гораздо (например, в 100 раз) более ярко освещенную часть сцены, и, возможно, даже одновременно очень темную часть, и т.д.

С помощью фиг. 2 мы теперь поясним некоторые из принципов, лежащие в основе вариантов нашего изобретения, а именно, конкретный вариант осуществления кодера 202 изображения, включенного в систему градуировки. Показан наш блок 203 автоматической градуировки, как часть системы градуировки. Такая система может быть, например, компьютером, исполняющим программное обеспечение, но также может быть менее сложной системой, в которой человек, например, только иногда изменяет некоторые настройки отображения цвета из удаленного местоположения. Человек-градуировщик может установить свои желательные отображения цвета с помощью системы 230 пользовательского интерфейса, которая может, например, содержать специальную консоль градуировки с трекболами т.д. В сочетании с программным обеспечением, он может увеличить, например, насыщенность цвета выбранной области изображения или перетащить отмеченную точку на кривой отображения тонов (например, красный компонент на входе в сравнении с результирующим красным компонентом на выходе из всех пикселов) вверх. Мы сосредоточим наше описание на том, что происходит на обычно уже оптимально предварительно градуированном основном HDR изображении (например, принятом через вход 240, подключаемый, например, к серверу данных или Интернет-соединению и т.д.), хотя оно может поступать также прямо из камеры, которая может, например, внутри выполнять некоторую градуировку. С помощью фиг. 7 мы опишем примерную систему, как можно определить такие основные HDR градуировки или изображения. Любая съемка камерой или градуировка фактически является просто представлением сцены окружающей среды, которое должно стимулировать человека, чтобы получить приемлемое впечатление об этой сцене окружающей среды, так что оно не обязательно должно быть именно точным представлением. На самом деле, всегда нужно пересечь трудный барьер от опирающейся на сцену съемки, в которой камера просто выступает в качестве линейного измерительного устройства, на опирающуюся на дисплей съемку, в которой дисплей должен копировать человеку исходную сцену в весьма отличающейся настройке (хотя некоторое из этих сложностей не требуется обрабатывать в основном кодировании, но может быть отложено до дисплейных преобразований). Можно обсуждать, должно ли основное кодирование иметь возможность точно кодировать, например, солнце, где дисплей никогда не будет точно визуализировать солнце (которое даже тогда, когда это было бы возможно и целесообразно с точки зрения потребления мощности, было бы очень раздражающим для зрителя на малых экранах). Так почему бы не назначать ему, например, фиксированный код высокой яркости (например, псевдо-солнце в 20000 нит вместо 1 миллиарда нит). Кроме того, проблема с опирающимися на сцену системами, которые способны кодировать все виды значений, которые нелегко сделать видимыми, состоит в том, что непросто работать с этими цветовыми пространствами. Например, если градуировщик должен был регулировать насыщенности некоторых насыщенных цветов, которые он не может воспринимать на своем дисплее с текущей градуировкой, он мог бы сделать уродливые цвета для случая, когда изображение показывается на лучшем дисплее, который может показывать эти цвета. Возможно, это является поправимой позже операцией, но можно было бы спросить, почему это делают сначала, по меньшей мере на этих цветах. В варианте осуществления HDR кодирования по фиг. 7, мы даем большое значение большому диапазону яркостей, которые могут быть с достаточной точностью кодированы (/градуированы) в диапазоне яркостей HDR эталонного дисплея высокого качества, например, с пиком_белого 10000 нит (соответствует значению яркости MAX_REF в полном HDR представлении HDR_FREP). Идея заключается в том, что можно было бы иметь по меньшей мере наиболее интересующие цвета, охарактеризованные в такой спецификации высокого динамического диапазона, и градуировщик может действительно видеть их и оптимально располагать яркости различных объектов сцены по сравнению друг с другом (например, затемнить облака). Этот диапазон, например, от 0,01 нит (который мы можем просто назвать 0) до 10000 нит отображаемых цветов будет нашим М_HDR* основной градуировки, так как мы можем оптимально градуировать его. Идея заключается в том, что любой дисплей меньшего динамического диапазона может получить свои подлежащие визуализации цвета, начиная от спецификации цветов в пределах М_HDR* (как правило, мы будем извлекать из полного HDR представления изображения HDR_FREP, этот диапазон в качестве входного M_HDR для нашей системы, например, по фиг. 2). Эта спецификация будет, вероятно, также достаточно хорошо работать для дисплеев с более высоким динамическим диапазоном. Например, градуировщик может приближенно градуировать некоторые яркие огни сцены, так что они будут по меньшей мере показываться ярко на любой визуализации на дисплее. Он может кодировать в М_HDR* эталонной градуировки для HDR эталонного дисплея самый яркий свет при, скажем, 99% (линейно) от MAX_REF, и он может кодировать другой яркий свет, чтобы быть еще ярким, но контрастно менее ярким при, скажем, 80% от MAX_REF. Фактический 20000 нит дисплей может использовать простое масштабирование на кодах для этих огней, например, усиливая оба с коэффициентом 2, что просто соответствует подобной (процентной) привязке их к своему более высокому пику_ белого. В этом случае оба огня могут быть несколько более яркими - как они могли бы быть в первоначальной сцене - но в значительной степени вид этой HDR визуализации все еще сходен с эталонным видом на 10000 нит эталонном мониторе градуировщика. На самом деле, если желательно более точно кодировать значения выше, чем то, что примерно может быть кодировано в М_HDR* (например, соответствующее затемнение света, так что он попадает в диапазон, все еще с подобным видом, то есть точная яркость сцены того света нерелевантна), можно сделать так в определении цветового пространства по фиг. 7, независимо от желания использовать эти значения позже для дисплея более высокого динамического диапазона, чтобы более точно визуализировать эти яркие цвета, чем с растяжением значений, кодированных в М_HDR*. Таким образом, можно еще добавить некоторые действительно яркие (или действительно темные) цвета вне диапазона М_HDR*, что, как правило, дало бы очень хорошую визуализацию HDR сцены, и можно, как правило, сильно сжимать эти цвета, то есть представлять их только несколькими значениями, с кодами в HDR_FREP, в высокой степени нелинейно связанными с фактическими яркостями сцены. Например, при просмотре сцены с очень высокой контрастностью, как, например, сцена сварки в ночное время, долгое время может не иметься ничего выше диапазона М_HDR*, кодирующего полезные объекты, а затем имеются яркости дуги. Мы можем представить их с сильно постеризованной формой дуги (т.е. несколькими кодами) и поместить их прямо над MAX_REF. Это уже будет одним способом иметь приемлемые представления этой дуги (уже гамма, отображенная на цвета, которые близки к тем, которые типично являются визуализируемыми на HDR дисплее), но если желательно, можно также перенести в метаданные функцию, как сместить их к яркостям, более близким к фактическим яркостям в сцене (например, постоянную сдвига яркости). Мы показываем диапазон захватываемых яркостей CAM_1 HDR камеры, которая может выполнить эту съемку, и одна его часть кодируется в М_HDR*, например, непосредственно путем (возможно с линейным множителем контраста) распределения относительных значений яркости к значениям яркости в М_HDR*, или можно использовать некоторую функцию отображения, выполняющую автоматически первый вид градуировки (например, сдвигая более яркие или более темные яркости несколько ближе друг к другу). Самые светлые яркости, захваченные камерой, затем сохраняются в диапазоне переполнения RW_STR_HI вплоть до максимума MAX_REP цветового кодирования. Мы показали пример, где мы кодируем определенный уровень темных цветов в код 0 и можем при некотором отображении сохранять даже более темные яркости в отрицательных значениях вплоть до MIN_REP. Мы также показываем, как, например, люди могут встроить спецэффекты в цветовое кодирование HDR компьютерной графики CG, такие как яркие взрывы.

Возвращаясь к фиг. 2, человек-градуировщик использует блок 201 градуировки изображения, который выполнен с возможностью осуществления каких-либо из набора цветовых преобразований. Это может быть ограниченный набор функций цветового преобразования, следующих математическим критериям, как, например, обратимости (обратимостью мы обычно обозначаем то, что в достаточно точном кодировании цвета, как с числами с плавающей точкой, можно реверсировать функцию, чтобы повторно получить входное изображение из его выходного изображения после применения преобразования; под цветом мы подразумеваем по меньшей мере коррелят-яркости пиксела, области или спецификацию цвета объекта), или, предпочтительно, это широкий набор функций, которые позволяют градуировщику градуировать изображение любым способом, как ему нравится. Примерами типичных функций являются те, которые поддерживаются, например, в Da Vinci Resolve или Adobe Photoshop. Внутренне на данном этапе мы можем предположить, что вся обработка еще происходит в [0.0, 1.0] плавающем кодировании коэффициентов цвета, с точным определением, включая квантование, происходящее на более позднем этапе в блоке 201 градуировки изображений. Однако выходное LDR изображение Im_LDR обычно уже будет закодировано в соответствии со стандартом кодирования изображения или видео, например, для несжатых сигналов оно может быть квантовано в YCrCb цветовом пространстве, или оно может быть вейвлет-сжатым и т.д. Фактическое форматирование этого изображения, например, нарезка в блоки данных, с вставкой заголовков и других метаданных, как правило, будет обрабатываться модулем 220 форматирования, который выводит сигнал изображения TSIG, например, в память для изображений 102. Этот сигнал может быть сохранен на этой памяти в соответствии с, например, спецификациями blu-ray диска или в соответствии с некоторым определением для хранения на флэш-карте или жестком диске и т.д. Специалисту будет понятно, что подобным образом сигнал изображения TSIG может быть послан по некоторому соединению данных, например по беспроводному каналу на домашний сервер с постоянной или временной памятью для хранения TSIG или изображения (ий).

На фиг.8 мы приводим пример того, как градуировщик может выполнять градуировку, начиная с входного изображения, чтобы создать выходное изображение. Мы сосредоточимся на отношении яркостей поддиапазонов, а потом приведем несколько примеров, как обрабатывать хроматические компоненты цветов пикселов. Предположим, что пикселы входного (In) HDR изображения кодированы их яркостями L_HDR, а выходные значения в LDR являются кодировками, поэтому мы назовем сигналами яркости Y_LDR. Хотя наши методы ни в коем случае не ограничивается конкретными битовыми глубинами, предположим диапазон сигналов яркости [0,255]. Теперь градуировщик будет изучать конкретное входное изображение, чтобы обрабатывать (для видео это будет ключевым изображением в кадре изображений, отображаемых по цвету аналогично) и разрабатывать оптимальное отображение цвета в примере многосегментного отображения в соответствии с его предпочтением. Предположим, у нас есть покрытая часть (например, в тени деревьев, где находится главное действующее лицо) ниже HDR яркости Lt_1, и несколько домов на заднем фоне, которые ярче. Поэтому их яркости HDR пикселов будут выше Lt_1, но не обязательно, что самый темный объект попадает непосредственно над Lt_1. Кроме того, может иметься очень яркая лампа с яркостями выше Lt_3. Теперь эта сцена отличается от вышеприведенной классической LDR сцены. У нас есть две интересных сцены, тень вокруг актера (в которой мы хотим сделать актера хорошо видимым, но явно темнее, чем большая часть сцены) и залитые солнцем дома в окружающем фоне. Градуировщик может, например, выбрать область между Lt_11 и Lt_12, которая содержит цвета лица достаточно яркие и контрастные, чтобы лицо было отчетливо видно. Он может сделать это за счет темных цветов, которые должны кодироваться с несколькими кодовыми значениями Y_LDR, и ниже Lt_13 они будут ограничиваться до Y_LDR = 0. Он также будет кодировать/градуировать с меньшим контрастом/ точностью яркости между Lt_12 и Lt_1 путем снижения крутизны этого сегмента. Это создает пространство в диапазоне Y_LDR для залитых солнцем домов, в которое он вписывает кривую, определенную путем перетаскивания точки управления CP. Цвета лампы после прерывности яркости не появляющихся цветов могут кодироваться непосредственно выше сигнала яркости Y_H конца домов или начиная на несколько кодов (например, 10) выше.

Теперь в нашей философии LDR-контейнера эта кривая отображения цвета может функционировать как кривая оптимизации представления цвета для вывода картинки, то есть, например, типично LDR градуировка, полученная из HDR градуировки, а также как кривая определения кода. Аналогично кривым гаммы 0,45, например, MPEG, которые определяют кодирование сигнала яркости для каждой входной или визуализированной яркости, наша оптимальная кривая определяет распределение конкретных значений кода для различных яркостей во входном HDR изображении. Но, следовательно, одновременно различные объекты изображения или их поддиапазоны яркости также уже правильно расположены вдоль оси сигнала яркости для прямого (или, возможно, с небольшим преобразованием, которое может включать предкоррекцию физической характеристики дисплея, подобную EOTF обработке, или незначительную настройку к конкретной, например затемненной, среде просмотра посредством простого дисплейного преобразования) управления LDR дисплеем.

Таким образом, мы изменили или обобщили несколько фундаментальных истин технологии LDR кодирования. В частности, задавая вопрос о том, что является белым в HDR (белая бумага в зоне наилучшего восприятия в освещенном помещении, где происходит действие, или белая краска залитых солнцем домов снаружи; причем человеческое зрение способно весьма приемлемо обрабатывать все это семантически), мы отказались от того, чтобы зрение связывало все с конкретным белым или его коррелятом, подобным среднему серому сцены/изображения. В качестве альтернативы этому, мы предлагаем цветовые режимы, которые могут функционировать сами по себе, независимо от яркости отношений с конкретными цветами, подобно некоторому белому. Например, может быть режим для залитых солнцем домов или лампы, который может иметь свою собственную обработку, который теперь без необходимости точной привязки может быть семантически-реляционным, а не точным численным. Мы уже дали пример яркой внешней среды или очень яркого огня. Вместо использования фиксированного отношения яркости, делающего (например, среднюю или самую низкую) яркость снаружи, например, в 5 раз ярче, мы можем сделать ее просто на «достаточную величину ярче». Достаточная величина может быть определена, в конечном счете, на стороне дисплея. Например, очень яркий HDR дисплей с 15000 нит может сделать внешнюю среду 20-кратно ярче, но ограниченный, возможно, потребует вместить все цвета залитых солнцем домов в верхний диапазон, который только в среднем в 1.5 раза ярче, чем цвета в помещении, просто давая первоначальную имитацию того факта, что снаружи солнечно. Точно так же, темная область может визуализироваться не так точно с яркостями Lx, Ly и т.д., но как «практически различимая». Интеллектуальные системы HDR декодирования и оптимизации могут принимать во внимание специфику дисплея и окружающей среды и могут дополнительно оптимизировать, начиная с определенного состояния градуировки, окончательные сигналы управления.

Так, во-вторых, это означает, что мы отказываемся от концепции единого фиксированного кода, определяющего кривую, подобно основной общей гамме 0.45, которая, будучи близка к человеческому зрению, считается подходящей по меньшей мере во всем LDR диапазоне яркостей. Независимо от того, используем ли мы любую градуировку цвета как строгую (т.е. дисплей должен пытаться визуализировать это как можно ближе, как это выглядело бы, например, на эталонном мониторе LDR, т.е. с минимальной собственной настройкой) или как либеральную (где градация является просто относительным руководством, устанавливая примерно, как можно деформировать цвета, чтобы сохранять некоторое из художественного замысла, например, в более ограниченном физическом диапазоне яркостей), мы позволим градуировщику создать в некоторых вариантах осуществления даже произвольные функции определения кода, которые могут быть даже прерывистыми функциями.

И в-третьих, мы утверждаем, что больше не должно быть единое градуированное изображения, а, скорее, градуировки должны быть оптимизированы для каждой ситуации визуализации. И человеческое зрение является сложным, особенно, чем больше системы визуализации различаются по своим свойствам, тем менее корректно это может быть сделано с (особенно простыми) автоматическими отображениями цветов и тем больше различных градуировок должно быть оптимально сделано посредством градуировок, выполняемых человеком. Но на практике мы видим, что для многих сценариев, при условии необходимых инвестиций, будет достаточно иметь только две градуировки (классическую для LDR и HDR градуировку для HDR систем), а где необходима более точная настройка, системы могут затем ближе аппроксимировать хорошие градуировки посредством их технической интерполяции или экстраполяции на основе этих двух градуировок из содержащейся в них художественной информации.

Остановка после градуировки Im_LDR и запись этого изображения LDR контейнера в память изображения вместе с функцией предсказания для обратимой реконструкции из него аппроксимации основного HDR HDR_М (возможно, для некоторых систем градуировщик, использующий строго обратимые отображения цвета, не является необходимым, так как для систем меньшего качества может быть достаточно реконструировать REC_HDR со значительными отклонениями от M_HDR, пока HDR эффекты, полученные из IM_LDR данных, все еще производят приемлемо подобный HDR вид, и в этом случае можно совместно кодировать такие функции отображения цвета HDR реконструкции, которые имеют инверсию, которые тогда являются аппроксимациями действительных отображений цвета, используемых человеком-градуировщиком) были бы приемлемыми для систем, например, с 12 или 14 (нелинейных) битов, определяющих Im_LDR кодирование (в зависимости от требований различных приложений). При переходе к более жестким спецификациям, как, например, 8 или 10 бит (о которых большинство людей сказали бы, что ими трудно кодировать HDR изображения, но так как люди различают только несколько из миллионов цветов, и в зависимости от приложения, такого как быстро движущееся видео со значительным шумом, количество необходимых цветов может быть даже меньше, так что если нужно было бы кодировать необходимые наиболее важные цвета в 8 бит корректным образом, это было бы возможно), может быть полезно выполнить дополнительные этапы согласно нашему изобретению, чтобы гарантировать улучшенное качество как для LDR, так и HDR градуировки, при этом обеспечивая градуировщику максимальную гибкость в том, как эти градуировки должны выглядеть (т.е. в какие поддиапазоны (коррелятов-) яркости должны были бы попасть все объекты).

Предположим теперь, в продолжение нашего примера по фиг. 2, что градуировщик градуирует очень либерально с произвольной функцией отображения яркости, и LDR значения яркости квантованы в только 8 бит. Крутизна кривой отображения между Lt12 и Lt_1 может быть настолько низкой, что имеется слишком мало кодов, чтобы верно представлять эти цвета, например, растительность в тени. В LDR визуализации это может не вызывать такие возражения (на самом деле это не так, или градуировщик не задал бы кривую таким образом), однако, после реконструкции HDR яркостей для этих объектов, постеризация может дать нежелательно низкое качество текстуры для тех объектов в такой визуализации высокого качества.

Таким образом, блок 203 автоматической градуировки будет анализировать LDR градуировку Im_LDR человека-градуировщика, а также выявлять и решать такие вопросы. Есть несколько способов, как блок 203 может делать это. При этом можно, например, просто смотреть на сами изображения и сравнивать их пространственные области. Например, он может смотреть на область в Im_LDR (например, темное лицо) и подсчитывать число кодов сигнала яркости, представляющих его. Внутренние правила блока могут устанавливать, что любая область или особенно область лица не должна быть представлена менее чем МВ (например, 10) различными значениями кода (или, в общем, количеством цветов, как правило, на основе числа ее сигналов яркости, но подобные ограничения могут быть подсчитаны, например, по числу представимых различных насыщений). Или блок 203 может сравнивать количество кодов в области в Im_LDR с количеством различных кодов (обычно яркостей, но М_HDR могло бы кодироваться также с другими коррелятами-яркости) в HDR изображении. Если есть много различных значений в М_HDR, то также должно быть разумное количество сигналов яркости в Im_LDR для этой области. Например, правило может быть таким, что доля сигналов яркости Im_LDR по отношению к HDR яркостям должна быть не меньше, чем 1/5-ая или 1/10-ая и т.д. Аналогично можно определить отношения на основе диапазонов в пространстве яркости с плавающей точкой для M_HDR. Более сложный анализ изображения может быть сделан, например, изучением геометрических форм и оцениванием, насколько отклоняются такие формы при представлении их меньшим количеством цветов. Например, детектор может определить большие блоки в формах. Это является обобщением сегментирующего детектора, который проверяет, имеются ли серии из ряда пикселов, имеющих то же самое постеризованное значение в Im_LDR или фактически REC_HDR, где они не существуют, и являются фактически плавными функциональными переходами в М_HDR. Дополнительная информация может быть получена из оценщиков текстуры, которые могут определять, например, локальную сложность областей изображения и т.д. Даже если определение автоматической градуировки GT_IDR не будет основано исключительно на анализе любых из самих получаемых изображений (градуировок), полезно, если блок 203 автоматической градуировки содержит блок 213 анализа изображения, способный выполнять любой из вышеперечисленных анализов, так как результирующие данные полезны даже при задании шаблонной кривой, в системе, которая работает на кривых отображения цвета градуировок.

К тому же имеется блок 211 определения кривой, и мы поясним некоторые из возможных вариантов его осуществления со ссылкой на фиг. 9 и 10. В любом случае, выполняется ли определение автоматической градуировки на основе анализа изображений, алгоритмов отображения, подобных функциям отображения яркости, или обоих или любого другого анализа или предписания, типично блок 211 анализа кривой будет иметь блок, определяющий и выводящий окончательный алгоритм отображения цвета или функцию Fi(MP_T) (и, возможно, также блок, выполняющий один или более из нескольких алгоритмов кривой отображения цвета или анализ алгоритма, при этом алгоритм может анализироваться сам по себе, или как он ведет себя по цветам, когда представляются кривой (кривыми)). Это автоматическое отображение заключается в том, как можно получить GT_IDR из M_HDR, таким образом, блок 215 отображения цвета будет выводить GT_IDR путем применения отображения Fi(MP_T) к М_HDR. Конечно, нужно учитывать в этой новой формулировке, какой была выполненная человеком градуировка Im_LDR, так что теперь все будет привязываться к GT_DR. Так блок 217 отображения LDR будет анализировать, как Im_LDR может быть получено из GT_IDR, и выводить оттуда параметры. Если яркость пиксела отображается из L_HDR = 2000 на Y_Im_LDR=180 и на Y_GT_IDR=200, то можно получить отображение между последними. В такой функциональной форме, значения Y_Im_LDR по диапазону могут быть получены путем применения по каждому сигналу яркости функции, которая умножает Y_GT_IDR на (Y_Im_LDR/Y_GT_IDR). Аналогичные стратегии могут быть получены для других отображений.

С помощью фиг. 9 поясним вычислительно простой способ переопределения выполненной человеком градуировки в техническую градуировку путем изучения кривой градуировки человека-градуировщика (как исключительно, так и с поддержкой посредством анализа изображения или потенциально даже при взаимодействии с человеком-градуировщиком). Мы будем рассматривать пример деформации кривой, но специалист может понять, что подобный анализ может быть использован для выбора одной из набора хорошо функционирующих кривых (одной или более CRV_i кривых на фиг. 2). Если градуировщику желательно плавное, менее контрастное поведение в средней области, и растянутое поведение в наружных областях (например, на HDR преобладающие области, где происходит основное действие, возможно, потребуются шелковисто гладкими, но лампы на заднем фоне могут визуализироваться более грубо, даже полосатость может не быть заметной или по меньшей мере важной по меньшей мере в некоторых ситуациях), можно выбрать (основываясь, например, на вычислении функционального соотношения) одну из набора заранее согласованных кривых, которая соответствует наилучшим образом такому поведению, но не имеет слишком высокого квантования для средней части. Такой выбор может руководствоваться дополнительным анализом изображений, подобно определению, какому классу принадлежит изображение (солнечно на открытом воздухе или ночной пейзаж с некоторыми яркими огнями), глядя на распределение гистограммы и ее параметры (например, расположение и размеры оцениваемых долей и т.д., либо (полу-) автоматически, либо по опыту человека-градуировщика цвета). Т.е. может быть несколько предопределенных кривых 901, которые дают приемлемое поведение, по меньшей мере с точки зрения точности. Действительное изображение должно быть согласовано вокруг такого поведения, принимая во внимание пожелания градуировщика относительно внешнего вида градуировки. Конечно, то, является ли текущее квантования хорошим, по сравнению с теоретически оптимальной или приемлемо рабочей ситуацией, также зависит от того, сколько пикселов определенного цвета имеется в конкретном изображении. Например, если темная часть является лишь маленьким участком вида через сетку в канализационный сток, например, 50х50 пикселей в нижнем правом углу изображения, то некоторое квантование может быть вполне допустимо для градуировщика, по меньшей мере, для этого изображения, кадра или сцены. Т.е. различные кривые могут функционировать как окончательный выбор для технической градуировки (в случае, если имеется одна или несколько основных направляющих кривых - например, в зависимости от точки белого целевого дисплея, подобно тому, предназначается ли изображение главным образом для дисплеев с 1000 нит или 10000 нит, или других характеристик среды визуализации или свойств изображения, - определяющих точность квантования по яркости или диапазону сигналов яркости), или они могут функционировать в качестве отправной точки, из которой кривая технической градуировки может точно настраиваться, пока для нее не будет достигнуто максимальное растяжение ее деформаций кодовой точности для более критичных градуировок изображения (как правило, подлежащего реконструкции HDR), и на этой основе мы можем кодировать дальнейшие требования к внешнему виду градуировки (как правило, LDR) просто путем преобразования функций, которые должны применяться к этой технической градуировке GT_IDR.

Но теперь мы опишем примерный алгоритм деформации кривой. Вычислим конкретный вариант осуществления количества информации, которое представляет собой количество используемых кодов NC в поддиапазоне яркости (и можно оцифровывать непрерывный диапазон в М_HDR также посредством типично равномерного распределения некоторых целочисленных кодов вдоль этого диапазона). Мы будем просматривать конкретный исследуемый тест-диапазон (между L3 и L4), но, хотя некоторые варианты осуществления могут исследовать только некоторые диапазоны, такие как темные диапазоны, является предпочтительным, если все диапазоны М_HDR яркости тестируются таким образом. Аналогично, можно сформулировать, отображается ли некоторый диапазон M_HDR на, скажем, 5 Y_LDR кодов, или отображается ли его поддиапазон на одно значение Y_LDR.

Способ начинается с эталонной функции кодирования 901 (REF_CODF на фиг. 2), которая определяет, сколько кодов необходимо для каждого диапазона, чтобы быть хорошо перестраиваемой в REC HDR. Специалисту в данной области должно быть понятно, от чего это зависит и может быть вычислено из технических параметров, таких как динамический диапазон эталонного дисплея, относящегося к М_HDR, предполагаемой специфики градуировки Im_LDR и т.д. Такие одна или несколько эталонных функций кодирования, хотя они могли бы оперативно вычисляться в любом кодере (и могут тогда опционально выводиться в сигнале TSIG как метаданные), как правило, могут быть предварительно вычислены в проектной лаборатории, например, производителем программного обеспечения градуировки и, следовательно, согласованным образом сохраняться в памяти по меньшей мере кодера (в принципе, декодеру не нужна эта информация, но он может также иметь ее, например, в случае, когда функции, такие как Fi(MP_T), определяются как соотношения с такой эталонной функцией, но, как правило, для простоты это не будет иметь места). Кодер может, если он имеет несколько вариантов, выбрать один, в зависимости от того, как окончательные Im_LDR и REC_HDR должны быть визуализированы, и это может происходить при некоторых программных выборах человека-градуировщика. Функция 901 определяет, сколько кодов необходимы для каждого интервала яркостей. Например, в данном примере было решено, что только три кода 8-битного Y_LDR_min (минимальное количество необходимых кодов, при условии допустимой погрешности реконструкции или представления), т.е. фактически Im_LDR, будут использоваться для всех HDR яркостей темнее, чем LI. Таким образом, эти темные области будут грубо квантованы, но они будут иметь определенную структуру, тем не менее. Если повышают яркость этих областей, то может произойти резкая постеризация локальных объектов изображения (или в HDR реконструированной визуализации, или модифицированной LDR визуализации через осветляющее дисплейное преобразование), но это может быть окончательным решением, чтобы иметь возможность кодировать достаточно HDR изображений в этом 8-битном коде (если набор кодируемых изображений содержит критические высоко- контрастные много-режимные изображения, необходимо, как правило, по меньшей мере, пожертвовать некоторым качеством). Однако часто темные области будут визуализированы настолько темными, что невозможно увидеть слишком много деталей в отражениях среды просмотра на лицевой панели дисплея в любом случае. Для того чтобы иметь возможность приемлемо верно (учитывая чувствительный человеческий глаз, когда реконструированное REC_HDR показывается в темной среде просмотра) визуализировать темные цвета в интервале до L2, кривая предписывает, что С2-3 коды сигнала яркости требуются как минимум (разумеется, можно использовать больше кодов). Определение такой кривой означает, что можно кодировать HDR изображения до максимального LDR сигнала яркости Cmax, равного, например, 255 (если LDR контейнер имеет 8 бит, доступных для его сигнала яркости; n.b. это может просто просматриваться как ромб гаммы до того, как 1.0 фиксируется, и квантоваться с эквидистантными бинами, но распределение пикселов изображения варьируется в зависимости от примененных преобразований, HDR изображения, например, зачастую имеют большой процент пикселов ниже 0.1), что соответствует, если этот 8-битовый контейнер действительно кодирует HDR изображение, максимальной яркости L_HDR, например, 10000 нит, в зависимости от кривой. Заметим, что кривая может быть настроена, чтобы принимать во внимание относительно масштабированный характер визуализируемых яркостей, и в этом описании мы подразумеваем, что можно представить яркости HDR эталонного дисплея, например, между L1/10 (как приемлемый черный цвет, еще квантуемый в 0 сигнал яркости) и 10000 нит, но можно, конечно, всегда адаптировать путем масштабирования так, что представляются некоторые другие яркости. Для простоты можно смело предположить, что как L_HDR, так и Y_HDR имеют оси между 0.0 и 1.0, а затем квантуются с некоторой точностью.

Специалисту будет понятно, что эта эталонная функция 901 кодирования может быть задана несколькими факторами. Например, когда человек-градуировщик рисует “каракули” области (например, М_HDR) изображения, которая может быть, например, областью лица, блок 213 анализа изображения на этой основе может определить диапазон HDR яркостей, в который попадают цвета этого лица. Тогда можно переопределить эту кривую так, чтобы больше сигналов яркости потребовалось для ее представления. Можно узнать, например, если градуировщик нажимает кнопку индикации «лицо», сколько кодов (т.е. бинов квантования) типично потребуется для любой ситуации (то есть, например, лицо не хорошо освещено в соответствии с 36% спецификацией, а, например, попадание в область более темной тени сцены делает его среднюю яркость, например, 10%, и LDR контейнер соответствует, например, 10 битам, и требуемая HDR визуализация оптимальна для, например, 4000-5000 нит). Это привело бы к предписанию количества бинов (как правило, по оси HDR, но также могло бы быть по оси Y_LDR) вокруг точки среднего текущего цвета лица. Это может быть автоматическим (например, удвоение или модификации количества JND для HDR эталонной визуализации, охватываемой этим диапазоном), или градуировщик может непосредственно влиять или задавать форму функции 901 в этой области. Кривая может быть определена или переопределена (при необходимости) по многим свойствам, как, например, измерения HDR_изображения. Теперь, глядя на действительную кривую 902 отображения яркости градуировки, формирующей Im_LDR (т.е. градуировщик теперь не принимает во внимание ничего относительно квантования и потери данных и т.п., но только определяет с художественной точки зрения, где он хочет, чтобы цвета его объектов находились в нормализованной гамме для этого изображения, чтобы реализовать, например, мечтательный взгляд с возможно высокими яркостями, называемыми светлой тональностью), мы находим, что в интервале [L3, L4] количество действительно возникающих кодов при условии этой кривой отображения из HDR основной градуировки на выбранный LDR внешний вид меньше, чем минимально необходимое количество NC для этой области (мы сдвинули кривую для четкого наложения, но, конечно, определение используемых сигналов яркости можно просто сделать для любой кривой). Отметим, что мы предположили, что сигналы яркости определяются эквидистантно в диапазоне, но можно также учесть нелинейности, например, сосредоточив внимание на (не)допустимых отображениях для отдельных сигналов яркости. Но, как правило, по оси Y_LDR мы будем иметь эквидистантные бины, так что мы можем обсуждать это без потери общности изложения.

Таким образом, теперь мы используем слишком мало кодов в этом интервале (что могло бы быть показано как низкий контраст в LDR визуализации, но, вероятно, не будет, так как градуировщик как раз оптимизировал эту кривую, а будет типично проявляться как грубое квантование для реконструируемых HDR изображений) и должны растянуть локальную крутизну кривой 902. Есть несколько способов сделать это, например, с растяжимой функций ошибок, которая штрафует ошибки квантования на любом интервале. В целом, мы могли бы использовать любую математику, учитывающую, с одной стороны, размер конкретных интервалов, и, с другой стороны средние положения яркости/сигналов яркости этих интервалов, т.е. насколько кривая отклоняется от предполагаемой градуировки. Конечно, если техническая классификация требует конкретной формы кривой отображения, которая далека от формы, желательной градуировщику для LDR внешнего вида (т.е. технические требования к HDR-данным или цель распределения кодов функции отображения далеки от требований «LDR» или цели визуализации внешнего вида), то градуировщик будет продолжать определять свой вид другим, дополнительным способом, с помощью других функций отображения. Таким образом, в принципе никакая жесткая спецификация или критическая математика не нужна для этого способа, но, конечно, некоторые способы будут менее вычислительно сложными или более удобными для пользователя в том, как быстро градуировщик приходит к желательному результату кодирования + градуировки (так как время градуировщика дорого, по меньшей мере для некоторых видов программы).

Поясним простое преобразование кривой с помощью фиг. 10. Если Nc1 - это текущее количество сигналов яркости, распределенных на интервал, и Nc2 - это необходимое количество кодов (или минимально необходимое, или несколько больше), можно растянуть ту часть кривой, например, путем умножения вокруг средней точки на Nc2/Nс1. Остальная часть кривой должна быть изменена, и мы предполагаем, что перераспределение квантования, чтобы вписаться в общее количество кодов, уже даст удовлетворительный результат. Можно, например, вывести часть кривой выше L4, взяв эту кривую, перемещая ее на OFF_1 и масштабируя ее так, что максимум по-прежнему приходится на максимальный сигнал яркости. Делая это везде, получаем кривую 903 технической градуировки, которая является кривой отображения цвета Fi(MP_T). Сигналы яркости по оси Y_LDR_min будут тогда формировать GT_IDR изображение. Система может проверить, есть ли другой диапазон, который тогда становится критическим, и затем, например, сбалансировать ошибку между двумя областями. Например, в идеале Nc2 должно быть 10 кодов, и Nc2* в другом диапазоне L_HDR (т.е. также Y_LDR) могло быть идеально 8, но если имеется пространство только для в общей сложности 16 кодов, можно распределить минимальную ошибку квантования как 9 кодов и 7 кодов. Конечно, это может быть взвешено с помощью таких факторов, как диапазон двух областей, семантическая значимость (имеются ли цвета лица) и т.д. При необходимости, система может подсказать градуировщику, чтобы выбрать, которая из двух областей была бы лучше, например, с помощью пользовательского интерфейса, позволяя ему увеличивать число кодов Nc2 (т.е. локальную крутизну) с шагом, что тогда означает меньше кодов для Nc2*, которая, по мнению градуировщика, была бы визуально приемлемой. Конечно, некоторые варианты осуществления могут работать в полностью автоматическом режиме за сценой при выборе кривой технического отображения и градуировке GT_IDR, и в этом случае система может, например, просто отказаться от точной настройки вокруг предпочтительной кривой LDR градуировки и сразу же перейти к одной из заранее заданных хорошо работающих технических кривых (например, той, которая имеет наименьшую деформацию по сравнению с кривой (902), определяющей LDR вид, подобно вычисленной как SUM(wi*[FT(L_HDR)-FL(L_HDR)]), где в скобках указана некоторая функция, подобная абсолютному значению или квадрату, FT является текущей выбранной технической функцией значения L_HDR, и FL является предпочтительным отображением LDR вида градуировки, и веса wi могут быть однородными, но также могут взвешивать определенные области L_HDR больше, как, например, где находятся лица), в этом случае вид затем определяется дополнительной функцией отображения Fi(MP_DL). Измерения погрешности могут также принимать во внимание крутизну, так как локальная крутизна определяет количество доступных кодов в LDR представлении против требуемых кодов в HDR области. Отметим, что даже изменение одного интервала на самом деле распределяет погрешность по всему диапазону по сравнению с тем, что градуировщик хотел бы видеть, но это не обязательно должно быть большая погрешность, так как она распределена и видна как относительная, так как глаз реально не предназначен функционировать в качестве абсолютного измерителя яркости, и в любом случае она может для большинства практических систем быть устранена вычислениями на приемной стороне с помощью Fi(MP_DL). Специалисту в данной области понятно, что может быть много других способов, чтобы реализовать аналогичные функции. Например, это может быть так, что имеется достаточно кодов (потому что изображение HDR_М не переходит все время в L_HDR_MAX в соответствии с Y_LDR_ MAX), и может иметься большая свобода в переопределении по меньшей мере некоторых частей функции 903, пока кривая 902 была слишком квантованной в интервале [L3, L4] и должна быть скорректирована. В таком сценарии можно более свободно сдвигать сигнал яркости средней точки в интервале [L3, L4] и в других областях кривой. Такие сценарии соответствуют осветлению некоторых объектов и т.д. Другим сценарием является, когда система действительно критическая, и перераспределение квантования вне интервала [L3, L4] может привести к неадекватному квантованию там. В этом случае стратегии смягчения могут быть использованы для определения окончательной кривой. Одним примером стратегии смягчения является разделить оставшиеся погрешности за наиболее критические диапазоны, такие как [L3, L4] и [Lx, Ly] наружу, где возникает наибольшая погрешность квантования для текущей кривой градуировки, или любой кривой, пытающейся поддерживать достаточно близкое приближение к текущей кривой человека-градуировщика. Можно также принять решение о распределении погрешности строго по некоторым областям. Например, можно ограничить яркости даже несколько выше LI до одиночного значения сигнала яркости 0, или можно принять решение зафиксировать яркий конец, даже в технической градуировке GT_IDR. REC_HDR изображение тогда является не совершенным образом реконструируемым, но такие сценарии могут быть использованы в системах, которые имеют коррекцию переполнения. Например, обрезанные значения могут кодироваться во втором изображении, отдельном от GT_IDR, которое содержит только данные для яркой, обрезанной области GT_IDR. При сравнении реальной кривой отображения с той, которая имеет хорошие технические свойства (характеризуемой тем, что она имеет по меньшей мере минимальное количество кодов на интервал), разумеется, блок автоматической градуировки будет проверять, есть ли на самом деле какие-либо цвета пикселов в этом интервале, в противном случае он может серьезно исказить функцию в этом диапазоне.

Фиг. 12 (фиг. 12b) показывает пример того, как градуировщик может повлиять на техническую кривую, распределяющую коды, используемые для технической градуировки GT_IDR. Как сказано, все это может в некоторых вариантах осуществления происходить за экраном, без ведома градуировщика, но здесь мы приведем пример того, как градуировщик может задать или повлиять на количество кодов, распределенных для конкретной области в HDR диапазоне яркости 1210, которая, предположим, содержит предназначенные для лица цвета. Предположим, что в этом примере автоматическое распределение кодовых зон было довольно хорошим (возможно, принимая во внимание, что у нас есть только 8-битный сигнал яркости вместо 10 бит, или, возможно, для 10 бит менее подходящее пространство цветов, которое вводит слишком жесткое квантование по меньшей мере для некоторых цветов, как, например, насыщенного синего), но градуировщик, глядя на свое качественное эталонное отображение, хочет получить еще несколько более высокую точность, например, менее пятнистое лицо. Он может тогда оценить локальную крутизну в диапазоне яркости 1210 как слишком низкую и может пожелать увеличить ее с помощью средства 1203 изменения крутизны пользовательского интерфейса, которое может быть, например, стрелкой, которая увеличивает, если кликнуть верхнюю стрелку, крутизну на Х%, или перетаскиваемым курсором и т.д. Он может задать диапазон 1210 прямо на его окне просмотра инструмента кривой и перетащить один или более установщиков пределов 1202. Пользовательский интерфейс также может помочь быстрому выбору, например, позволяя рисовать “каракули” 1215 поверх градуируемой в текущий момент репрезентативной картинки из сцены (см. фиг. 12а).

Все это время градуировщик смотрит на визуализацию реконструируемого HDR изображения. Если теперь он хочет снова поработать над LDR изображением, он переключается на этот просмотр и вновь задает свою LDR градуировку дальше, начиная с этой технической кривой, в дополнительную кривую или стратегию отображения. Средство отслеживания движения для отслеживания лица и точной настройки его свойств, если оно перемещается при переменной освещенности, может помочь в определении, если это необходимо, но, в общем, нам не нужны такие сложности для настоящего изобретения, так как техническая кривая предполагается в общем довольно хорошей и в конечном счете не специфичной. Но в любом случае градуировщику может быть предложена точная настройка в любой момент фильма, который он считает интересным, как технической кривой, так и кривой отображения для получения оптимальных LDR изображений. Теперь программное обеспечение может быть сконфигурировано для изменения крутизны по сравнению с серединой (кривая 1204). Однако градуировщик может учитывать это, чтобы вводить вопросы градуировки цвета, к которым ему желательно обратиться сейчас (а не в функциях второго отображения LDR). Например, когда алгоритм или аппаратное средство вычисляет новую кривую, оно в простейшей версии будет перераспределять погрешность, что может делаться, например, путем растяжения оставшейся формы кривой до максимального значения 1.0, начиная с новой высокой точки локально растягиваемого интервала. Но градуировщик может оценить это, как придающее слишком яркие цвета в областях 1205. Поэтому программное обеспечение может иметь средство 1206 регулировки положения, которое позволяет градуировщику сдвинуть локальную кривую в диапазоне 1210 несколько вверх или вниз, получая окончательную приемлемую кривую 1207. Градуировщик может также задать подобным образом области, где, по его мнению, ошибки квантования могут быть более серьезными, например, в этом случае ползунок 1201 может позволить ему установить нижнюю границу для диапазона ярких цветов, который может быть квантован несколько больше при необходимости. Если нужно сбалансировать цветовые свойства, при условии всех технических ограничений, это может быть хорошим способом, чтобы прийти к разумному оптимуму, особенно если исходный материал не был снят идеально ярким, а, например, с несколько пастельными цветами. Этот ползунок дает тогда, например, эталонное положение HDR яркости, выше которого имеется, например, 20m кодов, распределенных, например, через гамму 2.2 или психо-визуальную основанную на JND кривую и т.д. В этом случае математика алгоритма может принять это во внимание при перераспределении погрешностей, например, путем штрафования отличия от 20 кодов взвешенным образом с кодами, остающимися между высокой точкой диапазона 1201 и тем низким значением верхнего диапазона, установленного посредством 1201. Конечно, градуировщик, если он считает вопрос достаточно критическим, чтобы затратить больше времени, может также выбрать один или несколько из таких диапазонов для точной настройки и, например, добавить противодействие фиксации к уже определенным кривым, указывая, что они не могут потерять никакие коды или максимально 20% кодов или потерять коды со скоростью 10-кратно меньшей, чем текущий интервал т.д. Это обеспечивает некоторую инерцию в переопределении другого интервала. Но, как правило, градуировщику не придется перекодировать много критических областей, в противном случае он может просто использовать аппаратные средства с автоматическим предложением.

Фиг. 3 показывает возможный вариант осуществления системы кодирования в соответствии с принципами настоящего изобретения, где человек получает свою градуировку из технической градуировки GT_IDR. Читателю должно быть ясно, что технические варианты, которые мы раскрываем здесь (например, в отношении соответствующих технических отображений цвета и т.д.), будут также применимы к показанному на фиг. 2 классу вариантов осуществления или других вариантов осуществления, и наоборот.

Блок 214 получения отображения цвета определяет подходящее отображение цвета (например, кривую отображения яркости и соответствующую стратегию обработки хроматических координат цвета) для отображения M_HDR в GT_IDR. Основная цель этого заключается в определении градуировки GT_IDR, которая наиболее подходит с технической точки зрения. В частности, нужно быть в состоянии реконструировать REC_HDR (с применением CMAP_2, что является обратным отображением цвета Fi(МР_T)), которое будет близкой аппроксимацией к М_HDR (в соответствии с некоторым критерием отклонения изображения), или по меньшей мере попадать в пределы предопределенной второй точности от М_НDR. Специалисту в данной области должно быть понятно, что определены несколько способов измерения отклонения между изображениями. Например, популярной мерой является PSNR, но это довольно простая, слепая мера, которая иногда может давать высокие вклады в различия в шуме, которые едва заметны психо-визуально, тогда как они в меньшей степени измеряют некоторые реальные отклонения объектов. Поэтому мы хотели бы использовать меры, которые более точно измеряют то, что происходит с различным объектом, особенно на математической основе, коррелированной с психо-визуальными принципами. Например, блок 213 анализа изображения может выполнить некоторую приближенную сегментацию REC_HDR и М_НDR на сегменты (псевдо-объекты). Он может, например, отыскивать относительно гладкие сегменты и измерять величину постеризации там. Величиной может быть, например, количество используемых цветов по сравнению с площадью области плавного градиента, что приведет к точности измерения, которая подобна подсчету длин серий пикселов того же квантованного цвета. Можно также вычислить функциональные корреляции или накопленные различия между формой исходной М_НDR яркости по пространству и ступенчатой функцией в REC_HDR. Специалисту должно быть понятно, что можно ввести (пред-) семантическую информацию в нашу оценку точности и результирующий выбор алгоритмов отображения. Например, если есть только маленький объект, особенно если он на заднем фоне вблизи стороны изображения, то объект, вероятно, менее важен, и мы можем кодировать его с меньшим числом кодов сигналов яркости, делая больше кодов доступными для других кодов. Специалисту в данной области должно быть понятно, что полная точность или погрешность (например, как точное изображение) может быть образована из предварительно согласованного (например, загруженного в блок 303 автоматической градуировки с помощью обновления программного обеспечения) набора алгоритмов измерения, которые могут учитывать геометрические свойства, такие как размер или положение сегмента или объекта, статистические свойства, например, какова текстура или цвет сегмента/объекта, семантические свойства, например, смотрим ли мы на лицо или небо (с детектором лица или неба), и т.д. Точная математика может также иметь специальные меры для анализа HDR эффектов, например, взрыв может быть охарактеризован не как абсолютная разность цветов пикселов между REC_HRD и M_HDR, а относительной мерой, которая основана на таких параметрах, как разность между средним цветом в огненном шаре и окружением, изменение цветов в огненном шаре и т.д. REC_HDR будет рассматриваться как достаточно точное, если его мера находится ниже или выше порогового значения, то есть, даже если огненный шар несколько менее яркий или контрастный в реконструкции, если он имеет достаточное влияние, потому что он все равно намного ярче окружения, реконструкция рассматривается как хорошая HRD реконструкция. Такие варианты особенно полезны для систем, которые более критичны вследствие стесненности в физических ресурсах, таких как количество битов в кодировании GT_IDR. HDR эффекты могут быть охарактеризованы сложным путем либо просто выбраны как области высокой яркости, например, выше относительного порога LT. Специалистам также должно быть понятно, что, например, в рекурсивной стратегии, чтобы прийти поэтапно к оптимальному отображению цвета Fi(MP_T), блок 214 получения отображения цвета может не просто определить свое отображение на основе агрегированной полной точности, но точно настраиваться на основе парциальных точностей. Аналогично нашему примеру локальной регулировки на фиг. 9 и 10, блок 214 может исправить лицо, которое представлено грубо, тем что он идентифицирует участки на лице, а затем выделяет больше кодов, изменяя эту часть функции. Критерий точности не требуется удовлетворять путем вычисления его как такового. Скорее, мы можем использовать набор заранее согласованных функций или алгоритмов отображения цвета ALG(CRV_i), которые считаются приемлемо выполняющими критерий точности для конкретного приложения с практической точки зрения. Даже если выбранная оптимальная кривая отображения все еще вводит несколько более серьезную погрешность в некоторой части некоторого неудобного М_HDR изображения, это рассматривается тогда как приемлемое. Определение в любом из этих сценариев может быть как автоматическим внутри блока 303 без какого-либо ручного вмешательства, причиняющего беспокойство художнику-градуировщику, или оно может частично направляться или полностью определяться градуировщиком, например, позволяя этому градуировщику выбрать один из нескольких возможных алгоритмов отображения или кривых. Обычно блок 303 будет знать, и градуировщик будет устанавливать некоторые общие параметры относительно ситуации отображения и кодирования, например, динамический диапазон (например, CODR или CDR) М_HDR изображения, и градуировщик может выбрать из списка меню, что он в текущий момент градуирует «ночное изображение» и т.д.

Например, блок 213 анализа изображения может просматривать М_HDR изображение и обнаружить, что имеются две хорошо разделенные доли в гистограмме яркости. Затем может быть получена (по меньшей мере начальная) функция отображения, которая отображает их на соответствующие поддиапазоны 8-битового кода сигнала яркости, принимая во внимание, что зрительная система человека более чувствительна для темных частей, что, следовательно, потребует большего поддиапазона. Так на грубой шкале отображение могло бы происходить, например, на [0, 170] и [180, 255], то есть любая функция, которая реализует это, является реальным кандидатом. В пределах этих диапазонов далее может быть выполнен изгиб кривых отображения Fi(MP_T), например, задавая для лиц несколько большее количество кодов (которые, как должно быть ясно, не должны сами по себе соответствовать более высокому контрасту в лице в конечной визуализации, так как дисплейное преобразование еще может уменьшить контраст на лице, но тогда по меньшей мере мы будем иметь хорошую точность текстуры лица и освещения).

Простейшими версиями могут быть, например, набор параметрических гамма-подобных кривых Y_LDR=k*L_HDR ниже L1 и 1*power(L_HDR, gamma)+off выше LI. В этом случае алгоритмы автоматического определения технического отображения обычно могут оценить то, что структура изображения находится в темных областях, и с помощью этого определить достаточно хорошо характеризующую линейную часть. Если имеется много объектов, особенно со сложной геометрической структурой (например, в сарае, содержащем большое количество объектов, таких как древесные плиты, хранящихся для последующего строительства, металлоконструкции, инструменты и т.д., все уложенные вперемешку в темноте), то блок/алгоритм может принять решение выделить больше кодов этому, путем регулировки первой (например, линейной) части гамма-подобной кривой. Точно так же, если актеры находятся в темноте, системе может быть желательно охарактеризовать их достаточными кодами, даже если они в конечном итоге визуализируются весьма затемненным образом, и зритель не будет видеть детально их тела в любом случае (но отметим, что зритель мог бы всегда с помощью своего пульта дистанционного управления применить осветляющее преобразование отображения, и хорошее кодирование должно учитывать это).

Аналогично, М_HDR изображение может анализироваться и сегментироваться в средней части (например, дополнительный алгоритм анализа изображения, такой как анализатор движения, может помочь в определении области основного действия), в яркой части и темной части, а затем сигмоидальная или трех-сегментная кривая может быть определена для этого и т.д.

Альтернативно, человеку-градуировщику может быть предложено выбрать оптимальную техническую кривую с помощью его пользовательского интерфейса 230. Например, он может выбрать оптимальную из числа гамма-подобных кривых, но специалисту должно быть понятно, что это могли быть другие фиксированные предварительно согласованные кривые, и при рекурсивной технической оптимизации градуировщик может даже запустить настроечные кривые, например, путем перетаскивания управляющих точек CP. Кривые могут тогда иметь, например, некоторый внутренний механизм эластичности, запрещающий градуировщику выбирать сегменты с очень низкой крутизной или другими неподходящими характеристиками, такими как инверсии, двойное распределение (которое не может быть реверсировано как СМАР_2) и т.д. Как правило, алгоритм придет сам в устойчивое состояние (начальное или мгновенное), например, путем выдачи предупреждения, если кривая становится неприемлемо деформируемой, а затем сброса его в аналогичный с хорошими свойствами реконструкции. Обычно система будет генерировать REC_HDR и позволять градуировщику переключаться с М_HDR на его эталонное HDR отображение, чтобы контролировать точность или погрешности. Система будет посылать GT_IDR на эталонный LDR дисплей, так что градуировщик также можете проверить его. Это изображение может быть уже достаточным в некоторых сценариях, и тогда градуировщику больше не нужно делать второе Im_LDR, но даже если это является LDR градуировкой более низкого качества, для некоторых приемных систем это может быть желательным или необходимым для использования (например, из-за реализации с обратной совместимостью в TSIG, для унаследованного BD-плеера, который игнорирует данные отображения цвета и просто воспроизводит GT_IDR; но также, например, GT_IDR может содержать полезную информацию для настройки/интерполяции к финальной, используемой градуировке для дисплея среднего динамического диапазона и т.д.). В случае если градуировщик удовлетворен, он будет продолжать обработку следующего изображения или кадра изображений, а в противном случае он будет изменять дополнительно что-либо из кривой или алгоритма. Кодер может иметь средства, чтобы помочь ему в этом. Например, когда он рисует “каракули” внутри области с большими погрешностями, кодер может вычерчивать на кривой, в интервал яркости которой попадают эти цвета. Там даже может быть уже начальный анализ артефактов и предложения (например, «предлагается удвоение количества кодов» и уже применение новой кривой, чтобы получить второе REC_HDR_ 2 (посредством блока 215 отображения цвета), так как блок/алгоритмы должны сами делать многое, чтобы освободить занятого художника в максимальной степени от этой технической градуировки, хотя она важна, так как это простая грубая градуировка для окончательного вида).

Теперь в показанном на фиг. 3 классе вариантов осуществления, градуировщик будет продолжать точную настройку на изображении GT_IDR с использованием блока 301 градуировки цвета, чтобы получить его оптимальный вид, как градуировку Im_LDR. В принципе, он может применять теперь либерально любое преобразование цвета, так как IM_LDR не используется для реконструкции REC_HDR. Однако в практической системе полезно, если поддерживается ограниченный набор алгоритмов отображения цвета, которые допускают все или почти все изменения цвета, которые градуировщик может, как правило, пожелать сделать, так как их определяющие данные Fi(МР_DL) должны быть кодированы в сигнал TSIG. Некоторые стандарты сигнала могут проектироваться предпочтительно с возможностью обновления, так что данные более поздних новых отображений цвета могут быть записаны в метаданные (с новым индикатором типа, игнорируемым старыми системами). Это полезно для будущих декодеров, которые легко обновляются, таких как программное обеспечение, исполняемое на компьютере, для декодирования фильмов, приобретенных из интернетовской базы данных фильмов. Для систем с более короткой оборачиваемостью, для которых только в определенные времена (дорого по отношению к общей стоимости системы) будет разрабатываться новый чип обработки, лучше априори настроиться на фиксированный набор отображений цвета (например, функции, реализованные на LUT и т.д.). Наконец, все данные GT_IDR, Fi(MP_T) и Fi(МH_DL) (или их производные) форматируются посредством модуля 220 форматирования к специфике одного или более выбранных форматов сигналов и посылаются вовне посредством некоторого средства передачи сигнала.

Фиг. 4 показывает один возможный вариант осуществления приемной системы, и специалисту в данной области должно быть понятно, что может быть много таких систем. Например, декодер 401 изображения может содержаться в отдельном блоке (таком как BD плеер или STB), он может содержаться в дисплее или в устройстве, содержащем дисплей (например, телевизоре или мобильном телефоне (n.b. хотя мобильный телефон может не иметь HDR дисплей, однако может нуждаться в считывании HDR кодировки и извлечении из нее Im_LDR градуировки)), компьютере и т.д. Могут иметься профессиональные системы, которые содержат кодер, например, транскодер на территории контент-провайдера, который, например, создает из первого варианта HDR кодировку в соответствии с настоящими принципами кодирования изображения во втором варианте, который будет распространяться, например, в системе с оплатой за просмотр и т.д.

Декодер 401 изображения включает в себя блок 403 получения изображения, который выполнен с возможностью создания структуры всех необходимых изображений. Например, он может извлечь данные отображения цвета Fi(MP_DL) и выполнить декодирование MPEG_HEVC на GT_IDR. И тогда он применяет отображение цвета для получения REC_LDR. В этом варианте осуществления мы также имеем блок 402 конфигурирования системы, который может быть выполнен с возможностью, например, проверить, какие виды дисплеев в настоящее время подключены, или какие устройства памяти требуют конкретных форм реконструированных изображений (например, REC_HDR или интерполированной градуировки REC_MDR и т.д.), и может соответствующим образом управлять блоком 403 получения изображения, чтобы выполнить требуемую обработку. В этом примере мы можем отправить данные (или уже оптимизированное, например, HDR изображение для подключенного дисплея, и/или промежуточные данные, например, данные отображения цвета, которые позволили бы телевизору выполнять дальнейшую точную настройку на принятом HDR изображении) по кабельному сетевому соединению 410, например, по соединению HDMI интерфейса, на телевизор с 2D LED подсветкой (или OLED и т.д.) 411. Дисплеи высокого динамического диапазона могут быть выполнены несколькими способами. Например, можно чередовать между структурой LC материала, которая в RGB блокирует много света, ячейки, которые передают большую часть света, если возбуждаются полностью открытыми. Или можно иметь дисплей с лазерной LED подсветкой, например, в проекторе, в котором можно локально проецировать больше LED на DMD IC область, если внезапно требуется чрезмерная яркость, или в кинотеатрах можно иметь дополнительную структуру проектора для создания световых эффектов и т.д. Или мы можем беспроводным способом через антенну 415 посылать данные на LDR дисплей 416, как, например, дисплей планшета и т.д. Мы также символически показываем другой градуированный сигнал изображения, предоставляемый модулем 407 форматирования, например, изображение среднего динамического диапазона для дисплея, например, с 1800 нит пиком_белого, и посылаемый на такой дисплей или на память для хранения для последующего использования, или через сеть в другое место пользователя, его мобильный телефон, находящийся где-то во внешнем окружении, или одному из его друзей и т.д.

Фиг. 5 показывает наши компоненты знаний внутри камеры 501, которая получает необработанное (RAW) изображение от датчика 504 изображения через объектив 502. Процессор 520 знаний может быть сконфигурирован различными способами, чтобы получать структурные, статистические и/или семантические знания, изучая захваченные изображения RAW, и управлять получением технического отображения посредством блока 214 получения отображения цвета, как пояснено выше. Камера может иметь свой собственный (соединенный или удаленный, например, от устройства отображения для режиссера и/или оператора-постановщика (DOP), чтобы отслеживать съемку и управлять через антенну 500 связи) пользовательский интерфейс 550 для воздействия на алгоритмы технического отображения, как, например, изменения локального контраста некоторого интервала яркости. Отображение на GT_IDR может быть использовано, чтобы иметь быстрое изображение предварительного просмотра, где затем посылается кодирование HDR изображения, например, для окончательной или промежуточной записи (в некоторых случаях, управляемая камера может уже делать достаточную градуировку LDR-контейнера, т.е. кодировать M_HDR и IM_LDR, но в других случаях первое HDR кодирование формирует основу для дальнейшей градуировки точной настройки). Эта примерная камера может широковещательно передавать к принимающей стороне, например, с помощью антенны 599 спутниковой связи или альтернативных средств связи.

С помощью фиг. 11 приводится несколько примеров того, как различные методы отображения могут быть реализованы в 3 (или N) -мерном цветовом пространстве. Фиг. 11 схематично показывает гаммы HDR эталонного дисплея (для М_HDR градуировки) и LDR эталонного дисплея (например, для GT_IDR или Im_LDR), в интервале яркости по оси у и хроматических координатах, а именно, насыщенности S по оси х (они могут быть определены, например, как в определении CIE, и вновь возможно несколько вариантов, например, CIE Lab пространство и т.д.). Мы показываем, как цвет, определенный в М_HDR, а именно Col_HDR отображается на его LDR-контейнер, соответствующий цвету Col_LDR. Верхняя часть на фиг. 11а является формой гаммы, соответствующей алгоритму отображения цвета, как описано в (еще не опубликованной заявке) EP12187572 (PCT/EP2013/069203). Принцип состоит в том, что мы сначала определяем функцию для преобразования яркостей, например, вдоль нейтральной оси. Затем для каждого цвета с хроматическими координатами (например, тон h и насыщенность S) мы берем максимальную возможную яркость Lmax (h, S) для этого хроматического цвета и масштабируем функцию отображения яркости этим значением. Это гарантирует значение в-LDR-гамме для всех HDR цветов. Фиг. 11b показывает другую возможную категорию отображений цвета. Здесь мы просто применяем любое преобразование на Col_R, так что оно может завешаться в Col_LDR1, вне LDR гаммы. Затем типично мы следуем алгоритму отображения гаммы, что приводит цвет, например, путем уменьшения насыщенности (десатурации) внутрь LDR гаммы на Col_LDR2. Вместо двухступенчатой проекции, можно определить также для каждой яркости, что является худшей ситуацией, т.е., какой пиксел будет наиболее удаленным от максимальной насыщенности для этой яркости LDR гаммы. Мы можем получать отсюда функцию уменьшения насыщенности DESATPR и переотображать все цвета, принимая во внимание это уменьшение насыщенности. Есть и другие способы, чтобы определить алгоритм уменьшения насыщенности. Третья категория отображений цветов будет работать на RGB пространстве, а затем применение функций отображения на них означает, что цвета также остаются в обеих гаммах. Любая функция может быть использована для обработки цвета, например, локальное функциональное переотображение коррелята-насыщенности только вдоль тех областей оси яркости, где это желательно, завершая особенно при меньшем материале действительных значений техническую градуировку, если для подлежащих использованию градуировок приемлемые цвета могут быть выведены из них с помощью подходящих дополнительных стратегий отображения.

Теперь мы более подробно поясним полезные отображения насыщенности в HDR базе, что можно рассматривать отдельно от других решений в настоящей заявке. Яркость и освещенность получены из откликов колбочек сетчатки человека, которые имеют состояние активации молекул колбочек-опсина, и показывают, сколько света приходит от различных цветов, являясь функцией как характеристик отражательной способности объекта, так и его освещенности (яркость является оценкой серости по сравнению с эталонным белым посредством выполняемого мозгом анализа всех пространственных сигналов колбочек от изображения геометрически протяженной комплексной сцены). Тон (оттенок) является функцией пропорций спектральной активации (монохроматической или полихроматической активации) различных колбочек и может быть оценен из различий в этих активациях колбочек. Он служит определению доминирующих цветов, например, широкополосный характер различных молекул позволяет идентифицировать конкретный химический состав, как, например, красная спелость яблока. В медленном варьировании относительно легко оценить источники света, такие как солнце + верхний свет, различные различимые оттенки могут хорошо служить для многих визуальных задач. Насыщенность или чистота является мерой того, насколько цветовые каналы ганглиозных клеток и другие части зрительной системы возбуждаются по сравнению с нейтральной (серой) стимуляцией. Т.е., это количество чистого цвета (например, цвета узкополосного спектра), добавленного к нейтральному цвету, или наоборот. С оттенками, топологически упорядоченными по кругу в цветовом пространстве, требовалась радиальная размерность, являющаяся насыщенностью. Художники используют этот принцип путем добавления белого цвета к чистому цвету, такому как красный, формируя последовательность оттенков. В природе насыщенность определяется двумя важными принципами. Сначала в зеркальной/глянцевой среде источник белого света строго добавляется к свету окрашенного объекта из более глубоких взаимодействий, приводя к сильной десатурации (уменьшению насыщенности), но высокой насыщенности в незеркальных направлениях. Что еще более важно, насыщенность связана с количеством пигмента, и это может быть, например, использовано животным, чтобы судить о здоровье потенциального партнера. Насыщенность существует в двух “вариантах”. Во-первых, это яркостно-зависимая насыщенность, которая может моделироваться красочностью или цветностью, так как более яркие цвета выглядят более насыщенными. Это может моделироваться в конусообразных цветовых пространствах, в которых цветовая плоскость (например, uv) постепенно становится шире вдоль оси яркости. Человеческий мозг может снова сбрасывать со счетов освещение и судить, насколько внутренне насыщенным является объект, причем монохроматические отражения являются теоретически наиболее насыщенной ситуацией. Это может быть смоделировано в цилиндрических пространствах, в которых форма цветовой плоскости остается неизменной вдоль оси яркости.

Физически такие конус или цилиндр могут быть продлены до бесконечности, так как можно делать все более яркие цвета, но технологически это не имеет смысла, так как любая реальная система записи или воспроизведения имеет пределы. Уже колбочки глаза в определенном состоянии адаптации (количество опсина колбочки подготовлено в колбочке, и промежуточные молекулы находятся в состоянии, чтобы умножать любое ощущение активации колбочек, пока в конечном счете не будет получен «цифровой» сигнал количества импульсов вдоль нейронов) будут в определенный момент обесцвечиваться, так что такое количество молекул опсина колбочек активируется, что точное определение цвета больше не возможно в течение некоторого времени, что происходит, когда человек смотрит на яркую лампу. Подобная вещь происходит, например, (скажем, в режиме слайда) с фотографической записью. В определенный момент некоторый максимальный белый должен быть записан (а позже воспроизведен), и яркости объекта сцены выше него будут обрезаться до пика-белого. То же самое происходит для любого аддитивного RGB пространства, будь то просто пространство кодирования, которое может быть связано с эталонным монитором, чтобы сделать его абсолютным, или реальное пространство управляющих сигналов для действительного дисплея. Такие пространства могут быть топологически приравнены к пространству двойного конуса. Например, художники знают, как они могут сделать тени с уменьшением цветности, но той же насыщенности путем добавления черного к чистым цветам, и сделать оттенки в направлении к чистому белому наверху верхнего конуса. Т.е. наверху такого пространства могут быть только ненасыщенные (нулевой цветности) цвета, что неудобно по отношению к другим цветам, которые могут существовать в природе, как, например, таковые в более широкой гамме, например, дисплея более высокого динамического диапазона. Например, что делать с цветом, который приглушен по яркости до LDR (более низкого динамического диапазона), но которые все еще находится в верхнем конусе? Сильно изменить его насыщенность или, может быть, приглушать дальше? А что, если этот цвет находится просто в промежуточном пространстве, которое служит, чтобы еще усиленно отображаться вновь в большее пространство?

Таким образом, для таких ситуаций, в дополнение к теоретическим насыщенностям любого цвета, может потребоваться посмотреть на насыщенность и модификации насыщенности в любом ограниченном пространстве допустимых цветов. Наличие любого математического преобразования в таком пространстве (типично цилиндрическом) особенно полезного, если отображение выполняют между пространствами, которые по меньшей мере могут быть в значительной степени совместно расположенными (такое как, например, масштабированное [0,1] HDR RGB пространство на LDR RGB пространстве) имеет преимущество получения существующих цветов, в отличие от преобразований, которые выходят за пределы и еще нуждаются в переводе в реализуемые цвета, однако нелинейный характер математики может исказить другие корреляты внешнего вида, такие как освещенность или оттенок. Если мы можем проектировать, начиная и заканчивая цветовой гаммой/пространством в 3D в любой форме, в принципе, можно не беспокоиться об этом слишком сильно, поскольку мы можем проектировать любую стратегию отображения.

Мы можем справиться с множеством этих осложнений, имея градуировщика цвета, чтобы делать желательные преобразования, при условии, что он имеет минимальный (хотя, как правило, простой, принимая также во внимание, что эти преобразования, как правило, указывают отображения, необходимые для достаточно верного или по меньшей мере улучшенного по сравнению со слепой визуализацией, определения зависимых от ситуации визуализации соответствующих цветов для различных дисплеев, т.е. аппаратные IC или программное обеспечение в этих дисплеях или связанных видео процессорах должны предпочтительно использовать только простые математические функции, причем сложность разрешается путем взятия выборок всех возможных связанных сценариев визуализации цветов градуировщиком, определяющим несколько важных ситуаций градуировки, между которые затем может выполняться интерполяция для других промежуточных ситуаций визуализации) набор математических функций определения насыщенности, которые он может задать.

Известно, что отображение между различными динамическими диапазонами может привести к цветам, которые являются либо пастельными, либо карикатурно насыщенными, и ситуация может быть сложной с некоторыми градуировщиками, потенциально имеющими критические желания (например, таковое может быть критичным для лиц, но также для оттенков синего в воде или даже цветового представления темных облаков).

Наша новая обработка насыщенности может быть использована не только на технических градуировках, но на самом деле на любом градуированном изображении (например, HDR основном или LDR градуированном; для получения любой другой градуировки изображения, другого или аналогичного динамического диапазона, то есть имеющего оптимальный вид при визуализации, например, на HDR дисплее с 2000 нит), и даже на исходной записи камеры, введенной в другой прибор, например компьютер градуировки, или даже еще в камере. Для описания обработки в принципе нам не нужно входное цветовое пространство (которое может быть таким же, как выходное пространство, или чем-нибудь еще, например, большим пространством), поэтому мы будем описывать его с выходным пространством любого цветового кодирования (будь то в качестве промежуточного или зависимого от устройства напрямую используемого для визуализации). Мы будем описывать принцип с Luv пространством цилиндрического типа, т.е. планарные направления, из которых мы показываем только u (красно-зеленую) ось на фиг. 15a, образуют треугольники одинакового размера вдоль нормированной оси яркости L, до тех пор, пока верхняя часть (“шатер”) не начнет сокращаться до белого. Конечно, другие возможности аналогично могут быть реализованы, и вместо физической яркости можно использовать более психологический параметр, как например, освещенность в качестве третьей оси. Гамма всех фактически реализуемых цветов обозначена 1501. Теперь можно применить математическое преобразование, которое перемещает цвета (внутри или вне гаммы) в сторону увеличения или уменьшения насыщенности, которая представлена кривой 1503. Хотя это иллюстрирует математический принцип, фиг. 15а обычно может быть видом пользовательского интерфейса, который градуировщик цвета видит в одном из своих под-окон, главное окно, конечно, показывает эффект представления цвета преобразований на подлежащем градуировке или повторно градуированном изображении. В принципе мы могли бы использовать любую математику для насыщенности, но предпочтительно это будет функция, которая в значительной степени разделяет координаты, т.е. в основном влияет на насыщенность, не изменяя или немного изменяя цветовой тон или яркость или освещенность. На практике (хотя, конечно, пространство является лишь упрощенной моделью фактического внешнего вида цвета, в итоге может быть еще некоторое видимое побочное влияние на не относящиеся к насыщенности аспекты цветов) математика может быть ортогональной, так что, хотя мы показываем общий вариант с немного изгибающейся кривой изменения насыщенности (т.е. также немного осветляющей цвета при их насыщении), часто это будет только линией в плоскости, перпендикулярной к оси L. Чтобы иметь простой, но мощный контроль над насыщенностью объектов или областей, дающих общий взгляд на изображения, градуировщик имеет теперь возможность не только определить глобальный множитель насыщенности, но множитель, который зависит от яркости цветов, подлежащих обработке. Эта функция a_s=f(L) может быть записана как параметрическая функция или таблица преобразования. Релевантная яркость Li, который определяет, какие цвета должны быть выбраны для обработки, определяется ахроматическим цветом на кривой 1503. Теперь единственно необходимым является некоторый эталонный уровень насыщенности S_ref (1502), который может быть приравнен к нормированному значению 1. Мы предполагаем в этом примерном варианте осуществления, что насыщенность определяется как евклидова длина, т.е. sqrt(u*u+v*v) и, например, в лабораторном пространстве, это будет sqrt(a*a+b*b), но, конечно, другие определения были бы возможны. Практичным выбором для этого эталонного уровня было бы поместить его в положение (u, v) наиболее насыщенного из трех (R, G, B) или более первичных цветов, определяющих цветовое пространство. Теперь быстрый и простой и, как правило, достаточно точный способ определить кривую насыщенности a_s=f(L) состоял бы для градуировщика в том, чтобы определить точки выборок для ряда яркостей (уровень 1504 и т.д.) на оси яркости. Он маркирует их точками 1505. Положение этих точек определяет насыщенность, независимо от того, является ли это повышением или снижением. Евклидово расстояние от точки 1505 до оси L сравнивается с расстоянием до эталонной цилиндрической поверхности S_ref, и если, например, оно равно 0,3 при S_ref=1, то это означает, что все цвета с этой яркостью должны быть приглушены путем умножения их насыщенности на 0,3 (n.b. мультипликативные операции должны быть достаточны для обработки насыщенности, хотя другие функции аналогично могли бы также использоваться). В более темной области точка 1513 определяет повышение насыщенности для этих красных цветов.

Таким образом, например, - как бы ни было создано входное изображение, например, путем понижающего отображения из HDR основного, - градуировщик считает, что светлые цвета имеют достаточное качество, но более темные цвета могли бы быть сделаны с повышением насыщенности, он может определить уровень яркости (например, 0.25) и для этой позиции указать точку на, скажем, 1.8. Чтобы сэкономить время, алгоритм будет определять полную кривую, охватывающую весь диапазон 0.0-1.0 яркости от того, что, например, линейная интерполяция может применить это 1.8 с понижением к черным цветам, и применить множитель 1.0 к цветам выше уровня L-0.25 (конечно, другие стратегии интерполяции могут быть использованы программным обеспечением, как, например, сплайны, и градуировщик может добавить дополнительные точки, если ему желательно дополнительно точно настроить цветовое представление). Хотя не обязательно, но может быть полезным, если градуировщик также видит объем фактически возникающих цветов в изображении 1506. На фиг. 1506 мы показали только начальную ситуацию перед обработкой насыщенности, но, как правило, заключительная ситуация (или непрерывно меняющийся объем) тоже будут показаны, что в дополнение к просмотру текущего обрабатываемого (промежуточного или выходного) изображения дает градуировщику идею относительно того, где цвета переместить ближе к границе гаммы, и где может происходить ограничение или мягкое ограничение (может иметься встроенная стратегия, чтобы нелинейно изменять множитель в некоторой области от границы гаммы; и такие опции, определяющие поведение, как правило, будут включаться или отключаться в программном обеспечении градуировщиком перед началом его градуировки). Хотя такие зависимости только от яркости будут для многих ситуаций достаточными, может быть полезным, если градуировщик может определить различные поведения для разных оттенков. Например, он может задать 4 LUT (таблицы преобразования) для 4 секторов оттенков. Как объяснено выше, то же самое усиление или приглушение насыщенности будет применяться к красному и зеленому направлениям от оси L, но, как видно, объем цветов 1506 может быть ближе к границе гаммы в зеленом направлении, чем в красном направлении, например, потому что текущий кадр фильма или текущее неподвижное изображение является сценой леса (а в предыдущей градуировке насыщенность могла быть установлена высоко, чтобы эмулировать солнечный вид в LDR кодировании). Затем градуировщик может разграничить сектора оттенка и задать обработку насыщенности аналогичным образом, как описано выше. Более сложным примером является, где единственный мультипликативный режим не достаточен для по меньшей мере одного уровня яркости (и, возможно, сектора оттенка) в изображении. Например, темные красные цвета могут быть усилены, чтобы сделать более красивым вид “феррари” в темной части изображения (например, в гараже), но когда эти цвета также возникнут в лицах, эти лица могут стать слишком красными. Для этого градуировщик может определить второй эталон насыщенности S_ref2 (1510), который теперь будет, как правило, также выполнять двойную функцию в качестве разграничителя области цвета, определяющего, какие цвета «лица» будут обрабатываться. По сравнению с этим уровнем, пятиугольник 1511 теперь показывает, что насыщенности там должны быть приглушены, например, на 0.75. Фиг. 15b показывает, как такое поведение будет тогда изменять насыщенность цветов яркостей, подобных таковой на уровне L, соответствующем пятиугольнику 1511. В некоторых ситуациях прерывистое поведение может быть достаточным, так как лицо может занимать часть цветового пространства, и тогда там не может быть никаких других цветов, вплоть до “феррари”, но сглаживание переходов 1520 может также применяться, либо автоматически с помощью программного обеспечения, либо градуировщиком путем точной настройки на таком графе в под-окне. Кроме того, в других направлениях, по меньшей мере яркости и при необходимости также оттенка, градуировщик может определить, в каком диапазоне такое поведение следует применять, например, верхний уровень яркости 1512 (и аналогично нижний уровень яркости может быть задан). Вне этого диапазона обработка насыщенности может прерывисто переключаться на другое заданное поведение, или это может быть более постепенным, если необходимо.

Хотя такая обработка может, в принципе, быть применена к любой ситуации обработки насыщенности любого изображения, это особенно полезно при переключении между градуировками для визуализации сценариев с различным динамическим диапазоном (то есть, например, определяют оптимально градуированное кодирование, пригодное для подачи на HDR дисплей с 4000 нит в тусклой среде просмотра, на основе LDR кодирования, или наоборот). HDR пространство может тогда быть нормировано к тому же диапазону [0.0, 1.0], что и LDR пространство, хотя это не обязательно. Если это делается в сценарии с возможностью настройки (в котором определены градуировки, чтобы иметь возможность реализовать хорошее качество визуализации при различных сценариях визуализации, типично пик_белого дисплея и окружение, где эти градуировки на самом деле представляют собой принятые создателем контента выборки, как сцена должна выглядеть в различных ситуациях, избегая сложную проблему моделирования представления цветов и преобразования его в простую интерполяцию между репрезентативными градуировками), обработка, как правило, будет совместно кодироваться как метаданные к кодированию входного изображения, чтобы надлежащим образом применяться любой системой визуализации (например, если телевизор имеет яркость, промежуточную между двумя градуировками, например, оригинал является LDR градуировкой при 100 или 500 нит, и обработка насыщенности является частью стратегии отображения для получения градуировки с 4000 нит, дисплей с 2000 нит может принять решение выполнить, например, половину предложенной величины повышения, или определить нелинейную стратегию, начиная с совместно закодированной информации о поведении насыщенности).

Фиг. 16 показывает примерный вариант осуществления устройства 1600 градуировки, выполненного с возможностью применения обработки насыщенности для входного изображения Im_i (например, LDR градуировки, которая должна быть преобразована в изображение среднего динамического диапазона MDR для дисплея с 1200 нит; градуировщик имеет (по меньшей мере) такой 1200 нит дисплей 1602, подсоединенный, чтобы видеть результат своих спецификаций) и также кодирования спецификации в видеосигнал S_о, который типично кодирует пикселы видео в соответствии со стандартом, таким как стандарт MPEG, и функцию обработки насыщенности как метаданные к нему, например, в частях сигнала, или отдельных транспортных пакетах, которые могут быть ассоциированы с видео, с помощью средства, подобного PMT, и времени презентации или другого средства, чтобы определить конкретный номер изображения в видео, которому соответствует обработка (например, все изображения до времени презентации следующих данных функции обработки данных насыщенности). Устройство градуировки содержит по меньшей мере блок 1601 обработки насыщенности, который выполнен с возможностью применять изменение насыщенности к входному изображению в соответствии с любым из вышеуказанных методов. В качестве выхода он может выдавать выходное изображение Im_o (например, с усиленной насыщенностью), а также кодирование P_s функции обработки, такое как, например, LUT а=ai(Li). Кодер 1610 будет форматировать это в соответствии с требованиями согласованного (текущего или будущего) стандартизированного кодирования видеосигнала. Это может быть выгодно, чтобы облегчить пользовательское взаимодействие, если имеется блок 1603 анализа изображения. Этот блок будет по меньшей мере смотреть на определение того, как кодируется изображение, например, для определения R, G и B треугольных точек гаммы 1501, но он может также генерировать, например, объем 1506. Блок 1605 пользовательского взаимодействия реализует (как правило, в программном обеспечении) все функции, позволяющие пользователю задавать поведение модификации насыщенности и в общем взаимодействовать с изображением (например, определять границы оттенка (цветового тона) для конкретной обработки). Так он позволит на основе пользовательского ввода usr_inp (например, с клавиатуры или специальной клавиатуры градуировки), например, помещать точки, указывающие величину усиления или приглушения насыщенности.

Любое приемное устройство, например, устройство 1650 обработки видео, может принимать такой кодированный сигнал S_о и применять заданную обработку насыщенности либо непосредственно, либо выводить на ее основе свою собственную оптимальную обработку насыщенности. Устройство обработки видео содержит по меньшей мере блок 1651 обработки насыщенности, выполненный с возможностью применять такую зависимую от яркости стратегию насыщенности, как описано выше, на входном изображении Im_i. Это входное изображение может быть получено различными способами, но, как правило, устройство 1650 обработки видео может включать в себя декодер 1653, выполненный с возможностью выполнения, например, AVC или HEVC декодирования видео для получения пиксельного цветного изображения Im_i и декодирования метаданных функций обработки насыщенности, преобразования их во внутренне используемый формат (например, эта информация может быть кодирована различными способами, такими как кодирование длины серий, или для декодера может быть желательно преобразовать данную спецификацию в другую с отличающейся точностью и т.д.). В целом обработка насыщенности будет образовывать часть общей обработки/отображения цвета, выполняемой блоком 1652 обработки цвета, которая также может отображать яркости цветов Im_1 на новые значения (например, если входное изображение является HDR изображением, кодированным на [0.0-1.0], более темные части могут быть слишком темными, чтобы использоваться для LDR визуализации, и могут потребовать увеличения яркости либо до (предпочтительно), либо после обработки насыщенности). Устройство 1650 обработки видео выводит выходное изображение Im_о, которое, например, может быть непосредственно пригодным для отображения на конкретном дисплее (разумеется, может иметься дополнительное преобразование, такое, чтобы принимать во внимание аспекты дисплея, подобные его внутреннему EOTF, но это несущественно для настоящего обсуждения) или Im_о может быть выведено для других целей, например, сохранения в памяти, такой как blu-ray диск, или на сервере видео и т.д. Такое устройство 1650 обработки видео может, например, быть включено в телевизор, компьютер или приставку или профессиональное устройство, такое как, например, обработчик видео цифрового кино для кинематографа или компьютерная система отделения анализа изображений и т.д.

Для дальнейшего пояснения приведем два примера возможного использования в сценарии возможности настройки на фиг. 17. На фиг. 17а мы хотим получить LDR цвета из основной НDR градуировки, в соответствии с критериями градуировщика, такими как хороший локальный контраст, моделируемый внешний вид источников света или ярких областей и т.д. Для отображения тона в направлении яркости мы предполагаем использовать сохраняющее цветность (u, v) отображение, но мы не хотим масштабировать всё по максимуму выходной гаммы, как в EP12187572. Это приводит к риску для некоторых цветов выйти за пределы выходной гаммы G_LDR, даже если мы приведем все яркости в пределы диапазона, усеченного сверху посредством L_LDRm. Градуировщик может решить эту техническую проблему посредством художественно оптимального баланса яркости в сравнении с насыщенностью, путем выполнения перед понижающим отображением яркости уменьшения насыщенности в HDR входном цветовом пространстве (стрелка 1701). Фиг. 17b дает еще один пример, на этот раз с промежуточным кодированием. То, что мы видим, является входным и выходным пространством (и гаммой), определенными сходно нормированным, следовательно, совместным путем. У нас есть промежуточное кодирование изображения для HDR изображения (то есть изображения с достаточной информацией яркости, чтобы быть полезной для HDR визуализации), которое, однако, кодировалось (настраивалось) в некоторой степени, чтобы быть по-прежнему приемлемо визуализируемым на дисплее более низкого динамического диапазона (либо непосредственно, либо с некоторым финальным оптимизирующим цвет отображением, обычно реализуемым блоком отображения цвета на стороне дисплея, например, внутри дисплея). Это означает, что, например, яркая область на открытом воздухе кодировалась со значениями яркости там, где начинается стрелка отображения яркости ТМ_L2H. Компромиссом было дать некоторый выброс яркости в этих областях изображений и их цветах (при использовании, например, непосредственно в визуализации более низкого динамического диапазона), тогда насыщение требуется снизить вследствие математической формы гаммы. Для HDR визуализации желательно, чтобы эти области были яркими, но не вблизи максимума гаммы, поскольку такие яркости зарезервированы для ламп и взрывов, т.е. в нормированной гамме HDR выхода G_HDR, нужно преобразовывать цвета, придавая им более низкие яркости (в областях яркости L_os). Теперь эти цвета выглядят бледнее, чем они должны (могли) быть, так что градуировщик будет совместно задавать усиление насыщенности для получения финальной визуализации, но для тех яркостей (по меньшей мере), потому что другие области цветового пространства могут быть в порядке.

Типично, приведенное выше будет реализовано в виде различных вариантов осуществления устройства (1600) градуировки цвета изображения, содержащего:

- вход (240) для цветного входного изображения (Im_i) и

- блок (1605) пользовательского взаимодействия, выполненный с возможностью разрешать градуировщику цвета задавать стратегию обработки насыщенности, содержащую по меньшей мере первый коэффициент изменения насыщенности для первого диапазона яркостей цветов, подлежащих обработке, и отличающийся второй коэффициент изменения насыщенности для второго диапазона яркостей цветов, подлежащих обработке, причем первый и второй коэффициенты изменения насыщенности предпочтительно являются мультипликативными.

Характеристика по меньшей мере одного коэффициента для зависимого от яркости изменения насыщенности может быть различной, например, коэффициент мог бы задавать параболическое или сигмоидальное поведение изменения насыщенности вдоль по меньшей мере одной постоянной (или примерно постоянной) линии яркости (например, сигмоидальное поведение на графике, как на фиг. 15b, может начинаться с небольшого приглушения насыщенности, а затем сигмоидально расти до большого повышения для более высоких значений до тех пор, пока некоторый максимум не начнет обрезать (ограничивать) значительную величину насыщенных цветов во входном изображении, но, конечно, дополнительный параметр мог бы кодироваться для этого уровня яркости, для уменьшения повышение насыщенности снова в тех областях до 1.0 или даже ниже, чтобы эти цвета лучше соответствовали доступной гамме), но во многих ситуациях мультипликативный коэффициент, изменяющий входную насыщенность s_in в выходную насыщенность s_out=а*s_in, будет характеризоваться достаточной сложностью управления и визуальной точностью.

Хотя некоторые варианты осуществления могут задать лишь для одной или малой области яркостей коэффициент, характеризующий обработку насыщенности (остальные цвета, например, по умолчанию остаются теми же самыми, что было бы идентично умножению на коэффициент 1.0), может быть предпочтительным задать коэффициенты для всего возможного диапазона яркости цветов во входном изображении (например, 0.0-1.0) или какой-либо другого диапазона яркости, из которых некоторые цвета могут иметь обработку насыщенности, определяемую, даже если они не встречаются во входном изображении. Это может быть сделано либо путем действительного задания их (например, алгоритм создает непрерывную интерполяцию, а градуировщик либо принимает, либо корректирует это), что может быть совместно закодировано в сигнале изображения S_o, например, как LUT достаточной точности (что может еще дополнительно интерполироваться на стороне приемника), но достаточно, если требуемая обработка для каждого возможного цвета с яркостью Li может выводиться, то есть метаданные, задающие стратегию обработки насыщенности для приемника, могут просто содержать функциональные параметры или позиции точек, таких как 1505, и т.д.

Если требуется большая точность, может быть выгодно, если блок (1605) пользовательского взаимодействия позволяет задать обработку насыщенности на основе дополнительных свойств цветов в цветовом пространстве, таких как, например, зависимость оттенков, как, например, s_out=fi(L, h_i), в которой имеется набор h_i, являющихся оттенками центроида для секторов оттенков, и цвет (u, v) обрабатывается отображением насыщенности на основе ближайшего соседства от всех этих оттенков центроида, или другого зависимого от оттенка определения s_out=fi(L, f_hi()), в котором f_hi() является некоторой функцией или алгоритмической стратегией, отображающей оттенок входного цвета на некоторый коэффициент i, который определяет конкретную стратегию обработки насыщенности. Аналогичным образом, могут быть различные стратегии для разных поддиапазонов насыщенности по меньшей мере одного диапазона яркости (на или вокруг Li), и можно было бы обрабатывать комплементарные оттенки, как если бы они были с отрицательной насыщенностью. Это может быть математически определено, как, например, s_out=fi(L, f_si()), в котором теперь имеется категориальное (например, булево, если участвуют две области) распределение на основе насыщенности цветов (u, v) входного изображения, подлежащего обработке. Хотя эта точность обычно будет достаточной, можно в целом определить стратегии, которые различаются на основе как оттенка, так и насыщенности цветов в выбранных поддиапазонах яркости.

Таким образом, мы описали способ задания стратегии обработки насыщенности для входного изображения (Im_i), содержащий задание по меньшей мере первого коэффициента изменения насыщенности для первого диапазона яркостей цветов входного изображения, подлежащего обработке, и отличающегося второго коэффициента изменения насыщенности для второго диапазона яркостей других цветов входного изображения, подлежащих обработке, и, предпочтительно, содержащий кодирование этой стратегии как метаданных, ассоциированных с входным изображением, и его варианты.

Дополняющим к нему устройством будет устройство (1650) обработки видео, содержащее:

- вход для входного изображения (Im_i) и

- блок (1651) обработки насыщенности, выполненный с возможностью применения первого изменения насыщенности к цветам входного изображения, попадающим в первый диапазон яркостей, и отличающегося второго изменения насыщенности к цветам входного изображения, попадающим во второй диапазон яркостей, причем устройство обработки видео содержит средство для получения первого и второго коэффициентов изменения насыщенности, характеризующих изменение первой и, соответственно, второй насыщенности, причем это средство предпочтительно содержит декодер, чтобы декодировать первый и второй коэффициенты изменения насыщенности из метаданных в сигнале изображения (S_о). Хотя это устройство может быть частью системы в одном местоположении или в одном использовании, типично градуировщик или пере-градуировщик для существующего контента будет задавать градуировки один раз, а затем в более позднем случае и другое использование этих градуировок будет происходить посредством устройства обработки видео. Это может, например, быть потребительским устройством. Может быть, что потребитель купил через интернет фильм, который он смотрел, например, 5 лет назад на своем LDR дисплее. Теперь, все еще имея права на просмотр контента, он указывает модулю управления на сервере, что он приобрел HDR дисплей и желает получить метаданные для изображений видеопрограммы, указав среди прочего эту насыщенность. Конечно, пользователь может приобрести кодирование видео (цвета пиксельного изображения) + метаданные обработки цвета (насыщенности) на одном продукте памяти, таком как, например, blu-ray диск, твердотельная карта памяти, либо с предварительной установкой, например, на устройстве воспроизведения видео, таком как портативный плеер и т.д.

Это соответствует способу обработки видео, содержащему применение первого изменения насыщенности цветов входного изображения, попадающих в первый диапазон яркостей, и отличающегося второго изменения насыщенности цветов входного изображения, попадающих во второй диапазон яркостей, и различным его вариантам осуществления в соответствии с поясненными выше принципами.

Фиг. 13 показывает пример того, как различные LDR изображения могут быть получены для визуализации. В этом примере мы выбрали гладкую кривую 1301 для технической градуировки, которая позволяет восстанавливать все диапазоны яркости исходного, подлежащего кодированию основного HDR изображения (каков бы ни был диапазон, который оно могло иметь) с приемлемой точностью. Когда мы сохраняем его в технически градуированном LDR изображении GT_IDR, «тупая» унаследованная система, хотя картинка будет узнаваемой, будет визуализировать примитивную картинку на LDR дисплее, с непредпочтительным контрастом в основных областях, подобных изображению актера. Любая такая система могла бы использовать автоматическую обработку для повышения контраста или иным образом попробовать оптимизировать изображение, но должна делать это вслепую. Было бы гораздо лучше, если бы контент-провайдер мог кодировать то, что принимающая сторона может сделать, чтобы получить лучшую LDR градуировку, чем техническая градуировка. Данные, необходимые для задания такого второго отображения тона из технической градуировки GT_IDR, могут быть такими простыми, как задание двух границ gt_Mh и gt_Мl, которые указывают, где основная информация находится в кодовом пространстве, и какие другие цвета могут быть (серьезно) ухудшены в пользу других. Системе принимающей стороны требуется тогда только растянуть сигналы яркости, принимая во внимание эти важные значения. Мы показали это на графе 1302, который при применении непосредственно к дисплею (с известными калиброванными свойствами, например, стандартной гаммой и поведением среды просмотра) приведет в результате к визуализированным яркостям на оси х в соответствии с этим графом. В этом примере модуль отображения цвета приемной стороны решил главным образом растянуть черные цвета, сохраняя немного постеризованной информации HDR, что, однако, может быть визуализировано в данной окружающей среде, и решил использовать стратегию жесткого ограничения, отображая gt_Mh в белый цвет (т.е. определяя его как LDR белый в общем HDR цветовом пространстве). Все цвета выше не могут тогда быть визуализированы на этом, например, 700 нит дисплее. Конечно, могут быть совместно закодированы более сложные спецификации о том, что отображение цвета принимающей стороны должно делать с принятым GT_IDR кодированным изображением для получения оптимальных видов на одном или более предполагаемых дисплеев (например, 700 нит - сделать обработку Х, 1500 нит - сделать Y), и все это может быть определено в функциях отображения цвета и применено на основе принятого GT_IDR изображения (например, дополнительные характеристические значения серого могут помочь в дальнейшем параметрически заданном улучшении подлежащей получению LDR градуировки, или 1 явная стратегия отображения может быть задана для всего диапазона, для категории принимающего дисплея, и это может быть сделано, например, с помощью LUT коэффициентов усиления [между 1/X и Y] на каждое значение яркости). Такие простые системы декодирования будут визуализировать приемлемую LDR картинку, а декодеры, способные обрабатывать все представленные возможности, будут давать оптимальные LDR или HDR или любого MDR (среднего динамического диапазона), или ODR (за пределами типичного динамического диапазона, подобно subLDR с чрезвычайно низким контрастом) изображения. Хотя наша концептуальная основа позволяет задавать точные градуировки для N LDR (и других) сценариев просмотра (например, 100 нит и 500 нит tv в сценариях темного, приглушенного и яркого просмотра = 6 градуировок), конечно, не всегда необходимо визуализировать оптимальную градуировку, и изображение довольно хорошего качества изображения также будет создаваться в некоторых сценариях. Мы иллюстрируем это на фиг. 13 в качестве простого примера. Предположим, мы имеем выпуск новостей с HDR освещенностью, которая, как предполагается, выглядят очень красиво, но LDR является аппроксимацией, которая должна просто хорошо выглядеть, и градуировщик должен быть в состоянии определить свою систему в течение нескольких секунд перед началом студийного показа новостей. Для этого можно определить два дополнительных порога разграничения gt_H2 и gt_L2, так что принимающая сторона может решить, как отображать цвета GT_IDR, чтобы получить свое изображение на дисплее. Например, это может быть определено (посредством совместного кодирования этих значений в специально зарезервированных кодов, таких как MINIMAL_LDR_Low и MINIMAL_LDR_High, или BROAD_LDR-low и BROAD_LDR_High, или даже больше разделителей LDR поддиапазонов), что gt_ML и gt_Mh являются «конечными» разделителями LDR поддиапазона основного действия HDR сцены, что еще содержит некоторую из HDR информации (подобно уже нескольким ярким деталям в студии) и gt_L2 и gt_L2 содержат «абсолютный минимум», необходимый для LDR визуализации (например, не (жесткое) ограничение световых эффектов в лицах). Отображение цвета принимающей стороны может тогда выбрать свою стратегию для создания LDR изображения. Например, оно может определить проприетарную (собственную) стратегию мягкого ограничения до областей между gt_ML и gt_L2 и gt_H2 и gt_H2, после определения стратегии растяжения для среднего диапазона абсолютно обязательно хорошо визуализируемых цветов между gt_L2 и gt_H2 (например, отображение их на значения 20 и 220). Но если принимающая система решает сделать отображение жесткого растяжения диапазона [gt_L2, gt_H2] на [0, 255] и ограничение снаружи, LDR визуализация также будет выглядеть приемлемо. Принимающая сторона может принять решение, чтобы выбрать опцию, например, на основе величины имеющегося окружающего освещения. Итак, мы видим, что система оставляет много возможностей, от строго контролируемых сложных систем определения градуировки до реально простых систем, имеющих только несколько руководящих параметров совместного кодирования. Вид динамического диапазона технической градуировки может быть, например, LDR или MDR (т.е. хорошо выглядеть на эталонном дисплее, например, с 1200 нит). Но принцип всегда заключается в развязке технических требований (например, обратимости, которая обрабатывается в отношении HDR-GT_IDR) от творческой свободы (создание произвольного перекрашивания всех объектов LDR изображения, насколько желательно градуировщику, из GT-IDR и с настолько сложной функцией отображения, насколько это необходимо, хотя, как правило, с некоторым числом поддерживаемых базисных функций (которые декодер должен поддерживать), как, например, мульти-суб-функциональное отображение сигналов яркости и цвета (например, с использованием LUT), определение сегментов локального объекта и функций отображения для них и т.д.). Пользовательские интерфейсы могут быть очень простыми для градуировщика, например, так как во многих системах точное положение точной настройки gt_Mh, gt_H2 и т.д. может не быть критичным, он может определять их путем быстрого “рисования каракулей” на нескольких областях текущего захваченного изображения сцены, таких, как, например, лицо диктора, стол, за которым она сидит, и, если требуется, другой ручкой (определяя внешние области, подобно яркостям выше gt_Mh) светящийся экран за ее спиной. Конечно, больше информации может быть введено - например, с большим числом gt характеристических точек - как, например, тени или световые эффекты в HDR освещенности ее лица или стола, и все это может быть использовано для более сложных стратегий отображения цвета. И дополнительные спецификации этих областей могут быть сделаны, например, геометрическая функция по ее лицу, определяющая траекторию контраста, и функции для переопределения/переотображения этого при различных условиях (например, оставить яркими концы кривой, но сделать несколько ярче темные цвета), и т.д. Все это может быть добавлено к метаданным при необходимости, но в целом предпочитают простые системы с минимальным количеством требуемых данных, и по меньшей мере один LDR диапазон может быть полезным (но второй, вокруг цветов отображаемого человека, также может быть полезен в некоторых сценариях).

Фиг. 14 показывает пример, каким образом технические градуировки также могут работать на колориметрических принципах. Предположим, у нас есть математическое цветовое пространство 1401 с определением основных цветов, так что менее насыщенные цвета могут быть сделаны, чем могут потребоваться для некоторых (возможно, в будущем) предусмотренных дисплеев, с физической гаммой 1402. Это может быть не настолько проблематичным для более темных цветов, так как дисплей может делать некоторое повышение насыщенности, и может иметься достаточно записанной информация для того, чтобы работать хорошо (возможно, с применением пост-фильтра удаления полосатости, если это необходимо). Однако в области “шатра” гаммы может иметься проблема, если мы хотели бы иметь некоторые насыщенные цвета высокой яркости вместо таковых более пастельных. Если вопрос в этом, то градуировщик может принять решение определить свою градуировку до новой точки белого W* (обрезав вершину шатра, оставляя возможность определения более насыщенных цветов вблизи максимально ярких цветов, но затем, чтобы избежать путаницы, эта точка белого W* (являющаяся наиболее ярким возможным цветом в соответствии с этим определением кода) может совместно кодироваться (чтобы установить, что это не просто сцена с «отсутствием белого»). Разумеется, приемная сторона может также просто учесть то, какое наиболее яркое кодирование имеется во входном изображении, и выполнить визуализацию с ним, так как зрительная система адаптируется к серому виду как к белому для ярких дисплеев в любом случае, но тогда LDR система может использовать его, чтобы усилить некоторые части картинки до ее максимальной яркости.

Специалисту в данной области будет понятно, что многие варианты возможны для вышеупомянутых концепций. Например, хотя в конкретных примерах, поясненных на чертежах, мы предполагали, что данные отображений цвета были совместно кодированы с данными пикселов изображения (GT_IDR), например, как метаданные в заполнителях, определенных в стандарте кодирования изображения, как, например, сообщения SEI или аналогично, или в пределах зарезервированной секции памяти, например секции BD, разумеется, другие примеры также могут передавать данные отображения цвета с помощью другого канала связи, иного, чем GT_IDR. Например, создатель контента может накладывать дополнительные ограничения на свойства отображений цветов или результирующее GT_IDR, например, он может придавать ему совершенно другой вид, чем М_HDR и LDR-Im, или даже неприятную картинку, и доставлять данные отображения цвета через безопасный канал после проверки приемника или оплаты и т.д.

Алгоритмические компоненты, описанные в данном тексте, могут (полностью или частично) быть реализованы на практике как аппаратные средства (например, части специализированной IC) или как программное обеспечение, работающее на специальном цифровом сигнальном процессоре или процессоре общего назначения, и т.д. Они могут быть полуавтоматическими в том смысле, что по меньшей мере некоторый пользовательский ввод (например, в заводских условиях или ввод потребителя или ввод, выполняемый другим человеком) может/мог присутствовать.

Специалисту в данной области должно быть понятно из изложенного выше, какие компоненты могут быть опциональными улучшениями и могут быть реализованы в комбинации с другими компонентами, и какие (опциональные) этапы способов соответствуют соответствующим средствам устройств, и наоборот. Тот факт, что некоторые компоненты раскрыты в изобретении в определенном соотношении (например, на одном чертеже в определенной конфигурации), не означает, что другие конфигурации не возможны в вариантах осуществления в рамках того же изобретательского замысла, как описано в данном документе для патентования. Кроме того, тот факт, что по практическим причинам только ограниченный спектр примеров был описан, не означает, что другие варианты не могут подпадать под объем формулы изобретения. В самом деле, компоненты изобретения могут быть воплощены в различных вариантах вдоль любой цепочки применения, например, все варианты стороны создания, такой как кодер, могут быть аналогичны или соответствовать соответствующим устройствам на стороне потребления разложенной на составные части системы, например декодеру, и наоборот. Некоторые компоненты вариантов осуществления могут быть закодированы в качестве конкретных данных сигнала в сигнал для передачи или дальнейшего использования, такого как координация, в любой технологии передачи между кодером и декодером, и т.д. Слово «устройство» в настоящей заявке используется в самом широком смысле, а именно, как группа средств, позволяющих реализовать конкретную цель, и, следовательно, может быть, например, (малой частью) IC или специализированного прибора (такого как прибор с дисплеем) или частью сетевой системы и т.д. «Композиция» или «система» также предназначена для использования в самом широком смысле, так что она может содержать, в частности, одно физическое, предлагаемое к приобретению устройство, часть устройства, набор (части) взаимодействующих устройств и т.д.

Обозначение “компьютерный программный продукт” следует понимать как охватывающее любую физическую реализацию набора команд, позволяющих общему или специализированному процессору, после серии этапов загрузки (которые могут включать в себя промежуточные этапы преобразования, например, перевод на промежуточный язык и окончательный язык процессора) для ввода команд в процессор, выполнять любую из характерных функций изобретения. В частности, компьютерный программный продукт может быть реализован в виде данных на носителе, таком как, например, диск или лента, данных, присутствующих в памяти, данных, передаваемых через сетевое соединение, - проводное или беспроводное - или программного кода на бумаге. Помимо программного кода, характерные данные, необходимые для программы, могут также быть реализованы в качестве компьютерного программного продукта. Такие данные могут быть (частично) поставлены любым путем.

Изобретение или любые данные, применимые в соответствии с любой философией вариантов осуществления настоящего изобретения, такие как данные видео, могут быть также воплощены как сигналы на носителях данных, которые могут представлять собой съемную память, такую как оптические диски, флэш-памяти, съемные жесткие диски, портативные устройства, допускающее запись с помощью беспроводных средств и т.д.

Некоторые из этапов, необходимых для функционирования любого предложенного способа, могут уже присутствовать в функциональности процессора или каких-либо аппаратных вариантов осуществления изобретения вместо того, чтобы описываться в компьютерном программном продукте или любом блоке, устройстве или способе, описанных здесь (со спецификой вариантов осуществления изобретения), такие как этапы ввода и вывода данных, хорошо известные типично включенные этапы обработки, такие как управление стандартным дисплеем, и т.д. Для нас также желательна защита результирующих продуктов и аналогичных результатов, таких как, например, конкретные новые сигналы, участвующие на любом этапе способов или в любом компоненте устройств, а также любые новые использования таких сигналов или любые связанные способы.

Под сигналом изображения мы типично подразумеваем любой из существующих или аналогичных способов скомпоновать данные изображения. Помимо пиксельной структуры кортежей цветов, что мы называем изображением (или картинкой), такой сигнал может содержать метаданные, такие как дескрипторы для значения данных, такие как, например, форматное соотношение изображения, и другие метаданные, содержащие полезную информацию, относящуюся к кодированному изображению, например, для модификации его на приемной стороне, и т.д. Сигналы могут иметь различные физические/технические формы воплощений, например, могут быть определены как электрические модуляции несущей волны или биты, представленные как механические ямки, или модификации материала, как, например, состояние локальной намагниченности и т.д.

Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение. Там, где специалист может легко реализовать отображение представленных примеров на другие области формулы изобретения, мы для ясности изложения не упоминали все эти варианты детально. Помимо комбинаций элементов изобретения, как скомбинировано в формуле изобретения, возможны другие комбинации элементов. Любая комбинация элементов может быть реализована в одном выделенном элементе.

Любая ссылочная позиция в скобках в пункте формулы не предназначена для ограничения пункта, как и любой конкретный символ на чертежах. Слово «содержащий» не исключает присутствия элементов или аспектов, не перечисленных в пункте формулы изобретения. Указание элемента в единственном числе не исключает наличия множества таких элементов.

1. Кодер изображения, содержащий:

- вход для входного изображения высокого динамического диапазона;

- блок градуировки изображения, выполненный с возможностью позволять человеку-градуировщику цвета задавать отображение цвета из представления входного изображения высокого динамического диапазона на первое изображение низкого динамического диапазона с помощью алгоритма определяемого человеком отображения цвета и выполненный с возможностью вывода данных, задающих отображение цвета; и

- блок автоматической градуировки, выполненный с возможностью получения второго изображения низкого динамического диапазона путем применения алгоритма автоматического отображения цвета к входному изображению высокого динамического диапазона, с алгоритмом отображения цвета, выполняющим условие, что реконструированное изображение высокого динамического диапазона, попадающее в пределы второй предопределенной точности, из входного изображения высокого динамического диапазона может быть вычислено путем применения второго алгоритма отображения цвета, который является инверсией алгоритма автоматического отображения цвета, ко второму изображению низкого динамического диапазона.

2. Кодер изображения по п. 1, в котором представление входного изображения высокого динамического диапазона является одним из входного изображения высокого динамического диапазона и второго изображения низкого динамического диапазона.

3. Кодер изображения по п. 1, в котором блок градуировки изображения и блок автоматической градуировки выполнены с возможностью применения монотонной функции отображения к корреляту-яркости пикселов в их соответствующем входном изображении по меньшей мере в той геометрической области соответствующего входного изображения, которая соответствует такой же геометрической области входного изображения высокого динамического диапазона.

4. Кодер изображения по п. 3, в котором блок автоматической градуировки выполнен с возможностью определения монотонной функции отображения из коррелятов-яркости пикселов входного изображения высокого динамического диапазона на корреляты-яркости пикселов второго изображения низкого динамического диапазона в соответствии с критерием, который определяет соответствующие диапазоны коррелятов-яркости пикселов входного изображения высокого динамического диапазона, распределенные соответствующим отдельным значениям коррелята-яркости пикселов второго изображения низкого динамического диапазона, причем соответствующие диапазоны образуют набор диапазонов коррелята-яркости, перекрывающих полный диапазон возможных значений коррелята-яркости для входного изображения высокого динамического диапазона.

5. Кодер изображения по п. 1, содержащий модуль форматирования данных, выполненный с возможностью вывода в сигнал изображения второго изображения низкого динамического диапазона и по меньшей мере одних или обоих из данных, описывающих отображение цвета между входным изображением высокого динамического диапазона и вторым изображением низкого динамического диапазона, и данных, описывающих отображение цвета между первым изображением низкого динамического диапазона и вторым изображением низкого динамического диапазона.

6. Декодер изображения, выполненный с возможностью приема, через вход сигнала изображения, сигнала изображения, содержащего изображение низкого динамического диапазона и данные, описывающие первое отображение цвета, позволяющие реконструировать реконструкцию изображения высокого динамического диапазона на основе упомянутого изображения низкого динамического диапазона, и данные, описывающие второе отображение цвета, обеспечивающие возможность вычисления дополнительного изображения низкого динамического диапазона на основе упомянутого изображения низкого динамического диапазона, причем декодер изображения содержит блок получения изображения, выполненный с возможностью получения по меньшей мере упомянутого изображения низкого динамического диапазона на основе данных, описывающих второе отображение цвета, и цветов пикселов, закодированных в упомянутом изображении низкого динамического диапазона.

7. Декодер изображения по п. 6, содержащий блок конфигурирования системы, выполненный с возможностью определения, является ли декодер соединенным по меньшей мере с одним из дисплея высокого динамического диапазона и дисплея низкого динамического диапазона, и причем блок конфигурирования системы выполнен с возможностью конфигурирования блока получения изображения для определения по меньшей мере реконструкции в случае соединения с дисплеем высокого динамического диапазона и выполнен с возможностью конфигурирования блока получения изображения для определения по меньшей мере упомянутого дополнительного изображения низкого динамического диапазона в случае соединения с дисплеем низкого динамического диапазона.

8. Декодер изображения по п. 6, дополнительно содержащий:

выходной вывод, включающий в себя по меньшей мере одно из проводного соединения и беспроводного соединения к любому подключаемому дисплею; и

модуль форматирования сигнала, выполненный с возможностью передачи по меньшей мере одного из реконструкции изображения высокого динамического диапазона и изображения низкого динамического диапазона на любой подключенный дисплей.

9. Декодер изображения по п. 6, в котором блок получения изображения выполнен с возможностью определения дополнительного изображения на основе реконструкции изображения высокого динамического диапазона и изображения низкого динамического диапазона или второго изображения низкого динамического диапазона и данных, описывающих первое отображение цвета, и данных, описывающих второе отображение цвета.

10. Декодер изображения по п. 6, в котором вход сигнала изображения подсоединен к считывающему блоку, выполненному с возможностью считывания сигнала изображения из памяти.

11. Декодер изображения по п. 6, в котором вход сигнала изображения может быть соединен через сетевое соединение с источником сигнала изображения.



 

Похожие патенты:

Изобретение относится к области оптического приборостроения и касается способа получения и обработки изображений дистанционного зондирования Земли (ДЗЗ), искажённых турбулентной атмосферой.

Изобретение относится к области устранения шума в данных изображения. Технический результат – обеспечение устранения шума в данных изображения.

Изобретение относится к области обработки изображений. Технический результат – обеспечение устранения ручной установки параметров косметической обработки.

Изобретение относится к области цифровой обработки изображений. Технический результат - повышение качества изображения и снижение уровня шумов изображения.

Изобретение относится к технологиям обработки изображения. Техническим результатом является повышение качества отображаемого изображения за счет осуществления регулирования субъективной яркости компоненты освещающего света.

Изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления и обработки сигналов. Техническим результатом является обеспечение объединенного изображения со сглаженными границами перехода.

Изобретение относится к области спектральной компьютерной томографии. Технический результат заключается в снижении дозы облучения для заданного качества изображения.

Изобретение относится к области дешифрации изображений, получаемых от датчиков изображения. Техническим результатом является повышение точности распознавания объектов на изображении.

Изобретение относится к области сжатия цифровых изображений. Технический результат – обеспечение управления скоростью JPEG сжатия цифрового изображения посредством генерации набора таблиц квантования.

Изобретение относится к устройству обработки видеоинформации, причем видеоинформация содержит видеоданные с узким динамическим диапазоном (LDR) и/или видеоданные с расширенным динамическим диапазоном (HDR).

Изобретение относится к области обработки изображений. Технический результат – обеспечение определения периодически повторяющихся текстур на изображении.

Группа изобретений относится к технологиям обработки изображений и оптическому распознаванию символов. Техническим результатом является расширение арсенала технических средств систем оптического распознавания текста.

Изобретение относится к автоматике и вычислительной технике. Технический результат – повышение быстродействия реконструкции фотопортретов из скетчей.

Изобретение относится к технологиям проверки идентичности. Технический результат - получение безартефактных биометрических изображений глаза.

Изобретение относится к устройству захвата изображений, системе захвата изображений и способу управления для устройства захвата изображений. Технический результат заключается в уменьшении объема данных опорной пиксельной области, которые записываются, при одновременном подавлении снижения качества при обработке коррекции изображения.

Изобретение относится к области сжатия цифровых изображений. Технический результат – обеспечение управления скоростью JPEG сжатия цифрового изображения посредством генерации набора таблиц квантования.

Изобретение относится к области обмена данными изображения. Технический результат – обеспечение отображения эталонных кодированных данных с меньшим количеством ошибок.

Изобретение относится к области компьютерной техники, и, в частности, компьютерной техники для детектирования лица. Технический результат заключается в повышении точности алгоритма детектирования и распознавания лица.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении указания для других пользователей произвольного местоположения на информации изображения.

Изобретение относится к технологиям оптического определения положения и/или ориентации объекта в пространстве на основе изображений, полученных от камер. Техническим результатом является повышение точности определения положения, ориентации объекта в пространстве.
Изобретение относится к автоматизированному анализу векторных изображений. Технический результат – расширение арсенала технических средств посредством выявления схожих с эталоном векторных изображений. Способ автоматизированного анализа векторных изображений заключается в том, что: каждому эталонному векторному изображению присваивают уникальный идентификатор; каждый электронный файл эталонных векторных изображений преобразуют в заранее заданный формат, содержащий векторные примитивы; для взаимного расположения примитивов вычисляют хеш-значения; хеш-значениями и идентификаторами эталонных документов заполняют базу данных; преобразуют электронный файл анализируемого векторного изображения в заранее заданный формат, идентичный эталонному; выбирают подмножество из множества пар примитивов изображения; для каждой пары вычисляют хеш-значение; производят поиск полученных вычисленных хеш-значений в базе данных и формируют список документов, в которых содержатся вычисленные хеш-значения и список факторов ранжирования для каждого такого документа; вычисляют степень совпадения с анализируемым документом по заранее заданному правилу; возвращают массив найденных идентификаторов эталонных векторных изображений, для которых был превышен порог релевантности.
Наверх