Способ и устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций

Изобретение относится к способу и устройству для создания изображений и, в частности, к способу для создания улучшенного изображения посредством нескольких последовательных экспозиций. Техническим результатом является создание изображений с высоким динамическим диапазоном из множественных экспозиций. Результат достигается тем, что достаточный свет получают путем осуществления ряда первых экспозиций совместно с одной второй экспозицией в быстрой последовательности. Первые экспозиции объединяются для обеспечения достаточной яркости и резкости. Вторая экспозиция предназначена для сбора информации цвета. Первые экспозиции объединяются со второй экспозицией для обеспечения улучшенного изображения. 2 н. и 28 з.п. ф-лы, 3 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу для создания изображений и, в частности, к способу для создания улучшенного изображения посредством нескольких последовательных экспозиций. Экспозиции объединяются для создания изображений с улучшенными характеристиками, в особенности, с лучшим цветовым и световым контентом.

Изобретение также относится к устройству, в котором используется упомянутый способ.

Уровень техники

Современные цифровые камеры широко используются и продаются в широком ассортименте, включая высококлассные камеры, имеющие светочувствительные матрицы с высоким разрешением свыше 10 мегапикселей, и более простые камеры, например, входящие в состав сотовых телефонов. В общем случае, существует проблема получения изображений в условиях низкой освещенности. При слишком малой выдержке изображение получается недостаточно светлым (недодержанным). С другой стороны, при слишком большой выдержке, изображение ухудшается вследствие дрожания руки, держащей камеру, или вследствие перемещения объекта.

Общее решение заключается в использовании вспышки или подсветки. Однако часто предпочтительно использовать естественный, имеющийся свет. Кроме того, некоторые более маленькие камеры не приспособлены для работы со вспышкой или не имеет встроенной вспышки. Кроме того, вспышка увеличивает стоимость камеры.

Сущность изобретения

Согласно настоящему изобретению достаточный свет получают путем осуществления ряда первых экспозиций совместно с одной второй экспозицией в быстрой последовательности. Первые экспозиции объединяются для обеспечения достаточной яркости и резкости. Вторая экспозиция предназначена для сбора информации цвета. Первые экспозиции объединяются со второй экспозицией для обеспечения улучшенного изображения.

Согласно первому аспекту изобретение предусматривает способ создания изображения, содержащий этапы, на которых:

экспонируют светочувствительную матрицу в соответствии с последовательностью экспозиций,

из которых количество N являются первыми экспозициями, которые могут быть недодержанными, и из которых одна является второй экспозицией, имеющей сравнительно более длительную выдержку,

в котором данные яркости (Y) N первых экспозиций используют для создания резкости в окончательном изображении, и данные цветности (UV) второй экспозиции используют для создания цветового контента в окончательном изображении.

Предпочтительно, данные яркости (Y) N первых экспозиций сохраняют в памяти.

Согласно предпочтительному варианту осуществления количество N первых экспозиций больше 1, и данные яркости самой поздней первой экспозиции добавляют к данным яркости (Y), существующим в памяти.

Предпочтительно, данные яркости (Y) добавляют с коррекцией для повышения резкости.

Согласно предпочтительному варианту осуществления вычисляют вектор смещения, причем вектор смещения выражает разность, обусловленную движением между самой поздней первой экспозицией и содержимым памяти, причем вектор смещения используется в ходе добавления при обращении к памяти.

Предпочтительно, данные яркости (Y) оптимизируют для высокого значения яркости.

Предпочтительно, данные яркости (Y) являются взвешенной суммой трех цветовых каналов Красный (R), Зеленый (G) и Синий (B).

Весовые коэффициенты трех цветовых каналов Красный (R), Зеленый (G) и Синий (B) могут быть равны (Y=R+G+B).

Предпочтительно, данные цветности (UV) и данные яркости (Y) поступают на процессор изображения для обработки.

Согласно предпочтительному варианту осуществления вторую экспозицию осуществляют в последнюю очередь, и данные цветности (UV) считывают с матрицы и данные яркости (Y) считывают из памяти.

Предпочтительно, количество N первых экспозиций составляет от 2 до 8 (2≤ N ≤8).

Первые экспозиции могут иметь более короткие индивидуальные времена экспозиции, чем вторая экспозиция.

Предпочтительно, сумма времен экспозиции для N первых экспозиций примерно равна времени экспозиции для второй экспозиции.

Первые экспозиции можно производить с меньшей диафрагмой, чем для второй экспозиции.

Предпочтительно, сумма экспозиций для N первых экспозиций примерно равна второй экспозиции.

Согласно второму аспекту изобретение предусматривает устройство для создания изображения, содержащее оптическую систему для экспонирования светочувствительной матрицы, средство памяти для хранения данных изображения и процессор, способный обрабатывать данные изображения.

Согласно изобретению оптическая система способна экспонировать светочувствительную матрицу в соответствии с последовательностью экспозиций, из которых количество N являются первыми экспозициями, которые могут быть недодержанными, и из которых одна является второй экспозицией, имеющей сравнительно более длительную выдержку, и процессор способен использовать данные яркости (Y) N первых экспозиций для создания резкости в окончательном изображении, и использовать данные цветности (UV) второй экспозиции для создания цветового контента в окончательном изображении.

Предпочтительно, чтобы процессор был способен сохранять данные яркости (Y) N первых экспозиций в памяти.

Согласно предпочтительному варианту осуществления количество N первых экспозиций больше 1, и процессор способен добавлять данные яркости самой поздней первой экспозиции к данным яркости (Y), существующим в памяти.

Предпочтительно, чтобы процессор был способен добавлять данные яркости (Y) с коррекцией для повышения резкости.

Согласно предпочтительному варианту осуществления процессор способен вычислять вектор смещения, причем вектор смещения выражает разность, обусловленную движением между самой поздней первой экспозицией и содержимым памяти, и использовать вектор смещения в ходе добавления при обращении к памяти.

Предпочтительно, данные яркости (Y) оптимизируют для высокого значения яркости.

Предпочтительно, чтобы процессор был способен извлекать данные яркости (Y) как взвешенную сумму трех цветовых каналов Красный (R), Зеленый (G) и Синий (B).

Весовые коэффициенты трех цветовых каналов Красный (R), Зеленый (G) и Синий (B) могут быть равны (Y=R+G+B).

Предпочтительно, чтобы процессор был способен принимать данные цветности (UV) от матрицы (3) и данные яркости (Y) из памяти.

Согласно предпочтительному варианту осуществления, оптическая система способна осуществлять вторую экспозицию в последнюю очередь, и процессор способен считывать данные цветности (UV) с матрицы и считывать данные яркости (Y) из памяти.

Предпочтительно, что количество N первых экспозиций составляет от 2 до 8 (2≤ N ≤8).

Первые экспозиции могут иметь более короткие индивидуальные времена экспозиции, чем вторая экспозиция.

Предпочтительно, что сумма времен экспозиции для N первых экспозиций примерно равна времени экспозиции для второй экспозиции.

Первые экспозиции можно производить с меньшей диафрагмой, чем для второй экспозиции.

Предпочтительно, что сумма экспозиций для N первых экспозиций примерно равна второй экспозиции.

Краткое описание чертежей

Изобретение будет более подробно описано ниже со ссылкой на прилагаемые чертежи, на которых:

фиг.1 - схема соответствующих частей камеры, отвечающей изобретению;

фиг.2 - схема последовательности экспозиций, произведенной согласно способу, отвечающему изобретению, и

фиг.3 - логическая блок-схема предпочтительного варианта осуществления способа, отвечающего изобретению.

Подробное описание предпочтительных вариантов осуществления

Изобретение относится к способу создания изображений и устройству, в котором используется способ, например цифровой камере, мобильному телефону и пр. Как было отмечено во введении, изобретение полезно как в высококлассных, так и в простых камерах, когда нужно получить изображение в условиях низкой освещенности с использованием имеющегося света. В ряде случаев не желательно использовать вспышку, и с более простыми камерами это не всегда возможно.

На фиг.1 показаны соответствующие части камеры, отвечающей изобретению. Камера содержит оптическую систему, включающую в себя объектив 1 и затвор 2. Оптическая система экспонирует светочувствительную матрицу 3 свету. Блок управления, содержащий процессор 4, управляет работой объектива 1 и затвора 2. Затвор 2 может представлять собой механический затвор, или матрица 3 может действовать под управлением электроники для получения нужного времени экспозиции. Процессор 4 осуществляет связь с матрицей 3 и с памятью 5, в которой можно хранить и из которой можно извлекать данные изображения. Процессор 4 способен осуществлять необходимые расчеты для обработки изображения.

Объектив 1, затвор 2 и матрица 3 могут иметь традиционную конструкцию. На рынке уже существуют разнообразные компоненты, отличающиеся качеством и характеристиками. Кроме того, известны процессоры изображения, обрабатывающие данные изображения тем или иным образом. Эти компоненты не будут подробно описаны в данной заявке. Память 5 может представлять собой рабочую область памяти, входящей в состав устройства, или может существовать отдельно, сменную карту памяти, где хранятся рабочие данные, а также окончательные изображения. Процессор и память могут входить в состав камеры или располагаться вне ее или совместно использоваться другими функциями.

Для удобства опишем общий принцип работы светочувствительной матрицы, например матрицы 3. Матрица содержит ряд светочувствительных элементов изображения, так называемых пикселей, обычно от 1 до 10 мегапикселей (миллионов пикселей), распределенных по площади матрицы. Когда свет падает на пиксель, пиксель вырабатывает ток, который интегрируется для получения значения интенсивности света. Чтобы матрица была чувствительна к цвету, каждый пиксель снабжается светофильтром, красным, зеленым или синим, в заранее определенной мозаичной картине по матрице. Каждый пиксель связан с трехкомпонентным значением цвета, выражаемым компонентами R, G или B, путем математической интерполяции и оцифровки своих собственных значений и значений соседних пикселей. Это традиционно осуществляет процессор изображений. Традиционно, формат изображения разделяется путем преобразования на яркостную часть и цветностную часть. Яркостная часть Y - это значение интенсивности света и соответствует черно-белому изображению. Y вычисляется как взвешенная сумма трех цветовых каналов, обычно как Y=0,299R+0,587G+0,114B. Цветностная часть UV состоит из двух компонентов, где U=В-Y и V=R-Y. U и V также можно вычислять непосредственно из значений RGB.

Коэффициенты RGB можно регулировать для достижения правильного баланса цветов, что позволяет добиться правильного баланса белого. Это может зависеть от имеющегося света, например дневного света, света ламп накаливания и т.д., что известно из уровня техники.

Согласно настоящему изобретению используется новая методология для получения достаточного света и цвета в окончательном изображении. Основной принцип проиллюстрирован на фиг.2. Первоначально производят N первых экспозиций в быстрой последовательности. Первые экспозиции производятся с малым временем экспозиции и/или с малой диафрагмой. Малое время экспозиции снижает размывание вследствие движения, а малая диафрагма увеличивает глубину поля. Каждая первая экспозиция является резкой и, в принципе, недодержанной, но все пиксели, экспонируемые свету, вносят вклад в значение яркости Y. Значения яркости с Y₁ по Y_N объединяются для получения достаточной яркости изображения. Значения яркости, предпочтительно, объединяются таким образом, чтобы учесть перемещение изображения между первыми экспозициями и произвести коррекцию. Наконец, матрица экспонируется в соответствии со второй экспозицией. Вторая экспозиция производится с большим временем экспозиции и/или с большой диафрагмой, что обеспечивает большую экспозицию, чем для первых экспозиций. Экспозиция достаточна, чтобы гарантировать, что светочувствительная матрица облучается достаточным количеством света для получения хорошей информации цвета. Предполагается, что вторая экспозиция менее резкая, чем другие вследствие дрожания руки (или уменьшения глубины поля). Однако она будет принимать больше света и содержать больше ценной информации цвета, не улавливаемой первыми экспозициями в последовательности. Данные цвета, предпочтительно, не подвергаются цифровому улучшению. При цифровом улучшении данные цвета могут вносить в изображение большой шум, особенно в синей области. Информация яркости Y и информация цветности UV из экспозиций объединяются друг с другом для формирования окончательного изображения.

Даже, если вторая экспозиция будет смазанной вследствие перемещения, это не приведет к заметному ухудшению окончательного изображения. Известно, что человеческий глаз не чувствителен к размыванию в информации цвета. Человеческое зрение в основном чувствительно к яркостной части Y для восприятия деталей изображения.

До начала выполнения способа, отвечающего изобретению, камера настраивается традиционным образом путем регулировки фокуса объектива, выбора полного времени экспозиции и установки диафрагмы (значения остановки F). Можно использовать различные экспонометрические программы. Пользователь также может выбирать приближение и удаление с помощью оптической системы. Согласно предпочтительному варианту осуществления изобретения количество N первых экспозиций выбирается в соответствии с полным временем экспозиции. N может представлять собой любое количество (включая 1), но, целесообразно, принимает значение от 2 до 8. Первые экспозиции могут иметь одинаковое время экспозиции, или время первой экспозиции может меняться между первыми экспозициями согласно заранее определенной программе. Время второй экспозиции также выбирается согласно полному времени экспозиции. Согласно иллюстративному варианту осуществления суммарное время первых экспозиций примерно равно времени второй экспозиции. При количестве первых экспозиций N=8, одна первая экспозиция будет составлять примерно одну восьмую времени второй экспозиции. Полное время экспозиции это сумма первых экспозиций и второй экспозиции.

Поэтапное описание способа приведено со ссылкой на логическую блок-схему, изображенную на фиг.3.

Этап 101. Делают начальную первую экспозицию.

Этап 102. Как указано выше, вычисляют значения RGB для всех пикселей. Извлекают информацию яркости Y₁ из трех цветовых каналов RGB. Все расчеты производит процессор 4. Поскольку интерес представляет только информация яркости, правильный баланс белого не является обязательным. Таким образом, яркость Y можно вычислить как Y=R+B+G с присвоением каждому компоненту весового коэффициента. Обычно это взвешивание оптимизируют для хорошего воспроизведения цветов. Однако весовой коэффициент можно оптимизировать таким образом, чтобы минимизировать шум на результирующем канале Y без учета цветовых свойств. Также можно использовать равные весовые коэффициенты.

Этап 103. Информацию яркости Y₁ сохраняют в памяти 5. Заметим, что информацию цветности UV не нужно вычислять вовсе и предпочтительно не сохранять в памяти.

Этап 104. Следующую первую экспозицию n делают спустя короткий интервал времени. Интервал должен быть, конечно, как можно меньше, для минимизации любых перемещений между экспозициями.

Этап 105. Опять же, информацию яркости извлекают из матрицы для получения Y_n.

Этап 106. Согласно предпочтительному варианту осуществления информация яркости Y_n не сохраняется отдельно в памяти 5. Вместо этого информация яркости Y_n добавляется к информации яркости Y_Mem, уже существующей в памяти 5. Таким образом, в памяти 5 хранится только один полный набор данных яркости Y.

Однако изображение, воспринятое матрицей 3, может быть сдвинуто по отношению к предыдущей экспозиции, либо вследствие перемещения самой камеры, либо вследствие перемещения фотографируемого объекта. Для упрощения расчета предполагается, что переместилась сама камера, и что перемещение одинаково для всех пикселей матрицы. Вектор смещения OSV вычисляется для учета перемещения. Вектор смещения выражает разность, обусловленную движением между самой поздней первой экспозицией и содержимым памяти 5.

Этап 107. Таким образом, информация яркости Y_n добавляется в память 5 к уже существующим данным яркости, и вектор смещения OSV используется для обращения к памяти 5, чтобы все значения пикселей добавлялись в надлежащие места.

Этап 108. Цикл с 104 по 107 повторяется N раз, т.е. n пробегает от 1 до N. Как указано выше, N может быть фиксированным числом или может изменяться в соответствии с нужным временем экспозиции. После N циклов в памяти 5 имеются полные данные яркости Y.

Этап 109. После последовательности из N первых экспозиций производят вторую экспозицию. Этого должно быть достаточно для получения данных цвета от матрицы без необходимости в цифровом улучшении данных цвета.

Этап 110. Значения цветности UV извлекают из значений RGB матрицы 3. Для этого можно сначала вычислить яркость Y, а затем цветность UV или, альтернативно, вычислить цветность UV непосредственно из значений RGB, все с правильным балансом белого. (Баланс белого можно регулировать, как указано выше.) Поскольку существует вероятность размывания этой второй экспозиции, данные яркости Y из этой второй экспозиции не нужно использовать и вычислять, если это не целесообразно с точки зрения программирования для вычисления данных UV через яркость Y.

Этап 111. Значения цветности UV не сохраняются совместно с полными данными яркости Y, существующими на данный момент в памяти 5. Напротив, яркость Y и цветность UV поступают в оперативном режиме на процессор 4 для традиционной обработки изображения. Традиционно, значения цветности UV присваиваются только каждому второму пикселю для экономии объема памяти и мощности процессора.

Значения цветности UV также могут храниться в памяти 5 до подачи совместно с данными яркости Y для дальнейшей обработки изображения. Заметим, что некоторая рабочая область памяти может потребоваться для сохранения самых последних данных яркости Y из первой экспозиции для расчета вектора смещения путем сравнения информации с ранее полученными данными яркости Y, сохраненными в другой области памяти. Эта рабочая область памяти не требуется после получения всех первых экспозиций. Таким образом, ее можно использовать для хранения окончательных значений цветности UV.

Альтернативно, вектор смещения OSV формируется путем сравнения данных яркости Y второй экспозиции с данными яркости Y_Mem, содержащимися в памяти 5. Этот вектор смещения OSV используется при объединении данных цветности UV второй экспозиции с полными данными яркости Y.

Согласно еще одной альтернативе последний вектор смещения OSV, используемый при добавлении самых поздних данных яркости Y_N в память 5, также используется при объединении данных цветности UV второй экспозиции с полными данными яркости Y. Этот способ предусматривает, что последний вычисленный вектор смещения пригоден для вычисления вектора смещения второй экспозиции. Поскольку глаз менее чувствителен к размыванию в цветностном изображении, этот вектор смещения не критичен.

Вторую экспозицию не обязательно производить в последнюю очередь, ее можно производить до "первых" экспозиций или между ними. Однако в этом случае данные цветности UV нужно сохранять, пока не будет произведена последняя из "первых" экспозиций. Для этого требуется больший объем памяти.

Процессор 4 может осуществлять традиционную обработку изображения, например вычитание уровня черного, регулировку гаммы, регулировку контрастности, коррекцию ошибок для ошибочных пикселей, цифровое повышение резкости, и сжатие JPEG. Эти операции осуществляются над окончательным изображением, созданным согласно настоящему изобретению, и не составляют часть настоящего изобретения. Поэтому они не описаны здесь подробно.

Настоящее изобретение позволяет создавать резкое изображение с правильной экспозицией и информацией цвета даже в условиях низкой освещенности. Изобретение позволяет использовать имеющийся свет, что во многих случаях делает вспышку избыточной. Электронное усиление информации цвета требуется в меньшей степени или вообще не требуется, что обеспечивает ослабление шума в окончательном изображении. Изобретение позволяет создавать резкие изображения, несмотря на продолжительное время экспозиции. Объем изобретения ограничивается только нижеприведенной формулой изобретения.

1. Способ создания изображения, содержащий этапы, на которых
экспонируют светочувствительную матрицу (3) в соответствии с последовательностью экспозиций,
из которых количество N являются первыми экспозициями, которые могут быть недодержанными, и из которых одна является второй экспозицией, имеющей сравнительно более длительную выдержку,
при этом данные яркости (Y) N первых экспозиций используют для создания резкости в окончательном изображении и данные цветности (UV) второй экспозиции используют для создания цветового контента в окончательном изображении.

2. Способ по п.1, в котором данные яркости (Y) N первых экспозиций сохраняют в памяти (5).

3. Способ по п.2, в котором количество N первых экспозиций больше 1, и данные яркости самой поздней первой экспозиции добавляют к данным яркости (Y), существующим в памяти (5).

4. Способ по п.3, в котором данные яркости (Y) добавляют с коррекцией для повышения резкости.

5. Способ по п.4, в котором вычисляют вектор смещения, причем вектор смещения выражает разность, обусловленную движением между самой поздней первой экспозицией и содержимым памяти (5), причем вектор смещения используется в ходе добавления при обращении к памяти (5).

6. Способ по любому из пп.1-5, в котором данные яркости (Y) оптимизируют для высокого значения яркости.

7. Способ по п.6, в котором данные яркости (Y) являются взвешенной суммой трех цветовых каналов Красный (R), Зеленый (G) и Синий (В).

8. Способ по любому из пп.1-5, в котором весовые коэффициенты трех цветовых каналов Красный (R), Зеленый (G) и Синий (В) равны (Y=R+G+B).

9. Способ по любому из предыдущих пунктов, в котором данные цветности (UV) и данные яркости (Y) поступают на процессор (4) изображения для обработки.

10. Способ по п.9, зависимому от пп.2-8, в котором вторую экспозицию осуществляют в последнюю очередь и данные цветности (UV) считывают с матрицы (3) и данные яркости (Y) считывают из памяти (5).

11. Способ по любому из предыдущих пунктов, в котором количество N первых экспозиций составляет от 2 до 8 (2≤N≤8).

12. Способ по любому из пп.1-11, в котором первые экспозиции имеют более короткие индивидуальные времена экспозиции, чем вторая экспозиция.

13. Способ по п.12, в котором сумма времен экспозиции для N первых экспозиций примерно равна времени экспозиции для второй экспозиции.

14. Способ по любому из пп.1-11, в котором первые экспозиции производят с меньшей диафрагмой, чем для второй экспозиции.

15. Способ по п.14, в котором сумма экспозиций для N первых экспозиций примерно равна второй экспозиции.

16. Устройство для создания изображения, содержащее оптическую систему (1, 2) для экспонирования светочувствительной матрицы (3), средство (5) памяти для сохранения данных изображения, и процессор (4), способный обрабатывать данные изображения, отличающееся тем, что оптическая система (1, 2) способна экспонировать светочувствительную матрицу (3) в соответствии с последовательностью экспозиций, из которых количество N являются первыми экспозициями, которые могут быть недодержанными, и из которых одна является второй экспозицией, имеющей сравнительно более длительную выдержку, и тем, что процессор (4) способен использовать данные яркости (Y) N первых экспозиций для создания резкости в окончательном изображении и использовать данные цветности (UV) второй экспозиции для создания цветового контента в окончательном изображении.

17. Устройство по п.16, в котором процессор (4) способен сохранять данные яркости (Y) N первых экспозиций в памяти (5).

18. Устройство по п.17, в котором количество N первых экспозиций больше 1, и процессор (4) способен добавлять данные яркости самой поздней первой экспозиции к данным яркости (Y), существующим в памяти (5).

19. Устройство по п.18, в котором процессор (4) способен добавлять данные яркости (Y) с коррекцией для повышения резкости.

20. Устройство по п.19, в котором процессор (4) способен вычислять вектор смещения, причем вектор смещения выражает разность, обусловленную движением между самой поздней первой экспозицией и содержимым памяти (5), и использовать вектор смещения в ходе добавления при обращении к памяти (5).

21. Устройство по любому из пп.16-20, в котором данные яркости (Y) оптимизируют для высокого значения яркости.

22. Устройство по п.21, в котором процессор (4) способен извлекать данные яркости (Y) как взвешенную сумму трех цветовых каналов Красный (R), Зеленый (G) и Синий (В).

23. Устройство по любому из пп.16-20, в котором весовые коэффициенты трех цветовых каналов Красный (R), Зеленый (G) и Синий (В) равны (Y=R+G+B).

24. Устройство по любому из пп.16-23, в котором процессор (4) способен принимать данные цветности (UV) от матрицы (3) и данные яркости (Y) из памяти (5).

25. Устройство по п.24, зависимому от любого из пп.17-23, в котором оптическая система (1, 2) способна осуществлять вторую экспозицию в последнюю очередь, и процессор (4) способен считывать данные цветности (UV) с матрицы (3) и считывать данные яркости (Y) из памяти (5).

26. Устройство по любому из пп.16-25, в котором количество N первых экспозиций составляет от 2 до 8 (2≤N≤8).

27. Устройство по любому из пп.16-26, в котором первые экспозиции установлены на более короткие индивидуальные времена экспозиции, чем вторая экспозиция.

28. Устройство по п.27, в котором сумма времен экспозиции для N первых экспозиций примерно равна времени экспозиции для второй экспозиции.

29. Устройство по любому из пп.16-26, в котором первые экспозиции установлены на осуществление с меньшей диафрагмой, чем для второй экспозиции.

30. Устройство по п.29, в котором сумма экспозиций для N первых экспозиций примерно равна второй экспозиции.