Устройство удаления тумана и способ формирования изображений

Группа изобретений относится к технологиям удаления тумана из содержащих его изображений. Техническим результатом является повышение четкости изображения за счет удаления тумана из содержащих его изображений. Предложено устройство удаления тумана с изображений, содержащих туман. Устройство содержит средство разделения, средство удаления тумана с изображений, средство синтеза. Средство разделения разделяет компонент отражения и компонент подсветки в содержащем туман изображении. Средство удаления тумана с изображений, содержащих туман, в компоненте отражения удаляет туман согласно плотности тумана, отдельно определяемой для отделенного компонента отражения. Средство удаления тумана с изображений, содержащих туман, в компоненте подсветки удаляет туман согласно плотности тумана для отделенного компонента подсветки. Средство синтеза синтезирует компонент отражения после удаления тумана и компонент подсветки после удаления тумана. 2 н. и 5 з.п. ф-лы, 2 ил.

 

ОБЩИЕ СВЕДЕНИЯ

1. ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к устройству удаления тумана, в частности, к широкому ряду способов удаления тумана.

2. ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] Опубликованная патентная заявка Японии №2012-168936 раскрывает способ удаления тумана на основе атмосферной модели (см. раздел ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ). Атмосферная модель является оптическим принципом, используемым, когда изображение объекта захватывается аппаратом захвата изображений или объект наблюдается невооруженным взглядом при наличии в атмосфере взвешенных частиц. Атмосферная модель выражается Уравнением (1).

[0003]

I - наблюдаемое изображение (изображение, включающее туман), J - обработанное изображение (изображение, не включающее туман), - плотность тумана, х - координата целевого пикселя, А - свечение атмосферы.

[0004] Изображение I(х), наблюдаемое аппаратом захвата изображений, конфигурируется при помощи: части , включая отраженный свет J(x) от объекта, остающийся даже после рассевания взвешенными в воздухе частицами; и атмосферного света , который возник из солнечного света, рассеянного взвешенными в воздухе частицами.

[0005] Фиг. 10 вышеуказанной опубликованной патентной заявки Японии предлагает объяснение с использованием изображения, имеющего соответствующие значения I(x), J(x), А и .

[0006] С получением плотности тумана и свечения атмосферы А при помощи Уравнения (1) обработанное изображение J может быть получено из наблюдаемого изображения I.

[0007] Новаторская техника удаления тумана предложена у Kaiming Не с соавт. в работе «Удаление дымчатости в одном изображении с предварительным использованием темного канала» на Конференции IEEE по компьютерному зрению и распознаванию образов, 2009 г.

[0008] Объясняя простыми словами, предположение в атмосферной модели о том, что минимальное значение пиксельных величин каждого пикселя и окружающих его пикселей, получаемое при помощи Уравнения (2) (Предварительный темный канал, здесь и далее «DCP»), представляет плотность тумана, степень удаления тумана изменяется согласно значению DCR

[0009] [Уравнение 1]

[0010] Это дает значение DCP, примерно равное 0, поскольку общее естественное изображение, не включающее туман, имеет тень или часть с интенсивной окраской вокруг любого пикселя. С другой стороны, в изображении, включающем туман, освещенность увеличивается в связи с туманом, что, в свою очередь, увеличивает значение DCP. Соответствующим образом, удаление тумана становится возможным за счет выполнения процесса приведения значения DCP к 0.

[0011] Тем не менее, вышеупомянутый подход к удалению тумана имеет следующие недостатки. Сильно затуманенное изображение имеет мало цветовых компонентов и никакой волнистости. В таком изображении значение DCP и входное изображение становятся близки, и выполнение процесса приведения значения DCP к 0 вызывает получение очень темного обработанного изображения. И наоборот, установка низких параметров для предотвращения потемнения изображения снижает эффект удаления тумана, вызывая недостаток - невозможность сделать изображение четким.

[0012] Цель настоящего изобретения - устранить вышеуказанные недостатки и позволить устройству удаления тумана удалять туман из содержащих его изображений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0013] (1) Устройство удаления тумана согласно настоящему изобретению содержит:

средство разделения, разделяющее компонент отражения и компонент подсветки в содержащем туман изображении;

средство удаления тумана в компоненте отражения, которое удаляет туман согласно плотности тумана, отдельно определяемой для отделенного компонента отражения;

средство удаления тумана в компоненте подсветки, которое удаляет туман согласно плотности тумана для отделенного компонента подсветки; и

средство синтеза, которое синтезирует компонент отражения после удаления тумана и компонент подсветки после удаления тумана, причем

степени удаления тумана различаются при удалении тумана в средстве удаления тумана в компоненте отражения и удалении тумана в средстве удаления тумана в компоненте подсветки.

[0014] Таким образом, синтезируя компонент отражения и компонент подсветки, обеспечивая при этом разницу между степенями удаления тумана, можно добиться большей гибкости процесса удаления тумана.

[0015] (2) В устройстве удаления тумана согласно настоящему изобретению степень удаления тумана в средстве удаления тумана в компоненте отражения выше степени удаления тумана в средстве удаления тумана в компоненте подсветки. Соответствующим образом, даже если туман плотный, может быть получено изображение с четко выделенным контуром и полным сохранением яркости.

[0016] (3) В устройстве удаления тумана согласно настоящему изобретению степень удаления тумана в средстве удаления тумана в компоненте подсветки выше степени удаления тумана в средстве удаления тумана в компоненте отражения. Соответствующим образом, при понижении яркости всего изображения может быть получено изображение, в котором не реализуется выделение контура.

[0017] (4) Способ формирования изображения согласно настоящему изобретению включает:

разделение компонента отражения и компонента подсветки в содержащем туман изображении;

удаление тумана согласно плотности тумана, отдельно определяемой для компонента отражения;

удаление тумана согласно плотности тумана для компонента подсветки; и

синтез компонента отражения после удаления тумана и компонента подсветки после удаления тумана, причем

изображение с разными степенями удаления тумана формируется процессом удаления тумана на компоненте отражения и процессом удаления тумана на компоненте подсветки. Соответствующим образом, может быть сформировано изображение, в котором степени удаления тумана сделаны различными между компонентом отражения и компонентом подсветки.

[0018] (5) Устройство удаления тумана согласно настоящему изобретению содержит:

средство разделения, разделяющее компонент отражения и компонент подсветки в содержащем туман изображении;

средство удаления тумана в компоненте отражения, которое удаляет туман согласно плотности тумана, отдельно определяемой для отделенного компонента отражения;

средство удаления тумана в компоненте подсветки, которое удаляет туман согласно плотности тумана для отделенного компонента подсветки; и

средство синтеза, которое синтезирует компонент отражения после удаления тумана и компонент подсветки после удаления тумана. Следовательно, становятся возможным отдельные процессы удаления тумана для компонента отражения и компонента подсветки.

[0019] (6) Устройство удаления тумана согласно настоящему изобретению содержит:

средство разделения, разделяющее компонент отражения и компонент подсветки в содержащем туман изображении;

средство удаления тумана в компоненте отражения, которое удаляет туман согласно плотности тумана, отдельно определяемой для отделенного компонента отражения; и

средство синтеза, которое синтезирует отделенные компонент подсветки и компонент отражения после удаления тумана. Соответствующим образом, может быть сформировано изображение, в котором процесс удаления тумана выполнялся только на компоненте отражения.

[0020] (7) Устройство удаления тумана согласно настоящему изобретению содержит:

средство разделения, разделяющее компонент отражения и компонент подсветки в содержащем туман изображении;

средство удаления тумана в компоненте подсветки, которое удаляет туман согласно плотности тумана, отдельно определяемой для отделенного компонента подсветки; и

средство синтеза, которое синтезирует компонент подсветки после удаления тумана и отделенный компонент отражения. Соответствующим образом, может быть сформировано изображение, в котором процесс удаления тумана выполнялся только на компоненте подсветки.

[0021] «Туман» в настоящем описании изобретения является понятием, включающим в себя также дымчатость, дымку, дым, пыль, порошкообразную пыль, дождь и снег.

[0022] Ниже объясняется соответствие между различными средствами, описанными в пунктах формулы изобретения и конфигурациях в вариантах осуществления изобретения. «Средство расчета» соответствует устройству расчета плотности тумана 11. «Средство отделения» соответствует устройству отделения подсветки 4. «Средство удаления тумана в компоненте отражения» соответствует устройству удаления тумана в компоненте отражения 13, а «средство удаления тумана в компоненте подсветки» - устройству удаления тумана в компоненте подсветки 14. «Средство синтеза» соответствует устройству синтеза 16.

[0023] Признаки, другие цели, способы применения, эффекты и т.д. настоящего изобретения станут очевидны при рассмотрении вариантов его осуществления и фигур.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0024] Фиг. 1 демонстрирует конфигурацию устройства обработки изображений 1.

Фиг. 2 демонстрирует отношение между компонентом подсветки и интенсивностью удаления тумана, а также между компонентом отражения и интенсивностью удаления тумана.

ЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0025] Здесь и далее варианты осуществления настоящего изобретения объясняются со ссылками на фигуры. Фиг. 1 демонстрирует конфигурацию устройства обработки изображений 1 с устройством удаления тумана 10 согласно первому варианту настоящего изобретения.

[0026] Устройство удаления тумана 10 содержит устройство отделения подсветки 4, устройство удаления тумана в компоненте отражения 13, устройство удаления тумана в компоненте подсветки 14, устройство расчета плотности тумана 11 и устройство синтеза 16.

[0027] Устройство отделения подсветки 4 имеет фильтр низких частот, защищающий контур, и на устройстве преобразования YUV 3 рассчитывается взвешенное среднее значение локальной яркости преобразованных данных YUV, то есть компонент подсветки; таким образом компонент подсветки отделяется от компонента отражения.

[0028] Устройство расчета плотности тумана 11 рассчитывает плотность тумана заданного входного изображения за счет использования отделенного компонента подсветки. В настоящем варианте изобретения окончательная плотность тумана получается из значения DCP, при условии, что значение DCP, объяснение которого приведено в разделе ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ, представляет плотность тумана.

[0029] Устройство удаления тумана в компоненте отражения 13 выполняет удаление тумана на компоненте отражения, рассчитанном устройством расчета отражения. Средство удаления тумана в компоненте подсветки 14 выполняет удаление тумана на отделенном компоненте подсветки. Степени удаления тумана различаются в устройстве удаления тумана в компоненте подсветки 14 и устройстве удаления тумана в компоненте отражения 13. Подробности объясняются ниже.

[0030] Устройство синтеза 16 выполняет синтез для формирования изображения, из которого удален туман, путем использования компонента подсветки, на котором выполнено удаление тумана, компонента отражения, на котором выполнено удаление тумана. Изображение, сформированное синтезом, преобразуется из данных YUV в данные RGB на устройстве преобразования RGB 18.

[0031] Объясняется удаление тумана, выполняемое в устройстве удаления тумана в компоненте подсветки 14 и устройстве удаления тумана в компоненте отражения 13.

[0032] В теории Ретинекс наблюдаемое изображение I определяется произведением подсветки I и отражения R.

[0033]

Модификация Уравнения (1) атмосферной модели дает Уравнение (4).

[0034]

[0035] Здесь, применяя теорию Ретинекс к вышеупомянутым I, J и А и выражая их, соответственно, произведением компонента отражения и компонента подсветки, мы получаем Уравнение (5).

[0036]

Здесь в атмосферной модели предполагается, что в свечение атмосферы А не входит компонент отражения. Кроме того, Уравнение (1) атмосферной модели определенно является истинным для компонента подсветки. Соответствующим образом, рассматривая Уравнение (4) только в плане компонента подсветки, можно установить следующие две константы.

[0037]

Уравнение (8) выводится путем замены Уравнений (6) и (7) на Уравнение (5).

[0038]

Согласно Уравнению (8), значение JR становится больше IR, когда IR>1, а меньше IR, когда IR<1. То есть на компоненте отражения выполняется процесс повышения контраста контура согласно плотности тумана, и это соответствует тому факту, что из-за тумана края становятся мутными.

[0039] Таким образом, становится возможным отдельное удаление тумана для компонента подсветки и компонента отражения (удаление тумана для компонента подсветки с Уравнением (7) и удаление тумана для компонента отражения с Уравнением (8)).

[0040] Преимущества, которые приносит способность выполнять удаление тумана отдельно для компонента подсветки и компонента отражения, объясняются с отсылкой к Фиг. 2. Повышение степени удаления тумана увеличивает уровень выделения контура компонента отражения и снижает яркость (освещенность) компонента подсветки. И наоборот, снижение степени удаления тумана сокращает уровень выделения контура компонента отражения и снижает степень ослабления компонента подсветки. То есть изображение становится менее темным. Соответствующим образом, если степень удаления тумана увеличивается для изображения с бледными цветами и меньшей волнистостью в связи с плотным туманом, края выделяются, но изображение становится темным.

[0041] И напротив, даже с таким изображением степень удаления тумана может быть увеличена для компонента отражения, и с другой стороны, степень удаления тумана может быть снижена для компонента подсветки за счет применения данного подхода. Соответствующим образом, видимость может быть улучшена при сохранении яркости изображения.

[0042] Поскольку такие подходы должны сделать степени удаления тумана разными для компонента подсветки и компонента отражения, для соответствующих процессов удаления тумана на компоненте подсветки и компоненте отражения используются разные значения плотности тумана, либо взвешиваются результаты процесса удаления тумана, соответственно, компонента подсветки и компонента отражения.

[0043] При первом подходе, например, значения могут быть сделаны различными в Уравнении (7) и Уравнении (8). В сильно затуманенном изображении с низкой (невысокой) средней общей освещенностью лучше поднимать уровень выделения контура, но не слишком снижать освещенность. Соответствующим образом, когда значением компонента подсветки является , а значением компонента отражения является , и могут соответствовать отношению с тем, чтобы сокращать степень удаления тумана для компонента подсветки и повышать степень удаления тумана для компонента отражения.

[0044] Кроме того, взвешивание результатов процесса удаления тумана может выполняться, например, следующим образом.

[0045] Если предположить, что компонент подсветки после удаления тумана -JL, а результат взвешивания - JL’, то JL’ получается уравнением (9).

[0046]

В уравнении (9) способ взвешивания сделан изменяемым, благодаря не умножению полученного значения на коэффициент, но взвешиванию количества изменений по сравнению с изначальным изображением с использованием коэффициента k. В частности, когда уровень удаления тумана компонента подсветки необходимо снизить, требуется только соответствие отношению k<1.

[0047] Таким образом, благодаря отделению изображения, вызывающего ошибку визуального распознавания компонента подсветки и компонента отражения в теории Ретинекс, выполнению процесса изображения с целью обеспечения разницы в интенсивности удаления ошибки на основе атмосферной модели для соответствующих компонентов и последующему синтезу компонентов, становится возможным процесс устранения ошибки визуального распознавания согласно соответствующим компонентам. Хотя в настоящей реализации освещенность, соответствующая степени, в которой компонент подсветки становится ярче, снижается в связи с туманом, а края компонента отражения, который стал мутным в связи с туманом, выделяются, аналогичного эффекта можно добиться, всего лишь сократив степень обработки компонента подсветки. Причина в том, что значения яркости и краев относительные.

[0048] Кроме того, отдельные регулировки компонента подсветки после удаления тумана и компонента отражения после удаления тумана могут применяться в комбинациях, отличных от этой.

[0049] (2. Другие варианты осуществления изобретения)

Хотя в настоящем варианте объяснен пример, в котором значения RGB единожды оцениваются в значениях YUV, можно использовать и другие модели цветового пространства (например, HSV). Значения можно по необходимости преобразовывать в значения RGB при расчете плотности тумана и/или в процессе удаления тумана.

[0050] Помимо того, хотя в настоящем варианте объяснен пример, в котором выполняется удаление тумана, этот способ также можно применять в случаях, когда необходимо удалять внешние световые компоненты помимо тумана.

[0051] Несмотря на то что в настоящем варианте изобретения плотность тумана получается в качестве DCP, для расчета плотности тумана могут применяться и другие подходы; ручная регулировка плотности тумана может также разрешаться для оператора.

[0052] Хотя в приведенном выше объяснении настоящее изобретение подается в виде предпочтительных вариантов его осуществления, эти варианты используются не для ограничения, но для объяснения. Варианты осуществления могут модифицироваться в рамках объема приложенных пунктов формулы изобретения без отклонений от объема и духа настоящего изобретения.

[Значения позиций на чертежах]

[0053] 4: устройство отделения подсветки

13: устройство удаления тумана в компоненте отражения

14: устройство удаления тумана в компоненте подсветки

16: устройство синтеза

1. Устройство удаления тумана с изображений, содержащих туман, состоящее из следующих элементов:

средство разделения, разделяющее компонент отражения и компонент подсветки в содержащем туман изображении;

средство удаления тумана с изображений, содержащих туман, в компоненте отражения, которое удаляет туман согласно плотности тумана, отдельно определяемой для отделенного компонента отражения;

средство удаления тумана с изображений, содержащих туман, в компоненте подсветки, которое удаляет туман согласно плотности тумана для отделенного компонента подсветки; и

средство синтеза, которое синтезирует компонент отражения после удаления тумана и компонент подсветки после удаления тумана, характеризующееся тем, что при условии отсутствия компонента отражения в свечении атмосферы и истинности атмосферной модели для компонента подсветки средство удаления тумана с изображений, содержащих туман, в компоненте отражения и средство удаления тумана с изображений, содержащих туман, в компоненте подсветки выполняют удаление тумана отдельно на компоненте отражения и на компоненте подсветки, под атмосферной моделью понимается такая модель, которая выражается следующей формулой I(x)=J(x)t(x)+A(I⋅t(x)), где I - наблюдаемое изображение, включающее туман, J - обработанное изображение, не включающее туман, t - плотность тумана, х - координата целевого пикселя, А - свечение атмосферы, и

степени удаления тумана различаются при удалении тумана в средстве удаления тумана с изображений, содержащих туман, в компоненте отражения и удалении тумана в средстве удаления тумана с изображений, содержащих туман, в компоненте подсветки.

2. Устройство удаления тумана по п. 1, характеризующееся тем, что степень удаления тумана в средстве удаления тумана с изображений, содержащих туман, в компоненте отражения выше степени удаления тумана в средстве удаления тумана с изображений, содержащих туман, в компоненте подсветки.

3. Устройство удаления тумана по п. 1, характеризующееся тем, что степень удаления тумана в средстве удаления тумана с изображений, содержащих туман, в компоненте подсветки выше степени удаления тумана в средстве удаления тумана с изображений, содержащих туман, в компоненте отражения.

4. Устройство удаления тумана по п. 1, характеризующееся тем, что при условии отсутствия компонента отражения в свечении атмосферы и истинности атмосферной модели для компонента подсветки, а также при использовании теории Ретинекс, согласно которой наблюдаемое изображение определяется произведением подсветки и отражения, средство удаления тумана с изображений, содержащих туман, в компоненте отражения и средство удаления тумана с изображений, содержащих туман, в компоненте подсветки выполняют удаление тумана отдельно на компоненте отражения и на компоненте подсветки.

5. Устройство удаления тумана по п. 1, характеризующееся тем, что в связи с различными значениями, используемыми для плотности тумана, степень удаления тумана различается в процессе удаления тумана средством удаления тумана с изображений, содержащих туман, в компоненте отражения и в процессе удаления тумана средством удаления тумана с изображений, содержащих туман, в компоненте подсветки.

6. Устройство удаления тумана по п. 1, характеризующееся тем, что в связи с оценкой результатов процесса удаления тумана, соответственно, компонента отражения и компонента подсветки, степень удаления тумана различается в процессе удаления тумана средством удаления тумана с изображений, содержащих туман, в компоненте отражения и процессе удаления тумана средством удаления тумана с изображений, содержащих туман, в компоненте подсветки.

7. Способ удаления тумана из содержащих туман изображений согласно плотности тумана, состоящий из следующих элементов:

разделение компонента отражения и компонента подсветки в содержащем туман изображении;

удаление тумана согласно плотности тумана, отдельно определяемой для компонента отражения;

удаление тумана согласно плотности тумана для компонента подсветки и

синтез компонента отражения после удаления тумана и компонента подсветки после удаления тумана, характеризующийся тем, что

при условии отсутствия компонента отражения в свечении атмосферы и истинности атмосферной модели для компонента подсветки изображение с разными степенями удаления тумана формируется процессом удаления тумана на компоненте отражения и процессом удаления тумана на компоненте подсветки, под атмосферной моделью понимается такая модель, которая выражается следующей формулой I(x)=J(x)t(x)+A(I⋅t(x)), где I - наблюдаемое изображение, включающее туман, J - обработанное изображение, не включающее туман, t -плотность тумана, х - координата целевого пикселя, А - свечение атмосферы.