Способ повышения визуальной информативности цифровых полутоновых изображений
Владельцы патента RU 2448367:
Закрытое акционерное общество "МНИТИ" ЗАО "МНИТИ" (RU)
Изобретение относится к средствам обработки цифровых изображений. Техническим результатом является повышение качества визуализации цифровых изображений. В способе осуществляют параллельную обработку составляющей каждого уровня разложения; определяют параметры яркостно-контрастного преобразования путем формирования функции коррекции уровней яркости и функции коррекции контраста, формирования матрицы коэффициентов коррекции контраста третьего уровня разложения с использованием функции коррекции контраста, реконструкции семейства матриц масштабированных коэффициентов коррекции контраста для пространственного согласования на каждом уровне коэффициентов коррекции со значениями детализирующей составляющей. 8 ил.
Изобретение относится к области обработки телевизионных изображений, в частности к способам улучшения качества изображений.
Известен способ получения изображения повышенного качества [1], включающий 3-уровневую декомпозицию исходного цифрового изображения вейвлетом Хаара путем быстрого дискретного двумерного стационарного вейвлет-преобразования с получением аппроксимирующей составляющей и семейства детализирующих составляющих, устранение шумовой микроструктуры при помощи адаптивного порога на каждом уровне разложения, вычисление корректирующих функций яркости и контраста, преобразование аппроксимирующей составляющей корректирующей функцией яркости, преобразование детализирующих составляющих всех уровней разложения корректирующей функцией контраста, реконструкцию результирующего изображения путем обратного быстрого дискретного стационарного вейвлет-преобразования, применяемого к преобразованным составляющим, согласование яркостного диапазона результирующего изображения с параметрами видеосистемы. Указанный способ выбран за прототип.
К недостаткам известного способа относится уменьшение различимости в результирующем изображении малоразмерных или слабоконтрастных деталей. Устранение шумовой микроструктуры путем жесткого порогового ограничения значений детализирующих составляющих может приводить к артефактам в результирующем изображении. Преобразование детализирующих составляющих корректирующей функцией контраста может приводить к асимметричным ореолам в результирующем изображении. Кроме того, повышение резкости изображения не всегда является эффективным, поскольку при этом не учитывается распределение локальных контрастов обрабатываемого изображения.
Техническим результатом является получение изображения повышенной визуальной насыщенности.
Технический результат достигается тем, что в способе повышения визуальной информативности цифровых полутоновых изображений осуществляют 3-уровневую декомпозицию исходного цифрового изображения вейвлетом Хаара путем быстрого дискретного стационарного вейвлет-преобразования с получением аппроксимирующей составляющей и семейства детализирующих составляющих, устранение шумовой микроструктуры при помощи адаптивного порога на каждом уровне разложения, вычисление корректирующих функций яркости и контраста, преобразование аппроксимирующей составляющей функцией коррекции яркости, преобразование детализирующих составляющих всех уровней разложения функцией коррекции контраста, реконструкцию результирующего изображения путем обратного быстрого дискретного двумерного стационарного вейвлет-преобразования, применяемого к преобразованным составляющим, согласование яркостного диапазона результирующего изображения с параметрами видеосистемы, согласно изобретению осуществляют параллельную обработку составляющей каждого уровня разложения; определяют параметры яркостно-контрастного преобразования с использованием значений аппроксимирующей составляющей путем формирования функции коррекции уровней яркости и функции коррекции контраста, аргументом которых является значение аппроксимирующей составляющей, формирования матрицы коэффициентов коррекции контраста третьего уровня разложения с использованием функции коррекции контраста, реконструкции семейства матриц масштабированных коэффициентов коррекции контраста для пространственного согласования на каждом уровне коэффициентов коррекции со значениями детализирующей составляющей, при этом обработку детализирующих составляющих всех уровней разложения осуществляют путем формирования матрицы локального контраста и функции сглаживания шумовой микроструктуры, аргументом которой является значение локального контраста; затем выполняют параллельную обработку составляющих каждого уровня разложения, заключающуюся в том, что поэлементно преобразуют значения аппроксимирующей составляющей третьего уровня разложения функцией коррекции уровней яркости, поэлементно преобразуют масштабированную матрицу коэффициентов коррекции контраста функцией сглаживания шумовой микроструктуры; затем осуществляют реконструкцию результирующего изображения при помощи обратного быстрого дискретного стационарного двумерного вейвлет-преобразования, применяемого к преобразованной аппроксимирующей составляющей и детализирующим составляющим, преобразуют каждую реконструированную детализирующую составляющую путем поэлементного умножения значений каждой матрицы реконструированной детализирующей составляющей на значения матрицы преобразованных коэффициентов коррекции контраста, формируют яркостно-контрастную характеристику с использованием значений аппроксимирующей и преобразованной детализирующей составляющих уровня изображения, вычисляют коэффициент повышения резкости с использованием яркостно-контрастной характеристики и умножают на него каждый элемент матрицы преобразованной детализирующей составляющей.
На фиг.1 представлена схема коррекции яркостно-контрастных характеристик изображения,
где ImgSrc - исходное изображение;
сА - матрица коэффициентов аппроксимации - аппроксимирующая составляющая изображения;
LC - матрица локального контраста;
(cH, cV, cD) - детализирующая составляющая изображения:
сН - матрица горизонтальных детализирующих коэффициентов;
cV - матрица вертикальных детализирующих коэффициентов;
cD - матрица диагональных детализирующих коэффициентов;
LUTa - функция коррекции уровней яркости;
LUTd - функция коррекции контраста;
LUTn - функция сглаживания шумовой микроструктуры;
М - матрица коэффициентов яркостной коррекции контраста;
М' - матрица преобразованных коэффициентов коррекции контраста;
сА'- преобразованная аппроксимирующая составляющая;
ImgRes - результирующее изображение;
нижние индексы:
0…3 - уровни декомпозиции изображения (0-й уровень соответствует уровню изображения).
На фиг.2 представлена схема трех уровней декомпозиции исходного изображения, где ImgSrc - исходное изображение;
сН - матрица горизонтальных детализирующих коэффициентов;
cV - матрица вертикальных детализирующих коэффициентов;
cD - матрица диагональных детализирующих коэффициентов;
свертка следующими операторами декомпозиции:
Fa - аппроксимирующим;
Fh - детализирующим горизонтальным;
Fv - детализирующим вертикальным;
Fd - детализирующим диагональным;
нижние индексы:
1…3 - уровни декомпозиции изображения.
На фиг.3 представлен пример функций коррекции уровней яркости (LUTa) и контраста (LUTd), полученных при обработке реального изображения,
Где Amax - наибольшее допустимое значение коэффициентов аппроксимации на третьем уровне разложения, зависящее от количества уровней квантования исходного изображения и способа реализации декомпозиции;
amin - максимальное значение коэффициентов аппроксимации обрабатываемого изображения на третьем уровне разложения;
amax - минимальное значение коэффициентов аппроксимации обрабатываемого изображения на третьем уровне разложения.
На фиг.4 представлена схема формирования семейства матриц масштабированных коэффициентов коррекции контраста,
где М - матрица коэффициентов яркостной коррекции контраста;
свертка следующими операторами реконструкции:
Fa~ - аппроксимирующим;
Fh~ - детализирующим горизонтальным;
Fv~ - детализирующим вертикальным;
Fd~ - детализирующим диагональным;
нижние индексы:
0…3 - уровни представления изображения (0-й уровень соответствует уровню изображения).
На фиг.5 представлена схема реконструкция результирующего изображения с преобразованием контраста, сглаживания шумовой микроструктуры и повышением резкости на уровне 0 (сА0),
где ImgRes - результирующее изображение;
сН - матрица горизонтальных детализирующих коэффициентов;
cV - матрица вертикальных детализирующих коэффициентов;
cD - матрица диагональных детализирующих коэффициентов;
W - матрица восстановленной детализирующей составляющей;
W' - матрица восстановленной детализирующей составляющей с преобразованием контраста и сглаживанием шумовой микроструктуры;
W" - матрица восстановленной детализирующей составляющей с преобразованием контраста, сглаживанием шумовой микроструктуры и повышением резкости;
М' - матрица преобразованных коэффициентов коррекции контраста;
свертка следующими операторами реконструкции:
Fa~ - аппроксимирующим;
Fh~ - детализирующим горизонтальным;
Fv~ - детализирующим вертикальным;
Fd~ - детализирующим диагональным;
нижние индексы:
0…3 - уровни представления изображения (0-й уровень соответствует уровню изображения).
На фиг.6 представлены функция яркостно-контрастной зависимости Ω(а) реконструируемого изображения и яркостное распределение допустимых значений контраста Ωдоп(а) для нулевого уровня разложения при использовании в качестве базисной функции вейвлета Хаара.
На фиг.7 представлено исходное изображение.
На фиг.8 представлено результирующее изображение, обработанное описанным способом.
Способ реализуется путем выполнения (фиг.1):
- декомпозиции исходного изображения на составляющие;
- формирования табличных функций яркостно-контрастной коррекции и сглаживания шумовой микроструктуры;
- коррекции уровней яркости;
- реконструкции изображения, совмещенной с коррекцией контраста, сглаживания шумовой микроструктуры и повышением резкости;
- согласования яркостного диапазона реконструированного изображения с параметрами видеосистемы.
Для декомпозиции и реконструкции используется дискретное двумерное стационарное вейвлет-преобразование с базисом Хаара. Стационарное вейвлет-преобразование обеспечивает эффективное шумоподавление и является гарантией того, что изменение вейвлет-коэффициентов не приведет к артефактам блочности в восстановленном изображении. Низкочастотная (аппроксимирующая) составляющая изображения отражает яркостные свойства исходного изображения. Высокочастотная (детализирующая) составляющая состоит из трех компонент, характеризующих локальные контрасты в горизонтальном, вертикальном и диагональном направлениях. Тогда повышение визуальной насыщенности изображения представляет собой согласованное преобразование яркостных (аппроксимирующей составляющей последнего уровня разложения) и контрастных характеристик (детализирующих составляющих всех уровней).
Декомпозиция аппроксимирующей составляющей уровня (n-1) (cAn-1) на составляющие уровня n cAn, (cH cV cD)n производится сверткой операторами декомпозиции n-го уровня (Таблица 1). Уровень n=0 соответствует уровню изображения. Схема трех уровней декомпозиции приведена на фиг.2.
| Таблица 1. | ||
| Операторы декомпозиции | ||
| 1-й уровень (n=1) |
2-й уровень (n=2) |
3-й уровень (n=3) |
|
|
|
|
|
|
|
|
|
|
|
|
|
| Обозначения: | Fa - аппроксимирующий оператор декомпозиции; | |
| Fh - детализирующий горизонтальный оператор декомпозиции; | ||
| Fv - детализирующий вертикальный оператор декомпозиции; | ||
| Fd - детализирующий диагональный оператор декомпозиции; | ||
| Нижние индексы: 1…3 - уровни декомпозиции изображения. |
Реконструкция изображения производится в обратном порядке, начиная с уровня n=3. Реконструкция коэффициентов аппроксимации уровня n (cAn) по составляющим (n+1)-го уровня cAn+1, (cH, cV cD)n+1 производится сверткой операторами реконструкции n-го уровня (Таблица 2).
| Таблица 2. | ||
| Операторы реконструкции | ||
| 3-й уровень (n=3) |
2-й уровень (n=2) |
1-й уровень (n=1) |
|
|
|
|
|
|
|
|
|
|
|
|
| Обозначения: | Fa~ - аппроксимирующий оператор реконструкции; | |
| Fh~ - детализирующий горизонтальный оператор реконструкции; | ||
| Fv~ - детализирующий вертикальный оператор реконструкции; | ||
| Fd~ - детализирующий диагональный оператор реконструкции; | ||
| нижние индексы: 1…3 - уровни декомпозиции изображения. |
Определение параметров яркостно-контрастного преобразования и сглаживания шумовой микроструктуры выполняют параллельно.
Яркостно-контрастное преобразование выполняют при помощи табличных функций коррекции яркости и контраста согласно прототипу, формируемых путем преобразования гистограммы значений аппроксимирующей составляющей с учетом особенностей зрительного восприятия следующим образом:
1) вычисляют нормированную гистограмму 
значений коэффициентов аппроксимации:
; 
;
где m - количество элементов со значением а;
amin, amax - минимальное и максимальное значения округленных коэффициентов аппроксимации;
s - общее число элементов матрицы сА3;
i - номер строки; j - номер столбца.
Нормирование позволяет перейти от количественного распределения уровней яркости h(a) к яркостно-контрастному распределению , каждый отсчет которого определяет значение контраста между соседними отсчетами яркости.
2) согласно изобретению формируют функцию F(a), характеризующую зрительное восприятие возрастающих и убывающих уровней яркостей, основываясь на формуле Вышецкого [3]:
функцию F(a) нормируют
3) строят порождающую функцию Н(а) путем нелинейного преобразования нормированной гистограммы , учитывая нелинейное зрительное восприятие равноконтрастного ряда. Согласно изобретению значения порождающей функции вычисляются для ненулевых значений нормированной гистограммы следующим образом:
4) вычисляют табличную функцию коррекции уровней яркости LUTa аппроксимирующей составляющей согласно изобретению
где Amax3 - максимальное значение коэффициентов аппроксимации третьего уровня разложения, зависящее от разрядности исходного изображения и варианта реализации вейвлет-декомпозиции;
amin, amax - минимальное и максимальное значения округленных коэффициентов аппроксимации;
s - общее число элементов матрицы сА3.
5) вычисляют табличную функцию коррекции контраста LUTd третьего уровня разложения, применение которой согласно изобретению позволяет сохранить мелкомасштабную детальность и обеспечить согласованное преобразование яркости и контраста:
; 
;
На фиг.3 представлен пример функций коррекции уровней яркости (LUTa) и контраста (LUTd), полученные при обработке реального изображения.
6) формируют матрицу коэффициентов преобразования локальных контрастов 3-го уровня (M3):
7) для пространственного согласования на каждом уровне коэффициентов коррекции со значениями детализирующей составляющей формируют семейство матриц масштабированных коэффициентов коррекции контраста (M2, M1, M0) путем свертки матрицы М3 аппроксимирующими операторами реконструкции (фиг.4).
Одновременно с (1-7) на каждом уровне разложения n выполняют следующие действия:
8) вычисляют пространственное распределение абсолютного значения локального контраста в виде матрицы LCn, каждый элемент которой вычисляют по формуле
где сН - матрица горизонтальных детализирующих коэффициентов;
cV - матрица вертикальных детализирующих коэффициентов;
cD - матрица диагональных детализирующих коэффициентов;
i - номер строки; j - номер столбца;
n=1…3 - номер уровня декомпозиции.
9) вычисляют пороговое значение шумовой микроструктуры согласно прототипу:
- вычисляют гистограмму h значений элементов матрицы LCn:
где m - число элементов со значением е.
- по гистограмме h вычисляется и нормируется интегральная гистограмма q:
где emax - максимального значение элемента матрицы LCn;
s - общее число элементов матрицы LCn.
- строят характеристическую функцию R(e):
- определяют значение абсолютного значения локального контраста eT, при котором значение характеристической функции R(e) минимально;
- вычисляют пороговое значение Т шумовой структуры локального контраста:
где Kмикр≈0.05…0.25 - коэффициент микроструктуры.
10) формируют табличную функцию сглаживания шумовой микроструктуры (LUTnn):
; 
;
где Emax n - максимальное значение локального контраста на уровне разложения n, зависящее от разрядности исходного изображения и варианта реализации вейвлет-декомпозиции.
После формирования реконструированных матриц коэффициентов преобразования контраста (M2, M1, M0) и табличных функций сглаживания шумовой микроструктуры (LUTn3, LUTn2, LUTn1) одновременно выполняют:
- яркостную коррекцию аппроксимирующей составляющей:
- на каждом уровне разложения n поэлементно преобразуют матрицу коэффициентов коррекции контраста Mn функцией сглаживания шумовой микроструктуры LUTnn:
где М' - матрица преобразованных коэффициентов локального контраста.
Затем выполняют реконструкцию изображения, совмещенную с коррекцией контраста, сглаживания шумовой микроструктуры и повышением резкости, применяемую к преобразованной аппроксимирующей составляющей и детализирующим составляющим (фиг.5). Каждый уровень реконструкции состоит из
- свертки матрицы коэффициентов аппроксимации и матриц детализирующих горизонтальных, вертикальных и диагональных коэффициентов операторами реконструкции;
- получения матрицы восстановленной детализирующей составляющей путем поэлементного суммирования матриц детализирующих горизонтальных, вертикальных и диагональных коэффициентов, обработанных операторами реконструкции;
- преобразования матрицы восстановленной детализирующей составляющей матрицей преобразованных коэффициентов коррекции контраста;
- повышения мелкомасштабной детальности изображения с использованием восстановленных составляющих нулевого уровня;
- поэлементного суммирования матриц восстановленной аппроксимирующей составляющей с преобразованной матрицей восстановленной детализирующей составляющей.
На каждом уровне n выполняют преобразование восстановленной детализирующей составляющей W путем поэлементного умножения значений восстановленной детализирующей составляющей W на значения матрицы преобразованных коэффициентов коррекции контраста М':
где W - матрица восстановленной детализирующей составляющей после преобразования контраста и сглаживания шумовой микроструктуры.
Повышение мелкомасштабной детальности изображения осуществляют путем дополнительного поэлементного умножения значений восстановленной и преобразованной составляющей 
на коэффициент повышения резкости, который вычисляют следующим образом:
- формируют яркостно-контрастную характеристику Ω путем поэлементного сканирования матрицы сА0 и :
- определяют зависимость возможных значений коэффициентов дополнительного контрастирования от яркости K(а):
где Amax0 - наибольшее допустимое значение коэффициентов аппроксимации нулевого уровня разложения, зависящее от количества уровней квантования исходного изображения и способа реализации;
Ωдоп(а) - зависимость допустимых значений контраста от яркости для нулевого уровня разложения при использовании в качестве базисной функции вейвлета Хаара, определяемая следующим образом:
На фиг.6 представлены яркостно-контрастная характеристика Ω(а) реконструируемого изображения и яркостное распределение допустимых значений контраста Ωдоп(а) для нулевого уровня разложения при использовании в качестве базисной функции вейвлета Хаара.
- для ненулевых значений K(а) вычисляют среднее значение коэффициента дополнительного контрастирования 
с последующим уточнением:
где N - количество ненулевых отсчетов K(а); нижний индекс - номер итерации.
Итеративно уточняют среднее значение коэффициента дополнительного контрастирования, на каждой итерации i изменяя значения K(а):
определяют значение коэффициента повышения резкости Kr при выполнении условия
где δ - значение допуска межитерационного изменения среднего значения коэффициента дополнительного контрастирования (δ≈0.1…0.001).
Далее выполняют поэлементное умножение значений восстановленной и преобразованной составляющей 
на коэффициент повышения резкости, результатом которого является матрица восстановленной детализирующей составляющей с преобразованием контраста, сглаживанием шумовой микроструктуры и повышением резкости 
и суммирования элементов матриц восстановленной аппроксимирующей составляющей (сА0) с преобразованной матрицей восстановленной детализирующей составляющей . Результатом суммирования является матрица сА0, представляющая собой восстановленное результирующее изображение.
Затем согласуют яркостной диапазон реконструированного изображения сА0 с параметрами видеосистемы следующим образом:
- если разрядность видеосистемы r совпадает с разрядностью исходного изображения:
- иначе:
где ImgResmax, ImgResmin - максимальное и минимальное значения яркости результирующего изображения.
На фиг.7 представлено исходное изображение, а на фиг.8 представлено результирующее изображение, обработанное описанным способом.
Источники информации
1. Патент RU 2342701 «Способ комплексирования цифровых многоспектральных полутоновых изображений», МПК G06K 9/40, G06T 5/40, приоритет 15.08.2007, дата публикации 27.12.2008.
2. Дьяконов В.П. Вейвлеты. От теории к практике. - М.: СОЛОН-Р, 2002. - 448 с.
3. Шашлов Б.А. Теория фотографических процессов. -М.: Книга, 1981. - 319 с.
Способ повышения визуальной информативности цифровых полутоновых изображений, включающий 3-уровневую декомпозицию исходного цифрового изображения вейвлетом Хаара путем быстрого дискретного стационарного вейвлет-преобразования с получением аппроксимирующей составляющей и семейства детализирующих составляющих, устранение шумовой микроструктуры при помощи адаптивного порога на каждом уровне разложения, вычисление корректирующих функций яркости и контраста, преобразование аппроксимирующей составляющей функцией коррекции яркости, преобразование детализирующих составляющих всех уровней разложения функцией коррекции контраста, реконструкцию результирующего изображения путем обратного быстрого дискретного двумерного стационарного вейвлет-преобразования, применяемого к преобразованным составляющим, согласование яркостного диапазона результирующего изображения с параметрами видеосистемы, отличающийся тем, что осуществляют параллельную обработку составляющей каждого уровня разложения; определяют параметры яркостно-контрастного преобразования с использованием значений аппроксимирующей составляющей путем формирования функции коррекции уровней яркости и функции коррекции контраста, аргументом которых является значение аппроксимирующей составляющей, формирования матрицы коэффициентов коррекции контраста третьего уровня разложения с использованием функции коррекции контраста, реконструкции семейства матриц масштабированных коэффициентов коррекции контраста для пространственного согласования на каждом уровне коэффициентов коррекции со значениями детализирующей составляющей, при этом обработка детализирующих составляющих всех уровней разложения осуществляют путем формирования матрицы локального контраста и функции сглаживания шумовой микроструктуры, аргументом которой является значение локального контраста; затем выполняют параллельную обработку составляющих каждого уровня разложения, заключающуюся в том, что поэлементно преобразуют значения аппроксимирующей составляющей третьего уровня разложения функцией коррекции уровней яркости, поэлементно преобразуют масштабированную матрицу коэффициентов коррекции контраста функцией сглаживания шумовой микроструктуры; затем осуществляют реконструкцию результирующего изображения при помощи обратного быстрого дискретного стационарного двумерного вейвлет-преобразования, применяемого к преобразованной аппроксимирующей составляющей и детализирующим составляющим, преобразуют каждую реконструированную детализирующую составляющую путем поэлементного умножения значений каждой матрицы реконструированной детализирующей составляющей на значения матрицы преобразованных коэффициентов коррекции контраста, формируют яркостно-контрастную характеристику с использованием значений аппроксимирующей и преобразованной детализирующей составляющих уровня изображения, вычисляют коэффициент повышения резкости с использованием яркостно-контрастной характеристики и умножают на него каждый элемент матрицы преобразованной детализирующей составляющей.
