Устройство обнаружения дефектов на архивных фотографиях

Изобретение относится к области вычислительной техники и может быть использовано в системах анализа и обработки изображений и в цифровом телевидении. Технический результат заключается в обнаружении положения дефектов на архивных фотографиях в условиях недостаточной априорной информации о статистических характеристиках искажений. Устройство содержит блок предобработки 1, блок управления 2, первый блок вычисления свертки 3, второй блок вычисления свертки 4, блок генерации второй маски Габора 5, блок генерации первой маски Габора 6, первый блок бинаризации 7, второй блок бинаризации 8, первый блок хранения маски 9, второй блок хранения маски 10, сумматор 11, блок постобработки 12, блок хранения результирующей маски дефектов 13. 2 ил.

 

Изобретение относится к области вычислительной техники и может быть использовано в системах управления и обработки многомерных сигналов и изображений.

Изображение рассматривается как упрощенная математическая модель, которая представляет собой двумерную дискретную последовательность Y_i,j, $$i=\overline{1,N}$$ , $$j=\overline{1,M}$$ , вида:

$$Y_{i,j}=(1-d_{i,j})\cdot S_{i,j}+d_{i,j}\cdot c_{i,j}$$ ,

где Y_i,j - наблюдаемое изображение, S_i,j - оригинальное (неповрежденное) изображение, d_i,j - бинарная маска области с искаженными значениями (1 соответствует искаженным пикселям, 0 соответствует не искаженным пикселям), c_i,j - искаженные значения пикселей.

Основная решаемая задача - обнаружение положения дефектов на архивных фотографиях.

Подобная задача может возникнуть: 1) в системах автоматического восстановления архивных фотографий; 2) в системах цифровой обработки последовательностей изображений; 3) в радиотехнических системах обработки многомерных сигналов.

В настоящее время существует большое количество методов автоматического детектирования дефектов на изображении. Самые первые и наиболее простые в реализации алгоритмы относятся к классу пороговой обработки [Koutsopoulos H. and Downey A. Primitive-based classification of pavement cracking images. Journal of Transportation Engineering, 119(3), pp.402-418, 1993]. Основным недостатком данных методов является зависимость количества ложных срабатываний от уровня порогового значения. Другим классом детекторов является морфологическая обработка изображений [Tanaka N. and Uematsu K. A crack detection method in road surface images using morphology. In Machine Vision Applications, pp.154-157, 1998]. Для обнаружения дефектов на фотодокументах при условии предварительной фильтрации используются морфологические операции для обнаружения светлых и темных трещин соответственно [Giakoumis I., Nikos Nikolaidis N. and Pitas I. Digital image processing techniques for the detection and removal of cracks in digitized paintings, 2005]. Также возможно использование различных комбинаций морфологических операций. Данный класс детекторов имеет в результирующей маске дефектов меньше ложных срабатываний, чем детекторы, основанные на пороговой обработке, но, тем не менее, эффективность также зависит от априорно заданных параметров.

Традиционный подход к решению задачи удаления дефектов можно разделить на два этапа:

1. Обнаружение дефектов (получение маски с положением дефектных пикселей).

2. Удаление дефектов (восстановление изображений).

Известен способ ранжирования пикселей (ROD) эвристический детектор, основанный на порядковой статистике [A. Gangal, Т. Kayikcioglu, and В. Dizdaroglu, "An improved motion-compensated restoration method for damage color motion picture film", Signal Proc.: Image Communication, vol. 19, pp.353-368, 2004]. Пусть p_r, где r=1,2,…,6, устанавливает связь между смежными пикселями на Y_i,j. Данные пиксели взяты из соображения компенсации движения на предыдущем и последующем кадрах, в местах пространственно близко расположенных к пикселю на Y_i,j и двух его ближайших вертикальных соседей. Пусть d_m последовательность пикселей p_r отсортирована по рангу $$d_1\le d_2\le \dots \le d_6$$ . Здесь $$d_{mean}$$ среднее значение данной последовательности и рангового-порядкового различия $$ROD({\eta }_{i,j},l)$$ , где l=1,2,3…:

$$d_{mean}=\frac{d_3+d_4}{2}$$ ,

$$ROD({\eta }_{i,j},l)=\{\begin{array}{l}{d}_l-Y_{i,j}({\eta }_{i,j}){\text{ if Y}}_{\text{i,j}}({\eta }_{i,j})\le d_{mean}\\ Y_{i,j}({\eta }_{i,j})-d_{7-l}{\text{ if Y}}_{\text{i,j}}({\eta }_{i,j})>d_{mean}\end{array}\text{ with l}=\text{1,2,3}$$ .

Дефект считается обнаруженным, если хотя бы одна из ранжированных последовательностей превысит заданный порог T_l. Порог T_l задается пользователем, и определения чувствительности детектора [Nadenau M.J. and Mitra S.K., "Blotch and scratch detection in image sequences based on rank ordered differences", Time-Varying Image Processing and Moving Object Recognition, Elsevier, pp.27-35, 1997]:

$$L_{ROD}({\eta }_{i,j})=\{\begin{array}{l}1\text{ if ROD(}{\eta }_{\text{i,j}},l)>T\\ 0\text{ else}\end{array}\text{ with 0}\le {\text{T}}_{\text{1}}\le T_2\le T_3\text{ and l}=\text{1,2,3}$$ .

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: пороговая обработка изображения, получение маски с дефектами.

К недостаткам следует отнести фиксацию чувствительности и выбор порога детектора, который задается пользователем.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- выбор порогового значения зависит от априорной информации о размере и формы области восстановления и геометрических свойств изображения.

Известен упрощенный способ ранжирования пикселей ROD детектор (SROD) [Roosmalen van P.M.B., Biemond J., and Lagendijk R.L., "Restoration and storage of film and video archive material", Signal Processing for Multimedia, 1999]. Отличие ROD детектора от SROD заключается в том, что из области возможного детектора берется не значение медианы, а разница между локальным максимумом и минимумом. Обозначим упорядоченное по возрастанию значений яркостей множество этих пикселей для n-го кадра через p_r, i∈[1,6]. Тогда решающее правило можно записать в виде следующего выражения:

$$SROD(i)=\{\begin{array}{l}\min (p_r)=Y_{i,j}({\eta }_{i,j}){\text{ if min(p}}_{\text{r}})-Y_{i,j}({\eta }_{i,j})>0\\ Y_{i,j}({\eta }_{i,j})-\max (p_r)\text{ if }{Y}_{i,j}({\eta }_{i,j})-\max (p_r\text{)}>\text{0 }\\ 0\text{ otherwise}\end{array}withr=1,\dots ,6$$ ..

Дефект обнаруживается при условии:

$$L_{SROD}({\eta }_{i,j})=\{\begin{array}{l}1\text{ if SROD(}{\eta }_{\text{i,j}})>T_1\\ 0\text{ otherwise}\end{array}{\text{ with T}}_{\text{1}}\ge 0$$

Детектор SROD оценивает диапазон интенсивности пикселей, полученных в результате компенсации движения, и сравнивает этот диапазон интенсивности пикселей с условием. Дефект считается обнаруженным, если текущий пиксель интенсивности находится достаточно далеко за пределами ранга.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: пороговая обработка изображения, получение маски с дефектами.

К недостаткам способа следует отнести то, что при малых значениях порогового значения дефектные пиксели будут обнаружены корректно, но будет много ложных срабатываний. При увеличении порогового значения количество обнаруженных дефектов будет уменьшаться при уменьшении количества ложных срабатываний.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- использование однопороговой системы не позволяет разнести плотности распределения искаженных и неискаженных пикселей.

Известен способ пороговой обработки изображения [N. Otsu (1979), "A Threshold Selection Method from Gray-Level Histogram", IEEE Transaction on Systems, Man, and Cybernatics, vol. SMC-9, no.1, pp.62-66, January 1979].

Способ заключается в выборе оптимального порогового значения, которое позволило бы разделить значения яркости изображения в серых тонах на два класса: пиксели, принадлежащие фону, и пиксели, принадлежащие объектам переднего плана. Для корректной работы данного алгоритма предполагается, что гистограмма изображения сепарабельна.

Для оптимального разделения гистограммы итеративно выбирается пороговое значение, которое минимизировало дисперсию внутри класса, которая определяется как взвешенная сумма дисперсий двух классов:

$${\sigma }_w^2(t)=w_1(t){\sigma }_1^2(t)+w_1(t){\sigma }_2^2(t)$$ ,

где w₁ - это вероятности двух классов, разделенных порогом t, $${\sigma }_i^2$$ - дисперсия этих классов. В своей работе Отцу показал, что минимизация дисперсии внутри класса равносильна максимизации дисперсии между классами, которая равна:

$${\sigma }_b^2(t)=w_1(t)w_2(t){({\mu }_1(t)-{\mu }_2(t))}^2$$ ,

где µ₁, µ₂ - математическое ожидание двух классов.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие; пороговая обработка изображения, создание маски с дефектами.

К недостаткам метода следует отнести: ложные срабатывания детектора на изображениях, содержащих шумовую составляющую, также данный алгоритм в большинстве случаев требует последующую постобработку полученной маски для сокращения ложных срабатываний.

Известно устройство детектирования царапин на изображении [US 20130034298 A1]. Поиск дефектов на изображении можно разделить на три этапа. На первом этапе происходит сегментация изображения. Данная операция необходима для локализации дефекта на изображении и последующей работы с ним.

На втором этапе выполняется морфологическая обработка с структурными элементами. Структурные элементы представлены в виде линий с различными углами. Данная операция позволяет получить наибольший отклик на линейных объектах и меньший на точечных. Данная операция позволяет сократить число ложных срабатываний. После морфологической обработки выполняется бинаризация изображения заданным пороговым значением. Также пороговое значение может быть получено методом Отцу.

На третьем этапе для маски с предполагаемыми дефектами вычисляются дескрипторы. В данной работе были использованы морфологические особенности предполагаемых дефектов: площадь дефекта, коэффициент выпуклости, коэффициент корреляции, компактность, эксцентриситет эллипса. После чего данные дескрипторы поступают на нелинейный классификатор SVM, который разделяет пиксели на принадлежащие дефекту или объекту.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие:

- свертка с различными ядрами, получение маски с дефектами.

К недостаткам устройства-аналога следует отнести:

- большие вычислительные затраты, не всегда точное детектирование дефектов.

- необходим этап обучения алгоритма, ограничивающий области применения детектора.

Структурная схема устройства-аналога содержит блок предобработки, блок регистрации изображения, блок предобработки, блок сегментации, блок извлечения дескрипторов, блок классификации.

Наиболее близким к изобретению является устройство обработки изображений на основе модифицированного фильтра Габора [US 20060269160 А1]. В устройстве-прототипе реализуется свертка изображения Y_i,j с набором ядер Габора, которые позволяют осуществить текстурный анализ исходного изображения. Фильтр Габора - линейный фильтр, импульсная переходная характеристика которого определяется в виде гармонической функции, умноженной на гауссиан. Этот фильтр широко применяется для распознавания границ объектов и выявления направления текстуры.

Функция Габора имеет следующий вид:

$$g(x,y;\lambda ,\theta ,\psi ,\sigma ,\gamma )=\exp (-\frac{{x^{\prime }}^2+{\gamma }^2{y^{\prime }}^2}{2{\sigma }_2})\cos (2\pi \frac{x^{\prime }}{\lambda }+\psi )$$ ,

где $$x^{\prime }=x\cos \theta +y\sin \theta$$ , $$y^{\prime }=-x\sin \theta +y\cos \theta$$ ,

λ - длина волны множителя-косинуса,

θ - ориентация нормали параллельных полос функции Габора в градусах,

ψ - сдвиг фаз в градусах,

γ - коэффициент сжатия, характеризующий эллиптичность функции.

Свертка реализуется следующим выражением:

$$\overline{S}=Y*g$$ .

После применения фильтра Габора каждый пиксель изображения дает вектор признаков. Этот вектор признаков эффективно описывает локальную текстуру окрестности пикселя. Фильтры Габора обладают геометрической устойчивостью, а именно, они устойчивы к операциям масштабирования, поворота, изменения яркости или контрастности.

Признаки устройства-прототипа, совпадающие с признаками заявляемого технического решения, следующие: свертка изображения с ядрами Габора.

Недостатками известного устройства-прототипа являются:

- неспособность обнаруживать дефекты на изображениях, в связи с тем что устройство используется как реализация схемы текстурного анализа для пикселей изображения.

Структурная схема устройства-прототипа содержит блок предобработки, блок управления, блок генерации первой маски Габора, блок генерации второй маски Габора, первый блок вычисления свертки, второй блок вычисления свертки, блок постобработки.

Предлагаемое устройство обнаружения дефектов на архивных фотографиях позволяет автоматически обнаружить дефекты на архивных фотографиях в условиях ограниченного объема априорной информации.

Устройство реализует способ текстурного анализа применительно к решаемой задаче, который основан на анализе результата свертки исходного изображения Y_i,j с ядрами Габора. На первом этапе к изображению применяется предобработка, которая заключается в вычитании из изображения среднего уровня яркости.

Функция Габора имеет следующий вид:

$$g(x,y;\lambda ,\theta ,\psi ,\sigma ,\gamma )=\exp (-\frac{{x^{\prime }}^2+{\gamma }^2{y^{\prime }}^2}{2{\sigma }_2})\cos (2\pi \frac{x^{\prime }}{\lambda }+\psi )$$ ,

где $$x^{\prime }=x\cos \theta +y\sin \theta$$ , $$y^{\prime }=-x\sin \theta +y\cos \theta$$ ,

λ - длина волны множителя-косинуса,

θ - ориентация нормали параллельных полос функции Габора в градусах,

ψ - сдвиг фаз в градусах,

γ - коэффициент сжатия, характеризующий эллиптичность функции.

На основе проведенных исследований выбраны следующие параметры функции Габора: две ориентации нормали θ, равные 90° и 180°, окно размером 5×5 пикселей. Примеры функций Габора с углом θ=90° и θ=180° представлены на фиг.1.

Выбор окна размером 5×5 обусловлен тем, что трещины на изображении имеют структуру тонкой линии, а при увеличении размера данного параметра появляются искажения в виде дополнительных колебаний вокруг предполагаемых дефектов, что уменьшает вероятность правильного обнаружения. Параметр θ, равный 90° и 180°, обеспечивает наибольшую универсальность, что в большинстве случаев является достаточным для детектирования дефектов на изображении.

После нахождения свертки с каждой маской к ней применяется операция бинаризации, необходимая для того, чтобы выделить области, получившие наибольший отклик. В результате получаются две маски $$M^1{}_{i,j}$$ и $$M^2{}_{i,j}$$ . Поскольку используется ядро размером 5×5 пикселей, фильтр имеет только один экстремум, в результате чего большой отклик получают и квазистационарные светлые области. Полученные маски попиксельно суммируются, то есть применяется операция логического ИЛИ, в результате чего формируется маска $$M_{i,j}$$ .

Использование результирующей бинаризованной функции $$M_{i,j}$$ отклика как маски дефектов не представляется возможным. Для сокращения числа ложных срабатываний к массиву $$M_{i,j}$$ применяется операция эрозии. В результате данной морфологической операции формируется результирующий массив дефектов $${\overline{M}}_{i,j}$$ , в котором в качестве 1 помечаются положения дефектов на исходном изображении.

Устройство обнаружения дефектов на архивных фотографиях содержит (фиг.2) блок предобработки 1, первый вход которого является информационным входом устройства, первый выход которого подключен к первому входу первого блока вычисления свертки 3, выход которого подключен к входу первого блока бинаризации 7, выход которого подключен к входу первого блока хранения маски 9, выход которого подключен к первому входу сумматора 11; ко второму входу блока предобработки 1 подключен первый выход блока управления 2, второй выход которого подключен к выходу блока генерации второй маски Габора 5, выход которого подключен ко второму входу второго блока вычисления свертки 4; третий выход блока управления 2 подключен к входу блока генерации первой маски Габора 6, выход которого подключен ко второму входу первого блока вычисления свертки 3; второй выход блока предобработки 1 подключен к первому входу второго блока вычисления свертки 4, выход которого подключен к входу второго блока бинаризации 8, выход которого подключен к входу второго блока хранения маски 10, выход которого подключен ко второму входу сумматора 11, выход которого подключен к входу блока постобработки 12, выход которого подключен к входу блока хранения результирующей маски дефектов 13, выход которого является информационным выходом устройства.

Устройство обнаружения дефектов на архивных фотографиях работает следующим образом. Исходное изображение поступает на вход блока предобработки 1, в котором компенсируется влияние освещения на результат обработки за счет вычитания из исходного изображения среднего уровня яркости. Блок управления 2 задает параметры для блока предобработки 1, параметры генерации первой и второй масок Габора. В блоках генерации первой маски Габора 6 и второй маски Габора 5 формируются коэффициенты ядер Габора, вычисленные для двух параметров θ, равного 90° и 180° соответственно. Далее вычисляется свертка предобработанного изображения с двумя ядрами Габора в первом блоке вычисления свертки 3 и втором блоке вычисления свертки 4 соответственно. Далее результат свертки для каждого ядра бинаризуется с помощью пороговой обработки в первом и втором блоках бинаризации 7 и 8. Результат бинаризации записывается в первом и втором блоках хранения маски 9 и 10. Для обработанных масок находится логическая сумма и формируется маска $$M_{i,j}$$ в сумматоре 11. Для сокращения числа ложных срабатываний к массиву $$M_{i,j}$$ применяется операция эрозии в блоке постобработки 12. В результате данной морфологической операции формируется результирующий массив дефектов $${\overline{M}}_{i,j}$$ , в котором в качестве 1 помечаются положения дефектов на исходном изображении. Результат обработки записывается в блок хранения результирующей маски дефектов 13.

Технический результат - обнаружение положения дефектов на архивных фотографиях в условиях недостаточной априорной информации о статистических характеристиках искажений.

Устройство обнаружения дефектов на архивных фотографиях, содержащее блок предобработки, первый вход которого является информационным входом устройства, первый выход которого подключен к первому входу первого блока вычисления свертки; ко второму входу блока предобработки подключен первый выход блока управления, второй выход которого подключен к выходу блока генерации второй маски Габора, выход которого подключен ко второму входу второго блока вычисления свертки; третий выход блока управления подключен к входу блока генерации первой маски Габора, выход которого подключен ко второму входу первого блока вычисления свертки; второй выход блока предобработки подключен к первому входу второго блока вычисления свертки; блок постобработки, отличающееся тем, что выход первого блока вычисления свертки подключен к входу первого блока бинаризации, выход которого подключен к входу первого блока хранения маски, выход которого подключен к первому входу сумматора; выход второго блока вычисления свертки подключен к входу второго блока бинаризации, выход которого подключен к входу второго блока хранения маски, выход которого подключен ко второму входу сумматора, выход которого подключен к входу блока постобработки, выход которого подключен к входу блока хранения результирующей маски дефектов, выход которого является информационным выходом устройства.