Способ автоматической сегментации флюорограмм грудной клетки больных пневмонией
Владельцы патента RU 2629629:
Федеральное государственное бюджетное образовательное учреждение высшего образования "Юго-Западный государственный университет" (ЮЗГУ) (RU)
Изобретение относится к способам цифровой обработки медицинских изображений и может быть использовано для автоматической сегментации флюорограмм грудной клетки. Осуществляют вычисление гистограмм яркости изображения в выделенном окне. Для выделения на изображениях флюорограмм грудной клетки патологических образований, обусловленных пневмонией, определяют графические примитивы гистограммы яркости в выделенном окне, размер которого составляет 1% от размера изображения флюорограммы грудной клетки. Формируют из них вектор информативных признаков, который анализируют посредством обучаемого двухальтернативного классификатора, настроенного на классификацию гистограмм яркости, включающих обусловленные пневмонией морфологические образования. Бинаризируют пиксель флюорограммы грудной клетки, соответствующий окну, в котором определялась гистограмма яркости. Способ обеспечивает повышение точности выделения границ сегментов полутоновых изображений флюорограмм грудной клетки больных пневмонией, повышение качества принимаемых диагностических решений, а также повышение степени автоматизации процесса анализа и классификации флюорограмм грудной клетки.1 з.п. ф-лы, 6 ил.
Изобретение относится к способам цифровой обработки медицинских изображений. Для решения задач выделения морфологических структур с патологическими образованиями на растровых полутоновых изображениях флюорограмм грудной клетки необходимо решить задачу разделения исходного изображения на части (сегменты), различающиеся по своему семантическому содержанию. От качества сегментации зависит качество принимаемых диагностических решений.
Известен способ сегментации изображения, называемый наращиванием областей (см., например, Якушенков Ю.Г. Техническое зрение роботов. - М.: Машиностроение, 1990, - с. 49-51; Путятин Е.П., Аверин С.И. Обработка изображений в робототехнике. - М.: Машиностроение, 1990, с. 18-25). Суть его заключается в том, что элементы изображения с одинаковыми или близкими уровнями яркости группируют, объединяя в однородные области. Для этого на исходном изображении ищут элементарные области, где пиксели объединяются в группы, если они обладают одинаковым уровнем яркости и являются соседями в смысле четырехсвязности. Затем элементарные области, имеющие общие границы, сливаются воедино согласно различным эвристическим правилам. Недостатком этого способа является необходимость подбора яркостных порогов в интерактивном режиме.
При проведении выращивания и слияний областей часто используется текстурная информация [Pat. US2009080773 (Al), IPC7 G06K 9/34. Image segmentation using dynamic color gradient threshold, texture, and multimodal-merging [Text] / Shaw M. [US]; Bhaskar R. [US]; Ugarriza L. G. [US]; Saber E. [US]; AmusoV. [US]]. Однако использование текстурной информации при выращивании ограничивается тем, что для анализа текстуры (обычно это вычисление различных признаков, описанных в математической статистике), как правило, уже требуется иметь область размером более одного пикселя, что при выращивании (добавление единственного пикселя к области) невозможно.
Выделение контуров объектов на полутоновых растровых изображениях можно осуществлять совместно с выделением самих объектов. Для этого обычно используют пороговые методы сегментации на основе среднего значения яркости пикселей, например, в [патент РФ № 2325044. «Градиентный способ выделения контуров объектов на матрице полутонового растрового изображения»] предложен градиентный способ выделения контуров объектов на матрице полутонового растрового изображения, заключающийся в том, что для всех пикселей растрового изображения вычисляют норму или квадрат нормы градиента изменения их яркости, затем на новой черно-белой монохромной матрице черным цветом на белом фоне выделяют все элементы, у которых значение нормы или квадрата нормы градиента больше порогового значения, а в качестве контуров объектов на монохромной матрице принимают связные конфигурации элементов черного цвета, для выбранного способа вычисления градиента экспериментально определяют коэффициент, затем рассчитывают пороговое значение квадрата нормы градиента как произведение данного коэффициента на сумму квадратов средних величин модулей изменения яркости соседних пикселей по строкам и столбцам, у которых значения превышают общие средние уровни ненулевых изменений, соответственно, по строкам и столбцам, а среди связных конфигураций элементов черного цвета на монохромной матрице сразу отбрасывают конфигурации, у которых число входящих элементов менее 5-7 элементов, для оставшихся конфигураций вычисляют среднюю степень соседства - частное от деления суммы по всем элементам конфигурации соседних с ним элементов на сумму элементов в конфигурации, причем те конфигурации, у которых средняя степень соседства менее 3, отбрасывают, а оставшиеся принимают в качестве искомых контуров объектов.
К недостаткам данного способа можно отнести слишком большое число эмпирически настраиваемых параметров, что не позволяет получить решающие правила, пригодные для изображений одного и того же класса, полученных при различных условиях или при различных уровнях помех. При нечетких сегментах такие параметры подобрать практически невозможно.
Близким к заявленному способу является способ сегментации [Pat. WO 2009143651 (A1), IPC7 G06T 5/00. Fast image segmentation using region merging with a k-nearest neighbor graph [Text] / Mantao X. [CN], Qiyong G. [CN], Hongzhi L. [CN], Jiwu Z. [CN]], принципиально состоящий из двух этапов: выращивания и последующего слияния сегментов. Выращивание областей в данном случае используется для выполнения начальной заведомо избыточной сегментации (initial oversegmentation), а слияние областей, основанное на методах теории графов, имеет своей целью достижение окончательного оптимального состояния сегментации. Определение центров кристаллизации в данном методе происходит в автоматическом режиме на основе градиентного изображения, полученного из исходного с помощью масочного оператора Кирша (Kirsch). Использование здесь градиентного изображения позволяет достаточно универсально решить проблему автоматического обнаружения центров кристаллизации, так как минимумам функции градиентного изображения будут соответствовать точки с максимально однородной окрестностью (потенциальные центры роста сегментов). Недостатком применения оператора Кирша в данной ситуации является его пространственная ограниченность (анализируется окрестность только 3×3 пикселей), тогда как при поиске центров кристаллизации было бы полезным исследовать окрестность точки на больших масштабах, чтобы учесть низкочастотные изменения функции яркости изображения и, таким образом, провести более точное последующее определение центров роста.
Наиболее близким к предлагаемому является способ сегментации [патент РФ № 2148858. «Способ автоматической сегментации полутонового изображения по форме яркостной гистограммы»], который заключается в определении унимодального или бимодального типа исходной яркостной гистограммы в окне и порогового уровня яркости. Этот пороговый уровень позволяет разделить бимодальную гистограмму на два унимодальных фрагмента, а также обеспечить обратный переход от фрагментов гистограммы к сегментам изображения. Яркостную гистограмму в окнах аппроксимируют полиномами, после чего строят кривую динамики центра гистограмм и определяют яркостные интервалы заданных значений яркости. Затем вычисляют вес области разделения для каждого интервала, идентифицируют яркостной интервал для области разделения с максимальным весом. При превышении максимального веса области разделения над нормативным весом принимают решение о бимодальном типе исходной яркостной гистограммы. В качестве порогового уровня яркости для обеспечения операции порогового среза исходного изображения принимают глобальный минимум аппроксимирующего полинома на яркостном интервале с максимальным весом области разделения.
Недостаток данного способа заключается в том, что гистограмма в окне, центр которой лежит на границе сегмента, не всегда получается бимодальной. В этом случае пиксель, лежащий на границе сегмента, не идентифицируется как граница сегмента, и, наоборот, гистограмма в окне может быть не унимодальной или многомодальной на границе сегмента, что также ведет к потере пикселя, лежащего на границе сегмента.
Технической задачей предлагаемого способа является повышение точности выделения границ сегментов полутоновых изображений флюорограмм грудной клетки больных пневмонией (большее соответствие выделяемых сегментов субъективному восприятию изображения врачом) и, как следствие, повышение качества принимаемых диагностических решений, а также повышение степени автоматизации процесса анализа и классификации флюорограмм грудной клетки.
Поставленная задача достигается тем, что в способе сегментации, заключающемся в вычислении гистограмм яркости изображения в выделенном окне, для выделения на изображениях флюорограмм грудной клетки патологических образований, обусловленных пневмонией, определяют графические примитивы гистограммы яркости в выделенном окне, размер которого составляет 1% от размера изображения флюорограммы грудной клетки, формируют из них вектор информативных признаков, который анализируют посредством обучаемого двухальтернативного классификатора, настроенного на классификацию гистограмм яркости, включающих обусловленные пневмонией морфологические образования, и бинаризируют пиксель флюорограммы грудной клетки, соответствующий окну, в котором определялась гистограмма яркости. При этом двухальтернативный классификатор обучается в два этапа. На первом этапе в качестве образцов класса «пневмония» используются фрагменты изображений флюорограмм грудной клетки без патологических изменений, которые трансформируются в класс «пневмония» посредством низкочастотной фильтрации их двумерного спектра Фурье, а на втором этапе осуществляется «дообучение» классификатора в соответствии с результатами его работы на контрольной выборке, составленной из фрагментов флюорограмм больных пневмонией.
На фиг.1 представлена структурная схема устройства, осуществляющего предлагаемый способ.
На фиг.2 представлена схема алгоритма, реализующего представленный способ.
На фиг. 3 представлена схема алгоритма формирования вектора информативных признаков.
На фиг. 4 показано окно флюорограммы грудной клетки «без патологии» и соответствующая ему гистограмма яркости, также окно флюорограммы грудной клетки с моделью патологии «пневмония», полученной посредством двумерной низкочастотной фильтрации окна «без патологии», и соответствующая ему гистограмма яркости.
На фиг. 5. показаны реальные окна флюорограммы без патологии и с патологией и соответствующие им гистограммы яркости.
На фиг. 6 показан результат обработки флюорограммы грудной клетки больного пневмонией предложенным способом.
Способ осуществляется устройством, структурная схема которого показана на фиг. 1.
Устройство состоит из компьютера 1; блока памяти данных 2, состоящего из блока памяти 3, предназначенного для хранения файлов данных с полутоновыми изображениями флюорограмм и подключенного к первому входу компьютера 1, и блока памяти 4, предназначенного для хранения файлов данных с сегментированными изображениями (бинарными изображениями) и подключенного к первому выходу компьютера 1; блока памяти 5, предназначенного для хранения программного обеспечения по сегментации полутоновых изображений флюорограмм и подключенного ко второму входу и второму выходу компьютера 1; и видеомонитора 6, подключенного к третьему выходу компьютера 1.
Способ реализуется согласно схеме алгоритма, представленной на фиг.2. В блоке 7 осуществляется ввод в компьютер пикселей исходного растрового полутонового изображения флюорограммы грудной клетки, размер которого по вертикали N1, а по горизонтали N2. В блоке 8 осуществляется выбор размера ячейки, в которой осуществляется определение гистограммы яркости, в частности ячейки выбирают размером 0,01N1х0,01N2. Блоки 9 и 10 организуют сканирование изображения по пикселям окном выбранного размера, по вертикали и по горизонтали соответственно. В блоке 11 организуется вычисление гистограмм фрагментов изображения, попадающих в окно. В блоке 12 формируется вектор информативных признаков для классификации пикселя, являющегося центром окна, для которого вычислялась гистограмма. Вектор информативных признаков получают на основе описания гистограммы яркости в окне графическими примитивами, что может быть реализовано на основе преобразования Хафа, сплайн-интерполяцией, Фурье – дескрипторами, цепным кодом, аппроксимацией гистограммы прямоугольниками одинаковой ширины.
На фиг. 3 представлена схема алгоритма вычисления вектора информативных признаков на основе аппроксимации гистограммы яркости окна прямоугольниками одинаковой ширины. В блоке 17 загружается гистограмма текущего окна {hi}. Значения i изменяются от 0 до 255 и соответствуют диапазону яркости пикселей изображений. Число компонентов N в векторе информативных признаков также задается в блоке 17 и определяется параметрами используемого классификатора. Если это нейросетевой классификатор, то N – это число элементов входного слоя. В блоке 18 определяется максимальное значение множества отсчетов гистограммы {hi}, которое на схеме алгоритма обозначено как maxH. В блоке 19 вычисляется ее минимальное значение minH (используется пороговая фильтрация на уровне 10% от максимального значения). Здесь целесообразно использовать термин инфимум (infimum), так как среди множества значений отсчетов гистограммы такого значения может не быть. В блоке 20 определяется динамический диапазон гистограммы по шкале яркостей после пороговой фильтрации. В блоке 21 определяют ширину прямоугольников, аппроксимирующих гистограмму. В блоке 22 определяют минимальную яркость пикселя, принятую в текущем окне. В блоке 22 вычисляют значение i—го признака. В блоках 24-26 осуществляют процедуры для подготовки к вычислению следующего признака.
В блоке 13 осуществляется классификация вектора информативных признаков. Классификатор построен на основе нейронных сетей прямого распространения. Обучение классификатора осуществляется по алгоритму обратного распространения ошибки (Осовский С. Нейронные сети для обработки информации/ Пер. с польского И.Д. Рудинского. Финансы и статистика, 2002. - 344 с.). Отличительной особенностью алгоритма настройки нейронной сети является то, что сначала нейронная сеть настраивается на тестовых образцах, моделирующих пневмонию, а затем, при необходимости, осуществляется коррекция весовых коэффициентов нейронной сети на втором этапе настройки с реальными образцами фрагментов флюорограммы с пневмонией.
Изображения, предназначенные для формирования тестовых образцов для моделирования пневмонии, и соответствующие гистограммы приведены на фиг. 4. Исходные тестовые изображения формировались в виде фрагментов флюорограммы грудной клетки (см. фиг.4 а). Для моделирования фрагментов изображения с пневмонией фрагменты изображения без патологии подвергались низкочастотной фильтрации с помощью преобразования Фурье. На фиг.4б представлены модель изображения с патологией и его гистограмма.
После настройки классификатора на тестовых моделях (фиг. 4) осуществлялась тестовая проверка классификатора на реальных изображениях с пневмонией. Реальные фрагменты флюорограммы больного пневмонией с патологическими образованиями и без них с соответствующими гистограммами представлены на фиг. 5. Из таких фрагментов изображений строится контрольная выборка для тестирования классификатора изображения. Если погрешности на контрольной выборки (изображения фиг.5) удовлетворительны, то второй этап настройки не осуществляется. В противном случае осуществляется коррекция весов нейронной сети (согласно методу обратного распространения) с использованием в качестве обучающей выборки контрольную выборку.
Реальная флюорограмма с пневмонией до обработки и после обработки представленным способом, показаны на фиг. 6.
Анализ экспериментальных результатов по обработке изображений флюорограмм грудной клетки с пневмонией показал эффективность предложенного способа выделения патологических сегментов флюорограмм грудной клетки больных пневмонией.
1. Способ автоматической сегментации флюорограмм грудной клетки больных пневмонией, заключающийся в вычислении гистограмм яркости изображения в выделенном окне и последующем анализе их формы, отличающийся тем, что для выделения на изображениях флюорограмм грудной клетки пикселей, соответствующих патологическим образованиям, связанным с заболеванием пневмонии, определяют графические примитивы гистограммы яркости в выделенном окне, размер которого составляет 1% от всего размера изображения флюорограммы грудной клетки, формируют из них вектор информативных признаков, размерность которого равна числу графических примитив в выделенном окне, анализируют его посредством обучаемого двухальтернативного классификатора, настроенного на классификацию гистограмм яркости флюорограммы грудной клетки больных пневмонией, и бинаризируют пиксель, соответствующий окну, в котором определялась гистограмма яркости, при условии отнесения его классификатором к классу «пневмония».
2. Способ по п.1, отличающийся тем, что двухальтернативный классификатор обучается в два этапа: на первом этапе в качестве образцов класса «пневмония» используются фрагменты изображений флюорограмм грудной клетки без патологических изменений, трансформированные посредством низкочастотной фильтрации их двумерного спектра Фурье, а на втором этапе осуществляется «дообучение» классификатора в соответствии с результатами его работы на контрольной выборке, составленной из фрагментов флюорограмм больных пневмонией.
