Классификация изображения на основе сегментации изображения
Изобретение относится к классификации данных изображения и, более конкретно, к классификации данных изображения на основе модели для адаптирования к объекту в данных изображения. Технический результат заключается в возможности классифицировать данные изображения без какого-либо ввода данных пользователем. Система содержит блок (110) сегментации для сегментирования данных изображения путем адаптирования модели к объекту в данных изображения и блок (120) классификации для присвоения класса данным изображения на основе модели, адаптированной к объекту в данных изображения, таким образом, классифицируя данные изображения, при этом блок (120) классификации содержит блок (122) атрибутов для вычисления значения атрибута модели на основе модели, адаптированной к объекту в данных изображения, и при этом присвоенный класс основан на вычисленном значении атрибута. Таким образом, система (100) изобретения способна классифицировать данные изображения без какого-либо ввода пользователем. Все вводы, требуемые для классификации данных 10 изображения, составляют модель для адаптирования к объекту в данных изображения. Однако специалист в данной области техники поймет, что в некоторых вариантах осуществления системы (100) может быть предоставлена возможность ограниченного количества вводов пользователем, чтобы позволить пользователю оказывать влияние и управлять системой и процессом классификации. 5 н. и 8 з.п. ф-лы, 8 ил.
ОБЛАСТЬ ИЗОБРЕТЕНИЯ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к классификации данных изображения и, более конкретно, к классификации данных изображения на основе модели для адаптирования к объекту в данных изображения.
УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Рентгенологи сталкиваются со все возрастающими рабочими нагрузками в результате все возрастающего числа изображений, которые должны быть проанализированы, классифицированы и описаны. Классификация данных изображения может быть полезна, например, для извлечения данных изображения. В наши дни класс данных изображения типично основан на способе получения, например СТ, части анатомии, представляемой посредством данных изображения, например грудной клетке, половой принадлежности и возрастной группе пациента, например мужчина, молодой совершеннолетний, и объектах, описываемых посредством данных изображения. Описание анатомии, представляемой посредством данных изображения, требует очень большого времени и зачастую требует изучения множества изображений, визуализированных на основе полученных данных изображения. Рентгенолог просматривает и описывает визуализированные изображения. Для того чтобы оказать рентгенологу помощь в его работе, доступны реализованные программным обеспечением системы анализа изображений. Множество пакетов программного обеспечения предоставляют интерактивные инструменты для измерения объектов на изображении. Например, пользователь может выбирать две точки на стенке кровеносного сосуда для вычисления расстояния между этими двумя точками, получая диаметр сосуда. Другие системы включают в себя системы сегментации изображений для установления на изображениях признаков, таких как края и поверхности, и измерительные инструменты для измерения объектов в данных изображения на основе сегментации изображения. Например, WO 2003/023717, озаглавленный «Automated Measurement of Geometrical Properties», описывает способ измерения геометрического параметра трехмерной структуры, содержащейся в объекте, с использованием сегментации изображения на основе модели. Сначала первая модель адаптируется к объекту в данных изображения. Затем вторая модель подгоняется к адаптированной первой модели путем регулирования значения геометрического параметра второй модели. Например, вторая модель может быть сферой, а геометрический параметр может быть диаметром сферы. Первая модель может быть треугольной сеткой для адаптирования к бедренной кости, изображенной в данных изображения. Сферу можно подогнать к головке бедренной кости. После получения необходимых значений параметров рентгенологу требуется описать сведения и/или классифицировать данные изображения на основе сведений. Типично это выполняется путем диктовки описания и использования методик распознавания речи для превращения речи в текст.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Преимущественным будет предоставить средство для классификации данных изображения, которое будет требовать меньшего количества вводов от рентгенолога.
Таким образом, в данном аспекте изобретение предоставляет систему для классификации данных изображения на основе модели для адаптирования к объекту в данных изображения, причем система содержит:
- блок сегментации для сегментирования данных изображения путем адаптирования модели к объекту в данных изображения; и
- блок классификации для присвоения класса данным изображения на основе модели, адаптированной к объекту в данных изображения, таким образом, классифицируя данные изображения, при этом блок классификации содержит блок атрибутов для вычисления значения атрибута модели на основе модели, адаптированной к объекту в данных изображения, и при этом присвоенный класс основан на вычисленном значении атрибута.
Таким образом, система изобретения способна классифицировать данные изображения без какого-либо ввода пользователем. Все вводы, требуемые для классификации данных изображения, составляют модель для адаптирования к объекту в данных изображения. Однако специалисту в данной области техники будет понятно, что в некоторых вариантах осуществления может быть предоставлена возможность ограниченного количества вводов пользователем, например ввод, чтобы выбрать модель для адаптирования к объекту в данных изображения, чтобы позволить пользователю оказывать влияние и управлять системой и процессом классификации.
В варианте осуществления системы атрибут модели задается на основе модели или на основе ввода пользовательского атрибута. Блок классификации системы скомпонован для использования блока атрибутов для вычисления значения атрибута. Атрибут, значение которого должно быть вычислено, может быть задан на основе модели. Например, если модель содержит сетку для адаптирования к объекту на изображении, то модель может дополнительно указывать две вершины. Эти две вершины могут задавать атрибут сетки - расстояние между упомянутыми вершинами. Блок атрибутов может быть скомпонован для вычисления значения расстояния между указанными вершинами адаптированной сетки. Такой атрибут определяется на основе модели. Альтернативно, может быть полезным позволить пользователю обеспечить ввод пользовательского атрибута, например, для того, чтобы указать две вершины сетки модели. Две вершины могут задавать атрибут сетки - расстояние между упомянутыми вершинами. Блок атрибутов может быть скомпонован для вычисления значения расстояния между указанными вершинами адаптированной сетки. Такой атрибут определяется на основе ввода пользовательского атрибута.
Специалистам в данной области будет понятно, что существует возможность того, что не потребуется задавать некоторые атрибуты ни посредством модели, ни посредством ввода пользовательского атрибута. Например, система может содержать блок атрибутов для вычисления значения расстояния между каждыми двумя вершинами сетки. Блок атрибутов может быть дополнительно скомпонован для выбора наибольшего значения. Такой атрибут - диаметр наименьшей сферы, содержащей в себе все вершины сетки модели, - может быть вычислен для каждой сетки и не требует задания ни посредством модели, ни посредством ввода пользовательского атрибута. Система может быть скомпонована для рутинного вычисления значения такого атрибута.
В варианте осуществления системы значение атрибута модели является текстом для классификации данных изображения. Атрибут с текстовым значением может быть легче понят и интерпретирован пользователями. Примером атрибута с текстовым значением является тип узелка молочной железы, детектированный на рентгеновском изображении, который может принимать значения «злокачественный» или «доброкачественный». Значение может быть присвоено на основе яркости сегментированного узелка после инъекции контрастного вещества. Поскольку в злокачественных опухолях развиваются их собственные системы кровоснабжения, на рентгеновском изображении они выглядят ярче, чем доброкачественные узелки. Узелки, имеющие яркость выше некоторого порога, могут быть классифицированы как злокачественные.
В варианте осуществления системы значением атрибута модели является, по меньшей мере, одно число для классификации данных изображения. Как указано выше, атрибут может быть расстоянием между двумя вершинами сетки модели.
В варианте осуществления системы значение атрибута модели является диапазоном или вектором для классификации данных изображения. Например, атрибут с векторным значением может описывать главную ось тензора моментов инерции структуры, например, позвонка. Примерным атрибутом с диапазонным значением является процентный диапазон стеноза артерии артериальной бляшкой.
В варианте осуществления система дополнительно содержит блок описания для создания описания на основе класса, присвоенного данным изображения. Описание может содержать как тестовые, так и числовые данные, полученные из класса, присвоенного изображению. Блок описания может быть скомпонован для использования словаря и правил грамматики для построения синтаксически правильных предложений. Это описание можно использовать, например, для создания отчетов.
В варианте осуществления системы блок сегментации дополнительно скомпонован для сегментирования данных второго изображения путем адаптирования модели ко второму объекту в данных второго изображения блок классификации дополнительно скомпонован для присвоения второго класса данным второго изображения на основе модели, адаптированной ко второму объекту в данных второго изображения, таким образом, классифицируя данные второго изображения, и система дополнительно содержит блок сравнения для сравнения класса, присвоенного данным изображения, со вторым классом, присвоенным данным второго изображения, для того чтобы определить соответствие между данными изображения и данными второго изображения. Соответствие может быть основано на сходстве данных изображения и данных второго изображения. Альтернативно, соответствие может быть основано на взаимодополняемости данных изображения и данных второго изображения.
В варианте осуществления система дополнительно содержит второй блок сравнения для сравнения класса, присвоенного данным изображения с записью данных, для того чтобы определить соответствие между данными изображения и записью данных. Запись данных может быть, например, вводом данных из руководства или энциклопедии.
В варианте осуществления система дополнительно содержит второй блок классификации для присвоения класса записи данных для записи данных, таким образом классифицируя запись данных, и при этом второй блок сравнения скомпонован для сравнения класса, присвоенного данным изображения, с классом записи данных, присвоенным записи данных.
В дополнительном аспекте изобретения система согласно изобретению содержится в системе базы данных. База данных содержит элементы. Каждой записи данных присваивается класс записи данных. Запрос на извлечение записи данных из базы данных определяется на основе класса, присвоенного системой данным изображения. Система скомпонована для идентификации записи данных, которая является схожей или дополнительной к изображению путем сравнения класса, присвоенного изображению, с классом, присвоенным записи данных.
В дополнительном аспекте система согласно изобретению содержится в устройстве получения изображения. В дополнительном аспекте система согласно изобретению содержится в рабочей станции.
В дополнительном аспекте изобретение предоставляет способ классификации данных изображения на основе модели для адаптирования к объекту в данных изображения, причем способ содержит:
- этап сегментирования для сегментирования данных изображения путем адаптирования модели к объекту в данных изображения; и
- этап классификации для присвоения класса данным изображения на основе модели, адаптированной к объекту в данных изображения, таким образом, классифицируя данных изображения,
при этом этап классификации содержит этап атрибута для вычисления значения атрибута модели на основе модели, адаптированной к объекту в данных изображения, и при этом присвоенный класс основан на вычисленном значении атрибута.
В дополнительном аспекте изобретение предоставляет компьютерный программный продукт, который должен быть загружен компьютерной компоновкой, причем компьютерная программа содержит инструкции для классификации данных изображения на основе модели для адаптирования к объекту в данных изображения, причем компьютерная компоновка содержит блок обработки и память, причем компьютерный программный продукт после загрузки предоставляет упомянутому блоку обработки возможность осуществлять этапы способа.
Специалисты в данной области техники признают, что два или более из вышеупомянутых вариантов осуществления, реализаций и/или аспектов изобретения могут быть объединены любым предположительно полезным образом.
Модификации и разновидности системы базы данных, устройство получения изображения, рабочей станции, способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям и разновидностям системы, могут быть осуществлены специалистом в данной области техники на основе настоящего описания.
Специалист в данной области техники признает, что способ можно применять к данным многомерного изображения, например к данным двухмерного (2-D), трехмерного (3-D) или четырехмерного (4-D) изображения, полученным посредством различных способов получения, таких как, но без ограничения, рентгенография, компьютерная томография (СТ), магнитно-резонансная томография (MRI), ультразвуковое исследование (US), позитронно-эмиссионная томография (PET), однофотонная эмиссионная компьютерная томография (SPECT) и медицинская радиология (NM).
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты изобретения станут очевидными из и будут разъяснены относительно реализаций и вариантов осуществления, описываемых далее в настоящем документе, и со ссылкой на прилагающиеся чертежи, на которых:
фиг.1 показывает блок-схему примерного варианта осуществления системы;
фиг.2 иллюстрирует сегментацию зрительных нервов;
фиг.3 показывает изменение диаметра модели левого зрительного нерва и модели левой оболочки вдоль левого зрительного нерва;
фиг.4 показывает изменение интенсивности, определенной на основе модели левого зрительного нерва вдоль левого зрительного нерва;
фиг.5 показывает блок-схему последовательности операций примерной реализации способа;
фиг.6 схематически показывает примерный вариант осуществления системы базы данных и
фиг.7 схематически показывает примерный вариант осуществления устройства получения изображения; и
фиг.8 схематически показывает примерный вариант осуществления рабочей станции.
Одинаковые ссылочные номера используются для обозначения похожих частей на всех фигурах.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Фиг.1 схематически показывает блок-схему примерного варианта осуществления системы 100 для классификации данных изображения на основе модели для адаптирования к объекту в данных изображения, причем система содержит:
- блок 110 сегментации для сегментирования данных изображения путем адаптирования модели к объекту в данных изображения; и
- блок 120 классификации для присвоения класса данным изображения на основе модели, адаптированной к объекту в данных изображения, таким образом, классифицируя данные изображения, при этом блок классификации содержит блок 122 атрибутов для вычисления значения атрибута модели на основе модели, адаптированной к объекту в данных изображения, и при этом присвоенный класс основан на вычисленном значении атрибута.
Примерный вариант осуществления системы 100 дополнительно содержит следующие необязательные блоки:
- блок 130 описания для создания описания на основе класса, присвоенного данным изображения;
- блок 140 сравнения для сравнения класса, присвоенного данным изображения, со вторым классом, присвоенным данным второго изображения, для определения соответствия между данными изображения и данными второго изображения;
- второй блок 150 классификации для присвоения класса записи данных для записи данных, таким образом, классифицируя запись данных;
- второй блок 155 сравнения для сравнения класса, присвоенного данным изображения, с записью данных для определения соответствия между данными изображения и записью данными;
- блок 160 управления для управления работой системы 100;
- пользовательский интерфейс 165 для осуществления связи между пользователем и системой 100; и
- блок 170 памяти для хранения данных.
В варианте осуществления системы 100 имеется три входных соединителя 181, 182 и 183 для входящих данных. Первый входной соединитель 181 скомпонован для приема данных, приходящих от средства хранения данных, такого как, но без ограничения, жесткий диск, магнитная лента, флеш-память или оптический диск. Второй входной соединитель 182 скомпонован для приема данных, приходящих от пользовательского входного устройства, такого как, но без ограничения, мышь или сенсорный экран. Третий входной соединитель 183 скомпонован для приема данных, приходящих от пользовательского входного устройства, такого как клавиатура. Входные соединители 181, 182 и 183 соединены с входным блоком 180 управления.
В варианте осуществления системы 100 имеются два выходных соединителя 191 и 192 для исходящих данных. Первый выходной соединитель 191 скомпонован для вывода данных на средство хранения данных, такое как жесткий диск, магнитная лента, флеш-память или оптический диск. Второй выходной соединитель 192 скомпонован для вывода данных на устройство отображения. Выходные соединители 191 и 192 принимают соответствующие данные через выходной блок 190 управления.
Специалисту в данной области техники будет понятно, что существует множество способов соединить входные устройства с входными соединителями 181, 182 и 183, а выходные устройства с выходными соединителями 191 и 192 системы 100. Эти способы содержат, но без ограничения, проводное и беспроводное соединение, цифровую сеть, такую как, но без ограничения, локальная сеть (LAN) и глобальная сеть (WAN), Интернет, цифровая телефонная сеть, и аналоговую телефонную сеть.
В варианте осуществления системы 100 система 100 содержит блок 170 памяти. Система 100 скомпонована для приема входных данных от внешних устройств через любой из входных соединителей 181, 182 и 183 и для хранения принятых входных данных в блоке 170 памяти. Загрузка входных данных в блок 170 памяти позволяет блокам системы 100 осуществлять быстрый доступ к частям релевантных данных. Входные данные могут содержать, например, данные изображения и данные модели. Блок 170 памяти может быть реализован посредством устройств, таких как, но без ограничения, микросхема оперативного запоминающего устройства (RAM), микросхема постоянного запоминающего устройства (ROM) и/или привод жесткого диска и жесткий диск. Блок 170 памяти может быть дополнительно скомпонован для хранения выходных данных. Выходные данные могут содержать, например, класс, присвоенный изображению. Необязательно выходные данные дополнительно могут содержать модель, адаптированную к объекту в данных изображения, и/или значение атрибута. Блок 170 памяти также может быть скомпонован для приема данных от и/или доставки данных на блоки системы 100, содержащей блок 110 сегментации, блок 120 классификации, блок 122 атрибутов, блок 130 описания, блок 140 сравнения, второй блок 150 классификации, второй блок 155 сравнения, блок 160 управления и пользовательский интерфейс 165, через шину 175 памяти. Кроме того, блок 170 памяти дополнительно скомпонован для предоставления внешним устройствам доступа к выходным данным через любой из: выходные соединители 191 и 192. Хранение данных из блоков системы 100 в блоке 170 памяти может преимущественно улучшить производительность блоков системы 100, а также скорость передачи выходных данных из блоков системы 100 на внешние устройства.
Альтернативно, система 100 может не содержать блок 170 памяти и шину 175 памяти. Входные данные, используемые системой 100, могут поступать, по меньшей мере, с одного внешнего устройства, такого как внешняя память или процессор, соединенный с блоками системы 100. Подобным образом выходные данные, генерируемые системой 100, могут поступать, по меньшей мере, на одно внешнее устройство, такое как внешняя память или процессор, соединенное с блоками системы 100. Блоки системы 100 могут быть скомпонованы для приема данных друг от друга через внутренние соединения или через шину данных.
В варианте осуществления системы 100 система 100 содержит блок 160 управления для управления системой 100. Блок управления может быть скомпонован для приема управляющих данных от и предоставления управляющих данных на блоки системы 100. Например, после адаптирования модели к данным изображения блок 110 сегментации может быть скомпонован для предоставления управляющих данных «данные изображения сегментированы» на блок 160 управления, а блок 160 управления может быть скомпонован для предоставления управляющих данных «классифицировать данные изображения» на блок 120 классификации. Альтернативно, функция управления может быть реализована в другом блоке системы 100.
В варианте осуществления системы 100 система 100 содержит пользовательский интерфейс 165 для осуществления связи между пользователем и системой 100. Пользовательский интерфейс 165 может быть скомпонован для приема ввода пользователя для выбора модели для адаптирования к объекту в данных изображения. Дополнительно пользовательский интерфейс может предоставлять средство для отображения вида сетки, адаптированной к объекту. Необязательно пользовательский интерфейс может принимать ввод пользователя для выбора режима работы системы, такого как, например, для задания терминов выражения внешней или внутренней энергии или способа предварительного позиционирования. Специалисту в данной области техники будет понятно, что дополнительные функции могут быть преимущественно реализованы в пользовательском интерфейсе 165 системы 100.
В варианте осуществления система изобретения скомпонована для классификации данных изображения, описывающих зрительные нервы. Фиг.2 иллюстрирует сегментация левого и правого зрительного нерва с использованием модели левого N1 и правого N2 зрительного нерва. Каждый зрительный нерв содержит пучок волокон для передачи электрических импульсов от сетчатки в мозг. Левый и правый зрительные нервы выходят из соответствующих глазных яблок, смоделированных посредством соответствующих моделей E1 и E2 глазных яблок, через зрительные каналы и идут в направлении хиазмы, смоделированной посредством модели C хиазмы, где происходит частичный перекрест волокон обоих зрительных нервов. Часть каждого зрительного нерва у каждого глазного яблока защищена посредством оболочки, смоделированной моделью S1 левой оболочки и моделью S2 правой оболочки. Стандартно диаметр зрительного нерва увеличивается приблизительно от 1,6 мм внутри глазного яблока до 3,5 мм в орбите глазного яблока и далее до 4,5 мм внутри черепного пространства.
В варианте осуществления модели N1, N2, E1, E2 и C являются сеточными моделями поверхностей. Сеточная модель, подходящая для моделирования зрительного нерва и описанная в SPIE Medical Imaging, Conference 6914 Image Processing, Session 7, Segmentation of the heart and major vascular structures in cardiovascular CT images, Jochen Peters, Olivier Ecabert, Cristian Lorenz, Jens von Berg, Matthew J. Walker, Mani Vembar, Mark E. Olszewski, Jϋrgen Weese, San Diego 18 February 2008, может быть найдена в Proceedings SPIE Medical Imaging 2008:Image Processing, J. M. Reinhardt and J. P. Pluim, eds., которая далее в настоящем документе обозначается как ссылка 1. Каждый зрительный нерв смоделирован посредством стопки последовательных колец, что более подробно описано в разделе 2.3 ссылки 1. Каждое кольцо задается фиксированным числом вершин. Вершины двух последовательных колец соединены ребрами, образующими сегментную сетку с треугольными гранями. Треугольная сетка для моделирования зрительного нерва размещена в пространстве данных изображения и адаптирована к зрительному нерву в данных изображения. Конкретное размещение может быть основано на детектировании нерва или эталонной структуры в данных изображения с использованием, например, обобщенной трансформации Хуга. Способ размещения сетки с использованием обобщенной трансформации Хуга описан в M. J. Walker, A. Chakrabarty, M. E. Olszewski, O. Ecabert, J. Peters, C. Lorenz, J. von Berg, M. Vembar, K.Subramanyan, and J. Weese «Comparison of two initialization methods for automatic, whole-heart, model-based segmentation of multiphase cardiac MSCT images» в Proc. 1st Annual Scientific Meeting Soc. Cardiovascular Computed Tomography, Int. Journal Cardiovascular Imaging, 22 (прил. 1), стр. 12, июль 2006. При адаптировании исходной сетки используется способ, описанный, например, в J. Peters, O. Ecabert, C. Meyer, H. Schramm, R. Kneser, A. Groth, and J. Weese, «Automatic whole heart segmentation in static magnetic resonance image volumes» в Proc. MICCAI, N. Ayache, S. Ourselin, and A. Maeder, eds., LNCS 4792, стр. 402-410, Springer, 2007. Каждая оболочка зрительного нерва смоделирована с использованием подхода, похожего на подход, использованный для моделирования зрительного нерва.
В варианте осуществления модели N1 и N2 двух зрительных нервов и модели S1 и S2 двух оболочек присоединены к соответствующим моделям E1 и E2 глазных яблок и модели C хиазмы, которая далее присоединяется к другим структурам центральной нервной системы. Такая всеобъемлющая модель, содержащая несколько частей, адаптирована к структурам в данных изображения. Альтернативно, модели компонентов могут быть последовательно адаптированы с моделями эталонных структур, такими как две полусферы, а адаптирование к глазным яблокам будет выполнено перед адаптированием моделей N1 и N2 зрительных нервов и моделей S1 и S2 оболочек, присоединенных к моделям E1 и E2 глазных яблок и модели C хиазмы. Специалистам в данной области техники будет понятно, что существуют другие модели и способы адаптирования таких моделей к объектам в данных изображения, которые можно использовать системой согласно изобретению. Описанные выше модели и способы иллюстрируют варианты осуществления системы и не должны толковаться в качестве ограничения объема формулы изобретения.
В варианте осуществления данные изображения классифицированы на основе состояния левого зрительного нерва. Более подробно данные изображения классифицированы на основе двух атрибутов модели N1 левого зрительного нерва, адаптированной к левому зрительному нерву в данных изображения: диаметр модели N1 левого зрительного нерва и средняя интенсивность модели N1 левого зрительного нерва. Значение диаметра и средний уровень яркости определяется для каждого кольца в стопке, использованной для моделирования левого зрительного нерва. Диаметр d i i-го кольца в модели N1 левого зрительного нерва вычисляется для каждого адаптированного кольца с использованием формулы A i =π(d i /2) 2, где A i является площадью кольца. Площадь кольца аппроксимирована площадью многоугольника, задаваемого вершинами кольца. Местоположение каждого кольца задается расстоянием от центра кольца до поверхности модели левого глазного яблока, измеренного вдоль осевой линии. Это расстояние до каждого кольца аппроксимировано посредством суммы расстояний между центрами последовательных колец между рассматриваемым кольцом и кольцом, смежным с глазным яблоком. Центр каждого кольца задается как центр масс вершин кольца. Диаметр модели S1 оболочки может быть вычислен аналогичным способом. Фиг.3 показывает изменение диаметра модели N1 левого зрительного нерва и модели S1 левой оболочки вдоль левого зрительного нерва.
Средний уровень яркости i-го кольца модели N1 левого зрительного нерва вычисляется по уровням яркости выборочных точек. Выборочные точки являются точками, выбранными на равных расстояниях на каждой полулинии, выходящей из центра кольца и идущей в направлении вершины кольца. Гистограмма уровней яркости в этих выборочных точках показывает два больших максимума при уровнях I 0,i и J 0,i яркости, где i является индексом кольца. Больший из двух уровней яркости, обозначенный I 0,i, аппроксимирует среднюю интенсивность зрительного нерва в местоположении, соответствующем местоположению i-го кольца. Меньший из двух уровней яркости, обозначенный J 0,i, аппроксимирует среднюю интенсивность оболочки в местоположении, соответствующем местоположению i-го кольца. Фиг.4 показывает изменение интенсивности, определенной на основе модели N1 левого зрительного нерва вдоль левого зрительного нерва.
В варианте осуществления системы имеются два атрибута модели левого зрительного нерва, используемые для задания класса данных изображения. Первый атрибут является кривой диаметра зрительного нерва, а второй атрибут является кривой средней интенсивности модели зрительного нерва. Следует отметить, что, хотя второй атрибут задан на основе модели зрительного нерва, значение второго атрибута дополнительно основано на уровнях яркости данных изображения. Эти две кривые могут быть представлены таблицей, содержащей местоположения вдоль зрительного нерва (т.е. координаты центров масс колец) и соответствующие значения диаметра зрительного нерва и средней яркости зрительного нерва. Значения диаметра и средней интенсивности могут быть квантованы, для того чтобы ограничить количество классов. В данном контексте квантование обозначает замену каждого значения из диапазона значений на одно значение, например на меньшее значение или большее значение из диапазона значений или среднее из упомянутого наименьшего и наибольшего значения. Необязательно значения кривой могут быть текстовыми значениями, например, такими как «высокое», «низкое» или «среднее», на основе среднего значения диаметра.
В варианте осуществления кривая диаметра левого зрительного нерва дополнительно обрабатывается, а данные изображения классифицируются на основе результатов обработки кривой:
- фильтр сглаживания применяется к последовательности значений d 0,i диаметра для того, чтобы уменьшить артефакты сегментирования; например, можно использовать фильтр скользящей средней; выходом этого этапа являются сглаженные значения d 1,i диаметра;
- вычисляются максимальное значение M и минимальное значение m сглаженных значений d 1,i диаметра, а значения диаметра нормализуются, например, путем вычитания минимального m из каждого значения и деления полученного значения на M-m; выходом этого этапа являются нормализованные значения d 2,i диаметра;
- вычисляется первая производная нормализованных значений d 2,i диаметра; выходом этого этапа являются значения D 2,i первой производной;
- вычисляется положительное пороговое значение t на основе значений D 2,i первой производной; этот порог используется для квантования значений D 2,i первой производной следующим образом:
если -t<D 2,i <t, то D 2,i заменяется на 0;
если D 2,i>t, то D 2,i заменяется на 1;
если D 2,i <-t, то D 2,i заменяется на -1;
выходом этого этапа являются квантованные значения D 3,i первой производной;
к квантованным значениям D 3,i производной применяют фильтр сглаживания; например можно использовать фильтр скользящей средней; выходом этого этапа являются сглаженные значения D 4,i производной;
- вычисляется второе положительное пороговое значение s на основе сглаженных значений D 4,i производной; этот порог используется для квантования сглаженных значений D 4,i производной следующим образом:
если -s<D 4,i <s, то D 4,i заменяется на 0;
если D 4,i>s, то D 4,i заменяется на 1;
если D 4,i <-s, то D 4,i заменяется на -1;
выходом этого этапа являются квантованные сглаженные значения D 5,i производной.
Последовательность -1...0...1 в квантованных сглаженных значениях D 5,i производной указывает на увеличенный нерв, и, таким образом, эта последовательность обозначается как последовательность увеличенного нерва. Последовательность 1...0...-1 в квантованных сглаженных значениях D 5,i производной указывает на утонченный нерв, и, таким образом, эта последовательность обозначается как последовательность утонченного нерва. Таким образом, данные изображения, изображающие зрительный нерв, содержащий увеличенную последовательность, классифицируются как увеличенные, а данные изображения, изображающие зрительный нерв, содержащий последовательность утонченного нерва, классифицируются как утонченные. Данные изображения, изображающие зрительный нерв, не содержащий последовательность увеличенного нерва и последовательность утонченного нерва, классифицируются как нормальные. Данные изображения, изображающие зрительный нерв, содержащий как последовательность увеличенного нерва, так и последовательность утонченного нерва, могут быть классифицированы или как увеличенные, или как утонченные. Необязательно можно использовать классификацию, содержащую несколько значений, например увеличенный, утонченный.
В варианте осуществления кривая средней интенсивности левого зрительного нерва дополнительно обрабатывается и данные изображения классифицируются на основе результатов обработки этой кривой:
- фильтр сглаживания применяется к последовательности значений I 0,i средней интенсивности для того, чтобы уменьшить артефакты сегментирования; например, можно использовать фильтр скользящей средней; выходом этого этапа являются сглаженные значения I 1,i интенсивности;
- вычисляются максимальное значение M и минимальное значение m сглаженных средних значений I 1,i интенсивности и нормализуются уровни яркости, например, путем вычитания минимального m из каждого значения и деления полученного значения на M-m; выходом этого этапа являются нормализованные значения I 2,i интенсивности;
- вычисляется первая производная нормализованных средних значений I 2,i интенсивности; выходом этого этапа являются значения D 2,i первой производной;
- вычисляется положительное пороговое значение t на основе значений D 2,i первой производной; этот порог используется для квантования значений D 2,i первой производной следующим образом:
если -t<D 2,i <t, то D 2,i заменяется на 0;
если D 2,i>t, то D 2,i заменяется на 1;
если D 2,i <-t, то D 2,i заменяется на -1;
выходом этого этапа являются квантованные значения D 3,i первой производной;
- к квантованным значениям D 3,i производной применяется фильтр сглаживания; например можно использовать фильтр скользящей средней; выходом этого этапа являются сглаженные значения D 4,i производной;
- вычисляется второе положительное пороговое значение s на основе сглаженных значений D 4,i производной; этот порог используется для квантования сглаженных значений D 4,i производной следующим образом:
если -s<D 4,i <s, то D 4,i заменяется на 0;
если D 4,i>s, то D 4,i заменяется на 1;
если D 4,i <-s, то D 4,i заменяется на -1;
выходом этого этапа являются квантованные сглаженные значения D 5,i производной.
Последовательность -1...0...1 в квантованных сглаженных значениях D 5,i производной указывает на пониженную интенсивность, и, таким образом, эта последовательность обозначается как последовательность пониженной интенсивности. Последовательность 1...0...-1 в квантованных сглаженных значениях D 5,i производной указывает на повышенную интенсивность, и, таким образом, эта последовательность обозначается как последовательность повышенной интенсивности. Таким образом, данные изображения, изображающие зрительный нерв, содержащий последовательность пониженной интенсивности, классифицируются как данные с пониженной интенсивностью, и данные изображения, изображающие зрительный нерв, содержащий последовательность повышенной интенсивности, классифицируются как данные с повышенной интенсивностью. Данные изображения, изображающие зрительный нерв, не содержащий последовательность пониженной интенсивности и последовательность повышенной интенсивности, классифицируются как данные с нормальной интенсивностью. Данные изображения, изображающие зрительный нерв, содержащий как последовательность пониженной интенсивности, так и последовательность повышенной интенсивности, могут быть классифицированы или как данные с повышенной интенсивностью, или как данные с пониженной интенсивностью. Необязательно классификация содержит несколько значений, например можно использовать данные с повышенной интенсивностью, данные с пониженной интенсивностью.
Кривая средней интенсивности, показанная на фиг.4, выявляет данные изображения с пониженной интенсивностью, содержащие зрительный нерв, детектированный с использованием фильтров, описанных выше. Следует отметить, что из-за полей подмагничивания MR уровень яркости зрительного нерва увеличивается от глазного яблока к хиазме. Использование фильтров позволяет корректно классифицировать данные изображения.
Таблица 1 иллюстрирует схему классификации для классификации данных изображения на основе атрибутов диаметра и интенсивности модели левого зрительного нерва, адаптированных к левому зрительному нерву в данных изображения.
| Атрибут | Значение атрибута |
| Диаметр | Увеличенный |
| Нормальный | |
| Утонченный | |
| Интенсивность | Повышенная интенсивность |
| Нормальная интенсивность | |
| Пониженная интенсивность |
Классификация изображения может быть очень полезной. Дескрипторы класса данных изображения можно использовать для описания изображений, для составления медицинских отчетов о найденных структурах на основе данных изображения, для составления запросов на поиск в других базах данных. Когда класс данных изображения и класс записи данных в базе данных являются идентичными или удовлетворяют определенному условию, запись данных может быть извлечена как запись данных, соответствующая данным изображения.
В варианте осуществления системы 100 статистическое распределение значений диаметра и/или значений интенсивности для каждого кольца используется для классификации данных изображения. Статистическое распределение значений диаметра и интенсивности можно выяснить из обучающего набора данных изображения на стадии обучения. Необязательно система 100 может быть адаптирована для осуществления такого обучения. Блок классификации может быть скомпонован для сравнения вычисленных значений диаметра и интенсивности с выясненными последовательностями, указывающими «аномалии», и для вычисления вероятности появления упомянутых аномалий или просто для классификации данных изображения как «нормальных» или «аномальных» на основе вероятностных порогов.
Специалисты в данной области техники признают, что блок 120 классификации системы 100 может содержать множество блоков 122 атрибутов, каждый блок 122 атрибутов скомпонован для вычисления значения атрибута на основе модели, адаптированной к объекту в данных изображения. Множество вычисленных значений атрибутов задает класс данных изображения. Необязательно, система 100 может дополнительно содержать несколько блоков 110 сегментации и множество соответствующих блоков 120 классификации. Каждый блок сегментации может использовать свой собственный способ сегментирования на основе своей собственной модели. Блок 122 атрибутов соответствующего блока 120 классификации может быть скомпонован для вычисления значений атрибутов модели, используемой блоком 110 сегментации.
В варианте осуществления системы 100 пользователь может иметь возможность выбора атрибутов, которые следует использовать блоку 120 классификации для классификации данных изображения. Например, если пользователь интересуется диаметром зрительного нерва, он может использовать пользовательский интерфейс 165 для того, чтобы указать, что классификация должна быть основана исключительно на диаметре модели зрительного нерва. В другой ситуации пользователь может быть заинтересован в классификации данных изображения на основе как диаметра, так и интенсивности зрительного нерва. Таким образом, при помощи пользовательского интерфейса он может инструктировать систему использовать оба атрибута модели зрительного нерва для классификации данных изображения.
В варианте осуществления системы 100 блок 110 сегментации системы 100 дополнительно скомпонован для сегментирования данных второго изображения путем адаптирования модели ко второму объекту в данных второго изображения. Кроме того, блок 120 классификации скомпонован для присвоения второго класса данным второго изображения на основе модели, адаптированной ко второму объекту в данных второго изображения, таким образом классифицируя данные второго изображения. Данные изображения, далее в настоящем документе обозначаемые как данные первого изображения, могут сравниваться с данными второго изображения на основе класса первых данных изображения, далее в настоящем документе обозначаемых как первый класс и второй класс. Сравнение осуществляется посредством блока 140 сравнения для определения соответствия между данными первого и второго изображения. Блок 140 сравнения может быть скомпонован для проверки того, что первый класс и второй класс удовлетворяют некоторому условию. Если условие удовлетворяется, данные второго изображения рассматриваются как соответствующие данным изображения. Условие может быть условием идентичности: данные первого изображения соответствуют данным второго изображения, если первый класс является идентичным второму классу. Условие может быть условием сходства: данные первого изображения соответствуют данным второго изображения, если первый класс является схожим со вторым классом. Также условие может быть условием взаимодополняемости: данные первого изображения соответствуют данным второго изображения, если первый класс является дополнительным ко второму классу, подобно двум кусочкам головоломки.
Данные второго изображения могут быть данными изображения из базы данных, содержащей данные изображений. Данные первого изображения могут быть запрошенными данными изображения. Обнаружение данных второго изображения, которые являются очень схожими с данными первого изображения, может быть очень ценным инструментом для врача, полезным для диагностики и планирования лечения. Такой инструмент дает врачу возможность извлекать эталонные изображения из базы данных, в которой хранятся данные изображений.
В варианте осуществления система 100 дополнительно содержит второй блок 155 сравнения для сравнения класса, присвоенного данным изображения, с классом записи данных, присвоенным записи данных для определения соответствия между данными изображения и записью данных. Класс записи данных может быть уже доступен в индексе базы данных. Например, класс данных изображения может быть задан посредством ключевых слов, таких как «левый зрительный нерв», «увеличенный» и «с пониженной интенсивностью». Второй блок 155 сравнения может быть скомпонован для выполнения поиска ключевых слов для ключевых слов «левый зрительный нерв», «увеличенный» и «с пониженной интенсивностью» в вводах данных из руководства по основным принципам для невролога. Если число совпадений в вводе данных превышает некоторый порог, то таким образом определяется, что этот ввод данных соответствует данным изображения. Альтернативно или дополнительно, система 100 может дополнительно содержать второй блок 150 классификации для присвоения класса записи данных для записи данных, таким образом классифицируя запись данных, и второй блок 155 сравнения скомпонован для сравнения класса, присвоенного данным изображения, с классом записи данных, присвоенным записи данных. Второй блок 150 классификации может быть, например, блоком для классификации описания бедренного имплантата из каталога бедренных имплантатов или данных второго изображения, полученных с использованием способа, отличного от способа, использованного для получения данных изображения. Необязательно, второй блок 150 классификации может содержать второй блок сегментации для сегментирования данных изображения, полученных с использованием другого способа. Альтернативно, второй блок 150 классификации может быть блоком для классификации другой записи данных, например ввода данных в энциклопедии или в каком-нибудь руководстве.
Специалист в данной области техники признает, что система 100 может быть ценным инструментом для оказания помощи врачу во многих аспектах его работы. Кроме того, несмотря на то, что варианты осуществления системы проиллюстрированы с использованием медицинских применений системы, немедицинские применения системы также предусмотрены.
Специалистам в данной области техники также будет понятно, что также возможны другие варианты осуществления системы 100. В частности, можно повторно задавать блоки системы и повторно распределить их функции. Несмотря на то, что описанные варианты осуществления применяются к медицинским изображениям, другие применения системы, не связанные с медицинскими применениями, также возможны.
Блоки системы 100 могут быть реализованы с использованием процессора. Обычно их функции выполняются под управлением реализованного программным обеспечением программного продукта. В процессе исполнения реализованный программным обеспечением программный продукт обычно загружается в память, такую как RAM, и исполняется из нее. Программа может быть загружена из фоновой памяти, такой как ROM, жесткий диск или магнитное и/или оптическое запоминающее устройство, или может быть загружена через сеть, такую как Интернет. Необязательно, специализированная интегральная микросхема может обеспечивать описанную функциональность.
Фиг.5 показывает блок-схему последовательности операций примерной реализации способа 500 классификации данных изображения на основе модели для адаптирования к объекту в данных изображения. Способ 500 начинается с этапа 510 сегментирования для сегментирования данных изображения путем адаптирования модели к объекту в данных изображения. После этапа сегментирования способ 500 продолжается этапом 520 классификации для присвоения класса данным изображения на основе модели, адаптированной к объекту в данных изображения, таким образом, классифицируя данные изображения,
при этом этап 520 классификации содержит этап 522 атрибута для вычисления значения атрибута модели на основе модели, адаптированной к объекту в данных изображения, и при этом присвоенный класс основан на вычисленном значении атрибута.
После этапа 520 классификации способ 500 заканчивается.
Специалист в данной области техники сможет изменить порядок некоторых этапов или выполнить некоторые этапы, параллельно используя модели работы с потоками, многопроцессорные системы или несколько процессов без отступления от концепции, намеченной настоящим изобретением. Необязательно, два или более этапа способа по настоящему изобретению можно объединить в один этап. Необязательно, этап способа по настоящему изобретению может быть разделен на множество этапов. Необязательно, способ 500 может дополнительно содержать этап описания, этап сравнения, второй этап классификации и/или второй этап сравнения, соответствующий соответственным блокам системы 100.
Фиг.6 схематически показывает примерный вариант осуществления системы 600 базы данных, применяющей систему 100 изобретения, причем упомянутая система 600 базы данных содержит блок 610 базы данных, соединенный через внутреннее соединение с системой 100, внешний входной соединитель 601 и внешний выходной соединитель 602. Такая компоновка преимущественно увеличивает возможности системы 600 базы данных, предоставляя упомянутой системе 600 базы данных преимущественные возможности системы 100.
Фиг.7 схематически показывает примерный вариант осуществления устройства 700 получения изображения, применяющего систему 100 изобретения, причем упомянутое устройство 700 получения изображения содержит блок 710 получения изображения, соединенный через внутреннее соединение с системой 100, входной соединитель 701 и выходной соединитель 702. Такая компоновка преимущественно увеличивает возможности устройства 700 получения изображения, предоставляя упомянутому устройству 700 получения изображения преимущественные возможности системы 100.
Фиг.8 схематически показывает примерный вариант осуществления рабочей станции 800. Рабочая станция содержит системную шину 801. Процессор 810, память 820, дисковый адаптер 830 входа/выхода и пользовательский интерфейс (UI) 840 функционально соединены с системной шиной 801. Дисковое запоминающее устройство 831 функционально соединено с дисковым адаптером 830 входа/выхода. Клавиатура 841, мышь 842 и дисплей 843 функционально соединены с UI 840. Система 100 изобретения, реализованная в виде компьютерной программы, хранится в дисковом запоминающем устройстве 831. Рабочая станция 800 скомпонована для загрузки программы и входных данных в память 820 и исполнения программы в процессоре 810. Пользователь может вводить информацию в рабочую станцию 800, используя клавиатуру 841 и/или мышь 842. Рабочая станция скомпонована для вывода информации на устройство 843 отображения и/или на диск 831. Специалисту в данной области будет понятно, что существует множество других вариантов осуществления рабочей станции 800, известных в данной области техники, и что настоящий вариант осуществления выполняет задачу иллюстрирования изобретения, и этот конкретный вариант осуществления не следует интерпретировать как ограничивающий изобретение.
Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение и что специалисты в данной области техники смогут разработать альтернативные варианты осуществления без отступления от объема прилагающейся формулы изобретения. В формуле изобретения все ссылочные знаки, расположенные в скобках, не должны толковаться как ограничение пункта формулы изобретения. Слово «содержащий» не исключает присутствия элементов или этапов, не перечисленных в пункте формулы изобретения или в описании. Неопределенная форма какого-либо элемента не исключает присутствия множества таких элементов. Изобретение может быть реализовано посредством аппаратных средств, содержащих несколько отдельных элементов, и посредством запрограммированного компьютера. В пунктах формулы изобретения системы, перечисляющих несколько блоков, несколько из этих блоков могут быть осуществлены одной и той же записью об аппаратном или программном обеспечении. Использование слов «первый», «второй», «третий» и т.д. не указывает какой-либо порядок. Эти слова следует интерпретировать как названия.
1. Система (100) для классификации данных изображения на основе модели для адаптирования к объекту в данных изображения, причем система содержит:
- блок (110) сегментации для сегментирования данных изображения путем адаптирования модели к объекту в данных изображения; и
- блок (120) классификации для присвоения класса данным изображения на основе модели, адаптированной к объекту в данных изображения, таким образом, классифицируя данные изображения,
и при этом блок (120) классификации содержит блок (122) атрибутов для вычисления значения атрибута модели на основе модели, адаптированной к объекту в данных изображения, и при этом присвоенный класс основан на вычисленном значении атрибута;
и при этом, когда класс данных изображения и запись данных в базе данных являются идентичными или удовлетворяют определенному условию, запись данных может быть извлечена как запись данных, соответствующая изображению.
2. Система по п.1, в которой атрибут модели задан на основе модели или на основе ввода пользовательского атрибута.
3. Система по п.1, в которой значение атрибута модели является текстом для классификации данных изображения.
4. Система по п.1, в которой значение атрибута модели является, по меньшей мере, одним числом для классификации данных изображения.
5. Система по п.4, в которой значение атрибута модели является диапазоном или вектором для классификации данных изображения.
6. Система по п.1, дополнительно содержащая блок (130) описания для создания описания на основе класса, присвоенного данным изображения.
7. Система по п.1, в которой блок (110) сегментации дополнительно скомпонован для сегментирования данных второго изображения путем адаптирования модели ко второму объекту в данных второго изображения, в которой блок (120) классификации дополнительно скомпонован для присвоения второго класса данным второго изображения на основе модели, адаптированной ко второму объекту в данных второго изображения, таким образом, классифицируя данные второго изображения, и при этом система (100) дополнительно содержит блок (140) сравнения для сравнения класса, присвоенного данным изображения, со вторым классом, присвоенным данным второго изображения, для определения соответствия между данными изображения и данными второго изображения.
8. Система по п.1, дополнительно содержащая второй блок (155) сравнения для сравнения класса, присвоенного данным изображения, с записью данных для определения соответствия между данными изображения и записью данных.
9. Система по п.8, дополнительно содержащая второй блок (150) классификации для присвоения класса записи данных для записи данных, таким образом классифицируя запись данных, и в которой второй блок (155) сравнения выполнен с возможностью сравнения класса, присвоенного данным изображения, с классом записи данных, присвоенным записи данных.
10. Устройство (700) получения изображения, содержащее систему по любому одному из пп.1-9.
11. Рабочая станция (800), содержащая систему по любому одному из пп.1-9.
12. Способ поиска базы данных на основе классификации (500) данных изображения на основе модели для адаптирования к объекту в данных изображения, причем способ содержит:
- этап (510) сегментирования для сегментирования данных изображения путем адаптирования модели к объекту в данных изображения; и
- этап (520) классификации для присвоения класса данным изображения на основе модели, адаптированной к объекту в данных изображения, таким образом, классифицируя данные изображения,
при этом этап (520) классификации содержит этап (522) атрибута для вычисления значения атрибута модели на основе модели, адаптированной к объекту в данных изображения, и при этом присвоенный класс основан на вычисленном значении атрибута;
и при этом, когда класс данных изображения и запись данных в базе данных являются идентичными или удовлетворяют определенному условию, запись данных может быть извлечена как запись данных, соответствующая изображению.
13. Память, содержащая загруженный в нее компьютерный программный продукт, содержащий инструкции для поиска базы данных на основе классификации данных изображения на основе модели для адаптирования к объекту в данных изображения, причем память соединена с блоком обработки, причем компьютерный программный продукт, исполняемый блоком обработки, обеспечивает упомянутому блоку обработки возможность осуществлять этапы способа по п.12.
