Одновременная основанная на модели сегментация объектов, удовлетворяющих заранее заданным пространственным соотношениям
Изобретение относится к области сегментации изображений. Техническим результатом является обеспечение одновременной сегментации объектов близко друг к другу при одновременном обеспечении требуемых пространственных соотношений, а также минимизация вероятности нарушения требуемых пространственных соотношений сеток, адаптированных к этим объектам. Поверхностная сетка адаптируется к каждому объекту, который должен быть сегментирован. Чтобы исключать или уменьшать возможность коллизии сеток, используется множество соединяющих ребер для соединения двух ближайших сеток. Энергия соединений, заданная для множества соединяющих ребер, дает возможность управления пространственным соотношением между первой и второй сеткой. Это достигается посредством включения в выражение энергии соединений условий, которые должны увеличивать энергию соединений, когда длины ребер для множества соединяющих ребер, соединяющих первую и вторую сетку, уменьшаются. Использование эталонной конфигурации множества соединяющих ребер, заданной на основе предварительно позиционированной первой и второй сетки, дает возможность принимать во внимание предшествующие сведения о типичном пространственном соотношении между первым и вторым объектом из множества объектов. 7 н.п. ф-лы, 6 ил.
Область техники
Изобретение относится к сегментации изображений, а более конкретно к одновременной основанной на модели сегментации нескольких объектов в данных изображений.
Уровень техники
Основанная на модели сегментация имеет множество вариантов применения во вмешательствах и катамнестических исследованиях, например в планировании лучевой терапии. Деформируемые модели, описанные посредством гибких поверхностных сеток, например треугольных сеток, адаптируются к соответствующим структурам изображений. Обычно эта адаптация выполняется для каждого объекта по отдельности посредством оптимизации взвешенной суммы двух конкурирующих энергий: внешней энергии, возбуждающей треугольники сетки в направлении признаков в изображении, и внутренней энергии, сохраняющей форму модели. Реализация этого способа описана авторами J. Weese, M. Kaus, C. Lorenz, S. Lobregt, R. Truyen, в. Pekar в работе "Shape constrained deformable models for 3D medical Image segmentation", 2001 IPMI, 380-387, в дальнейшем называемой ссылочным материалом 1.
Отдельная адаптация нескольких сеток не может принимать во внимание пространственные соотношения между несколькими объектами и, следовательно, зачастую приводит к неправильным результатам адаптации, таким как, например, пересекающиеся сетки. Первая попытка преодолевать эту проблему описана в WO 2004/010374 A2 "Simultaneous segmentation of multiple or composed objects by mesh adaptation". Здесь дополнительные ребра, соединяющие две сетки, введены в модель. Эти дополнительные ребра рассматриваются как вырожденные треугольники, и внутренняя энергия распространяется на эти треугольники, чтобы сохранять пространственное соотношение двух сеток. Тем не менее, эта процедура является применимой только в том случае, если пространственное соотношение двух объектов может описываться посредством предварительного позиционирования соответствующих сеток, поскольку длины и позиции дополнительных ребер или треугольников должны сохраняться. Но во многих медицинских вариантах применения фигурируют внутренние органы, которые могут плавно перемещаться относительно друг друга, например органы в брюшной полости, легкое по отношению к грудной клетке или два последовательно размещенных позвонка в позвоночнике. Для таких органов одновременная сегментация с помощью способа, описанного в WO 2004/010374 A2, позволяет исключать пересечения сеток, только если сетки корректно предварительно располагаются, но при этом не приводит к адаптации с неправильными пространственными соотношениями.
Сущность изобретения
Должно быть преимущественным предоставлять средство для одновременной сегментации объектов близко друг к другу при одновременном обеспечении требуемых пространственных соотношений или минимизации вероятности нарушения требуемых пространственных соотношений сеток, адаптированных к этим объектам.
Таким образом, в аспекте изобретение относится к системе для сегментации множества объектов в данных изображений с использованием одновременной основанной на модели сегментации изображений, при этом система содержит:
- модуль предварительного позиционирования для предварительного позиционирования первой сетки для сегментации первого объекта из множества объектов, тем самым инициализируя текущую позицию первой сетки, и для предварительного позиционирования второй сетки для сегментации второго объекта из множества объектов, тем самым инициализируя текущую позицию второй сетки;
- модуль соединения для задания множества соединяющих ребер для соединения первых концевых вершин со вторыми концевыми вершинами, при этом первые и вторые концевые вершины выбираются из вершин первой и второй сетки, соответственно;
- модуль идентификации признаков для идентификации первых признаков в данных изображений для вычисления внешней энергии первой сетки на основе текущей позиции первой сетки и для идентификации вторых признаков в данных изображений для вычисления внешней энергии второй сетки на основе текущей позиции второй сетки;
- модуль преобразования для вычисления первого преобразования, которое наилучшим образом совмещает первую сетку в текущей позиции первой сетки с предварительно позиционированной первой сеткой для вычисления внутренней энергии первой сетки, и для вычисления второго преобразования, которое наилучшим образом совмещает вторую сетку в текущей позиции второй сетки с предварительно позиционированной второй сеткой для вычисления внутренней энергии второй сетки;
- модуль адаптации для обновления текущей позиции первой и второй сетки посредством варьирования текущих позиций вершин первой и второй сетки так, чтобы минимизировать взвешенную сумму, по меньшей мере, внешней энергии и внутренней энергии первой и второй сетки и энергии соединений, при этом энергия соединений вычисляется на основе множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и множества соединяющих ребер в эталонной конфигурации, заданной посредством предварительно позиционированной первой и второй сетки; и
- модуль управления для оценки условия конвергенции в зависимости, по меньшей мере, от минимизированной взвешенной суммы или от обновленной позиции первой и второй сетки и дополнительно для завершения сегментации множества объектов в данных изображений, если условие удовлетворяется, и для продолжения сегментации множества объектов в данных изображений, если условие не удовлетворяется.
Энергия соединений дает возможность управления пространственным соотношением между первой и второй сеткой. Это достигается посредством включения в выражение энергии соединений условий, которые должны увеличивать энергию соединений, когда длины ребер для множества соединяющих ребер, соединяющих первую и вторую сетку, уменьшаются. Использование эталонной конфигурации множества соединяющих ребер, заданной на основе предварительно позиционированной первой и второй сетки, дает возможность принимать во внимание предшествующие сведения о типичном пространственном соотношении между первым и вторым объектом из множества объектов.
В варианте осуществления система дополнительно содержит модуль параметров соединения для вычисления параметра для расчета энергии соединений. Параметр используется для обновления способа вычисления энергии соединений на основе текущей позиции первой и второй сетки после предварительного позиционирования и позднее после обновления текущей позиции первой и второй сетки.
В варианте осуществления системы параметром для расчета энергии соединений является преобразование соединения для преобразования множества соединяющих ребер, которое наилучшим образом совмещает множество соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, с множеством соединяющих ребер в эталонной конфигурации. Преобразование соединения задает преобразование ребер из множества соединяющих ребер, которое не увеличивает энергию соединений. Преобразование соединения может быть ограничено аффинным преобразованием. Аффинное преобразование предоставляет возможность сдвига, который приводит к смещению с плавным перемещением первой сетки относительно второй сетки. Кроме того, использование изотропного масштабирования множества соединяющих ребер помогает в сохранении типичных расстояний между двумя сетками.
В варианте осуществления системы энергия соединений основана на векторных разностях ребер из множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки и дополнительно преобразованной с использованием преобразования соединения, и соответствующих ребер из множества соединяющих ребер в эталонной конфигурации. Например, энергия соединений может быть задана как сумма квадратов разностей соответствующих ребер. Такое выражение может быть легко минимизировано с использованием метода линейной алгебры, к примеру, метода сопряженных градиентов.
В варианте осуществления системы параметром для расчета энергии соединений является вектор, вычисленный на основе позиций первых концевых вершин и на основе позиций вторых концевых вершин. Вычисленный вектор может быть перпендикулярным плоскости, локально разделяющей первую и вторую сетку. Вектор задает направление, в котором можно препятствовать уменьшению и увеличению расстояния между первой и второй сеткой.
В варианте осуществления системы энергия соединений основана на скалярных произведениях вектора на ребра из множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и соответствующие ребра из множества соединяющих ребер в эталонной конфигурации. Для единичного вектора скалярное произведение представляет проекции ребер на направление, заданное посредством вектора.
В дополнительном аспекте изобретения система согласно изобретению содержится в устройстве обнаружения изображений.
В дополнительном аспекте изобретения система согласно изобретению содержится в рабочей станции.
В дополнительном аспекте изобретение относится к способу сегментации множества объектов в данных изображений с использованием одновременной основанной на модели сегментации изображений, при этом способ содержит:
- этап предварительного позиционирования для предварительного позиционирования первой сетки для сегментации первого объекта из множества объектов, тем самым инициализируя текущую позицию первой сетки, и для предварительного позиционирования второй сетки для сегментации второго объекта из множества объектов, тем самым инициализируя текущую позицию второй сетки;
- этап соединения для задания множества соединяющих ребер для соединения первых концевых вершин со вторыми концевыми вершинами, при этом первые и вторые концевые вершины выбираются из вершин первой и второй сетки, соответственно;
- этап идентификации признаков для идентификации первых признаков в данных изображений для вычисления внешней энергии первой сетки на основе текущей позиции первой сетки и для идентификации вторых признаков в данных изображений для вычисления внешней энергии второй сетки на основе текущей позиции второй сетки;
- этап преобразования для вычисления первого преобразования, которое наилучшим образом совмещает первую сетку в текущей позиции первой сетки с предварительно позиционированной первой сеткой для вычисления внутренней энергии первой сетки, и для вычисления второго преобразования, которое наилучшим образом совмещает вторую сетку в текущей позиции второй сетки с предварительно позиционированной второй сеткой для вычисления внутренней энергии второй сетки;
- этап адаптации для обновления текущей позиции первой и второй сетки посредством варьирования текущих позиций вершин первой и второй сетки так, чтобы минимизировать взвешенную сумму, по меньшей мере, внешней энергии и внутренней энергии первой и второй сетки и энергии соединений, при этом энергия соединений вычисляется на основе множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и множества соединяющих ребер в эталонной конфигурации, заданной посредством предварительно позиционированной первой и второй сетки; и
- этап управления для оценки условия конвергенции в зависимости, по меньшей мере, от минимизированной взвешенной суммы или от обновленной позиции первой и второй сетки и дополнительно для завершения сегментации множества объектов в данных изображений, если условие удовлетворяется, и для продолжения сегментации множества объектов в данных изображений, если условие не удовлетворяется.
В дополнительном аспекте изобретение относится к компьютерному программному продукту, который должен загружаться посредством компьютерного устройства, причем компьютерный программный продукт содержит инструкции для сегментации множества объектов в данных изображений с использованием одновременной основанной на модели сегментации изображений, при этом компьютерное устройство содержит процессор и запоминающее устройство, причем компьютерный программный продукт после загрузки предоставляет упомянутому процессору возможность осуществлять этапы способа изобретения.
Специалисты в данной области техники должны принимать во внимание, что два или более вышеуказанных вариантов осуществления, реализаций и/или аспектов изобретения могут быть комбинированы любым способом, считающимся применимым.
Модификации и изменения устройства обнаружения изображений, рабочей станции, способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям и изменениям системы, могут выполняться специалистами в данной области техники на основе настоящего описания.
Специалисты в данной области техники должны принимать во внимание, что способ может применяться к данным многомерных изображений, например двумерных (2D), трехмерных (3D) или четырехмерных (4D) изображений, обнаруживаемых посредством различных методов обнаружения, таких как, но не только, рентгеновская визуализация, компьютерная томография (CT), магнитно-резонансная визуализация (MRI), ультразвук (US), позитрон-эмиссионная томография (PET), однофотонная эмиссионная компьютерная томография (SPECT) и ядерная медицина (NM).
Краткое описание чертежей
Эти и другие аспекты изобретения должны становиться очевидными и должны поясняться относительно реализаций и вариантов осуществления, описанных в дальнейшем, и со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1 схематично показывает блок-схему примерного варианта осуществления системы;
Фиг. 2 показывает пример медицинского варианта применения первого варианта осуществления системы;
Фиг. 3 показывает пример медицинского варианта применения второго варианта осуществления системы;
Фиг. 4 показывает блок-схему последовательности операций примерной реализации способа;
Фиг. 5 схематично показывает примерный вариант осуществления устройства обнаружения изображений; и
Фиг. 6 схематично показывает примерный вариант осуществления рабочей станции.
Идентичные ссылки с номерами используются для того, чтобы обозначать аналогичные части на всех чертежах.
Подробное описание вариантов осуществления
Фиг. 1 схематично показывает блок-схему примерного варианта осуществления системы 100 для сегментации множества объектов в данных изображений с использованием одновременной основанной на модели сегментации изображений, при этом система содержит:
- модуль 110 предварительного позиционирования для предварительного позиционирования первой сетки для сегментации первого объекта из множества объектов, тем самым инициализируя текущую позицию первой сетки, и для предварительного позиционирования второй сетки для сегментации второго объекта из множества объектов, тем самым инициализируя текущую позицию второй сетки;
- модуль 120 соединения для задания множества соединяющих ребер для соединения первых концевых вершин со вторыми концевыми вершинами, при этом первые и вторые концевые вершины выбираются из вершин первой и второй сетки, соответственно;
- модуль 130 идентификации признаков для идентификации первых признаков в данных изображений для вычисления внешней энергии первой сетки на основе текущей позиции первой сетки и для идентификации вторых признаков в данных изображений для вычисления внешней энергии второй сетки на основе текущей позиции второй сетки;
- модуль 140 преобразования для вычисления первого преобразования, которое наилучшим образом совмещает первую сетку в текущей позиции первой сетки с предварительно позиционированной первой сеткой для вычисления внутренней энергии первой сетки, и для вычисления второго преобразования, которое наилучшим образом совмещает вторую сетку в текущей позиции второй сетки с предварительно позиционированной второй сеткой для вычисления внутренней энергии второй сетки;
- модуль 150 адаптации для обновления текущей позиции первой и второй сетки посредством варьирования текущих позиций вершин первой и второй сетки так, чтобы минимизировать взвешенную сумму, по меньшей мере, внешней энергии и внутренней энергии первой и второй сетки и энергии соединений, при этом энергия соединений вычисляется на основе множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и множества соединяющих ребер в эталонной конфигурации, заданной посредством предварительно позиционированной первой и второй сетки; и
- модуль 160 управления для оценки условия конвергенции в зависимости, по меньшей мере, от минимизированной взвешенной суммы или от обновленной позиции первой и второй сетки и дополнительно для завершения сегментации множества объектов в данных изображений, если условие удовлетворяется, и для продолжения сегментации множества объектов в данных изображений, если условие не удовлетворяется.
Примерный вариант осуществления системы 100 дополнительно содержит следующие модули:
- модуль 145 параметров соединения для вычисления параметра для расчета энергии соединений;
- пользовательский интерфейс 165 для связи между пользователем и системой 100; и
- запоминающее устройство 170 для сохранения данных.
В варианте осуществления системы 100 предусмотрено три входных разъема 181, 182 и 183 для поступающих данных. Первый входной разъем 181 выполнен с возможностью принимать данные, поступающие из средства хранения данных, такого как, но не только, жесткий диск, магнитная лента, флэш-память или оптический диск. Второй входной разъем 182 выполнен с возможностью принимать данные, поступающие из устройства ввода пользователя, такого как, но не только, мышь или сенсорный экран. Третий входной разъем 183 выполнен с возможностью принимать данные, поступающие из устройства ввода пользователя, такого как клавиатура. Входные разъемы 181, 182 и 183 подключаются к модулю 180 управления вводом.
В варианте осуществления системы 100 предусмотрено два выходных разъема 191 и 192 для исходящих данных. Первый выходной разъем 191 выполнен с возможностью выводить данные в средство хранения данных, такое как жесткий диск, магнитная лента, флэш-память или оптический диск. Второй выходной разъем 192 выполнен с возможностью выводить данные на дисплейное устройство. Выходные разъемы 191 и 192 принимают соответствующие данные через модуль 190 управления выводом.
Специалисты в данной области техники должны понимать, что имеется множество способов подключать устройства ввода к входным разъемам 181, 182 и 183, а устройства вывода - к выходным разъемам 191 и 192 системы 100. Эти способы содержат, но не только, проводное и беспроводное соединение, цифровую сеть, такую как, но не только, локальная вычислительная сеть (LAN) и глобальная вычислительная сеть (WAN), Интернет, цифровая телефонная сеть и аналоговая телефонная сеть.
В варианте осуществления системы 100 система 100 содержит запоминающее устройство 170. Система 100 выполнена с возможностью принимать входные данные из внешних устройств через любой из входных разъемов 181, 182 и 183 и сохранять принимаемые входные данные в запоминающем устройстве 170. Загрузка входных данных в запоминающее устройство 170 дает возможность быстрого доступа к соответствующим частям данных посредством модулей системы 100. Входные данные могут содержать, например, данные изображений и данные моделирования, причем данные моделирования содержат данные первой и второй сетки. Запоминающее устройство 170 может быть реализовано посредством таких устройств, как, но не только, микросхема оперативного запоминающего устройства (RAM), микросхема постоянного запоминающего устройства (ROM) и/или накопитель на жестком диске и жесткий диск. Запоминающее устройство 170 дополнительно может быть выполнено с возможностью сохранять выходные данные. Выходные данные могут содержать, например, данные первой и второй сетки, адаптированные к первому и второму объекту из множества объектов. Запоминающее устройство 170 также может быть выполнено с возможностью принимать данные и/или предоставлять данные в модули системы 100, содержащие модуль 110 предварительного позиционирования, модуль 120 соединения, модуль 130 идентификации признаков, модуль 140 преобразования, модуль 150 адаптации, модуль 160 управления и пользовательский интерфейс 165, через шину 175 запоминающего устройства. Запоминающее устройство 170 дополнительно выполнено с возможностью делать выходные данные доступными для внешних устройств через любой из выходных разъемов 191 и 192. Сохранение данных из модулей системы 100 в запоминающем устройстве 170 позволяет преимущественно повышать производительность модулей системы 100, а также скорость передачи выходных данных из модулей системы 100 во внешние устройства.
Альтернативно, система 100 может не содержать запоминающее устройство 170 и шину 175 запоминающего устройства. Входные данные, используемые посредством системы 100, могут предоставляться, по меньшей мере, посредством одного внешнего устройства, такого как внешняя память или процессор, подключенного к модулям системы 100. Аналогично, выходные данные, сформированные посредством системы 100, могут предоставляться, по меньшей мере, в одно внешнее устройство, такое как внешняя память или процессор, подключенное к модулям системы 100. Модули системы 100 могут быть выполнены с возможностью принимать данные друг от друга через внутренние соединения или через шину данных.
В варианте осуществления системы 100 система 100 содержит пользовательский интерфейс 165 для связи между пользователем и системой 100. Пользовательский интерфейс 165 может быть выполнен с возможностью принимать пользовательский ввод для выбора первой и второй сетки для адаптации к изображению или пользовательский ввод для задания множества соединяющих ребер. Пользовательский интерфейс дополнительно может предоставлять средство для отображения представления первой и второй сетки, адаптированной к первому и второму объекту. Необязательно, пользовательский интерфейс может принимать пользовательский ввод для выбора режима работы системы, к примеру для задания условий внешней, внутренней энергии и/или энергии соединений. Специалисты в данной области техники должны понимать, что большее число функций может быть преимущественно реализовано в пользовательском интерфейсе 165 системы 100.
В формуле изобретения проиллюстрированы варианты осуществления изобретения, адаптирующие первую и вторую сетку, соединенные друг с другом посредством множества соединяющих ребер. Специалисты в данной области техники должны понимать, что описание может быть обобщено так, чтобы описывать несколько сеток, соединенных с несколькими множествами соединяющих ребер. Очевидно, что несколько соединенных сеток содержат первую сетку, соединенную со второй сеткой через множество соединяющих ребер. Таким образом, несколько сеток, соединенных с несколькими множествами соединяющих ребер, находятся в пределах объема описания, а также формулы изобретения. Альтернативно или дополнительно, термины "первая сетка", "вторая сетка", "первый объект" и "второй объект" могут упоминаться "как первая часть" и "вторая часть" одной сетки и одного объекта, соответственно.
Для каждого объекта, который должен быть сегментирован, модуль 110 предварительного позиционирования системы 100 выполнен с возможностью предварительного позиционирования сетки рядом с соответствующим объектом. Предварительное позиционирование может осуществляться вручную или автоматически и может заключать в себе определение первого и второго объекта. Способ определения объектов описан, например, в работах "Towards fully automatic object detection and segmentation", авторов Hauke Schramm и др., Proc. SPIE, том 6144, 614402, "Medical Imaging 2006: Image Processing"; авторов Joseph M. Reinhardt, Josien P. Pluim; Eds., стр. 11-20. Предварительное позиционирование сетки дает в результате инициализированную текущую позицию сетки. Текущая позиция каждой сетки может быть задана посредством координат каждой вершины сетки в системе координат, например в системе координат данных изображений.
Для любой пары сеток, для которых пользователь хочет управлять тем, как две сетки располагаются относительно друг друга, модуль 120 соединения системы 100 выполнен с возможностью задания множества соединяющих ребер для соединения первых концевых вершин со вторыми концевыми вершинами, при этом первые концевые вершины выбираются из вершин одной сетки из упомянутой пары сеток, а вторые концевые вершины выбираются из вершин другой сетки из упомянутой пары сеток. В варианте осуществления системы 100 эти соединяющие ребра вычисляются автоматически с учетом определенных параметров или они могут считываться из устройства ввода. Дополнительно модуль 120 соединения может быть выполнен с возможностью считывания данных для задания множества соединяющих ребер из файла.
Затем для каждой сетки, которая должна адаптироваться к соответствующему объекту, поиск признаков изображений выполняется. Поиск основан на текущей позиции первой и второй сетки. В варианте осуществления поиск признаков изображений выполняется так, как описано, например, в разделе 2.1 ссылочного материала 1.
Затем для каждой сетки, которая должна адаптироваться к соответствующему объекту, модуль 140 преобразования системы 100 выполнен с возможностью вычисления преобразования, которое наилучшим образом совмещает сетку в текущей позиции сетки с соответствующей предварительно позиционированной сеткой. Преобразования варьируются в рамках класса преобразований. Например, классом преобразований могут быть преобразования подобия или аффинные преобразования. Реализация вычисления упомянутого преобразования, которое наилучшим образом совмещает сетку в текущей позиции сетки с соответствующей предварительно позиционированной сеткой, описана в разделах 2.3 и 2.4 ссылочного материала 1.
Текущая позиция каждой сетки обновляется посредством модуля 150 адаптации посредством варьирования текущих позиций вершин каждой сетки так, чтобы минимизировать взвешенную сумму, по меньшей мере, внешней энергии и внутренней энергии каждой сетки и энергии соединений каждой пары сеток, соединенных с множеством соединяющих ребер, при этом для каждой пары соединенных сеток энергия соединений вычисляется на основе множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и на основе множества соединяющих ребер в эталонной конфигурации, заданной посредством предварительно позиционированной первой и второй сетки. Эталонная конфигурация множества соединяющих ребер задается на основе предшествующих сведений по типичному пространственному соотношению между первой и второй сеткой каждой пары сеток. Например, в варианте осуществления взвешенная сумма внешней энергии, внутренней энергии и энергии соединений может выражаться следующим образом:
В вышеприведенном уравнении 
- где 
Энергия соединений 
В одном варианте осуществления системы 100 каждая доля
- где Ai - это аффинное преобразование для преобразования множества соединяющих ребер, которое наилучшим образом совмещает множество соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, с множеством соединяющих ребер в эталонной конфигурации, определенной посредством векторов координат вершин предварительно позиционированных сеток. Аффинное преобразование вычисляется посредством модуля 145 параметров соединения.
Поскольку аффинное преобразование предоставляет возможность сдвига, соединенные сетки могут плавно перемещаться относительно друг друга. Если относительное расстояние между двумя сетками должно сохраняться, аффинное преобразование может быть ограничено неизменным коэффициентом масштабирования для всех трех направлений координаты. Кроме того, если абсолютное расстояние между двумя сетками должно сохраняться, этот коэффициент масштабирования может задаваться равным 1. Следовательно, степени свободы аффинной карты могут быть ограничены так, чтобы совпадать с требованиями базового варианта применения.
Модуль 160 управления системы 100 выполнен с возможностью оценки условия конвергенции в зависимости, по меньшей мере, от минимизированной взвешенной суммы или от обновленной позиции первой и второй сетки и дополнительно с возможностью завершения сегментации множества объектов в данных изображений, если условие удовлетворяется, и продолжения сегментации множества объектов в данных изображений, если условие не удовлетворяется. Примерное условие может состоять в том, что "число обновлений текущих позиций сеток достигает максимума, или текущие позиции значительно не изменены в ходе обновления, или вычисленная энергия меньше заранее определенного порогового значения".
Специалисты в данной области техники должны распознавать, что "энергетическая" аналогия широко используется в данной области техники для того, чтобы описывать основанную на модели сегментацию изображений. Тем не менее, другие термины, например целевая функция, используются вместо энергетической функции. Аналогично, минимизация энергии является примером оптимизации целевой функции. Оптимизация может быть задана как нахождение максимума целевой функции. Дополнительно специалисты в данной области техники должны признавать, что минимизация энергии может выполняться посредством минимизации силового поля безотносительно энергии. Это силовое поле содержит силы, действующие на вершины сеток, адаптированных к объектам в данных изображений, и может быть минимизировано с использованием, например, метода модельной "закалки". Следовательно, объем формулы изобретения не должен рассматриваться как ограниченный посредством конкретного выбора слов и алгоритмов, используемых в формуле изобретения и описании.
Фиг. 2 показывает пример медицинского варианта применения вышеописанного варианта осуществления системы. В изображении позвоночника 21 третий, четвертый и пятый грудные позвонки должны быть сегментированы. Предварительное позиционирование трех сеток показывается во втором изображении 22. Переход от трубчатого к губчатому веществу кости является сопоставимым с границей кости; следовательно, отдельная адаптация каждого позвонка с большой вероятностью завершается неудачно, как проиллюстрировано на третьем изображении 23. Включение энергии соединений с произвольным аффинным преобразованием (без отражения) в качестве параметра преобразования соединения успешно сохраняет пространственное соотношение позвоночных сеток и, следовательно, приводит к обоснованной сегментации, как проиллюстрировано на четвертом изображении 24.
В варианте осуществления системы 100 каждая доля
- где 
Другими словами, две параллельные плоскости согласуются через конечные точки этих ребер: одна плоскость - через точки одной сетки, а другая плоскость - через точки другой сетки. Эти плоскости приблизительно описывают позиции соседних поверхностей двух соединенных сеток. Каждое соединяющее ребро затем проецируется на нормальный вектор двух плоскостей. Отрицательное значение этой проекции, т.е. скалярного произведения ребра на нормальный вектор, указывает перекрытие двух сеток.
Доля энергии соединений выполнена с возможностью штрафования за такое отрицательное значение, а также для штрафования за положительную длину, которая меньше требуемого минимального расстояния между двумя объектами. Если проецируемая длина составляет, по меньшей мере, минимальное расстояние, то эта длина должна сохраняться за счет энергии соединений. Поскольку доля энергии соединений рассматривает только длины ребра, проецируемые на нормальный вектор двух плоскостей, соединяющие ребра могут удлиняться или укорачиваться до тех пор, пока расстояние между двумя сетчатыми поверхностями сохраняется. Следовательно, плавное перемещение сеток относительно друг друга разрешено.
Фиг. 3 показывает пример медицинского варианта применения вышеописанного варианта осуществления системы. В изображении позвоночника 31 третий, четвертый и пятый грудные позвонки должны быть сегментированы. Предварительное позиционирование трех сеток в показанном во втором изображении 32. Поскольку эта инициализация является результатом строго преобразованных моделей, сетки немного перекрываются. Отдельная адаптация каждого позвонка приводит к гораздо большему перекрытию сеток, поскольку переход от трубчатого к губчатому веществу кости является сопоставимым с границей кости, и, следовательно, алгоритм адаптации не может находить корректные ребра, как проиллюстрировано на третьем изображении 33. Тем не менее, данная энергия соединений не только сохраняет пространственное соотношение позвоночных сеток, она дополнительно вводит поправку на начальные перекрытия сеток и, следовательно, приводит к обоснованной сегментации, как проиллюстрировано на четвертом изображении 34. Минимальное расстояние в 2 мм между последовательно размещенными позвонками требуется.
Специалисты в данной области техники должны принимать во внимание, что система 100 может быть ценным инструментальным средством для помощи врачу во многих аспектах его работы. Дополнительно, хотя варианты осуществления системы проиллюстрированы относительно использования в медицинских вариантах применения системы, немедицинские варианты применения системы также рассматриваются.
Специалисты в данной области техники дополнительно должны понимать, что другие варианты осуществления системы 100 также возможны. Помимо прочего, предусмотрена возможность переопределять модули системы и перераспределять их функции. Хотя описанные варианты осуществления применяются к медицинским изображениям, другие варианты применения системы, не связанные с медицинскими вариантами применения, также возможны.
Модули системы 100 могут быть реализованы с использованием процессора. Обычно их функции выполняются под управлением программного продукта. В ходе выполнения программный продукт обычно загружается в запоминающее устройство, к примеру RAM, и выполняется из него. Программа может быть загружена из фонового запоминающего устройства, такого как ROM, жесткий диск либо магнитное и/или оптическое устройство хранения, или может быть загружена через сеть, к примеру Интернет. Необязательно, специализированная интегральная схема может предоставлять описанную функциональность.
Фиг. 4 показывает блок-схему последовательности операций примерной реализации способа 400 сегментации множества объектов в данных изображений с использованием одновременной основанной на модели сегментации изображений. Способ 400 начинается с этапа 410 предварительного позиционирования для предварительного позиционирования первой сетки для сегментации первого объекта из множества объектов, тем самым инициализируя текущую позицию первой сетки, и для предварительного позиционирования второй сетки для сегментации второго объекта из множества объектов, тем самым инициализируя текущую позицию второй сетки. После этапа 410 предварительного позиционирования способ 400 переходит к этапу 420 соединения для задания множества соединяющих ребер для соединения первых концевых вершин со вторыми концевыми вершинами, при этом первые и вторые концевые вершины выбираются из вершин первой и второй сетки, соответственно. После этапа 420 соединения способ 400 переходит к этапу 430 идентификации признаков для идентификации первых признаков в данных изображений для вычисления внешней энергии первой сетки на основе текущей позиции первой сетки и для идентификации вторых признаков в данных изображений для вычисления внешней энергии второй сетки на основе текущей позиции второй сетки. После этапа 430 идентификации признаков, способ переходит к этапу 440 преобразования для вычисления первого преобразования, которое наилучшим образом совмещает первую сетку в текущей позиции первой сетки с предварительно позиционированной первой сеткой для вычисления внутренней энергии первой сетки, и для вычисления второго преобразования, которое наилучшим образом совмещает вторую сетку в текущей позиции второй сетки с предварительно позиционированной второй сеткой для вычисления внутренней энергии второй сетки. После этапа 440 преобразования способ 400 переходит к этапу 450 адаптации для обновления текущей позиции первой и второй сетки посредством варьирования текущих позиций вершин первой и второй сетки так, чтобы минимизировать взвешенную сумму, по меньшей мере, внешней энергии и внутренней энергии первой и второй сетки и энергии соединений, при этом энергия соединений вычисляется на основе множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и множества соединяющих ребер в эталонной конфигурации, заданной посредством предварительно позиционированной первой и второй сетки. После этапа 450 адаптации способ 400 переходит к этапу 460 управления для оценки условия конвергенции в зависимости, по меньшей мере, от минимизированной взвешенной суммы или от обновленной позиции первой и второй сетки и дополнительно для завершения сегментации множества объектов в данных изображений, если условие удовлетворяется, и для продолжения сегментации множества объектов в данных изображений к этапу 430 идентификации признаков, если условие не удовлетворяется.
Специалисты в данной области техники могут изменять порядок некоторых этапов или осуществлять некоторые этапы одновременно с использованием моделей потоковой обработки, многопроцессорных систем или нескольких процессов без отступления от принципов, задаваемых посредством настоящего изобретения. Необязательно, два или более этапов способа настоящего изобретения могут быть комбинированы в один этап. Необязательно, этап способа настоящего изобретения может разделяться на множество этапов.
Фиг. 5 схематично показывает примерный вариант осуществления устройства 500 обнаружения изображений, использующего систему 100 по изобретению, причем упомянутое устройство 500 обнаружения изображений содержит модуль 510 обнаружения изображений, соединенный посредством внутреннего соединения с системой 100, входной разъем 501 и выходной разъем 502. Эта компоновка преимущественно расширяет характеристики устройства 500 обнаружения изображений за счет предоставления упомянутому устройству 500 обнаружения изображений преимущественных характеристик системы 100.
Фиг. 6 схематично показывает примерный вариант осуществления рабочей станции 600. Рабочая станция содержит системную шину 601. Процессор 610, запоминающее устройство 620, дисковый адаптер 630 ввода-вывода (I/O) и пользовательский интерфейс (UI) 640 функционально соединены с системной шиной 601. Дисковое устройство 631 хранения данных функционально соединено с дисковым I/O-адаптером 630. Клавиатура 641, мыши 642 и дисплей 643 функционально соединены с UI 640. Система 100 по изобретению, реализованная как компьютерная программа, сохраняется в дисковом устройстве 631 хранения данных. Рабочая станция 600 выполнена с возможностью загружать программу и входные данные в запоминающее устройство 620 и выполнять программу в процессоре 610. Пользователь может вводить информацию в рабочую станцию 600 с помощью клавиатуры 641 и/или мыши 642. Рабочая станция выполнена с возможностью выводить данные на дисплейное устройство 643 и/или на диск 631. Специалисты в данной области техники должны понимать, что предусмотрено множество других вариантов осуществления рабочей станции 600, известных в данной области техники, и что настоящий вариант осуществления служит для цели иллюстрации изобретения и не должен быть интерпретирован как ограничивающий изобретение этим конкретным вариантом осуществления.
Следует отметить, что вышеуказанные варианты осуществления иллюстрируют, а не ограничивают изобретение, и специалисты в данной области техники должны иметь возможность разрабатывать альтернативные варианты осуществления без отступления от объема прилагаемой формулы изобретения. В формуле изобретения все номера ссылок, помещенные в круглые скобки, не должны рассматриваться как ограничивающие формулу изобретения. Слово "содержащий" не исключает присутствие элементов или этапов, не перечисленных в формуле изобретения или в описании. Слово "a" или "an" перед элементом не исключает наличия множества таких элементов. Изобретение может быть осуществлено посредством аппаратных средств, содержащих несколько отдельных элементов, и посредством запрограммированного компьютера. В формуле изобретения на систему, перечисляющей несколько модулей, некоторые из этих модулей могут осуществляться посредством идентичного элемента аппаратных средств или программного обеспечения. Использование слов "первый", "второй", "третий" и т.д. не указывает упорядочения. Эти слова должны быть интерпретированы как названия.
1. Система (100) для сегментации множества объектов в данных изображения с использованием одновременной основанной на модели сегментации изображения, при этом система содержит:
- модуль (110) предварительного позиционирования для предварительного позиционирования первой сетки для сегментации первого объекта из множества объектов, тем самым инициализируя текущую позицию первой сетки, и для предварительного позиционирования второй сетки для сегментации второго объекта из множества объектов, тем самым инициализируя текущую позицию второй сетки;
- модуль (120) соединения для задания множества соединяющих ребер для соединения первых концевых вершин со вторыми концевыми вершинами, при этом первые и вторые концевые вершины выбираются из вершин первой и второй сетки, соответственно;
- модуль (130) признака для идентификации первых признаков в данных изображения для вычисления внешней энергии первой сетки на основе текущей позиции первой сетки и для идентификации вторых признаков в данных изображения для вычисления внешней энергии второй сетки на основе текущей позиции второй сетки;
- модуль (140) преобразования для вычисления первого преобразования, которое наилучшим образом совмещает первую сетку в текущей позиции первой сетки с предварительно позиционированной первой сеткой для вычисления внутренней энергии первой сетки, и для вычисления второго преобразования, которое наилучшим образом совмещает вторую сетку в текущей позиции второй сетки с предварительно позиционированной второй сеткой для вычисления внутренней энергии второй сетки;
- модуль (150) адаптации для обновления текущей позиции первой и второй сетки посредством варьирования текущих позиций вершин первой и второй сетки так, чтобы минимизировать взвешенную сумму, по меньшей мере, внешней энергии и внутренней энергии первой и второй сетки и энергии соединения, при этом энергия соединения вычисляется на основе множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и множества соединяющих ребер в эталонной конфигурации, заданной посредством предварительно позиционированной первой и второй сетки;
- модуль (160) управления для оценки условия конвергенции в зависимости, по меньшей мере, от минимизированной взвешенной суммы или от обновленной позиции первой и второй сетки и дополнительно для завершения сегментации множества объектов в данных изображения, если условие удовлетворяется, и для продолжения сегментации множества объектов в данных изображения, если условие не удовлетворяется; и
- модуль (145) параметра соединения для вычисления параметра для расчета энергии соединения, при этом параметром для расчета энергии соединения является вектор, вычисленный на основе позиций первых концевых вершин и на основе позиций вторых концевых вершин,
- отличающаяся тем, что энергия соединения основана на скалярных произведениях вектора на ребра из множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и на соответствующие ребра из множества соединяющих ребер в эталонной конфигурации.
2. Система (100) для сегментации множества объектов в данных изображения с использованием одновременной основанной на модели сегментации изображения, при этом система содержит:
- модуль (110) предварительного позиционирования для предварительного позиционирования первой сетки для сегментации первого объекта из множества объектов, тем самым инициализируя текущую позицию первой сетки, и для предварительного позиционирования второй сетки для сегментации второго объекта из множества объектов, тем самым инициализируя текущую позицию второй сетки;
- модуль (120) соединения для задания множества соединяющих ребер для соединения первых концевых вершин со вторыми концевыми вершинами, при этом первые и вторые концевые вершины выбираются из вершин первой и второй сетки, соответственно;
- модуль (130) идентификации признака для идентификации первых признаков в данных изображения для вычисления внешней энергии первой сетки на основе текущей позиции первой сетки и для идентификации вторых признаков в данных изображения для вычисления внешней энергии второй сетки на основе текущей позиции второй сетки;
- модуль (140) преобразования для вычисления первого преобразования, которое наилучшим образом совмещает первую сетку в текущей позиции первой сетки с предварительно позиционированной первой сеткой для вычисления внутренней энергии первой сетки, и для вычисления второго преобразования, которое наилучшим образом совмещает вторую сетку в текущей позиции второй сетки с предварительно позиционированной второй сеткой для вычисления внутренней энергии второй сетки;
- модуль (150) адаптации для обновления текущей позиции первой и второй сетки посредством варьирования текущих позиций вершин первой и второй сетки так, чтобы минимизировать взвешенную сумму, по меньшей мере, внешней энергии и внутренней энергии первой и второй сетки и энергии соединения, при этом энергия соединения вычисляется на основе множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и множества соединяющих ребер в эталонной конфигурации, заданной посредством предварительно позиционированной первой и второй сетки; и
- модуль (160) управления для оценки условия конвергенции в зависимости, по меньшей мере, от минимизированной взвешенной суммы или от обновленной позиции первой и второй сетки и дополнительно для завершения сегментации множества объектов в данных изображения, если условие удовлетворяется, и для продолжения сегментации множества объектов в данных изображения, если условие не удовлетворяется, и
- модуль (145) параметра соединения для вычисления параметра для расчета энергии соединения, при этом параметром для расчета энергии соединения является вектор, вычисленный на основе позиций первых концевых вершин и на основе позиций вторых концевых вершин, и при этом параметром для расчета энергии соединения является преобразование соединения для преобразования множества соединяющих ребер, которое наилучшим образом совмещает множество соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, с множеством соединяющих ребер в эталонной конфигурации, и при этом параметром для расчета энергии соединения является преобразование соединения для преобразования множества соединяющих ребер, которое наилучшим образом совмещает множество соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, с множеством соединяющих ребер в эталонной конфигурации,
- отличающаяся тем, что преобразованием соединения является аффинное преобразование, которое предоставляет возможность сдвига.
3. Устройство (500) обнаружения изображений, содержащее систему (100) по п. 1 или 2.
4. Рабочая станция (600), содержащая систему (100) по п. 1 или 2.
5. Способ (400) сегментации множества объектов в данных изображения с использованием одновременной основанной на модели сегментации изображения, при этом способ содержит:
- этап (410) предварительного позиционирования, на котором предварительно располагают первую сетку для сегментации первого объекта из множества объектов, тем самым инициализируя текущую позицию первой сетки, и предварительно располагают вторую сетку для сегментации второго объекта из множества объектов, тем самым инициализируя текущую позицию второй сетки;
- этап (420) соединения, на котором задают множество соединяющих ребер для соединения первых концевых вершин со вторыми концевыми вершинами, при этом первые и вторые концевые вершины выбираются из вершин первой и второй сетки, соответственно;
- этап (430) идентификации признака, на котором идентифицируют первые признаки в данных изображения для вычисления внешней энергии первой сетки на основе текущей позиции первой сетки и идентифицируют вторые признаки в данных изображения для вычисления внешней энергии второй сетки на основе текущей позиции второй сетки;
- этап (440) преобразования, на котором вычисляют первое преобразование, которое наилучшим образом совмещает первую сетку в текущей позиции первой сетки с предварительно позиционированной первой сеткой для вычисления внутренней энергии первой сетки, и вычисляют второе преобразование, которое наилучшим образом совмещает вторую сетку в текущей позиции второй сетки с предварительно позиционированной второй сеткой для вычисления внутренней энергии второй сетки;
- этап (450) адаптации, на котором обновляют текущую позицию первой и второй сетки посредством варьирования текущих позиций вершин первой и второй сетки так, чтобы минимизировать взвешенную сумму, по меньшей мере, внешней энергии и внутренней энергии первой и второй сетки и энергии соединения, при этом энергия соединения вычисляется на основе множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и множества соединяющих ребер в эталонной конфигурации, заданной посредством предварительно позиционированной первой и второй сетки;
- этап (460) управления, на котором оценивают условие конвергенции в зависимости, по меньшей мере, от минимизированной взвешенной суммы или от обновленной позиции первой и второй сетки, и дополнительно завершают сегментацию множества объектов в данных изображения, если условие удовлетворяется, и продолжают сегментацию множества объектов в данных изображения, если условие не удовлетворяется; и
- этап вычисления параметра соединения, на котором вычисляют параметр для расчета энергии соединения, при этом параметром для расчета энергии соединения является вектор, вычисленный на основе позиций первых концевых вершин и на основе позиций вторых концевых вершин,
- отличающийся тем, что энергия соединения основана на скалярных произведениях вектора на ребра из множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и на соответствующие ребра из множества соединяющих ребер в эталонной конфигурации.
6. Способ (400) сегментации множества объектов в данных изображения с использованием одновременной основанной на модели сегментации изображения, при этом способ содержит:
- этап (410) предварительного позиционирования, на котором предварительно располагают первую сетку для сегментации первого объекта из множества объектов, тем самым инициализируя текущую позицию первой сетки, и предварительно располагают вторую сетку для сегментации второго объекта из множества объектов, тем самым инициализируя текущую позицию второй сетки;
- этап (420) соединения, на котором задают множество соединяющих ребер для соединения первых концевых вершин со вторыми концевыми вершинами, при этом первые и вторые концевые вершины выбираются из вершин первой и второй сетки, соответственно;
- этап (430) идентификации признака, на котором идентифицируют первые признаки в данных изображения для вычисления внешней энергии первой сетки на основе текущей позиции первой сетки и идентифицируют вторые признаки в данных изображения для вычисления внешней энергии второй сетки на основе текущей позиции второй сетки;
- этап (440) преобразования, на котором вычисляют первое преобразование, которое наилучшим образом совмещает первую сетку в текущей позиции первой сетки с предварительно позиционированной первой сеткой для вычисления внутренней энергии первой сетки, и вычисляют второе преобразование, которое наилучшим образом совмещает вторую сетку в текущей позиции второй сетки с предварительно позиционированной второй сеткой для вычисления внутренней энергии второй сетки;
- этап (450) адаптации, на котором обновляют текущую позицию первой и второй сетки посредством варьирования текущих позиций вершин первой и второй сетки так, чтобы минимизировать взвешенную сумму, по меньшей мере, внешней энергии и внутренней энергии первой и второй сетки и энергии соединения, при этом энергия соединения вычисляется на основе множества соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, и множества соединяющих ребер в эталонной конфигурации, заданной посредством предварительно позиционированной первой и второй сетки;
- этап (460) управления, на котором оценивают условие конвергенции в зависимости, по меньшей мере, от минимизированной взвешенной суммы или от обновленной позиции первой и второй сетки, и дополнительно завершают сегментацию множества объектов в данных изображения, если условие удовлетворяется, и продолжают сегментацию множества объектов в данных изображения, если условие не удовлетворяется; и
- этап вычисления параметров соединения, на котором вычисляют параметр для расчета энергии соединения, при этом параметром для расчета энергии соединения является вектор, вычисленный на основе позиций первых концевых вершин и на основе позиций вторых концевых вершин, и при этом параметром для расчета энергии соединения является преобразование соединения для преобразования множества соединяющих ребер, которое наилучшим образом совмещает множество соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, с множеством соединяющих ребер в эталонной конфигурации, и при этом параметром для расчета энергии соединения является преобразование соединения для преобразования множества соединяющих ребер, которое наилучшим образом совмещает множество соединяющих ребер в конфигурации, определенной на основе текущей позиции первой и второй сетки, с множеством соединяющих ребер в эталонной конфигурации,
- отличающийся тем, что преобразованием соединения является аффинное преобразование, которое предоставляет возможность сдвига.
7. Компьютерно-читаемый носитель, содержащий инструкции для предписывания компьютеру осуществлять этапы способа по п.5 или 6.
