Автоматическое изменение глубины и корректирование ориентации при полуавтоматическом планировании пути

Изобретение относится к медицинским инструментам, и более конкретно к системам и способам графического планирования и помощи в медицинских процедурах с использованием графического интерфейса инструмента. Система планирования содержит процессор; запоминающее устройство, соединенное с процессором и сохраняющее модуль планирования; и пользовательский интерфейс, соединенный с процессором и выполненный с возможностью позволять пользователю выбирать путь через систему (148) путей; модуль планирования, выполненный с возможностью последовательного отображения одного или более двухмерных срезов объема изображения, соответствующих положению курсора, управляемого пользователем посредством пользовательского интерфейса таким образом, что при движении вдоль пути один или более срезов обновляются в соответствии с глубиной положения курсора на пути, причем путь включает в себя положения в пределах и за пределами границ полости. Технический результат – упрощение рабочего процесса проведения медицинских процедур. 2 н. и 4 з.п. ф-лы, 7 ил.

 

Настоящее изобретение относится к медицинским инструментам и более конкретно к системам и способам графического планирования и помощи в медицинских процедурах с использованием графического интерфейса инструмента.

Трансбронхиальная биопсия представляет собой распространенную интервенционную процедуру, при которой биопсийную иглу вводят в рабочем канале бронхоскопа и в некоторой точке проводят через стенку дыхательных путей для взятия образца опухоли, лимфоузла и т.д. в легком или средостении. Для помощи при планировании, а также для управления в режиме реального времени проведением данной процедуры выполняют сканирование грудной клетки пациента. Изображение, такое как полученное с помощью компьютерной томографии (КТ), можно отображать пользователю (например, пульмонологу) в виде радиологических стандартных видов, а также в виде виртуально визуализированного эндолюминального вида, аналогичного оптическим изображениям с настоящей камеры бронхоскопа.

На эндолюминальном виде и в случае оптического изображения, полученного при реальной эндоскопии, и в случае виртуальной визуализации, пользователь не может видеть ткань, находящуюся за стенкой дыхательных путей, в частности местоположение цели биопсии, или местоположение сосудов, которые не должны быть повреждены. Аналогичным образом, по стандартному виду пользователь не может точно оценить местоположение некоторой точки на соответствующем эндолюминальном виде.

Полуавтоматическое планирование пути для бронхоскопии требует ручного задания ряда точек пути на трёхмерном объёмном КТ изображении. Для задания этих точек пути на двумерном дисплее пользователю необходимо регулировать три параметра положения и три параметра ориентации отображаемой в настоящий момент плоскости вида. Это значительно замедляет рабочий процесс. См., например, международную заявку WO 2009/138871 Trumer и другие; ʺsuperDimension's iLogic Promotional Videoʺ от 8 июня 2010 г., XP055058866, youtube (Ссылка: http:/www.youtube.com/watch?v=3oCkvD8eaMQ); и ʺsuperDimension Planning Phaseʺ от 14 января 2009 г., XP055058871, youtube (Ссылка: http://www.youtube.com/watch?v=r_Zdpfh-Xww).

Планирование пути для бронхоскопа к периферическим целям (например, для биопсии) является распространенной, но сложной клинической задачей. Полностью автоматическое планирование пути между целью и трахеей является желательным, но не всегда приводит к оптимальным результатам. Напротив, полуавтоматическое ручное планирование пути требует задания ряда точек пути на трехмерных объемных КТ изображениях.

В соответствии с принципами настоящего изобретения устройство для планирования, система и способ содержат процессор и запоминающее устройство, соединённое с процессором, хранящее в своей памяти модуль планирования. Пользовательский интерфейс соединён с процессором и выполнен так, чтобы позволить

пользователю выбирать путь через систему путей. Модуль планирования способен выводить один или более срезов объёмного изображения, соответствующих положению курсора, управляемого пользователем с помощью пользовательского интерфейса, благодаря чему при проведении пути один или более срезов обновляются в соответствии с глубиной отмеченного курсором участка пути.

Система, имеющая функционально соединенные поля вывода, содержит процессор и запоминающее устройство, соединенное с процессором, хранящее в своей памяти модуль обработки изображений. Графический пользовательский интерфейс соединен с процессором и выполнен с обеспечением возможности пользователю выбирать путь через систему путей. Модуль обработки изображений выполнен с возможностью визуализации эндолюминального вида пути, одного или более других видов объема изображения и виртуальной линии, обеспечивающей пространственную привязку на всех выбранных изображениях, включая эндолюминальный вид и один или более других видов. Управляемое пользователем положение курсора, выполненного с возможностью управления движением на эндолюминальном виде, где положение курсора используется для обновления всех выбранных видов, соответствующего изменению положения курсора, в результате которого визуальная информация об окружении указанной курсором точки, показанном на других видах, одновременно выводится на пользовательский интерфейс.

Способ планирования процедуры содержит этап, на котором устанавливают местоположение конечной точки в объеме изображения структуры путей, причем объемное изображение состоит из сложенных в стопку срезов, выполненных на разной глубине; выбирают начальную точку в объеме изображения структуры путей; проводят путь через структуру путей; обновляют отображаемые срезы структуры путей при движении вдоль пути таким образом, чтобы глубина структуры путей соответствовала глубине отображаемых срезов; прокладывают путь к конечной точке; и сохраняют путь для создания плана процедуры.

Способ функционального соединения полей вывода содержит этапы, на которых формируют эндолюминальный вид структуры путей на графическом пользовательском интерфейсе, выполненный с обеспечением возможности пользователю выбирать путь через систему путей; формируют одну или более других видов объемного изображения; и формируют виртуальную линию, обеспечивающую пространственную привязку на множестве изображений, включая эндолюминальный вид и один или более других видов таким образом, что виртуальная линия выполнена с возможностью управления движением на эндолюминальном виде и используется для обеспечения привязки, позволяющей обновлять другие виды в соответствии с выбранным пользователем изменением положения виртуальной линии, таким образом, что визуальную информацию об окружении виртуальной линии, показанную на других видах, одновременно можно выводить на пользовательский интерфейс.

Эти и другие задачи, признаки и преимущества настоящего изобретения будут понятны из нижеследующего подробного описания иллюстративных вариантов осуществления изобретения, которое следует рассматривать в сочетании с сопровождающими чертежами.

В настоящем описании нижеследующие подробные описания предпочтительных вариантов осуществления представлены со ссылками на следующие чертежи, на которых:

ФИГ. 1 представляет собой блок-схему, описывающую систему/способ планирования процедуры и одновременного отображения соединенных видов в различных перспективах в соответствии с одним из вариантов осуществления;

ФИГ. 2 представляет собой блок-схему, описывающую способ обновления отображаемых срезов в соответствии с глубиной прочерченного с помощью мыши планированного пути в соответствии с иллюстративным вариантом осуществления;

ФИГ. 3 представляет собой схему, описывающую векторы для обновления отображаемой в настоящий момент плоскости вида в соответствии с положением курсора (или указателя мыши) в соответствии с одним иллюстративным вариантом осуществления;

ФИГ. 4A представляет собой изображение, показывающее первый срез с траекторией пути, изображенной в эндолюминальной структуре, в соответствии с другим вариантом осуществления;

ФИГ. 4B представляет собой изображение, показывающее следующий срез на другой глубине, содержащий траекторию пути, продленного вдоль эндолюминальной структуры, в соответствии с вариантом осуществления, показанным на ФИГ. 4A;

ФИГ. 5 представляет собой изображение на дисплее, демонстрирующее множество изображаемых ракурсов или окон, взаимосвязанных друг с другом посредством положения виртуальной линии, в соответствии с принципами настоящего изобретения;

ФИГ. 6 представляет собой блок-схему, описывающую способ планирования процедуры в соответствии с иллюстративным вариантом осуществления; и

ФИГ. 7 представляет собой блок-схему, описывающую способ функционального соединения видов в разных ракурсах в соответствии с иллюстративным вариантом осуществления.

В соответствии с принципами настоящего изобретения предложена система с графическим пользовательским интерфейсом, способная автоматически изменять глубину, положение и ориентацию отображаемой в настоящий момент плоскости таким образом, что пользователю необходимо регулировать только проведение пути в двух измерениях через внутреннюю структуру, такую как дыхательные пути в легком. Отображаемую плоскость можно обновлять непрерывно. Способ обеспечивает возможность локального исследования структуры с помощью мыши или аналогичного устройства управления указателем, используя перемещение мыши для автоматического изменения положения отображаемой плоскости и ее ориентации. Курсор мыши располагается в центре структуры (например, дыхательных путей) и ориентация отображаемой плоскости корректируется согласно ориентации структуры. Таким образом, пользователь может проводить след мыши от цели (например, мишени для биопсии) к начальному положению (например, трахее) без необходимости регулировать параметры отображаемой плоскости. Такой графический пользовательский интерфейс и лежащие в его основе способы обеспечивают гораздо более эффективный и понятный рабочий процесс.

Вводимый объем трехмерного изображения, например КТ-изображения, обычно отображается только в виде одного или более изображений плоских срезов. Единственно возможны изображения срезов, выполненных по осям x, y и z (осевых, фронтальных, сагиттальных), изображения преобразованных плоских наклонных срезов или срезов, сделанных вдоль кривой. На этих двумерных отображаемых плоскостях пользователь может щелкнуть кнопкой по участку пути, чтобы задать или отредактировать контрольные точки. Для ручного задания этих точек пути на двумерном дисплее пользователю необходимо регулировать три параметра положения и три параметра ориентации отображаемой в настоящий момент плоскости. В частности, пользователю необходимо переключаться между срезами (для регуляции глубины отображаемого в настоящий момент среза) и менять ориентацию отображаемой плоскости (например, поворачивать вокруг краниокаудальной оси тела) для достижения оптимальной видимости и возможности нанесения пути. Пользователю необходимо совершить множество действий и это значительно задерживает рабочий процесс задания контрольных точек.

В одном из вариантов осуществления в соответствии с принципами настоящего изобретения графический пользовательский интерфейс (GUI) включает в себя непрерывную автоматическую настройку глубины и ориентации отображаемой в настоящий момент плоскости. Когда пользователь перемещает указатель или мышь внутри пути, глубина отображаемой в настоящий момент плоскости автоматически настраивается так, чтобы курсор мыши оставался по центру локального пути. Необязательно, отображаемая плоскость может также поворачиваться вокруг текущего положения мыши таким образом, чтобы локальное направление дыхательного пути оптимально соотносилось с ориентацией отображаемой плоскости среза.

В такой рабочий процесс входит то, что пользователь отмечает мышью точку на цели и затем проводит след мышью вдоль пути до начальной точки (например, трахеи) без необходимости регулировать какие-либо параметры изображения. Пользователь регулирует только проведение пути в двух измерениях на отображаемой плоскости, тогда как глубина и поворот отображаемой плоскости настраиваются автоматически. Это достигается с помощью лежащего в основе алгоритма или способа, который для каждого нового положения мыши выполняет локальное прослеживание пути на котором в данный момент находится отмечаемая мышью точка. Определяются 3D-центральная точка локального пути и его локальная ориентация. Если имеется разница между текущей отображаемой глубиной или ориентацией и найденными центром пути и ориентацией, то параметры отображаемой плоскости соответственно изменяются, и выводимое на дисплей изображение обновляется в режиме реального времени (например, обратная связь в режиме реального времени).

В другом варианте осуществления графический пользовательский интерфейс (GUI) включает в себя множество полей вывода или окон, которые позволяют осуществлять перемещение на виртуальном эндолюминальном виде аналогично тому, как это происходит при наличии изображения от настоящего эндоскопа. Поля вывода представляют изображения преобразованных наклонных срезов для любой точки, отмеченной на эндолюминальном виде, чтобы показать, какие ткани будут на пути у виртуальной иглы, если она будет введена в стенку пути в отмеченной точке. Это позволяет найти подходящий путь для биопсии, ведущий к цели (например, целевой опухоли или лимфоузлу), избегая при этом важных тканей и сосудов.

В этом варианте осуществления виртуальное и реальное эндолюминальные виды интерактивно связаны с полями вывода. Ткань, в которую будет введена игла, проходящая через наблюдаемую в настоящий момент точку (точка наблюдения), сопоставляется с реальными или виртуальными изображениями, показанными в других ракурсах. Виртуальная игла или другая пространственная привязка задается текущим положением мыши на эндолюминальном виде и автоматически выполняется нахождение и отображение соответствующих данному положению иглы наклонных преобразованных видов. Также обеспечивается возможность выведения точки наблюдения за пределы эндолюминального вида, не прокалывая стенку дыхательных путей, за счет использования информации о глубине, лежащей в основе эндолюминального вида.

Следует понимать, что настоящее изобретение описано с точки зрения медицинских приборов; однако принципы настоящего изобретения гораздо более широки и применимы к любым системам и способам, в которых осуществляется прохождение по пути. В некоторых вариантах осуществления настоящие принципы используются при отслеживании или анализе сложных биологических или механических систем. В частности, настоящие принципы применимы к процедурам прохождения пути внутри биологических систем, процедурам, проводимым в любых частях тела, таких как легкие, желудочно-кишечный тракт, выделительная система, кровеносные сосуды и т.д. Элементы, изображенные на чертежах, можно воплощать в виде различных комбинаций аппаратного и программного обеспечения, и обеспечиваемые функции могут объединяться в одном или более элементах.

Функции различных элементов, показанных на чертежах, могут быть реализованы посредством использования специализированного аппаратного обеспечения, а также аппаратного обеспечения, способного выполнять инструкции от программного обеспечения, используемого вместе с подходящим программным обеспечением. При использовании процессора функции могут быть обеспечены одним специально выделенным процессором, одним совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут совместно использоваться. Кроме того, используемые термины ʺпроцессорʺ или ʺконтроллерʺ не следует рассматривать как относящееся исключительно к аппаратному обеспечению, способному выполнять инструкции от программного обеспечения, они могут неявно включать в себя, в качестве неограничивающих примеров, цифровой сигнальный процессор (ʺDSPʺ), постоянное запоминающее устройство (ʺROMʺ) для хранения программного обеспечения, оперативное запоминающее устройство (ʺRAMʺ), энергонезависимое запоминающее устройство и т.д.

Кроме того, все утверждения в настоящем документе, включая принципы, аспекты и варианты осуществления изобретения, а также их конкретные примеры, охватывают также их структурные и функциональные эквиваленты. Дополнительно, следует понимать, что такие эквиваленты включают в себя как известные в настоящее время эквиваленты, так и эквиваленты, которые будут разработаны в будущем (т.е. любые разработанные элементы, осуществляющие такие же функции, независимо от их структуры). Таким образом, например, специалистам в данной области техники понятно, что блок-схемы, представленные в настоящем документе, показывают концептуальный вид компонентов и/или схем иллюстративной системы, отражающей принципы настоящего изобретения. Аналогично, следует понимать, что любые схемы последовательности операций, блок-схемы и т.п. показывают различные процессы, которые могут по существу воплощаться в виде машиночитаемого кода на машиночитаемом носителе и, таким образом, выполняться компьютером или процессором, вне зависимости от того, указан ли явно такой компьютер или процессор.

Кроме того, варианты осуществления настоящего изобретения могут принимать форму компьютерного программного продукта, доступного с используемого компьютером или машиночитаемого носителя, обеспечивающего программный код, используемый непосредственно или в связи с компьютером или любой другой системой, выполняющей инструкции. В рамках данного описания используемый компьютером или машиночитаемый носитель может представлять собой любое устройство, которое может содержать, хранить, передавать или распространять программу для использования непосредственно или в связи с системой, выполняющей инструкции, аппаратным обеспечением или устройством. Носитель может представлять собой электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему (или аппаратное обеспечение, или устройство) или среду распространения. Примеры машиночитаемых носителей включают в себя полупроводниковые или твердотельные запоминающие устройства, магнитную ленту, съемную компьютерную дискету, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), жесткий магнитный диск и оптический диск. Современные примеры оптических дисков включают в себя компакт-диск, доступный только для чтения (CD-ROM), компакт-диск, доступный для чтения/записи (CD-R/W), Blu-Ray™ и DVD.

Обратимся далее к чертежам, на которых одинаковые ссылочные позиции представляют одни и те же или подобные элементы, и сначала к ФИГ. 1, где в качестве иллюстрации показана система 100 для графического планирования пути и следящее устройство в соответствии с одним из вариантов осуществления. Систему 100 можно использовать в модулях отображения изображения на медицинских рабочих станциях, и она особенно полезна при совместном использовании со специализированными пакетами программного обеспечения для бронхоскопии (например, на консолях для управления интервенционными процедурами), или для исследования кровеносных сосудов (например, обследование на предмет закупорки сосудов и наличия бляшек). Также предполагаются другие применения.

Система 100 может включать в себя рабочую станцию или консоль 112, посредством которой осуществляется наблюдение и/или управление процедурой. Рабочая станция 112 предпочтительно включает в себя один или более процессоров 114 и запоминающих устройств 116 для хранения программ и приложений. Запоминающее устройство 116 может хранить в своей памяти модуль 115 обработки изображения, выполненный с возможностью формирования виртуальных инструментов, согласовывать множества полей вывода для отображения изображений от настоящей камеры, объемов изображений (предоперационных изображений), срезов изображений (КТ-изображений) и т.д. и показывать события на множестве видов. Модуль 115 обработки изображений выполнен с возможностью восстановления реальных и виртуальных изображений реального или виртуального пути, вдоль которого перемещается медицинское устройство или инструмент (или виртуальное устройство или инструмент) 102, и/или окружающих его областей. Медицинское устройство 102 может включать в себя катетер, проволочный направитель, зонд, иглу, эндоскоп, роботизированный модуль, электрод, фильтровальное устройство, устройство с надувным баллоном или другой медицинский компонент и т.д. или виртуальные модели или имитации таких устройств. Устройство 102 можно использовать для первоначального получения объема 111 предоперационного изображения конкретной системы 148 путей.

Может быть предусмотрена система 110 визуализации для получения предоперационных данных визуализации или получения интраоперационных данных визуализации в режиме реального времени. Предоперационную визуализацию можно выполнять на другом устройстве, в другом месте и т.д. заранее до любой процедуры. Эти изображения 111 можно хранить на запоминающем устройстве 116, и они могут включать в себя объемы 111 трехмерных предоперационных изображений пациента или системы 148 путей (реальной или виртуальной).

В особенно полезном варианте осуществления устройство/виртуальное устройство 102 используется для обнаружения или наблюдения за целью. Цель может включать в себя участок патологии, опухоль, травмированный участок, объект или другую цель. В другом варианте осуществления устройство 102 не требуется вовсе. Вместо этого можно использовать виртуальное устройство или курсор для прокладки траектории через систему путей, используя виртуальные или предоперационные изображения (111).

Модуль 115 обработки изображений включает в себя модуль или инструмент 144 определения пути. Модуль 144 определения пути обеспечивает пользователя средством планирования движения вдоль путей на предоперационных изображениях 111 для планирования интервенционных процедур. Рабочая станция 112 может включать в себя дисплей 118 для отображения изображений внутреннего строения субъекта. Изображения могут включать в себя предоперационные изображения, изображения, получаемые с камеры в режиме реального времени, и/или интраоперационные изображения, получаемые в режиме реального времени. Если используется система 110 визуализации, то система 110 визуализации может включать в себя, например, систему магнитно-резонансной томографии (МРТ), систему флюороскопии, систему компьютерной томографии (КТ), устройство ультразвукового исследования (УЗИ) и т.д. Дисплей 118 может также позволять пользователю взаимодействовать с рабочей станцией 112 и ее компонентами и управлять функциями. Дисплей 118 предпочтительно выполнен с возможностью отображения одного или более окон или полей 124 вывода на графическом пользовательском интерфейсе (GUI) 106. Поля 124 вывода предпочтительно являются согласованными таким образом, что они изменяются одновременно на основании реальных или виртуальных триггерных событий. Взаимодействие пользователя с дисплеем 118 дополнительно облегчается посредством интерфейса 120. Интерфейс 120 может включать в себя устройства аппаратного обеспечения, такие как клавиатура, мышь, джойстик или любые другие периферические устройства или устройства управления, может включать в себя программные средства, такие как виртуальные элементы управления, панели, окна отображения и т.д., или сочетание обоих типов устройств, чтобы обеспечить возможность взаимодействия пользователя с рабочей станцией 112 для управления 108 указателем.

В одном иллюстративном варианте осуществления модуль 144 определения пути формирует программные средства интерфейса 120 и управляет ими. Мышь или указательное устройство (108) интерфейса 120 можно использовать для помощи в планировании подходящего пути через систему 148 путей, такую как дыхательные пути в легком. Пользователь может нажать кнопку мыши 108, наведя ее на конкретный участок, чтобы расположить на этом участке точку пути, вдоль которого будет осуществляться перемещение в ходе интервенционной процедуры. Положение точки можно задавать на двумерном срезе изображения, например, полученного при КТ сканировании, или т.п. Планирование может начинаться с целевого участка, выбираемого в качестве первой отмечаемой мышью точки. Положение отмечаемой мышью точки определяется как положение на виртуальном изображении, указанное методом ʺуказания и щелчкаʺ при использовании мыши или аналогичного устройства. Для каждого нового положения отмечаемой мышью точки на отображаемом в настоящий момент преобразованном срезе следующие этапы можно осуществлять, используя модуль 144 планирования пути, для планирования пути, вдоль которого будет осуществляться перемещение при последующем проведении процедуры.

Ссылаясь на ФИГ. 2, блок-схема описывает иллюстративные этапы планирования пути через систему путей. Следующие этапы могут контролироваться или осуществляться модулем 144 планирования. На этапе 202 выполняется локальное выделение (сегментация) пути в обоих направлениях (например, ближе и дальше по ходу). Выделение предпочтительно выполняется на участках ограниченной длины, чтобы обеспечить вычислимость в режиме реального времени, используя известные алгоритмы сегментации, например, основанный на мере центральности алгоритм разрастания областей или алгоритм иерархической сегментации и восстановления.

На этапе 204, если локальная сегментация пути завершается неудачно или обеспечивает низкую достоверность того, что текущее положение мыши вообще находится на пути, тогда на этапе 205 не выполняется обновление текущей отображаемой плоскости. В противном случае, на этапе 206 определяется локальный центр пути c_a. На этапе 208 определяют разностный вектор d=c_a-p между вычисленным центром пути c_a и положением текущей отмеченной мышью точкой p, и выполняют проекцию вида s, где s=d⋅n, на вектор нормали n к отображаемой в настоящий момент плоскости. Затем центр отображаемой плоскости меняют с c₀ на c₀+sn. На этапе 210 определяют вектор локальной ориентации пути v_a. На этапе 212 компоненты вектора v_a, параллельные нормали n и вертикальному вектору e_v отображаемой в настоящий момент плоскости, вычитают для получения ортогонализованного вектора v. Затем горизонтальный вектор e_h отображаемой в настоящий момент плоскости корректируют таким образом, чтобы он соотносился с v. Для достижения этой цели отображаемую плоскость поворачивают вокруг краниокаудальной оси, проходящей через текущую отмеченную мышью точку p.

На этапе 214 отображаемая в настоящий момент плоскость обновляется при использовании новых параметров плоскости (например, векторов). На этапе 216 все 3D-точки вдоль пути, созданного за счет перемещения мыши, прослеживаются и сохраняются для использования в качестве входных данных для полуавтоматического планирования пути. Точки пути могут подвергаться дополнительным обрабатывающим алгоритмам, таким как центрирование и сглаживание на всем протяжении процесса.

На ФИГ. 3 векторная диаграмма наглядно показывает действия над векторами, описанные выше, в соответствии с примером рабочего процесса, показанным на ФИГ. 2. На отображаемой в настоящий момент плоскости 220 показан поперечный срез локально сегментированного дыхательного пути 224. Локальный центр пути c_a определяется или оценивается. Разностный вектор d=c_a-p определяется между оцененным центром пути c_a и текущей отмеченной мышью точкой p. Выполняют проекцию s, где s=d⋅n, на вектор нормали n к отображаемой в настоящий момент плоскости 220. Затем центр отображаемой плоскости обновляют (например, из c_o в c_o+sn) для лучшей визуализации. Определяют локальный вектор ориентации пути v_a. Компоненты вектора v_a, параллельные нормали n и вертикальному вектору e_v (проходящему вдоль краниокаудальной оси 222) отображаемой в настоящий момент плоскости 220, вычитают для получения ортогонализованного вектора v (не показан). Затем горизонтальный вектор e_h отображаемой в настоящий момент плоскости корректируют таким образом, чтобы он соотносился с v. Для достижения этой цели отображаемую плоскость поворачивают вокруг краниокаудальной оси 222, проходящей через текущую отмеченную мышью точку p.

Отображаемая в настоящий момент плоскость 220 изменяется при использовании новых параметров плоскости (например, векторов). После изменения точка центра c_a находится на отображаемой плоскости и нормаль к плоскости n является перпендикулярной направлению v_a. Все положения в трех измерениях вдоль пути, созданного за счет перемещения мыши, соединяют и сохраняют для использования в качестве входных данных для полуавтоматического планирования пути. Точки пути могут подвергаться дополнительной обработке (например, центрирование и сглаживание). Другими словами, путь является локально сегментированным, начиная от текущего положения мыши p на отображаемой в настоящий момент (преобразованной) плоскости 220, и в ходе непрерывных циклов обновления преобразованная плоскость 220 смещается назад и вперед вдоль нормали к ней n таким образом, что оцененный центр пути c_a оказывается на преобразованной плоскости 220, и данная плоскость 220 поворачивается вокруг краниокаудальной оси 222 таким образом, что нормаль n к преобразованной плоскости 220 становится ортогональной к вычисленному локальному направлению пути.

Вновь обращаясь к ФИГ. 1, модуль 144 планирования пути может участвовать в вычислении пути, используя данные о перемещении мыши, обеспечиваемые пользователем. Предоперационные изображения 111, такие как диагностические объемные КТ-изображения, полученные до проведения процедуры, выполняют роль ʺдорожной картыʺ для процедуры и обеспечивают очень подробную информацию об анатомии пациента. Эти изображения 111 используются для планирования, например, для нахождения оптимального пути вдоль дыхательных путей в легком, например, для достижения интересующей мишени. В одном из вариантов осуществления изображения 111 также используются для получения срезов, используемых для вывода на дисплей 118 при планировании пути. Срезы представляют собой двумерные поперечные срезы, обновляемые при движении мыши вдоль пути. При изменении глубины вдоль пути срез обновляется более подходящим срезом, благодаря чему планирование можно продолжать. Срез может обновляться на основании информации о центрировании отмеченной мышью точки или может вручную обновляться пользователем.

Ссылаясь на ФИГ. 4A и 4B, представлены два последовательных иллюстративных среза 308 и 310, изображающих легкое 306. В соответствии с принципами настоящего изобретения легкое 306 визуализировано с помощью КТ. На ФИГ. 4A, точка отмечена мышью внутри дыхательного пути 304 и проведена вдоль пути для получения следа 302 мыши. При удлинении следа мыши 302 он начинает выходить за пределы эндолюминального пространства дыхательного пути 304, показанного на срезе 308. Модуль (144) планирования пути заново центрирует след 302 мыши и выводит в качестве отображаемой в настоящий момент плоскости срез 310, показанный на ФИГ. 4B, на котором след 302 мыши можно продлить до назначенной цели. Срез 310 является следующим срезом КТ-изображения, совпадающим с двумерным изображением среза 308 за исключением того, что глубина среза 310 отличается от глубины среза 308. Это позволяет далее продлить след 302 мыши вдоль требуемого пути за счет обеспечения доступности других участков эндолюминального пространства дыхательного пути 304. Кроме того, прохождение по пути необходимо проводить только в двух измерениях (на срезе), так как глубина (третье измерение) изменяется в результате обработки изображения. Это значительно упрощает процедуру планирования. Может быть предпочтительным начинать вести след 302 мыши из целевого местоположения и двигаться назад по направлению к начальной стартовой точке, такой как точка входа или входное отверстие, например, трахея в случае легкого, и т.д.

Обращаясь к ФИГ. 5, иллюстративный графический интерфейс пользователя (GUI) 400 включает в себя множество полей 402, 404, 406 и 408 вывода. GUI 400 можно использовать на рабочей станции 112 (ФИГ. 1), которая может содержать систему Bronchoscopy Cockpit или другие системы для планирования и проведения процедуры бронхоскопии. Поля 402, 404, 406 и 408 вывода изображены для иллюстрации, и можно использовать большее или меньшее количество полей вывода. Поля 402, 404, 406 и 408 вывода можно расположить в различной ориентации, выполнить различными по размеру и т.д. В данном примере стандартный вид (SV) (осевой) показан в поле 402 вывода. Эндолюминальный вид (EV) показан в поле 404 вывода. Один или более преобразованных видов наклонных срезов (например, RV1, RV2, RV3 и т.д.) показаны на полях 406 и 408 вывода. Поле 404 вывода содержит объем предоперационного изображения или объем сформированного компьютером изображения. Поля 402, 404, 406 и 408 вывода являются предпочтительно геометрически связанными, как описано в настоящем документе, на основании подразумеваемой виртуальной линии или иглы, показанной как вектор иглы 410. Следует понимать, что GUI 400 можно использовать при планировании пути для процедуры, или можно использовать в качестве инструмента в ходе интервенционной процедуры.

В иллюстративном примере движение мыши на эндолюминальном виде 404 вызывает обновление других полей 402, 406, 408 вывода в режиме реального времени, предполагая, что текущая отмеченная мышью точка 412 представляет собой точку стенки дыхательного пути 414, сквозь которую пройдет биопсийная игла. Точка 412 определяется из направления наблюдения этой точки на визуализированном виртуальном эндолюминальном виде, отображаемом на поле 404 вывода, и подразумеваемой глубины этой точки 412 на визуализированном виртуальном эндолюминальном виде. Учитывая это, определяются координаты точки стенки дыхательного пути и вычисляется вектор виртуальный иглы, как вектор между точкой 412 стенки дыхательного пути и текущим положением камеры на эндолюминальном виде 404. В качестве альтернативы, другое положение может задаваться, вместо положения камеры. Например, выходное отверстие рабочего канала бронхоскопа (а не положение камеры) может задаваться в качестве начальной точки для виртуальной иглы. Виртуальное положение также можно использовать.

Вычисляется и отображается один наклонный преобразованный вид RV1 406, показывающий плоскость, определяемую текущим положением эндолюминальной камеры (на поле вывода 404) и вектором иглы 410. Другой преобразованный вид RV2 (не показан) может вычисляться для отображения плоскости, задаваемой текущим положением эндолюминальной камеры (на поле 404 вывода), и параллельной вектору иглы 410, но перпендикулярной плоскости RV1, показанной на поле 406 вывода. Третий преобразованный вид RV3 408 вычисляется для плоскости, определяемой текущим положением эндолюминальной камеры (в поле 404 вывода), но нормальной (перпендикулярной, ортогональной) к вектору иглы 410.

Виртуальная игла 410 отображается в виде линии на преобразованных видах RV1 (и/или RV2, если показано). Игла 410 является перпендикулярной срезу RV3 408 и таким образом отмечается в виде точки или перекрестия на RV3 408. Точка, в которой виртуальная игла 410 вводится в стенку дыхательного пути, наносится в виде отметки 418 на стандартном виде 402, и центр стандартного вида 402 устанавливается в этой точке для центрирования изображения и визуализации траектории виртуальной иглы 410.

Щелчок кнопкой мыши на эндолюминальном виде 404 можно использовать как способ перемещения камеры внутри эндолюминальной полости виртуальной модели эндолюминальной структуры. Величина вектора смещения камеры определяется как доля от значения глубины, находящейся под точкой в виртуальной модели эндолюминальной структуры. (Долю, соответствующую одному шагу, можно зафиксировать равной, например, 50%, или сделать ее настраиваемой пользователем.) Это гарантирует, что следующее положение камеры по-прежнему будет внутри дыхательного пути, вне зависимости от точки, выбранной пользователем на эндолюминальном виде 404. Все поля вывода после этого обновляются согласно новому положению камеры.

Следует понимать, что описанный выше пример приведен только для иллюстрации и что различные другие варианты могут быть использованы в соответствии с настоящими принципами. Например, стандартный вид 402 в этом примере является осевым; однако стандартный вид 402 может выводиться в осевой, фронтальной, сагиттальной ориентации или во всех трех ориентациях одновременно. Эндолюминальный вид 404 может вычисляться как непосредственная объемная визуализация, как визуализация плоскости из сетки или как объемное изображение с заданными границами. Преобразованные виды 406, 408 могут включать в себя преобразованные тонкие срезы, преобразованный слой (например, максимальной интенсивности или средней интенсивности) или непосредственную визуализацию слоев объемного изображения. Также предполагаются другие варианты.

Щелчок кнопкой мыши на стандартном виде (402) может использоваться для инициирования моделирования эндолюминального вида (404) в точке щелчка мыши. Ракурс камеры автоматически определяется для данной точки, используя подходящий алгоритм локального выделения дыхательных путей. Таким образом, обновляются все поля вывода. Следует понимать, что обновление любого поля вывода может инициировать обновление других полей вывода. Эта особенность обновления может быть установлена для всех видов или для поднабора видов при необходимости. Например, щелчок кнопки мыши на преобразованном виде 406 или 408 задает новую центральную точку для стандартного вида 402, а также переносит положение камеры на эндолюминальном виде 404 в выбранную точку, и может таким образом приводить к обновлению всех полей вывода. Для каждой точки стенки дыхательных путей, видимой на эндолюминальном виде 404, ее положение может отмечаться цветом на преобразованных видах 406, 408 (например, RV1, RV2, RV3, и т.д.) таким образом, что поле зрения на эндолюминальном виде 404 отмечается в виде граничного контура на преобразованных видах (не показано). На эндолюминальном виде 404 цветное пятно (не показано) можно использовать для указания максимального угла, на который биопсийная игла конкретного бронхоскопа может отклоняться от угла зрения камеры. Эта функция полезна в процессе координации иглы при планировании процедуры.

В особенно удобном варианте осуществления вращение колесика мыши на эндолюминальном виде 404 можно использовать для изменения величины шага, на который продвигается или отходит назад камера при щелчке кнопкой мыши. Следующее положение, которое примет камера после щелчка кнопкой мыши при текущей заданной длине шага, указано в виде отметки на преобразованных видах 406 (и RV2, если используется).

Преобразованный вид RV3 408 можно вычислять не только относительно текущего положения камеры, но и относительного любой точки виртуальной иглы 410, благодаря чему пользователь может, например, используя колесико мыши, выбирать такие точки непрерывным способом, таким образом переключаясь между срезами объема изображения вдоль (и перпендикулярно) виртуальной иглы 410. Движение мышью с зажатой кнопкой (в отличие от щелчка кнопкой мыши) можно использовать на эндолюминальном виде 404 либо для поворота направления обзора камеры, либо для изменения положения камеры в зависимости от направления движения мыши.

GUI 400 включает в себя виртуальные элементы управления и кнопки 420 для обеспечения возможности установки вида, ориентации, обработки изображения и т.д. Элементы 422 управления обеспечивают настройки и управление указателем/мышью. Также могут быть использованы другие виртуальные элементы управления, меню и т.д.

Обращаясь к ФИГ. 6, блок-схема показана для описания способа планирования процедуры. На этапе 502 получают или обеспечивают предоперационные изображения структуры путей. Это может включать в себя КТ-сканирование, магнитно-резонансную томографию (МРТ) и т.д., проведенные в любое время до начала процедуры. На этапе 503 обрабатывают предоперационные изображения. На этапе 504 сегментируют структуру путей на участки, соответствующие текущему положению курсора. Участки должны быть достаточно маленькими, чтобы обеспечить возможность вычислений в режиме реального времени. На этапе 505 локальное выделение эндолюминальной структуры осуществляется предпочтительно в двух направлениях от положения курсора.

На этапе 506 устанавливается местоположение первой конечной точки в объеме изображения структуры путей. Объем изображения предпочтительно состоит из стопки срезов, сделанных на разной глубине. Объем изображения может включать в себя легкое, кровеносный сосуд или сеть и т.д. Первая конечная точка может включать в себя цель, которую необходимо достичь в ходе интервенционной процедуры, такую как опухоль, поврежденный участок, травмированный участок и т.д. На этапе 508 выбирают начальную точку в объеме изображения структуры путей. Выбор начальной точки может включать в себя щелчок кнопкой мыши для выбора начального положения для проведения следа мыши. На этапе 510 прокладывают путь вдоль структуры путей. Это может включать в себя проведение курсора мыши с зажатой кнопкой для продления визуально отображаемой линии на срезе объемного изображения. Хотя описаны щелчок кнопкой мыши и проведение курсора, могут также предусматриваться другие способы и действия.

На этапе 512 отображаются срезы изображения, соответствующие текущей глубине пути в структуре путей. Срезы изображения обновляются при движении вдоль пути, в соответствии с изменениями глубины при движении вдоль структуры путей отображаются срезы соответствующей глубины. В одном примере путь выбирается вдоль эндолюминальной структуры. След мыши проходит по вычисленной центральной линии эндолюминальной структуры. На этапе 514 положение центра вычисляется для эндолюминальной структуры, по которой проходит путь, и положение центра сравнивается с следом пути, чтобы определить следует ли обновить отображаемый срез. При продлении следа мыши глубина следа мыши изменяется таким образом, чтобы соответствовать глубине эндолюминальной структуры. При изменении глубины обновляется отображаемый срез.

На этапе 516 путь (например, след мыши) прокладывается через систему путей до конечной точки. На этапе 518 путь сохраняется для создания плана процедуры. На этапе 520 путь можно анализировать и изменять, используя многовидовые устройство и способ вывода с корреляцией по движению (см. например, ФИГ. 7).

На ФИГ. 7, показан способ функционального согласования полей вывода. Поля вывода можно использовать при планировании процедуры; однако также возможны другие применения. На этапе 604 эндолюминальный вид структуры путей выводится через графический пользовательский интерфейс, выполненный с обеспечением пользователя возможностью выбора пути через систему путей. Эндолюминальный вид может включать в себя предоперационные изображения, восстановленное компьютером изображение, сетчатое изображение и т.д. На этапе 608 формируют один или более других видов объемного изображения. Один или более видов могут включать в себя один или более стандартных видов и преобразованных видов. Преобразованные виды могут включать в себя виды, параллельные виртуальной линии, или виды, перпендикулярные виртуальной линии. Эндолюминальный вид и другие виды предпочтительно одновременно отображать на множестве окон отображающего устройства.

На этапе 612 формируется виртуальная линия для обеспечения пространственной привязки на множестве видов, включая эндолюминальный вид и один или более других видов. Виртуальная линия выполнена в качестве ориентира на эндолюминальном виде и используется для обеспечения привязки, позволяющей обновлять другие виды, соответственно выбранному пользователем изменению положения виртуальной линии. Визуальная информация об окружении виртуальной линии, показанном на других видах, одновременно выводится на пользовательский интерфейс. На этапе 616 виртуальная линия продолжается или сокращается на эндолюминальном виде или другом виде путем перемещения устройства управления указателем вперед или назад. Таким образом, обновляются все выбранные виды. На этапе 620 в одном из вариантов осуществления эндолюминальный вид используется для задания точки введения в стенку эндолюминальной структуры иглой, и по меньшей мере один другой вид используется для определения структур, расположенных за стенкой и невидимых на эндолюминальном виде. Виртуальная линия может использоваться для моделирования биопсийной иглы или другого инструмента. Другие виды и способы использования согласованных полей вывода могут быть предусмотрены в соответствии с принципами настоящего изобретения. На этапе 622 виртуальная линия предпочтительно указывается на всех выбранных видах.

На этапе 624 ракурс камеры по меньшей мере на одном из видов можно изменить, используя устройство управления указателем. Устройство управления указателем может включать в себя мышь или эквивалентное устройство. Управление камерой может осуществляться с помощью колесика мыши или т.п.

При интерпретации прилагаемой формулы изобретения следует понимать, что:

a) слово ʺсодержитʺ не исключает наличия других элементов или действий помимо перечисленных в прилагаемой формуле изобретения;

b) упоминание элемента в единственном числе не исключает наличия множества таких элементов;

c) любые ссылочные позиции в формуле изобретения не ограничивают ее объем;

d) различные ʺсредстваʺ могут быть предусмотрены в виде одного и того же элемента или аппаратного компонента, или программного обеспечения, реализующего структуру или функцию; и

e) не подразумевается никакой конкретной необходимой последовательности действий, если специально не указано иное.

После описания предпочтительных вариантов осуществления автоматического изменения глубины и корректирования ориентации при полуавтоматическом планировании пути (которые предназначены для иллюстрации, но не ограничения), следует отметить, что модификации и варианты могут выполняться специалистами в данной области в рамках вышеизложенных принципов. Таким образом, следует понимать, что изменения можно вносить в конкретные описанные варианты осуществления настоящего изобретения, входящие в объем описываемых в настоящем документе вариантов осуществления, как указано в прилагаемой формуле изобретения. Таким образом, при вышеприведенном описании подробностей и особенностей, как этого требует патентное законодательство, заявленное изобретение, правовая охрана которого испрашивается в виде патента на изобретение, охарактеризовано в прилагаемой формуле изобретения.

1. Система планирования, содержащая:

процессор (114);

запоминающее устройство (116), соединенное с процессором и сохраняющее модуль (144) планирования; и

пользовательский интерфейс (120), соединенный с процессором и выполненный с возможностью позволять пользователю выбирать путь через систему (148) путей;

модуль планирования, выполненный с возможностью последовательного отображения одного или более двухмерных срезов объема (111) изображения, соответствующих положению курсора (108), управляемого пользователем посредством пользовательского интерфейса таким образом, что при движении вдоль пути один или более срезов обновляются в соответствии с глубиной положения курсора на пути, причем путь включает в себя положения в пределах и за пределами границ полости.

2. Система по п. 1, в которой модуль (144) планирования выполнен с возможностью формирования соединительной линии для указания пути.

3. Система по п. 1, в которой управляемое пользователем положение курсора (108) центрируется в окне отображения, и модуль (144) планирования сравнивает глубину положения курсора с отображаемыми срезами для определения, следует ли обновить срезы.

4. Система по п. 1, дополнительно содержащая модуль (115) обработки изображений, выполненный с возможностью осуществления локального выделения эндолюминальной структуры системы путей в двух направлениях от положения курсора.

5. Способ планирования процедуры, содержащий этапы, на которых:

устанавливают (506) местоположение конечной точки в объеме изображения структуры путей;

выбирают (508) начальную точку на объемном изображении структуры путей;

проводят (510) проводимый пользователем путь вдоль структуры путей между конечной точкой и начальной точкой;

обновляют (512) двухмерные срезы изображения структуры путей вдоль пути в соответствии с глубиной положения вдоль пути;

перемещаются (516) вдоль пути до конечной точки; и

сохраняют (518) путь для создания плана процедуры.

6. Способ по п. 5, дополнительно содержащий этап, на котором вычисляют (514) центральное положение в эндолюминальной структуре на пути и сравнивают центральное положение с траекторией пути для определения, следует ли обновить просматриваемый срез.