Автоматическое онлайновое совмещение между роботом и изображениями

Изобретение относится к системе, устройству и способу для совмещения в месте нахождения на основе конфигурации устройства. Технический результат заключается в повышении точности определения местонахождения робота в пространстве формирования изображения. Система и способ совмещения включают в себя конфигурируемое устройство (104), имеющее одну или несколько подвижных деталей (122), и перемещение подвижных деталей может быть определено относительно опорного элемента для определения конкретной конфигурации конфигурируемого устройства. Система (110) формирования изображений имеет дисплей, на котором можно видеть конфигурируемое устройство. Устройство (112) обработки выполнено с возможностью совмещать конфигурируемое устройство с системой координат системы формирования изображений на основе конкретной конфигурации конфигурируемого устройства. 3 н. и 15 з.п. ф-лы, 9 ил.

 

Это раскрытие относится к совмещению устройства и, в частности, к системе, устройству и способу для совмещения в месте нахождения на основе конфигурации устройства.

Совмещение представляет собой процесс обнаружения отношения между различными наблюдениями одних и тех же данных. Более определенно, это вычисление выравнивания нескольких измерений одних и тех же данных, полученных в результате разных точек наблюдения или принадлежащих разным системам координат. Совмещение необходимо для определения соответствия между физическим местоположением в системе координат робота и его позицией в пространстве формирования изображений.

В условиях клиники совмещение между ультразвуковым изображением и координатами робота выполняется перед операцией. Предоперационное совмещение, для которого существуют известные методики, лучше всего подходит для ситуаций, в которых по меньшей мере одна система координат фиксирована относительно мировой или глобальной системы координат. Если обе системы координат перемещаются, одноразовое совмещение становится недопустимым и должно вычисляться повторно.

При ультразвуковом направлении робота вероятно, что оба устройства, то есть, ультразвуковой датчик и робот будут перемещаться друг относительно друга во время процедуры. Хотя ультразвук иногда может быть зафиксирован в одной позиции, выгодно иметь гибкость в позиционировании, учитывая, что роль ультразвука в направляемых роботом операциях состоит и в направлении робота, и в обеспечении формирования изображений в интересующей области. Пример процедуры, требующей совмещения между ультразвуковым датчиком (и, следовательно, ультразвуковым изображением) и роботом, включает в себя роботизированное структурное восстановление сердца. В этом случае используется устройство для чреспищеводной эхокардиографии (TEE). Зонд монтируется на гибком кабеле, приводящем к его перемещению вследствие дыхания. В этом случае установленное один раз совмещение может дать сбой. Может использоваться электромагнитное (EM) отслеживание для непрерывного совмещения робота и ультразвукового зонда. Это решение является сложным и ресурсоемким. Кроме того, электромагнитное отслеживание предрасположено к ошибкам из-за возмущений в электромагнитном поле.

Предоперационное совмещение добавляет сложность к и так уже сложному хирургическому рабочему процессу, в то время как установка эталонных маркеров увеличивает время и сложность хирургической операции. Отслеживание систем координат является громоздким по меньшей мере вследствие дополнительных требований к аппаратным средствам.

В соответствии с настоящими принципами система и способ совмещения включают в себя конфигурируемое устройство, имеющее одну или несколько подвижных деталей, и перемещение подвижных деталей может быть определено относительно опорного элемента для определения конкретной конфигурации конфигурируемого устройства. Система формирования изображений имеет дисплей, на котором можно видеть конфигурируемое устройство. Устройство обработки выполнено с возможностью совмещать конфигурируемое устройство с системой координат системы формирования изображений на основе конкретной конфигурации конфигурируемого устройства.

Система совмещения включает в себя робот, имеющий одну или несколько подвижных деталей, соединенные шарнирами N так, что, перемещение подвижных деталей относительно опорного элемента определяет конкретную конфигурацию робота. У ультразвуковой системы формирования изображений есть дисплей, на котором можно наблюдать робота. Устройство обработки выполнено с возможностью совмещения робота в системе координат ультразвукового зонда системы формирования изображений, основанной на конкретной конфигурации робота.

Способ совмещения включает в себя этапы, на которых обнаруживают опорный элемент конфигурируемого устройства в операционном изображении конфигурируемого устройства; определяют конкретную конфигурацию конфигурируемого устройства; вычисляют конкретную конфигурацию конфигурируемого устройства в системе координат формирования изображений с использованием опорного элемента; и определяют преобразование между конкретной конфигурацией конфигурируемого устройства и системой координат формирования изображений для совмещения системы координат конфигурируемого устройства с системой координат формирования изображений.

Эти и другие задачи, признаки и преимущества настоящего раскрытия станут ясны из последующего подробного описания его примерных вариантов осуществления, которое должно быть прочитано вместе с сопроводительными чертежами.

Это раскрытие подробно представит следующее описание предпочтительных вариантов осуществления со ссылкой на следующие фигуры.

Фиг. 1 - блок-схема, показывающая систему/способ совмещения робота или другого конфигурируемого устройства с потоком изображений или изображением в соответствии с настоящими принципами;

Фиг. 2 - блок-схема последовательности операций, показывающая способ совмещения робота в системе формирования изображений в соответствии с одним примерным вариантом осуществления;

Фиг. 3 - схема, показывающая стержень или соединительный элемент робота, включающий в себя один или несколько маркеров для идентификации части стержня или соединительного элемента в потоке изображений в соответствии с полезными вариантами осуществления;

Фиг. 4 - схема, показывающая стержень или соединительный элемент робота, включающий в себя два маркера для идентификации ориентации стержня или соединительного элемента в потоке изображений в соответствии с полезными вариантами осуществления;

Фиг. 5 - схема, показывающая траектории движения для x, y и z координат между вычисленной концевой частью стержня и системой координат изображения в соответствии с одним примерным вариантом осуществления;

Фиг. 6 - схема, показывающая стержень или соединительный элемент робота, имеющий оптическое волокно для обнаружения формы, смонтированное на нем для идентификации позиции стержня или соединительного элемента, в соответствии с полезными вариантами осуществления;

Фиг. 7 - схема, показывающая стержень или соединительный элемент робота, имеющий установленный на нем вибрирующий механизм для идентификации позиции стержня или соединительного элемента в ультразвуковом окружении в соответствии с одним вариантом осуществления;

Фиг. 8 - схема, иллюстративно показывающая вычисление преобразования для совмещения стержня или соединительного элемента робота с кадром изображения и/или видеозондом в соответствии с одним вариантом осуществления;

Фиг. 9 - блок-схема последовательности операций, показывающая этапы для совмещения устройства робота с системой координат формирования изображений в соответствии с примерным вариантом осуществления.

В соответствии с настоящими принципами обеспечены системы и способы выполнения автоматического совмещения в реальном времени между устройством формирования изображений, таким как ультразвуковой (US) зонд (например, трехмерный (3D) ультразвуковой зонд), и системой робота-манипулятора. Эти системы и способы совмещения могут использоваться при выполнении множества задач, например, таких как локализация целей, ослабление познавательной нагрузки, соответствующей выравниванию видеозонда, определение соотношения изображений с материальным миром, направление хирургического инструмента к цели и т.д. При помощи настоящих вариантов осуществления, использующих эти возможности формирования изображений и автоматизации, могут быть выполнены более сложные хирургические операции.

В соответствии с одним особенно полезным вариантом осуществления совмещение в реальном времени робота с видеозондом или изображением обеспечивается с использованием различных способов и устройств, которые позволяют обнаруживать на изображении робот или хирургический инструмент, смонтированный на роботе. Также обеспечена схема контроля качества, позволяющая отслеживать точность совмещения.

Следует понимать, что настоящее изобретение будет описано с точки зрения медицинских инструментов; однако идеи настоящего изобретения намного более широки и применимы к любым инструментам, используемым при отслеживании или анализе сложных биологических или механических систем. В частности, настоящие принципы применимы к внутренним процедурам отслеживания биологических систем, процедурам во всех областях тела, таких как легкие, желудочно-кишечный тракт, органы выделения, кровеносные сосуды и т.д. Элементы, изображенные на фигурах, могут быть реализованы в различных комбинациях аппаратного и программного обеспечения и обеспечивать функции, которые могут быть объединены в одном элементе или нескольких элементах.

Функции различных элементов, показанных на фигурах, могут быть обеспечены с помощью специализированных аппаратных средств, а также аппаратных средств, которые могут исполнять программное обеспечение, совместно с соответствующим программным обеспечением. Когда функции обеспечены посредством процессора, они могут быть обеспечены посредством одного выделенного процессора, одного совместно используемого процессора или множества отдельных процессоров, некоторые из которых могут использоваться совместно. Кроме того, явное использование термина "процессор" или "контроллер" не должно рассматриваться как ссылка исключительно на аппаратные средства, которые могут исполнять программное обеспечение, и может неявно включать в себя, без ограничения, процессор цифровых сигналов (DSP), постоянное запоминающее устройство (ROM) для хранения программного обеспечения, оперативное запоминающее устройство (RAM), энергонезависимую память и т.д.

Кроме того, подразумевается, что все используемые здесь формулировки, которые излагают принципы, аспекты и варианты осуществления изобретения, а также их конкретные примеры, охватывают их эквиваленты, как структурные, так и функциональные. Дополнительно подразумевается, что такие эквиваленты включают в себя как эквиваленты, известные в настоящий момент, так и эквиваленты, разработанные в будущем (то есть, любые разработанные элементы, которые выполняют ту же самую функцию, независимо от структуры). Таким образом, например, специалисты в области техники поймут, что представленные здесь блок-схемы дают концептуальные представления примерных системных компонентов и/или схем, воплощающих принципы изобретения. Аналогичным образом, будет понятно, что любые блок-схемы, блок-схемы последовательности операций и т.п. представляют различные процессы, которые могут быть в значительной степени представлены на машиночитаемых носителях и, таким образом, исполнены посредством компьютера или процессора, независимо от того, показан ли такой компьютер или процессор явно.

Кроме того, варианты осуществления настоящего изобретения могут принять форму компьютерного программного продукта, доступного из применимого компьютером или машиночитаемого носителя, обеспечивающего программный код для использования посредством компьютера или любой системы исполнения команд. В целях этого описания применимый компьютером или машиночитаемый носитель может представлять собой любое устройство, которое может включать в себя, хранить, передавать, распространить или переносить программу для использования посредством системы исполнения команд или устройства. Носитель может представлять собой электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему (или устройство) или среду распространения. Примеры машиночитаемого носителя включают в себя полупроводниковую память или твердотельную память, магнитную ленту, извлекаемую компьютерную дискету, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), жесткий магнитный диск и оптический диск. Текущие примеры оптических дисков включают в себя компакт-диск, предназначенный только для чтения (CD-ROM)), компакт-диск, предназначенный для чтения и записи (CD-R/W) и цифровой универсальный диск (DVD).

Теперь обратимся к чертежам, на которых аналогичные номера представляют одинаковые или сходные элементы. На фиг. 1 показана система 100 для автоматического онлайнового совмещения, которая использует направляемую изображением хирургическую систему 102 робота. Система 102 робота включает в себя конфигурируемое устройство или робот 104 и систему 106 управления. Робот 104 включает в себя известную форму, которая может включать в себя часть робота 104 или весь робот 104. Робот 104 может включать в себя один или несколько эталонных маркеров 108. Ориентация робота 104 расшифровывается на основании кинематики его подвижной детали (деталей) 122 (например, соединительных элементов или соединений, конечностей и т.д.) и комбинируется с ориентацией, вычисленной на основании реальных изображений. Изображения могут включать в себя ультразвуковые изображения, хотя могут использоваться другие методики формирования изображений (например, рентгеновское излучение и т.д.). В настоящем примере система 110 формирования изображений включает в себя ультразвуковую систему, имеющую возможность формирования трехмерных (3D) изображений. Другие системы формирования изображений также могут использоваться. Система 110 формирования изображений может использовать зонд 105 для установки позиции и угла для сбора данных для формирования изображений. Движение робота используется для вычисления и обновления совмещения между двумя системами координат в реальном времени, например, системы 109 координат робота и системы 107 координат формирования изображений или зонда.

Настоящие принципы предусматривают онлайновое совмещение, которое выполняется многократно как нормальная часть функционирования. Когда предполагается движение компонентов, онлайновое совмещение может использоваться для обработки несовпадения между системами координат. Онлайновое совмещение является наиболее эффективным, если система может выполнять совмещение автоматически, с помощью либо опционального отслеживания, либо эталонных маркеров 108. Отслеживание вводит новую глобальную систему координат, с которой могут быть соотнесены рассматриваемые системы координат. Использование эталонных маркеров 108 может быть рассмотрено как пассивная версия этого подхода, например, рассматриваемые системы координат вычисляют свои соответствующие ориентации относительно глобально фиксированных маркеров. В обоих случаях, поскольку совмещение между системами координат всегда может быть вычислено, системы координат могут свободно перемещаться относительно друг друга.

Система 100 может включать в себя рабочую станцию или консоль 112, с которой процедура контролируется и/или управляется. Рабочая станция 112 предпочтительно включает в себя один или несколько процессоров 114 и память 116 для хранения программ и приложений. Память 116 может хранить модуль 115 интерпретации кинетики робота, выполненный с возможностью интерпретировать позиционные сигналы обратной связи из изображения или изображений робота 104, изображенного с использованием заданной методики формирования изображений. Модуль 115 может быть выполнен с возможностью использовать визуальную и позиционную обратную связь (например, электромагнитное (EM) отслеживание, эталонные позиции, информацию/распознавание формы или геометрии и т.д.) для воссоздания деформаций, отклонений и других изменений, соответствующих роботу 104.

Методика формирования изображений или устройство 110 формирования изображений могут включать в себя ультразвуковую систему формирования изображений. Система 107 координат зонда 105 и система 109 координат робота 104 предпочтительно совмещены по непрерывному или прерывистому временному интервалу. В одном варианте осуществления используется трехмерный (3D) ультразвуковой зонд 105, способный к прямой потоковой передаче изображений. Робот 104 предпочтительно расположен в пределах области видимости ультразвукового изображения. Робот 104 включает в себя N шарниров 111 (например, 3 или 4), и N датчиков 113 используются для измерения абсолютной или относительной позиции шарниров 111. Таким образом, позиция всего робота 104, а также рабочего органа (например, хирургического инструмента) относительно некоторой фиксированной системы координат (обычно основания робота 104), всегда известна.

Блок 106 управления может быть включен в рабочую станцию 112 или может представлять собой отдельное устройство (например, персональный компьютер (PC), принимающий данные от устройства 110 формирования изображений и других частей системы 102 робота, и выполняющий совмещение (способы совмещения). Система 106 управления и/или модуль 115 интерпретации могут использовать способы автоматического обнаружения хирургического инструмента в изображении и использовать механизмы для улучшения обнаружения. Например, методика вычисления конфигурации инструмента в системе координат устройства формирования изображений может включать в себя использование программы распознавания изображения, которая может расшифровать множество точек (например, шарниры или концевые части) робота 104 для обнаружения его конфигурации относительно опорной позиции. Другой способ включает в себя выполнение автоматического и онлайнового совмещения между трехмерным (3D) ультразвуковым зондом 105 и роботом 104 с использованием известной позиции/ориентации робота 104 и вычисленной позиции/ориентации робота 104 на основании ультразвукового изображения робота 104.

Ошибка совмещения может отслеживаться для кадров изображения посредством модуля 115 и использоваться для инициирования переключателя автоблокировки или другого механизма 126, чтобы заставить систему 106 управления отключить робот 104 и остановить работу в соответствии с определяемым пользователем порогом или другими условиями.

Устройство 110 формирования изображений может использоваться для формирования изображения субъекта 131 в месте нахождения во время процедуры. Система 110 формирования изображений может включать в себя систему флюороскопии, систему компьютерной томографии (CT) и т.д., хотя ультразвуковая система является предпочтительной. Система 110 формирования изображений формирует изображения 134 области субъекта 131, и робот 104 предпочтительно включен в поле зрения или по меньшей мере часть робота 104, необходимая для совмещения системы координат робота с системой координат устройства 110 формирования изображений.

Рабочая станция 112 включает в себя дисплей 118 для отображения внутренних изображений субъекта (пациента) 131. Дисплей 118 также может позволить пользователю взаимодействовать с рабочей станцией 112 и ее компонентами и функциями или любым другим элементом в пределах системы 100. Эта возможность также обеспечивается посредством интерфейса 120, который может включать в себя клавиатуру, мышь, джойстик, тактильное устройство или любое другое периферийное устройство или средство управления, чтобы дать пользователю возможность обратной связи от рабочей станции 112 и взаимодействия с ней.

На фиг. 2 иллюстративно показан способ автоматического онлайнового совмещения. На этапе 202 в потоке трехмерных (например, ультразвуковых) изображений обнаруживается инструмент. На этапе 204 вычисляется конфигурация инструмента в системе координат изображения. На этапе 206 вычисляется преобразование кадра для совмещения инструмента с потоком изображений. На этапе 208 выполняется контроль качества. Эти этапы описаны с дополнительными подробностями ниже относительно последующих примерных вариантов осуществления.

В одном варианте осуществления обнаружение инструмента в трехмерном ультразвуковом изображении на этапе 202 может использовать основанный на изображении способ. Хирургические инструменты обычно состоят из материала, например, металла, который является видимым при формировании ультразвуковых изображений. Кроме того, хирургические инструменты могут характеризоваться расположением в продольной оси (стержень и т.п.), чтобы дать хирургу или роботу возможность работать в ограниченном пространстве. С использованием удлиненного вида хирургического инструмента или других отличительных признаков обеспечивается опорная точка, которую алгоритм формирования изображений может использовать для надлежащего автоматического обнаружения инструмента в ультразвуковом изображении. Одна существующая методика/алгоритм представляет собой известное преобразование Хафа, которое может сегментировать хирургический инструмент из изображения на основе знания его формы. В одном случае линейная или столбчатая форма (соответствующая стержню инструмента) могут служить входным параметром для алгоритма, хотя для усовершенствованного обнаружения могут быть заданы более сложные формы.

В другом варианте осуществления обнаружение инструмента в трехмерном ультразвуковом изображении на этапе 202 может использовать основанный на эталонах способ. Различные типы эталонных маркеров могут использоваться для обеспечения возможности обнаружения позиции и ориентации инструмента. Принимая во внимание то, что эталонные маркеры появляются в изображениях с высокой контрастностью, обнаружение этих маркеров в изображениях может быть выполнено с использованием способов формирования изображений, известных в области техники, например, таких как преобразование Хафа, пороговое представление яркости изображения и т.д. Хотя инструменты могут быть видимыми в ультразвуковых изображениях, их границы может быть трудно различить. Это может привести к погрешностям при автоматическом обнаружении инструмента.

Как показано на фиг. 3, для решения проблем видимости границ, инструмент 300 может быть усилен с помощью маркеров 302, которые легко различить автоматическими алгоритмами, но не мешают поставленной задаче. Например, кольца 302, помещенные вокруг стержня инструмента 303, дают в результате видимую ультразвуковую картину выступов, которая отлична для каждой ориентации инструмента 300. Этот подход может использовать специализированную механическую обработку или изготовление хирургических инструментов 300. Практическое решение дает возможность модернизации уже существующих инструментов для обеспечения маленького съемного маркера 306, который помещается вокруг стержней существующих хирургических инструментов, тем самым ослабляя необходимость изменения конструкции инструментов. Эти съемные маркеры 306 включают в себя отличительные шаблоны, в результате чего ориентация инструмента становится распознаваемой автоматическими алгоритмами обнаружения при ультразвуковом или другом формировании изображений. Маркеры 302, 306 могут быть сделаны из гиперэхогенных материалов, таких как полимеры или металл.

Один вариант осуществления обеспечивает меньшие по размеру и более простые маркеры 306 и может включать в себя фиксацию нескольких маркеров на стержень инструмента 303. Состав этих маркеров 306 может включать в себя сталь или любой другой эхогенный материал, который является совместимым с хирургическим оборудованием.

Как показано на фиг. 4, для обнаружения ориентации стержня 303 требуется обнаружить только две точки вдоль стержня 303. В этом случае более простой вариант осуществления маркера принимает форму, например, сферы 312. Алгоритмы для обнаружения сферических форм с помощью ультразвука могут включать в себя нормализованную взаимную корреляцию (NCC) и сумму квадратов разности (SSD). Другие алгоритмы также могут использоваться.

Фиг. 5 показывает примерные траектории движения цели (FB) и роботизированного инструмента (Tip), который отслеживает цель, обе из которых обнаружены с помощью ультразвука при 20 кадрах в секунду с использованием NCC. Фиг. 5 показывает траектории движения по оси X, замедленные в 24,85 раза, траектории движения по оси Y, замедленные в 24.85 раза, и траектории движения по оси Z, замедленные в 24,85 раза. Использованные при этом маркеры представляли собой металлические сферы размером 3,2 мм. Результаты показывают, что NCC является надежным способом для этого применения, поскольку траектории хорошо совпали друг с другом.

Поскольку трехмерные ультразвуковые изображения обычно формируются и обрабатываются при скорости 20-30 кадров в секунду, новое совмещение может быть вычислено на этой скорости (для каждого нового изображения). Это полезная особенность, поскольку это устраняет необходимость в явном этапе совмещения, и отклонения позиции зонда не влияют на совмещение в течение времени, поскольку совмещение непрерывно обновляется.

Как показано на фиг. 6, стержень 602 или другая часть робота 604 может включать в себя оптическое волокно или волокна 606 для обнаружения формы. В одном варианте осуществления обнаружение маркера или маркеров 608 может быть обеспечено посредством использования оптического волокна 606 для обнаружения формы, которое обернуто вокруг стержня 602 или иным образом соединено со стержнем 602.

Волокна 606 для обнаружения формы могут включать в себя одну или несколько оптоволоконных брэгговских решеток (FBG), являющихся сегментом оптического волокна, который отражает конкретные длины волн света и пропускает все другие. Это достигается посредством добавления периодического изменения показателя преломления в центральной жиле оптоволокна, которое формирует специфичное для длины волны диэлектрическое зеркало. Таким образом, FBG может использоваться в качестве встроенного оптического фильтра для блокировки некоторых длин волн или как специфичный для длины волны отражатель.

Принцип работы FBG заключается в отражении Френеля на каждой из границ раздела, где изменяется показатель преломления. Для некоторых длин волн отраженный свет различных периодов находится в фазе, вследствие чего существует усиливающая интерференция для отражения и, следовательно, ослабляющая интерференция для прохождения. Брэгговская длина волны чувствительна к деформации, а также к температуре. Это означает, что решетки FBG могут использоваться в качестве чувствительных элементов в оптоволоконных датчиках. Одно из преимуществ методики состоит в том, что различные элементы датчика могут быть распределены по длине волокна. Включение в состав вдоль волокна трех или более центральных жил с различными датчиками (измерительными приборами), которые встроены в структуру, дает возможность оценки искривления структуры как функции продольной позиции и, следовательно, точного определения трехмерной (3D) формы такой структуры.

В качестве альтернативы для решеток FBG может быть использовано характерное обратное рассеяние в традиционных оптических волокнах. Один такой подход заключается в использовании рэлеевского рассеяния в стандартном одномодовом волокне. Рэлеевское рассеяние происходит в результате случайных флуктуаций показателя преломления в оптоволоконной центральной жиле. Эти случайные флуктуации могут быть смоделированы как брэгговская решетка со случайным изменением амплитуды и фазы по длине решетки. При использовании этого эффекта в трех или более центральных жилах, проходящих по одной длине многожильного волокна, возможно отслеживать трехмерную форму и динамику интересующей поверхности.

В оптическом волокне 606 может иметься свет, испускаемый из известной позиции на инструменте по спирали и доходящий до концевой точки 610 стержня 602. В дополнение к позиции и ориентации концевой точки эта система может обеспечить всю информацию о форме, которая будет ценной, если рабочий орган является очень гибким роботизированным манипулятором с высокой степенью свободы.

Как показано на фиг. 7, стержень 702 или другая часть робота 704 может включать в себя устройство (устройства) 706 движения. Устройство 706 движения может включать в себя механический привод или другой вибрирующий элемент, который может быть визуализирован в ультразвуковом изображении. В одном варианте осуществления обнаружение маркера 706 обеспечено посредством механического приведения в действие маркера 706, расположенного на концевой точке 710 инструмента. Концевая точка 710 вибрирует, и поскольку концевая точка 710 присоединена к роботу 704, маркер 706 вибрирует с заданной частотой. Эти вибрации могут быть обнаружены с использованием ультразвука, вследствие чего позиция маркера и концевая точка инструмента могут быть обнаружены. Характерные вибрации в структуре или соединительных элементах робота также могут использоваться для выделения изображений и обнаружения структур.

Снова обратимся к фиг. 2, на которой на этапе 204 конфигурация инструмента вычислена в ультразвуковой системе координат. Описанная задача обнаружения инструмента является только начальным этапом при выполнении онлайнового совмещения. Инструмент был только сегментирован от остальной части изображения. На этапе 204 конфигурация или положение в пространстве инструмента вычисляется при условии, что его представление извлечено из потока ультразвуковых изображений. При этом используется тот факт, что хирургические инструменты обычно имеют длинные стержни между рукояткой (удерживаемой хирургом или роботом) и рабочим органом, что позволяет роботу/руке дотягиваться до целевого местоположения хирургической операции.

Как только в ультразвуковом изображении найден стержень инструмента, определяется вектор, описывающий направление стержня. Вектор используется для вычисления положения инструмента в ультразвуковых координатах (^uT) в реальном времени, например, по мере потоковой передачи новых трехмерных ультразвуковых изображений.

На фиг. 8 иллюстративно показано вычисление преобразования/совмещения. Стержень 802 инструмента включает в себя систему координат tip_F, и ультразвуковой зонд (или изображение) 804 включает в себя систему координат u_F. Вектор v_tip, описывающий направление стержня, определяется в ультразвуковых координатах в реальном времени. Процедура, которая достигает этого вычисления, показана в уравнении 1.

В уравнении 1 нижние индексы и верхние индексы u и r обозначают ультразвуковую систему координат и систему координат робота, соответственно.

Список обозначений:

^uT - положение стрежня инструмента, наблюдаемое в ультразвуковых координатах (матрица преобразования 4×4).

^uR - вращательный компонент положения ^uT (матрица 3×3).

^up_tip - позиционный компонент положения ^uT, который является позицией концевой точки инструмента в ультразвуковых координатах (матрица 3×1).

- ось вращения между стержнем инструмента и осью -Z ультразвуковой системы координат; она определяется таким образом, поскольку в локальной системе координат инструмента вектор в направлении стержня к его концевой точке определен как ось -Z.

θ - угол вращения вокруг ω, который приводит вектор v_tip в соответствие с осью -Z ультразвуковой системы координат.

v_tip - вектор, соответствующий направлению стержня инструмента.

P - результат операции внешнего произведения на себя, обозначенный таким образом для упрощения уравнения.

I - единичная матрица 3×3.

- оператор сдвига над , который является эквивалентом его преобразования в первый операнд векторного произведения, когда операция выражена в матричной записи.

Снова обратимся к фиг. 2, на которой на этапе 206 выполняется вычисление преобразования кадра. Положение ^rT инструмента в координатах робота задано известной кинематикой робота (от датчиков и т.п.). Интерфейсы программирования программного обеспечения для роботов разрешают запросить этот параметр в режиме реального времени. Как только положение ^rT получено, оно может быть объединено с положением инструмента в ультразвуковых координатах ультразвука ^uT, найденным на предыдущем этапе (этап 204), чтобы вычислить требуемое преобразование ^rT_u (уравнение 2) между ультразвуковой системой координат и системой координат робота. Это преобразование ^rT_u может затем использоваться, чтобы найти местоположение относительно робота любой точки, найденной на ультразвуковых изображениях, давая роботу возможность переместить хирургический инструмент к любой цели на основе обнаружения цели на ультразвуковом изображении, и в конечном счете позволяя роботу выполнять некоторые функции автономно под руководством трехмерного ультразвука и соответствующей обработки изображений, как это описано.

^rT_u=^rT·^uT^-1 (Уравнение 2)

где:

^rT_u - матрица преобразования между ультразвуковыми координатами и координатами робота.

^uT - положение стержня инструмента, наблюдаемое в ультразвуковых координатах.

^rT - положение стержня инструмента в координатах робота в соответствии с кинематикой робота.

Для простоты описанные здесь хирургические инструменты были симметричны относительно вращений вокруг их стержня. Такой инструмент может быть обозначен как 5-мерный (5D), придерживаясь языка робототехники, что учитывает трехмерную позицию в пространстве, а также вращения вокруг двух из трех координатных осей. Расширение до 6D, где дополнительная размерность представляет собой вращение инструмента вокруг его стержня, легко достигается посредством либо (1) одного соответствующим образом разработанного маркера, либо (2) соответствующего размещения нескольких простых маркеров с асимметричным геометрическим рисунком. Настоящие принципы могут быть расширены для согласования с любой кинематикой и структурными движениями.

Снова обратимся к фиг. 2, на которой на этапе 208 контроль качества для настоящих вариантов осуществления может принять форму вычислений и учета ошибок в вычислениях. Описанные здесь система и способы позволяют онлайновый запрос точности совмещения, которая может быть предоставлена пользователю системы для контроля качества. Точность совмещения может быть измерена как разность относительного смещения концевой точки инструмента и ориентации инструмента между двумя или более кадрами ультразвуковых изображений. Здесь мы представляем методику для оценки ориентации концевой точки.

^rP_tip(t-1) - позиция концевой точки робота в системе координат робота в момент времени t-1.

^rP_tip(t) - позиция концевой точки робота в системе координат робота в момент времени t (один кадр после t-1).

^uP_tip(t-1) - позиция концевой точки робота в ультразвуковой (US) системе координат в момент времени t-1.

^uP_tip(t) - позиция концевой точки робота в ультразвуковой системе координат в момент времени t (один кадр после t-1).

На этапе 212 ошибка может быть представлена пользователю на дисплее 118 (фиг. 1), который может включать в себя ультразвуковой экран устройства формирования изображений. На этапе 214 ошибка может использоваться для инициирования переключателя автоблокировки или другого механизма и остановки работы в соответствии с определяемым пользователем порогом или другими условиями.

Следует понимать, что настоящие варианты осуществления могут использоваться в любой хирургии с минимальным вмешательством, чтобы дать возможность совмещения между устройством формирования изображений (например, ультразвуковым зондом) и хирургическим роботом или другим устройством без необходимости предоперационного совмещения, размещаемых на пациенте опорных точек, ручного вмешательства или фиксированного ультразвукового зонда. Совмещение обеспечивает роботизированной системе отображение между координатами изображений и робота, тем самым позволяя роботу или другому устройству перемещать инструмент к любой цели, обнаруженной на изображении. Настоящие принципы легко применимы к широкому классу роботизированных систем или устройств, процедур и приложений.

На фиг. 9 иллюстративно показан другой способ совмещения в соответствии с настоящими принципами. На этапе 902 на операционном изображении конфигурируемого устройства обнаруживается опорный элемент. Он может включать в себя продольный стержень, основание робота, отличительный признак и т.д. На этапе 904 определяется конкретная конфигурация конфигурируемого устройства. Например, конечности робота могут иметь определенную позицию, вычислимую на основании датчика или другого измерительного устройства. Позиция конечности может быть вычислена относительно опорной позиции или элемента. На этапе 906 конкретная конфигурация или положение конфигурируемой системы устройства вычисляется в системе координат формирования изображений с использованием опорного элемента. Положение может включать в себя определение всех или некоторых из элементов конфигурируемого устройства. Например, три из четырех конечностей могут обеспечить достаточную информацию о позиции устройства. Конкретная конфигурация может включать в себя обнаружение положения конфигурируемого устройства с использованием датчиков для определения позиций подвижных деталей конфигурируемого устройства на этапе 908.

На этапе 910 конкретная конфигурация может быть определена с использованием обнаружения формы с помощью оптического волокна, когда перемещение одной или нескольких подвижных деталей конфигурируемого устройства может быть определено с использованием обратной связи от оптического волокна. На этапе 912 одна или несколько подвижных деталей могут включать в себя по меньшей мере один маркер для обозначения позиции в изображениях и определения конкретной конфигурации с использованием по меньшей мере одного маркера. Маркеры должны быть видимыми в изображениях и могут включать в себя конкретные формы или детали, чтобы помочь в точном определении конфигурации или положения устройства. Маркер может включать в себя, например, вибрирующий механизм для обозначения позиции или ориентации по меньшей мере одной или нескольких подвижных деталей. Это особенно полезно при формировании ультразвуковых изображений.

На этапе 914 определяется преобразование между конкретной конфигурацией конфигурируемого устройства и системой координат формирования изображений для совмещения системы координат конфигурируемого устройства с системой координат формирования изображений. Преобразование дает возможность переводить любую позицию в одной системе координат в другую систему координат. На этапе 916 совмещение или преобразование конфигурируемого устройства к системе координат формирования изображений может быть обновлено с помощью нового изображения, взятого системой формирования изображений. Это обновление может быть сделано в каждом новом кадре или после предопределенного количества кадров по необходимости. Обновление выполняется в реальном времени во время процедуры или операции. На этапе 918 конфигурируемое устройство может быть отключено или его работа может быть изменена на основе измеренной ошибки совмещения. Ошибка совмещения может вычисляться периодически и использоваться для сравнения с порогом. Если порог превышен, устройство (например, робот) отключается, пока совмещение не сможет быть восстановлено. К вычислению ошибки также могут быть привязаны другие действия, например, такие как звуки предупреждения или свечение индикатора и т.д.

При интерпретации приложенной формулы изобретения следует подразумевать, что:

a) слово "содержит" не исключает наличие других элементов или действий, кроме перечисленных в данном пункте формулы изобретения;

b) употребление единственного числа не исключают наличие множества таких элементов;

c) любые номера для ссылок в формуле изобретения не ограничивают ее объем;

d) несколько "средств" могут быть представлены одним и тем же объектом или структурой или функцией, реализованными с помощью аппаратных средств или программного обеспечения; и

e) никакая конкретная последовательность действий не подразумевается обязательной, если это не указано специально.

После описания предпочтительных вариантов осуществления для систем и способов автоматического онлайнового совмещения между роботом и изображениями (которые подразумеваются как примерные, а не ограничивающие) следует отметить, что специалисты в области техники могут сделать модификации и изменения в свете описанных выше идей. Поэтому следует понимать, что изменения могут быть произведены в конкретных вариантах осуществления раскрытия, которые будут находиться в рамках объема раскрытых здесь вариантов осуществления, которые обозначены в приложенной формуле изобретения. Таким образом, после описания деталей и особенностей, требуемых патентными законами, далее изложена формула изобретения для защиты патентом.

1. Система для совмещения конфигурируемого устройства с системой координат системы формирования изображений, содержащая:

конфигурируемое устройство (104), имеющее одну или несколько подвижных деталей (122), и перемещение подвижных деталей может быть определено относительно опорного элемента для определения конкретной конфигурации конфигурируемого устройства;

систему (110) формирования изображений, имеющую дисплей, на котором можно видеть конфигурируемое устройство; и

устройство (112) обработки, выполненное с возможностью выполнять совмещение конфигурируемого устройства с системой координат системы формирования изображений на основе конкретной конфигурации конфигурируемого устройства.

2. Система по п. 1, в которой конфигурируемое устройство (104) включает в себя робота, имеющего по меньшей мере один соединительный элемент.

3. Система по п. 2, в которой по меньшей мере один соединительный элемент (122) соединен с шарниром (111) и дополнительно включает в себя датчик (113), выполненный с возможностью измерять перемещение шарнира.

4. Система по п. 2, в которой по меньшей мере один соединительный элемент (122) включает в себя оптическое волокно (606) для обнаружения формы, и перемещение стержня измеряется с использованием сигналов от оптического волокна.

5. Система по п. 2, в которой по меньшей мере один соединительный элемент (122) включает в себя концевую часть, и

концевая часть включает в себя по меньшей мере один маркер (108) для обозначения позиции в изображениях системы формирования изображений.

6. Система по п. 5, в которой по меньшей мере один маркер (108) включает в себя форму или конфигурацию для обозначения позиции или ориентации по меньшей мере одного соединительного элемента.

7. Система по п. 5, в которой система (110) формирования изображений включает в себя ультразвуковую систему, и по меньшей мере один маркер включает в себя вибрирующий механизм (706) для обозначения позиции или ориентации по меньшей мере одного соединительного элемента.

8. Система по п. 1, в которой конфигурируемое устройство (104) включает в себя робот, расположенный в пределах живого организма, и система (110) формирования изображений включает в себя ультразвуковую систему, которая отображает интересующую область в организме.

9. Система по п. 1, дополнительно содержащая переключатель (126), выполненный с возможностью отключать конфигурируемое устройство на основе измеренной ошибки совмещения.

10. Система для совмещения робота с системой координат системы формирования изображений, содержащая:

робота (104), имеющего одну или несколько подвижных деталей (122), соединенных N шарнирами (111), и перемещение подвижных деталей относительно опорного элемента определяет конкретную конфигурацию робота;

ультразвуковую систему (110) формирования изображений, имеющую дисплей, на котором можно видеть робот; и

устройство (112) обработки, выполненное с возможностью совмещать робота с системой координат ультразвукового зонда (105) системы формирования изображений на основе конкретной конфигурации робота.

11. Система по п. 10, в которой N шарниров (111) соединены с датчиками (113) для измерения перемещения соответствующего шарнира.

12. Способ совмещения системы координат конфигурируемого устройства с системой координат изображения, содержащий этапы, на которых:

обнаруживают (902) опорный элемент конфигурируемого устройства в операционном изображении конфигурируемого устройства;

определяют (904) конкретную конфигурацию конфигурируемого устройства;

вычисляют (906) конкретную конфигурацию конфигурируемого устройства в системе координат формирования изображений с использованием опорного элемента; и

определяют (914) преобразование между конкретной конфигурацией конфигурируемого устройства и системой координат формирования изображений для совмещения системы координат конфигурируемого устройства с системой координат формирования изображений.

13. Способ по п. 12, дополнительно содержащий этап, на котором обновляют (916) совмещение конфигурируемого устройства с системой координат формирования изображений с помощью нового изображения, полученного системой формирования изображений.

14. Способ по п. 12, в котором этап вычисления конкретной конфигурации содержит этап, на котором обнаруживают (908) положение конфигурируемого устройства с использованием датчиков для определения позиций подвижных деталей конфигурируемого устройства.

15. Способ по п. 12, дополнительно содержащий этап, на котором отключают (918) конфигурируемое устройство на основе измеренной ошибки совмещения.