Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени



Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени
Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени
Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени

Владельцы патента RU 2681348:

Общество с ограниченной ответственностью "Биомедицинские технологии" (RU)

Изобретение относится к области обработки изображения. Технический результат – обеспечение визуализации внутренней структуры исследуемого объекта в реальном времени. Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени включает сканирование исследуемого объекта; фрагментацию объема полученных данных, необходимых для построения воксельного массива на множество вокселей; причем сканирование осуществляют электромеханической системой, которая перемещает зондирующий пучок по двум координатам вдоль поверхности исследуемого объекта так, что каждый В-скан параллелен предыдущему; при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют, чтобы площади ортогональных проекций видимых граней прямоугольного параллелепипеда не отличались более чем в 2 раза; сканирование повторяют параллельно боковой грани прямоугольного параллелепипеда в прямом, формируя первое множество изображений, и в обратном, формируя второе множество изображений, направлениях; при сканировании вначале получают прямую ортогональную проекцию первого В-скана, для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации. 2 ил.

 

Изобретение относится к обработке данных изображения, а именно к визуализации трехмерного массива скалярных данных, и может быть использовано для решения задачи визуализации в реальном времени внутренней структуры «мутных» сред.

Известны два основных способа трехмерной визуализации по статье «Some techniques for shading machine renderings of solids», Proceeding AFIPS '68 (Spring) April 30-May 2, 1968, spring joint computer conference, Pages 37-45, автор Arthur Appel. Данные способы принято называть: «ray tracing» и «ray casting». Оба этих метода основываются на замерах расстояния до пересечения лучей с визуализируемой поверхностью. Недостатком этих методов для решения предложенной задачи является следующее. Эти методы являются способами визуализации векторных объектов и они требуют сложного дополнительного преобразования. Данные методы предназначены для визуализации поверхностей и плохо подходят для визуализации сложной внутренней структуры объекта. Для реализации данных методов в реальном времени требуется большая вычислительная мощность. Чаще всего для реализации данных методов используют специализированное многопроцессорное вычислительное устройство (графический процессор (GPU)).

В качестве прототипа выбран способ трехмерной визуализации, основанный на методе «проекции максимальной интенсивности» (maximum intensity projection (MIP)), известный по патенту RU 2533055 (МПК G06T 15/08, G06T 19/20 от 27.09.2013 г.), который включает сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива. Значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент d\, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего вексельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент 6V

Недостатком данного способа является то, что необходимо одномоментно обрабатывать весь трехмерный массив данных. Значит необходимо задействовать значительную часть имеющейся вычислительной мощности (процессорного времени). А это проблематично, так как основная вычислительная мощность используемой компьютерной системы задействована в реальном времени не для 3D-визуализации, а для решения задачи математического синтеза визуализируемых данных (для реализации томографических алгоритмов). Таким образом не обеспечивается интерактивность действий пользователя.

Задачей, на решение которой направлено данное изобретение, является разработка способа трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени, который позволяет получать трехмерное изображение в процессе сканирования исследуемого объекта, предоставляя в реальном времени полную информацию об исследуемом объекте и позволяя пользователю корректировать свои действия с целью получения наиболее информативного изображения исследуемого объекта.

Технический результат достигается благодаря тому, что разработанный способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени так же, как и способ, который является ближайшим аналогом, включает сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива, значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент.

Новым в разработанном способе является то, что сканирование осуществляют электро-механической системой, которая перемещает зондирующий пучок по двум координатам вдоль поверхности исследуемого объекта таким образом, что каждый В-скан параллелен предыдущему, при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют таким образом, чтобы площади ортогональных проекций видимых граней прямоугольного параллелепипеда, ограничивающего воксельный массив, не отличались более чем в 2 раза, сканирование циклически повторяют параллельно боковой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, в прямом, формируя первое множество изображений, и в обратном, формируя второе множество изображений, направлениях, при сканировании вначале получают прямую ортогональную проекцию первого В-скана - первого элемента первого множества изображений, для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения, затем формируют новый элемент первого множества изображений прямым проецированием прямой ортогональной проекции нового В-скана на предыдущий элемент первого множества изображений, нумеруют новый элемент первого множества изображений в порядке возрастания индекса, второе множество изображений формируют аналогично первому множеству изображений, однако во время сканирования в обратном направлении нумерацию элементов второго множества изображений производят в порядке убывания их индексов, при сканировании в прямом направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента первого множества изображений и следующего за ним по индексу элемента второго множества изображений, при сканировании в обратном направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента второго множества изображений и предшествующего ему по индексу элемента первого множества изображений.

На фиг. 1 представлена проекция границ визуализируемого массива в заранее выбранном фиксированном ракурсе.

На фиг. 2 представлено трехмерное изображение исследуемого объекта, полученное с помощью оптической когерентной томографии (ОКТ).

Разработанный способ визуализации является способом предварительного просмотра в реальном времени результатов работы системы оптической когерентной томографии (ОКТ), предназначенной для исследования in vivo внутренней структуры наружных биотканей.

Электро-механическая система, состоящая из линз и зеркал, перемещает зондирующий пучок по двум координатам (X и Y) вдоль поверхности исследуемого объекта. Сначала происходит последовательное линейное инкрементирование (декрементирование) координаты X при зафиксированном значении координаты Y. Таким образом получают двумерное изображение плоского среза исследуемого объекта вдоль оси X - В-скан. Затем происходит инкрементирование (декрементирование) координаты Y. Каждый новый полученный В-скан параллелен предыдущему. Таким образом, формируют трехмерный скалярный массив данных, содержащий информацию о внутренней структуре исследуемого объекта, ограниченного прямоугольным параллелепипедом.

Получение этих трехмерных данных осуществляют непрерывно. При достижении координатой Y максимального значения дальнейшее сканирование происходит в обратном направлении (вместо инкрементирования осуществляется декрементирование). При достижении координатой Y нулевого значения сканирование начинается снова в прямом направлении с инкрементированием координаты Y. Сканирование может быть остановлено после соответствующей команды пользователя по достижению координатой Y ближайшей границы. Кроме того, пользователю предоставлена возможность прервать сканирование немедленно. Сканирование можно возобновить, только, начиная с нулевой координаты Y.

Ракурс наблюдения фиксируют таким образом, чтобы площади ортогональных проекций видимых граней (площади параллелограммов ABCD, ADHE и CDHG) прямоугольного параллелепипеда ABCDEFGH, ограничивающего сканируемую область не отличались более чем в 2 раза (фиг. 1). При этом параллелограмм DCGH - это ортогональная проекция прямоугольного участка поверхности исследуемого объекта (плоскость XY). Параллелограмм A'B'C'D' обозначает ортогональную проекцию нового В-скана. Ортогональная проекция В-скана в начале сканирования (проекция первого В-скана) соответствует параллелограмму ABCD. «Дальняя» граница сканирования (при максимальном значении координаты Y) соответствует параллелограмму EFGH. Ортогональные проекции вертикальных ребер прямоугольного параллелепипеда ABCDEFGH вертикальны.

Первое множество изображений формируют в процессе сканирования при инкрементировании координаты Y. При декрементировании координаты Y формируют второе множество изображений.

Визуализацию осуществляют в соответствии с принципами модифицированной MIP. При сканировании вначале формируют прямую ортогональную проекцию первого В-скана (параллелограмм ABCD), для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации, в которые проецируют соответствующие воксели В-скана при прямой ортогональной проекции. Эта прямая ортогональная проекция первого В-скана будет первым элементом первого множества изображений.

где di - весовой коэффициент, соответствующий затемнению вокселя при проецировании его на плоскость визуализации,

Zi - количество вокселей от плоскости визуализации до соответствующего вокселя В-скана, повернутого на углы нутации и собственного вращения в визуализируемом объеме при выбранном ракурсе наблюдения,

Z -количество вокселей от плоскости визуализации до дальней границы визуализируемого объема при выбранном ракурсе наблюдения.

Первое множество изображений формируют в процессе сканирования при инкрементировании координаты Y. При получении каждого нового В-скана (A'B'C'D') визуализируют новое MIP-изображение. Это происходит следующим образом. Каждый новый элемент первого множества изображений формируют прямым проецированием прямой ортогональной проекции нового В-скана на предыдущий элемент первого множества изображений. Ортогональной проекцией нового элемента первого множества изображений будет являться многоугольник ABCC'D'A'. При этом нумеруют каждый новый элемент первого множества в порядке возрастания индекса.

После достижения текущей проекцией В-скана положения EFGH начинают формирование элементов второго множества изображений. Второе множество изображений формируют в процессе сканирования при декрементировании координаты Y аналогично первому множеству изображений. Однако во время сканирования в обратном направлении нумерацию элементов второго множества изображений производят в порядке убывания их индексов.

Для формирования изображения, выводимого на экран, при сканировании в прямом направлении в окно визуализации копируют новый элемент первого множества изображений и следующий за ним по индексу элемент второго множества изображений. Пиксели элементов первого и второго множества изображений, лежащие внутри границ проекции нового В-скана (параллелограмм A'B'C'D') попарно сравнивают в соответствии с правилом MIP и формируют изображение, которое выводят на экран.

При сканировании в обратном направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента второго множества изображений и предшествующего ему по индексу элемента первого множества изображений. Пиксели элементов первого и второго множества изображений, лежащие внутри границ проекции нового В-скана (параллелограмма A'B'C'D') сравнивают и формируют изображение в соответствии с правилом MIP.

На последнем этапе на сформированное изображение накладывают проекции границ визуализации, также с соблюдением принципов модифицированной MIP (с затемнением в глубину).

Количество элементов в первом и во втором множестве изображений соответствует количеству В-сканов, из которых состоит полное трехмерное изображение. А обновление изображения в окне визуализации происходит со скоростью сканирования в направлении слева-направо и справа-налево, вплоть до остановки по команде пользователя.

Для осуществления описанных манипуляций величина дополнительной загрузки CPU достаточно мала, чтобы не мешать параллельным вычислениям томографических алгоритмов.

В разработанном способе по сравнению со способом - прототипом затрачиваемое на визуализацию время, более чем на два порядка меньше. В разных моделях существующих ОКТ-систем полное время получения трехмерных данных (от нулевого значения координаты Y до ее максимального значения) варьируется от 5 до 25 секунд. В течение этого времени требуется обеспечить взаимную неподвижность сканирующей системы и исследуемого объекта. Учитывая, что исследуются живые объекты и в некоторых случаях используется ручной сканирующий зонд (он удерживается в руке пользователя), это довольно сложно. Поэтому очень важно предоставить пользователю в реальном времени наиболее полную информацию о текущих результатах его действий, для того чтобы он мог оперативно скорректировать положение сканирующего зонда, а также при необходимости прервать или остановить сканирование.

В разработанном способе кроме сокращения времени, затрачиваемого на визуализацию, дополнительная загрузка центрального процессора остается совершенно незначительной, что не препятствует параллельному исполнению в реальном времени томографических алгоритмов. Это достигают за счет использования прямой ортогональной проекции и фиксированного ракурса наблюдения. Кроме того, это достигают за счет хранения в оперативной памяти и последующего использования промежуточных результатов в виде двух множеств изображений.

Таким образом, разработанный способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени позволяет получить трехмерное изображение в процессе сканирования исследуемого объекта, предоставляя в реальном времени полную информацию об исследуемом объекте и позволяя пользователю корректировать свои действия с целью получения наиболее информативного изображения исследуемого объекта.

Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени, включающий сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива, значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент, отличающийся тем, что сканирование осуществляют электромеханической системой, которая перемещает зондирующий пучок по двум координатам вдоль поверхности исследуемого объекта таким образом, что каждый В-скан параллелен предыдущему, при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют таким образом, чтобы площади ортогональных проекций видимых граней прямоугольного параллелепипеда, ограничивающего воксельный массив, не отличались более чем в 2 раза, сканирование циклически повторяют параллельно боковой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, в прямом, формируя первое множество изображений, и в обратном, формируя второе множество изображений, направлениях, при сканировании вначале получают прямую ортогональную проекцию первого В-скана - первого элемента первого множества изображений, для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения, затем формируют новый элемент первого множества изображений прямым проецированием прямой ортогональной проекции нового В-скана на предыдущий элемент первого множества изображений, нумеруют новый элемент первого множества изображений в порядке возрастания индекса, второе множество изображений формируют аналогично первому множеству изображений, однако во время сканирования в обратном направлении нумерацию элементов второго множества изображений производят в порядке убывания их индексов, при сканировании в прямом направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента первого множества изображений и следующего за ним по индексу элемента второго множества изображений, при сканировании в обратном направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента второго множества изображений и предшествующего ему по индексу элемента первого множества изображений.



 

Похожие патенты:

Техническое решение относится к системам помощи слабовидящим и слепым. Технический результат заключается в повышении точности локализации пользователя, получении информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов, и оповещении об этом пользователя.

Группа изобретений относится к медицине, а именно к обработке медицинских изображений части тела человека или животного, и может быть использована для определения медицинских данных на входящем изображении.

Настоящее изобретение относится к области компьютерной графики. Технический результат – повышение производительности процесса отрисовки трехмерной сцены.

Изобретение относится к области видеокодирования. Технический результат - повышение эффективности видеокодирования.

Изобретение относится к области обработки изображений. Технический результат – обеспечение защиты данных 3D изображения за счет преобразования данных 3D изображения в частично рандомизированный массив.

Изобретение относится к медицине, а именно к рентгенохирургическим методам диагностики сердечной недостаточности (СН), и может быть использовано для ранней диагностики сердечной недостаточности.

Изобретение относится к области медицинской техники и может использоваться для ориентации людей, имеющих сложности с визуальным восприятием информации - полностью или частично утратившими зрение.

Изобретение относится к медицине, а именно к мониторингу пациентов. Подсистема анализа видеоданных для использования в системе мониторинга пациента для мониторинга пациента в постели содержит: систему оценки или обнаружения движения для приема видеоизображений (V1, V2) пациента, захватываемых видеокамерой; блок локализации для получения сигналов (S1, S2, S3) датчиков от комплекта датчиков, связанных с компонентами оборудования, расположенными вблизи постели, для обнаружения взаимодействия с указанными компонентами оборудования, осуществляемого пациентом.

Изобретение относится к области прикладного телевидения. Технический результат - повышение точности компенсации геометрического шума матричного фотоприемника при изменении времени его экспозиции в процессе информативного облучения.

Изобретение относится к области систем видеонаблюдения. Технический результат – повышение точности отображения объектов на плане местности в системе видеонаблюдения за счет преобразования координат местоположения объекта из системы координат кадра в систему координат плана местности.

Настоящее изобретение относится к области компьютерной графики. Технический результат – повышение производительности процесса отрисовки трехмерной сцены.

Изобретение относится к области обработки изображений. Технический результат – повышение эффективности распознавания пространственного объекта.

Изобретение относится к области обработки изображений. Технический результат – обеспечение защиты данных 3D изображения за счет преобразования данных 3D изображения в частично рандомизированный массив.

Изобретение относится к средствам визуализации изображения по данным (6) трехмерного лазерного сканирования. Технический результат заключается в повышении точности визуализации.

Изобретение относится к наголовным системам гибридной реальности. Наголовный дисплей включает оптическую систему и систему окулографии.

Изобретение относится к области вычислительной техники. Технический результат заключается в уменьшении задержки кодирования в средах параллельной обработки с менее резкими снижениями эффективности кодирования.

Изобретение относится к области прикладного телевидения. Технический результат - повышение точности компенсации геометрического шума матричного фотоприемника при изменении времени его экспозиции в процессе информативного облучения.

Изобретение относится к вычислительной технике. Технический результат заключается в снижении объема передаваемых служебных данных.

Изобретение относится к иконике для создания систем визуализации в инфракрасном, ультрафиолетовом, рентгеновском и других участках спектра электромагнитных излучений.

Изобретение относится к области видеокодирования. Технический результат – повышение эффективности обработки видеоданных.

Изобретение относится к области геодезического мониторинга и может быть использовано для геодезического мониторинга деформационного состояния земной поверхности в сейсмоопасных районах, где возведены сложные технологические инженерные объекты.

Изобретение относится к области обработки изображения. Технический результат – обеспечение визуализации внутренней структуры исследуемого объекта в реальном времени. Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени включает сканирование исследуемого объекта; фрагментацию объема полученных данных, необходимых для построения воксельного массива на множество вокселей; причем сканирование осуществляют электромеханической системой, которая перемещает зондирующий пучок по двум координатам вдоль поверхности исследуемого объекта так, что каждый В-скан параллелен предыдущему; при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют, чтобы площади ортогональных проекций видимых граней прямоугольного параллелепипеда не отличались более чем в 2 раза; сканирование повторяют параллельно боковой грани прямоугольного параллелепипеда в прямом, формируя первое множество изображений, и в обратном, формируя второе множество изображений, направлениях; при сканировании вначале получают прямую ортогональную проекцию первого В-скана, для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации. 2 ил.

Наверх