Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени
Владельцы патента RU 2681348:
Общество с ограниченной ответственностью "Биомедицинские технологии" (RU)
Изобретение относится к области обработки изображения. Технический результат – обеспечение визуализации внутренней структуры исследуемого объекта в реальном времени. Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени включает сканирование исследуемого объекта; фрагментацию объема полученных данных, необходимых для построения воксельного массива на множество вокселей; причем сканирование осуществляют электромеханической системой, которая перемещает зондирующий пучок по двум координатам вдоль поверхности исследуемого объекта так, что каждый В-скан параллелен предыдущему; при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют, чтобы площади ортогональных проекций видимых граней прямоугольного параллелепипеда не отличались более чем в 2 раза; сканирование повторяют параллельно боковой грани прямоугольного параллелепипеда в прямом, формируя первое множество изображений, и в обратном, формируя второе множество изображений, направлениях; при сканировании вначале получают прямую ортогональную проекцию первого В-скана, для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации. 2 ил.
Изобретение относится к обработке данных изображения, а именно к визуализации трехмерного массива скалярных данных, и может быть использовано для решения задачи визуализации в реальном времени внутренней структуры «мутных» сред.
Известны два основных способа трехмерной визуализации по статье «Some techniques for shading machine renderings of solids», Proceeding AFIPS '68 (Spring) April 30-May 2, 1968, spring joint computer conference, Pages 37-45, автор Arthur Appel. Данные способы принято называть: «ray tracing» и «ray casting». Оба этих метода основываются на замерах расстояния до пересечения лучей с визуализируемой поверхностью. Недостатком этих методов для решения предложенной задачи является следующее. Эти методы являются способами визуализации векторных объектов и они требуют сложного дополнительного преобразования. Данные методы предназначены для визуализации поверхностей и плохо подходят для визуализации сложной внутренней структуры объекта. Для реализации данных методов в реальном времени требуется большая вычислительная мощность. Чаще всего для реализации данных методов используют специализированное многопроцессорное вычислительное устройство (графический процессор (GPU)).
В качестве прототипа выбран способ трехмерной визуализации, основанный на методе «проекции максимальной интенсивности» (maximum intensity projection (MIP)), известный по патенту RU 2533055 (МПК G06T 15/08, G06T 19/20 от 27.09.2013 г.), который включает сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива. Значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент d\, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего вексельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент 6V
Недостатком данного способа является то, что необходимо одномоментно обрабатывать весь трехмерный массив данных. Значит необходимо задействовать значительную часть имеющейся вычислительной мощности (процессорного времени). А это проблематично, так как основная вычислительная мощность используемой компьютерной системы задействована в реальном времени не для 3D-визуализации, а для решения задачи математического синтеза визуализируемых данных (для реализации томографических алгоритмов). Таким образом не обеспечивается интерактивность действий пользователя.
Задачей, на решение которой направлено данное изобретение, является разработка способа трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени, который позволяет получать трехмерное изображение в процессе сканирования исследуемого объекта, предоставляя в реальном времени полную информацию об исследуемом объекте и позволяя пользователю корректировать свои действия с целью получения наиболее информативного изображения исследуемого объекта.
Технический результат достигается благодаря тому, что разработанный способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени так же, как и способ, который является ближайшим аналогом, включает сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива, значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент.
Новым в разработанном способе является то, что сканирование осуществляют электро-механической системой, которая перемещает зондирующий пучок по двум координатам вдоль поверхности исследуемого объекта таким образом, что каждый В-скан параллелен предыдущему, при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют таким образом, чтобы площади ортогональных проекций видимых граней прямоугольного параллелепипеда, ограничивающего воксельный массив, не отличались более чем в 2 раза, сканирование циклически повторяют параллельно боковой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, в прямом, формируя первое множество изображений, и в обратном, формируя второе множество изображений, направлениях, при сканировании вначале получают прямую ортогональную проекцию первого В-скана - первого элемента первого множества изображений, для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения, затем формируют новый элемент первого множества изображений прямым проецированием прямой ортогональной проекции нового В-скана на предыдущий элемент первого множества изображений, нумеруют новый элемент первого множества изображений в порядке возрастания индекса, второе множество изображений формируют аналогично первому множеству изображений, однако во время сканирования в обратном направлении нумерацию элементов второго множества изображений производят в порядке убывания их индексов, при сканировании в прямом направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента первого множества изображений и следующего за ним по индексу элемента второго множества изображений, при сканировании в обратном направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента второго множества изображений и предшествующего ему по индексу элемента первого множества изображений.
На фиг. 1 представлена проекция границ визуализируемого массива в заранее выбранном фиксированном ракурсе.
На фиг. 2 представлено трехмерное изображение исследуемого объекта, полученное с помощью оптической когерентной томографии (ОКТ).
Разработанный способ визуализации является способом предварительного просмотра в реальном времени результатов работы системы оптической когерентной томографии (ОКТ), предназначенной для исследования in vivo внутренней структуры наружных биотканей.
Электро-механическая система, состоящая из линз и зеркал, перемещает зондирующий пучок по двум координатам (X и Y) вдоль поверхности исследуемого объекта. Сначала происходит последовательное линейное инкрементирование (декрементирование) координаты X при зафиксированном значении координаты Y. Таким образом получают двумерное изображение плоского среза исследуемого объекта вдоль оси X - В-скан. Затем происходит инкрементирование (декрементирование) координаты Y. Каждый новый полученный В-скан параллелен предыдущему. Таким образом, формируют трехмерный скалярный массив данных, содержащий информацию о внутренней структуре исследуемого объекта, ограниченного прямоугольным параллелепипедом.
Получение этих трехмерных данных осуществляют непрерывно. При достижении координатой Y максимального значения дальнейшее сканирование происходит в обратном направлении (вместо инкрементирования осуществляется декрементирование). При достижении координатой Y нулевого значения сканирование начинается снова в прямом направлении с инкрементированием координаты Y. Сканирование может быть остановлено после соответствующей команды пользователя по достижению координатой Y ближайшей границы. Кроме того, пользователю предоставлена возможность прервать сканирование немедленно. Сканирование можно возобновить, только, начиная с нулевой координаты Y.
Ракурс наблюдения фиксируют таким образом, чтобы площади ортогональных проекций видимых граней (площади параллелограммов ABCD, ADHE и CDHG) прямоугольного параллелепипеда ABCDEFGH, ограничивающего сканируемую область не отличались более чем в 2 раза (фиг. 1). При этом параллелограмм DCGH - это ортогональная проекция прямоугольного участка поверхности исследуемого объекта (плоскость XY). Параллелограмм A'B'C'D' обозначает ортогональную проекцию нового В-скана. Ортогональная проекция В-скана в начале сканирования (проекция первого В-скана) соответствует параллелограмму ABCD. «Дальняя» граница сканирования (при максимальном значении координаты Y) соответствует параллелограмму EFGH. Ортогональные проекции вертикальных ребер прямоугольного параллелепипеда ABCDEFGH вертикальны.
Первое множество изображений формируют в процессе сканирования при инкрементировании координаты Y. При декрементировании координаты Y формируют второе множество изображений.
Визуализацию осуществляют в соответствии с принципами модифицированной MIP. При сканировании вначале формируют прямую ортогональную проекцию первого В-скана (параллелограмм ABCD), для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации, в которые проецируют соответствующие воксели В-скана при прямой ортогональной проекции. Эта прямая ортогональная проекция первого В-скана будет первым элементом первого множества изображений.
где di - весовой коэффициент, соответствующий затемнению вокселя при проецировании его на плоскость визуализации,
Zi - количество вокселей от плоскости визуализации до соответствующего вокселя В-скана, повернутого на углы нутации и собственного вращения в визуализируемом объеме при выбранном ракурсе наблюдения,
Z -количество вокселей от плоскости визуализации до дальней границы визуализируемого объема при выбранном ракурсе наблюдения.
Первое множество изображений формируют в процессе сканирования при инкрементировании координаты Y. При получении каждого нового В-скана (A'B'C'D') визуализируют новое MIP-изображение. Это происходит следующим образом. Каждый новый элемент первого множества изображений формируют прямым проецированием прямой ортогональной проекции нового В-скана на предыдущий элемент первого множества изображений. Ортогональной проекцией нового элемента первого множества изображений будет являться многоугольник ABCC'D'A'. При этом нумеруют каждый новый элемент первого множества в порядке возрастания индекса.
После достижения текущей проекцией В-скана положения EFGH начинают формирование элементов второго множества изображений. Второе множество изображений формируют в процессе сканирования при декрементировании координаты Y аналогично первому множеству изображений. Однако во время сканирования в обратном направлении нумерацию элементов второго множества изображений производят в порядке убывания их индексов.
Для формирования изображения, выводимого на экран, при сканировании в прямом направлении в окно визуализации копируют новый элемент первого множества изображений и следующий за ним по индексу элемент второго множества изображений. Пиксели элементов первого и второго множества изображений, лежащие внутри границ проекции нового В-скана (параллелограмм A'B'C'D') попарно сравнивают в соответствии с правилом MIP и формируют изображение, которое выводят на экран.
При сканировании в обратном направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента второго множества изображений и предшествующего ему по индексу элемента первого множества изображений. Пиксели элементов первого и второго множества изображений, лежащие внутри границ проекции нового В-скана (параллелограмма A'B'C'D') сравнивают и формируют изображение в соответствии с правилом MIP.
На последнем этапе на сформированное изображение накладывают проекции границ визуализации, также с соблюдением принципов модифицированной MIP (с затемнением в глубину).
Количество элементов в первом и во втором множестве изображений соответствует количеству В-сканов, из которых состоит полное трехмерное изображение. А обновление изображения в окне визуализации происходит со скоростью сканирования в направлении слева-направо и справа-налево, вплоть до остановки по команде пользователя.
Для осуществления описанных манипуляций величина дополнительной загрузки CPU достаточно мала, чтобы не мешать параллельным вычислениям томографических алгоритмов.
В разработанном способе по сравнению со способом - прототипом затрачиваемое на визуализацию время, более чем на два порядка меньше. В разных моделях существующих ОКТ-систем полное время получения трехмерных данных (от нулевого значения координаты Y до ее максимального значения) варьируется от 5 до 25 секунд. В течение этого времени требуется обеспечить взаимную неподвижность сканирующей системы и исследуемого объекта. Учитывая, что исследуются живые объекты и в некоторых случаях используется ручной сканирующий зонд (он удерживается в руке пользователя), это довольно сложно. Поэтому очень важно предоставить пользователю в реальном времени наиболее полную информацию о текущих результатах его действий, для того чтобы он мог оперативно скорректировать положение сканирующего зонда, а также при необходимости прервать или остановить сканирование.
В разработанном способе кроме сокращения времени, затрачиваемого на визуализацию, дополнительная загрузка центрального процессора остается совершенно незначительной, что не препятствует параллельному исполнению в реальном времени томографических алгоритмов. Это достигают за счет использования прямой ортогональной проекции и фиксированного ракурса наблюдения. Кроме того, это достигают за счет хранения в оперативной памяти и последующего использования промежуточных результатов в виде двух множеств изображений.
Таким образом, разработанный способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени позволяет получить трехмерное изображение в процессе сканирования исследуемого объекта, предоставляя в реальном времени полную информацию об исследуемом объекте и позволяя пользователю корректировать свои действия с целью получения наиболее информативного изображения исследуемого объекта.
Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени, включающий сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива, значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент, отличающийся тем, что сканирование осуществляют электромеханической системой, которая перемещает зондирующий пучок по двум координатам вдоль поверхности исследуемого объекта таким образом, что каждый В-скан параллелен предыдущему, при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют таким образом, чтобы площади ортогональных проекций видимых граней прямоугольного параллелепипеда, ограничивающего воксельный массив, не отличались более чем в 2 раза, сканирование циклически повторяют параллельно боковой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, в прямом, формируя первое множество изображений, и в обратном, формируя второе множество изображений, направлениях, при сканировании вначале получают прямую ортогональную проекцию первого В-скана - первого элемента первого множества изображений, для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения, затем формируют новый элемент первого множества изображений прямым проецированием прямой ортогональной проекции нового В-скана на предыдущий элемент первого множества изображений, нумеруют новый элемент первого множества изображений в порядке возрастания индекса, второе множество изображений формируют аналогично первому множеству изображений, однако во время сканирования в обратном направлении нумерацию элементов второго множества изображений производят в порядке убывания их индексов, при сканировании в прямом направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента первого множества изображений и следующего за ним по индексу элемента второго множества изображений, при сканировании в обратном направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента второго множества изображений и предшествующего ему по индексу элемента первого множества изображений.
