Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области
Изобретение относится к медицине, а именно к способам и системам для получения изображения в видимой и инфракрасной областях спектра. Способ заключается в непрерывном освещении наблюдаемой области синим/зеленым светом, а также красным светом и светом ближней ИК-области спектра. При освещении красный свет и/или свет ближней ИК-области спектра периодически включают и выключают. Синий отраженный свет и зеленый отраженный свет, а также суммарный красный отраженный свет и люминесцентное излучение направляют на формирователи сигналов изображения. Формирователи сигналов выполнены с возможностью раздельного измерения отраженного синего света, отраженного зеленого света и суммарного отраженного красного света и люминесцентного излучения в ближней ИК-области спектра. Красный свет и/или свет ближней ИК-области спектра периодически включают и выключают синхронно с получением изображения красного цвета и изображения ближней ИК-области спектра. Определяют по отдельности спектральную составляющую отраженного красного света и спектральную составляющую люминесцентного излучения в ближней ИК-области спектра на основе сигналов изображения суммарного отраженного красного света и люминесцентного излучения в ближней ИК-области спектра. Выводят на экран полноцветное изображение наблюдаемой области на основе синего отраженного света, зеленого отраженного света и отдельно определенной спектральной составляющей красного света, а также изображение в ближней ИК-области спектра на основе спектральной составляющей люминесцентного излучения в ближней ИК-области спектра. Система содержит источник света, видеокамеру с формирователями сигнала, контроллер и дисплей. Использование изобретения позволяет улучшить разрешение полученного изображения в видимой и инфракрасной областях спектра и уменьшить количество артефактов, обусловленных движением. 2 н.п.ф-лы, 23 з.п.ф-лы, 6 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к получению изображений для медицинских целей и, в частности, к системе и способу получения изображений наблюдаемой области, такой как живая ткань, в видимой области спектра и в ближней инфракрасной области спектра, и, в частности, для использования в эндоскопии.
Уровень техники
В литературе описано получение изображений в ближней инфракрасной области спектра (NIR) для различных клинических приложений. Обычно в таком способе получения изображения используется контрастное вещество (например, индоцианин зеленый), которое поглощает ближнее ИК-излучение и/или люминесцирует в этой области. Такие контрастные вещества могут быть связаны с целевыми молекулами (например, антителами) для обнаружения заболеваний. Контрастные вещества могут быть введены в ткани внутривенно или подкожно для визуализации структуры и функций ткани (например, потока крови/лимфы/желчи в сосудах), что совсем нелегко увидеть с применением стандартной технологии визуализации в видимом свете.
Независимо от клинического применения в эндоскопических устройствах получения изображения в ближней ИК-области спектра обычно используется на практике несколько режимов получения изображения. Например, эндоскописты используют цвет из видимого спектра, и для визуализации, и для навигации, а эндоскопическое устройство визуализации, которое дает изображение в ближней ИК-области спектра, обычно создает одновременно цветное изображение. Такие устройства с одновременным получением изображений могут быть, например, реализованы следующим образом:
- В одной из традиционных конфигураций используется спектральное разделение видимого света и ближнего ИК-излучения таким образом, что сигналы полноцветного изображения и сигналы изображения в ближней ИК-области спектра получают с использованием отдельных датчиков для спектральных диапазонов разных цветов (например, красного, зеленого и синего) и для ближней ИК-области спектра, либо с применением единого цветного формирователя сигналов изображения с встроенным светофильтром, имеющим фильтрующие элементы, прозрачные для света разных спектральных полос (например, красного, зеленого, синего и ближней ИК-области). Таким образом, подобные устройства получения изображения с несколькими режимами работы для получения цветного изображения и изображения в ближней ИК-области спектра имеют выделенные датчики или датчики пикселов для каждого из двух режимов получения изображения. К сожалению, это ведет к увеличению числа датчиков для получения сигналов изображения в вариантах с большим числом датчиков или к ухудшению разрешения, когда в одном и том же формирователе сигналов изображения одни датчики пикселов выделены для получения изображения в ближней ИК-области спектра, а другие используются для получения цветного изображения.
- В другой традиционной конфигурации используется один монохромный формирователь сигналов изображения для последовательного получения изображения в видимой и в ближней инфракрасной областях спектра. Объект в этом случае последовательно облучают красным, зеленым, синим светом и светом из ближней инфракрасной области спектра, получают отдельные кадры изображения в каждой области спектра и затем генерируют сложное цветное изображение и изображение в ближней ИК-области спектра на основе этих получаемых кадров изображения. Однако такой подход, когда кадры изображения получают последовательно в разные моменты времени, способен привести к образованию нежелательных артефактов, обусловленных движением (т.е. цветной окантовки и «эффектов радуги») в полном цветном изображении и в изображении в ближней ИК-области спектра. Такие артефакты можно «приглушить» путем увеличения частоты получения изображений или частоты кадров до уровне выше, например, 15 кадров/секунду (к/с (fps)), например, до 90 к/с или даже до 180 к/с. Из-за высокой скорости передачи данных высокие частоты кадров трудно реализовать для изображений высокой четкости (например, 2 млн пикселов) или изображений с широким динамическим диапазоном (>10 бит), что ограничивает размер и/или разрешение изображения.
Поэтому, было бы желательно создать способ и систему для одновременного получения полноцветного изображения и изображения в ближней ИК-области спектра, что позволяет устранить отмеченные выше недостатки без ущерба для разрешения изображения и/или без введения нежелательных артефактов, обусловленных движением.
Раскрытие изобретения
Согласно одному из аспектов настоящего изобретения способ получения изображений в ближней ИК-области спектра и полноцветных изображений включает освещение наблюдаемой области непрерывным синим/зеленым светом и освещение этой наблюдаемой области красным светом и светом ближней ИК-области спектра, причем красный свет и/или свет ближней ИК-области спектра периодически включают и выключают. Синий, зеленый, красный свет и свет ближней ИК-области спектра, возвращающийся из наблюдаемой области, направляют на один или несколько формирователей сигналов изображения, выполненных с возможностью по отдельности измерять синий свет, зеленый свет и суммарный красный свет/свет ближней ИК-области спектра. Спектральную составляющую красного света и спектральную составляющую света ближней ИК-области спектра определяют по отдельности на основе сигналов изображения для суммарного красного света/света ближней ИК-области спектра синхронно с переключением красного света и света ближней ИК-области спектра. Формируют на основе синего, зеленого и красного света полноцветное изображение наблюдаемой области в отраженном свете и выводят на экран, а изображение в ближней ИК-области спектра аналогично формируют на основе света ближней ИК-области спектра и выводят на экран.
Согласно другому аспекту настоящего изобретения система визуализации для получения изображения в ближней ИК-области спектра и полноцветного изображения включает источник света для направления видимого света и света ближней ИК-области спектра на наблюдаемую область, видеокамеру с одним или несколькими формирователями сигналов изображения, выполненными с возможностью приема по отдельности синего и зеленого света и суммарного красного света и света ближней ИК-области спектра, возвращающихся от наблюдаемой области, и контроллер, осуществляющий связь с источником света и с видеокамерой. Контроллер выполнен с возможностью управления источником света для непрерывного освещения ткани синим/зеленым светом и для освещения наблюдаемой области красным светом и светом ближней ИК-области спектра, причем красный свет и/или свет ближней ИК-области спектра периодически включают и выключают синхронно с получением красного изображения и изображения в ближней ИК-области спектра видеокамерой.
Контроллер дополнительно выполнен с возможностью определения на основе сигналов датчиков, представляющих суммарный красный свет и свет ближней ИК-области спектра, по отдельности спектральной составляющей красного света и спектральной составляющей света в ближней ИК-области спектра. Система визуализации содержит также дисплей, принимающий сигналы изображения, соответствующие синему свету, зеленому свету и определенной отдельно спектральной составляющей красного света, и формирующий на их основе полноцветное изображение наблюдаемой области. Дисплей принимает также определенную отдельно спектральную составляющую света ближней ИК-области спектра и формирует на ее основе изображение наблюдаемой области в ближней ИК-области спектра.
Система визуализации может использовать цветную видеокамеру с тремя формирователями сигналов изображения, выполненную с возможностью непрерывного получения изображения в синей и зеленой областях спектра и время от времени получения изображения в красной области спектра для получения непрерывной высококачественной информации по яркости и в достаточной степени непрерывной полной информации по цветности для построения высококачественных видеоизображений наблюдаемой области, например живой ткани. В такой конструкции формирователь сигналов красного изображения может использовать принцип временного уплотнения для получения красного изображения и изображения в ближней ИК-области спектра (т.е. формирователь сигналов красного изображения поочередно и в быстрой последовательности получает красный свет для предоставления цветовой информации, необходимой для формирования цветного изображения, и свет в ближней ИК-области спектра, необходимый для формирования изображения в ближней ИК-области спектра). Такое временное уплотнение может быть связано (и синхронизировано) с работой источника света, используемого для облучения светом ближней ИК-области спектра (возбуждение люминесценции) и для облучения красным светом для получения цветного изображения. После этого применяют обработку изображения, чтобы должным образом разделить и обработать полученные сигналы изображения.
Варианты настоящего изобретения могут включать один или несколько следующих признаков. Наблюдаемую область можно поочередно освещать красным светом и светом ближней ИК-области спектра, причем длительность освещения красным светом может отличаться, предпочтительно в сторону увеличения, от длительности освещения светом ближней ИК-области спектра. Режим освещения можно переключать с частотой полей или видеокадров.
Поля, получаемые формирователем сигналов изображения и не имеющие спектральной составляющей красного света или спектральной составляющей света ближней ИК-области спектра, можно интерполировать по соседним по времени полям изображения, включающим соответствующую спектральную составляющую красного света или спектральную составляющую света ближней ИК-области спектра. В одном из вариантов спектральную составляющую света ближней ИК-области спектра, получаемую в отсутствие красного света, можно вычесть из суммарного красного света/света ближней ИК-области спектра, чтобы получить отдельно спектральную составляющую красного света. Это является предпочтительным, в частности, в ситуациях, когда измеренный сигнал ближней ИК-области спектра сопоставим по интенсивности с сигналом красного света.
В одном из вариантов источник света может включать осветитель, излучающий по существу с постоянной интенсивностью видимый свет и свет ближней ИК-области спектра в непрерывном спектральном диапазоне, и несколько подвижных светофильтров, располагаемых между осветителем и наблюдаемой областью, для подачи непрерывного во времени синего/зеленого света и прерывистых во времени красного света и света ближней ИК-области спектра.
В другом варианте источник света может включать осветитель, излучающий по существу с постоянной интенсивностью видимый свет и свет ближней ИК-области спектра в непрерывном спектральном диапазоне, первое дихроичное средство для разделения видимого света и света ближней ИК-области спектра на синий/зеленый свет с одной стороны и красный свет и свет ближней ИК-области спектра с другой стороны, прерыватель для преобразования выделенного красного света и света ближней ИК-области спектра в прерывистый во времени красный свет и прерывистый во времени свет ближней ИК-области спектра, и второе дихроичное средство для суммирования синего/зеленого света с прерывистым во времени красным светом и прерывистым во времени светом ближней ИК-области спектра для передачи к наблюдаемой области.
Еще в одном варианте источник света может включать первый осветитель, излучающий зеленый и синий свет с постоянной интенсивностью, второй осветитель, генерирующий переключаемый красный свет, третий осветитель, генерирующий переключаемый свет возбуждения в ближней ИК-области спектра, и дихроичное средство для суммирования переключаемого красного света и переключаемого света возбуждения в ближней ИК-области спектра с зеленым и синим светом для передачи к наблюдаемой области. Переключаемый красный свет и свет ближней ИК-области спектра можно получать, прерывая световой пучок непрерывной интенсивности посредством шторки или прерывателя. В альтернативном варианте переключаемый красный свет и свет ближней ИК-области спектра можно получить посредством электрического включения и выключения второго осветителя и третьего осветителя.
Формирователи сигналов изображения могут использовать чересстрочную развертку или прогрессивную развертку.
Система визуализации может представлять собой эндоскоп.
Краткое описание чертежей
Следующие чертежи представляют ряд иллюстративных вариантов настоящего изобретения, которые следует рассматривать исключительно в качестве иллюстраций, но никоим образом не ограничений для настоящего изобретения.
Фиг.1 показывает эндоскопическую систему визуализации согласно одному из вариантов настоящего изобретения;
фиг.2a-2d показывают различные примеры источника света с несколькими режимами работы для использования в эндоскопической системе, изображенной на фиг.1;
фиг.3а показывает пример дихроичной призмы, используемой в цветной видеокамере с тремя формирователями сигналов изображения;
фиг.3b показывает диапазоны оптической прозрачности для спектральных составляющих, разделенных дихроичной призмой, изображенной на фиг.3а;
фиг.3с показывает диапазон оптической прозрачности режекторного фильтра, не пропускающего свет возбуждения в видеокамеру;
фиг.4 показывает временную диаграмму первого варианта для непрерывного освещения синим/зеленым светом и поочередного освещения красным светом/светом ближней ИК-области спектра;
Фиг.5 показывает временную диаграмму второго варианта для непрерывного освещения синим/зеленым светом и поочередного освещения красным светом/светом ближней ИК-области спектра;
Фиг.6 показывает временную диаграмму третьего варианта для непрерывного освещения синим/зеленым светом/светом ближней ИК-области спектра и поочередного освещения красным светом; и
фиг.7 показывает пример КМОП-формирователя сигналов изображения с расположенными один над другим слоями для получения изображения и с соответствующей спектральной чувствительностью этих слоев.
Осуществление изобретения
Цветные видеоизображения обычно получают с использованием цветных видеокамер с тремя формирователями сигналов изображения, где отдельные формирователи сигналов изображения для красного, зеленого и синего цветов генерируют одновременные смежные массивы информации красных, зеленых и синих пикселов. Полноцветные изображения получают путем сложения данных по изображению от всех трех формирователей сигналов изображения. Точность цветовоспроизведения (т.е. истинность цветопередачи) исключительно важна для визуализации в медицине, так что для получения полной цветовой информации используют все три формирователя.
Однако для понимания относительной важности цветовой и пространственной информации в видеоизображениях человеческих тканей полезно рассматривать информацию в таких видеоизображениях в терминах яркости и цветности. Термин «яркость» относится к информации яркости изображения, и это та информация, которая передает пространственные подробности, позволяющие зрителю распознавать форму. Следовательно, пространственное и временное разрешение яркости имеет принципиальное значение для восприятия качества видеоизображения. Термин «цветность» относится к цветовой информации в видеоизображении. Особенность человеческого зрения состоит в том, что тонкие детальные вариации цвета элементов изображения нелегко воспринимаются и потому являются менее критичными для общей оценки качества изображения, чем тонкие детальные вариации яркости. По этой причине видеокодирование цветности часто осуществляется с пониженной частотой дискретизации.
В видеоизображениях человеческих тканей, получаемых в видимом свете, детали структуры тканей сосредоточены главным образом в областях синей и зеленой длин волн. Синий и зеленый свет имеет тенденцию отражаться от поверхности ткани, тогда как красный свет имеет тенденцию к сильному рассеянию внутри ткани. Вследствие этого очень незначительное число тонких деталей структуры в красных световых лучах достигает формирователя сигналов изображения красного цвета. Из науки о цвете известно также, что человеческое зрение получает наибольшую часть пространственной информации из зеленой части видимого спектра - т.е. вклад информации зеленого света непропорционален яркости. Стандартная формула вычисления яркости на основе цветовых составляющих после гамма-коррекции выглядит так Y′=0,2126 R′+0,7152 G′+0,0722 В′. По этой причине пространственная и/или временная интерполяция красной составляющей видеоизображений человеческих тканей не оказывает существенного влияния на восприятие тонких деталей этих изображений.
Аналогично красному свету излучение ближней ИК-области спектра тоже имеет тенденцию к рассеянию в тканях, вследствие чего элементы изображений в ближней ИК-области спектра оказываются размытыми, а не резкими. Более того, поскольку изображение в ближней ИК-области спектра выделяет интересующие области (т.е. области, где локализовано контрастное вещество), но не предоставляет общей визуализационной или навигационной информации, желательно, чтобы эндоскопическое устройство визуализации, использующее ближнюю ИК-область спектра, представляло непрерывное цветное изображение и либо наложенное на него, либо расположенное бок о бок с ним отображение информации в ближней ИК-области спектра. При этом отображение излучения ближней ИК-области спектра также будет вносить меньший вклад в пространственную информацию, представляемую наблюдателю.
Фиг.1 схематично показывает пример варианта эндоскопической системы 10 визуализации в ближней ИК-области спектра, включающей источник 11 света с несколькими режимами работы, создающий освещенность в видимой области спектра и в ближней ИК-области спектра и соединенный с эндоскопом 12 посредством осветительного световода, например волоконно-оптического кабеля 17, подходящего для передачи цветного освещения и освещения светом ближней ИК-области спектра, цветную видеокамеру 13, показанную здесь как имеющую три разных формирователя 34, 36, 38 сигналов изображения (см. фиг.3а) для получения синего, зеленого и красного/ближнего инфракрасного изображений соответственно и установленную на световоде изображения эндоскопа, и контроллер 14 видеокамеры, соединенный с видеокамерой 13 и с источником 11 света для управления и синхронизации освещения и получения изображения. Контроллер 14 может также обрабатывать получаемые изображения в видимой области спектра и в ближней ИК-области спектра для отображения на мониторе 15, соединенном с контроллером 14 посредством, например, кабеля 19. Изображения можно получать в реальном времени с выбираемой частотой кадров, такой как частота видеокадров.
Фиг.2a-2d схематично показывают примеры различных вариантов источников 11 света. Показанные источники света сконструированы для создания в нормальном режиме получения цветного изображения видимого освещения по существу с непрерывным спектральным распределением. Такой источник света может представлять собой дуговую разрядную лампу, галогеновую лампу, один или несколько твердотельных источников света (например, светодиодов LED, полупроводниковых лазеров) или любое их сочетание и может использовать спектральную фильтрацию или формирование спектра (например, с применением полосно-пропускающих фильтров, инфракрасных фильтров и т.п.). Непрерывный спектр можно получить посредством излучения основных цветов (красного, зеленого и синего (RGB)) одновременно или последовательно, например с использованием вращающегося диска со светофильтрами.
В системах согласно настоящему изобретению источники света, применяемые совместно с такими системами и подробно описанные ниже, конфигурированы для создания непрерывного освещения в синей и зеленой частях видимого спектра и прерывистого освещения красным светом и/или светом ближней ИК-области спектра. Излучение синей и зеленой частей видимого спектра можно выделять посредством светофильтров из непрерывного излучения источника света, либо получать непосредственно от узкополосного источника (например, синих и зеленых светодиодов LED). Красный свет и свет ближней ИК-области спектра можно также получать посредством дуговой разрядной лампы, галогеновой лампы, твердотельного источника (например, светодиодов LED или лазеров красной или ближней инфракрасной областей спектра) или каких-либо их сочетаний.
Показанный на фиг.2а один из вариантов источника 11а света включает осветитель 202, излучающий видимый свет и свет ближней ИК-области спектра, коллиматорную линзу 204, а также диск со светофильтрами или совершающий возвратно-поступательное перемещение держатель 208 светофильтров, поочередно пропускающих красный свет или свет ближней ИК-области спектра и непрерывно пропускающий зеленый и синий свет. В альтернативном варианте можно использовать электрооптический или акустооптический фильтр. Линза 206 фокусирует фильтрованный свет на световоде 17.
Другой вариант источника 11b света схематично изображен на фиг.2b. Этот источник 11b света включает осветитель 202, излучающий видимый свет и свет ближней ИК-области спектра, и коллиматорную линзу 204. Дихроичное зеркало 212 пропускает зеленый/синий свет и отражает красный свет/свет ближней ИК-области спектра на другое дихроичное зеркало 214, которое пропускает свет ближней ИК-области спектра на зеркало 215 для света ближней ИК-области спектра и отражает красный свет или наоборот. Зеленый/синий свет может быть затем пропущен через полосно-пропускающий фильтр 213. Отраженные красный свет и свет ближней ИК-области спектра прерывают посредством, например, дисковых прерывателей 219а, 219b (которые могут быть выполнены в виде одного дискового прерывателя) для получения прерывистого во времени светового потока, который затем отражают зеркалами 216, 217 и объединяют с зеленым/синим светом посредством дихроичного зеркала 218. Объединенный световой поток далее фокусируют посредством линзы 206 на световоде 17, как и ранее.
В другом варианте источника 11 с света, схематично показанном на фиг.2с, осветитель 202а генерирует излучение зеленого и синего света, коллимируемое посредством коллиматорной линзы 204а. Аналогично, отдельные осветители 202b, 202с генерируют соответственно излучение красного света и света ближней ИК-области спектра, коллимируемое посредством соответствующих коллиматорных линз 204b и 204с. Как и в варианте на фиг.2b, красный свет и свет ближней ИК-области спектра прерывают посредством, например, дисковых прерывателей 219а, 219b (которые могут быть выполнены в виде одного дискового прерывателя) для получения прерывистого во времени светового потока, который затем объединяют с зеленым/синим светом посредством дихроичных зеркал 222, 228. Объединенный световой поток далее фокусируют посредством линзы 206 на световоде 17, как и ранее.
Еще в одном варианте источника 11d света, схематично показанного на фиг.2d, осветитель 202а генерирует излучение зеленого и синего света, коллимируемое посредством коллиматорной линзы 204а, как и ранее. Однако, в отличие от варианта, показанного на фиг.2с, отдельные осветители 202d, 202e здесь переключают электрически для получения излучения красного света и света ближней ИК-области спектра с управляемыми временными характеристиками. Например, источники 202d, 202e красного света и света ближней ИК-области спектра могут быть твердотельными источниками света, такими как светодиоды LED или полупроводниковые лазеры, которые можно быстро включать и выключать посредством подходящих, предпочтительно электронных, ключей. Как описано выше применительно к фиг.2с, красное излучение и излучение ближней ИК-области спектра коллимируют посредством соответствующих коллиматорных линз 204b и 204с и затем объединяют с зеленым/синим светом посредством дихроичных зеркал 222, 228. Объединенный световой поток далее фокусируют посредством линзы 206 на световоде 17, как и ранее.
Чередующееся освещение красным светом и светом ближней ИК-области спектра синхронизируют с получением изображения посредством видеокамеры с тремя формирователями сигналов изображения, так что видеокамера получает красное изображение и изображение ближней ИК-области спектра синхронно с освещением красным светом и светом ближней ИК-области спектра в эндоскопе.
На фиг.3а более подробно показана видеокамера 13 с тремя формирователями сигналов изображения, представленная на фиг.1, в частности здесь использован оптический расщепитель луча для направления красного/ближнего инфракрасного, зеленого и синего света на три разных формирователя 34, 36 и 38, соответственно, сигналов изображения. Для приложений с люминесценцией в лучах ближней ИК-области спектра видеокамера предпочтительно включает также светофильтр 32 для блокирования диапазона длин волн возбуждения. Расщепитель луча может быть выполнен, например, из нескольких дихроичных призм, кубических расщепителей, пластинчатых расщепителей или пленочных расщепителей. На фиг.3b показан спектральный состав света, поступающего от эндоскопа согласно фиг.3а. На фиг.3с показан спектральный состав света, прошедшего сквозь светофильтр 32 для блокирования диапазона длин волн возбуждения, реализованный в виде режекторного фильтра 31, блокирующего прохождение излучения возбуждения, но пропускающего излучение с другими длинами волн в видимой области и в ближней ИК-области спектра. Характеристика передачи этого фильтра 32 может быть рассчитана таким образом, чтобы блокировать нежелательные составляющие в ближней ИК-области спектра, способные интерферировать с излучением видимой области спектра, что может вызвать деградацию цветного изображения.
На фиг.4 показана временная диаграмма примера первого варианта реализации режима с одновременным получением и представлением цветного изображения и изображения в ближней ИК-области спектра с использованием, например, видеокамеры с тремя формирователями сигналов изображения. В этом варианте формирователи сигналов изображения в составе видеокамеры используют формат получения с чересстрочной разверткой, являющийся предпочтительным сочетанием пространственного и временного разрешения для плавного представления движения. В этом варианте может быть использован любой из источников света, показанных на фиг.2а-2d. Такой источник света создает непрерывное синее/зеленое освещение и чередующееся освещение красным светом/светом ближней ИК-области спектра. Формирователи сигналов изображения поочередно экспонируют светом полукадров, а именно первого поля (полукадра), содержащего четные строки развертки, поочередно со вторым полем (полукадром), содержащим нечетные строки развертки. На временной диаграмме фиг.4 показана полная частота кадров 30 к/с, причем в течение одного периода поля (16,7 мс) используют освещение светом ближней ИК-области спектра, после чего в течение двух периодов поля (33,3 мс) освещают красным светом. Иначе говоря, образец или ткань освещают излучением в полном цветовом спектре (RGB) в течение двух периодов полей (33,3 мс) и затем сочетанием зеленого света, синего света и света ближней ИК-области спектра в течение третьего периода поля. Для реконструкции полноцветного изображения в видимой области спектра потерянную информацию красного света восстанавливают посредством интерполяции между двумя полями, соседними с полем, соответствующим облучению светом ближней ИК-области спектра. Информация синего и зеленого изображения имеется всегда, что обеспечивает получение оптимальной и непрерывной яркостной информации. Изображение в ближней ИК-области спектра генерируют на основе каждого шестого поля в каждом полукадре, где утерянные строки восстанавливают посредством пространственной интерполяции. При представлении на дисплее полей люминесценции изображение обновляют через каждые три поля, причем представляемое изображение получают с применением интерполяции между четными и нечетными строками развертки.
На всех чертежах термин "IR" (инфракрасный) используют вместо или взаимозаменяемо с термином "NIR" (ближняя инфракрасная (ИК) область).
После обработки данных цветного изображения и изображения в ближней ИК-области спектра передают сигнал видеомонитору, где изображение может быть представлено в виде двух раздельных одновременных картинок (одно цветное изображение и одно изображение люминесценции) или в виде наложения сигналов цветного изображения и изображения люминесценции (например, путем назначения сигналу, представляющему изображение люминесценции, цвета, контрастирующего с естественными цветами тканей).
На фиг.5 показана временная диаграмма примера второго варианта реализации режима с одновременным получением и представлением цветного изображения и изображения в ближней ИК-области спектра. В этом варианте формирователи сигналов изображения в составе видеокамеры используют формат получения изображения с прогрессивной разверткой, когда полный кадр (зеленый/синий/красный (G/B/R) поочередно с зеленый/синий/ближний ИК (G/B/NIR)) получают в течение каждого периода поля. В этом варианте может быть использован любой из источников света, показанный на фиг.2а-2d. Источник света создает непрерывное синее/зеленое освещение и чередующееся красное освещение/освещение в ближней ИК-области спектра. На временной диаграмме, показанной на фиг.5, в течение одного периода поля (16,7 мс) освещают светом ближней ИК-области спектра, после чего в течение одного периода поля (16,7 мс) освещают красным светом. Иначе говоря, образец или ткань освещают излучением в полном цветовом спектре (RGB) в течение одного периода поля (16,7 мс) и затем сочетанием зеленого света, синего света и света ближней ИК-области спектра в течение третьего периода поля. В этом случае полноцветное изображение в видимой области спектра доступно в каждом пикселе в каждом втором кадре. В этих чередующихся кадрах информацию синего и зеленого цвета получают непосредственно, тогда как информацию красного цвета получают путем интерполяции между соседними кадрами. В отличие от варианта, показанного на фиг.4, пространственная интерполяция здесь не требуется. Дальнейшая обработка изображения и представление его на дисплее могут быть реализованы способом, аналогичным способу, описанному в предыдущих вариантах.
На фиг.6 показана временная диаграмма примера третьего варианта, когда зеленое/синее освещение и освещение светом ближней ИК-области спектра являются непрерывными, а модулируют только красное освещение. Аналогично варианту, изображенному на фиг.4, формирователи сигналов изображения поочередно экспонируют светом полукадров, а именно первого поля (полукадра), содержащего четные строки развертки, поочередно со вторым полем (полукадром), содержащим нечетные строки развертки. На временной диаграмме фиг.6 показана полная частота кадров 30 к/с, причем в течение одного периода поля (16,7 мс) используют освещение светом ближней ИК-области спектра и зеленое/синее освещение (NIR+GB) (красное освещение выключено), после чего в течение двух периодов поля (33,3 мс) используют освещение светом ближней ИК-области спектра и красное/зеленое/синее освещение (NIR+RGB). Если сигнал ближней ИК-области спектра слаб по сравнению с отраженным сигналом красного света, он не окажет существенного влияния на полное изображение в видимой области спектра (RGB), так что цветное изображение можно создать посредством обычной обработки цветного изображения без коррекции. В противном случае вклад сигнала ближней ИК-области спектра, получаемый в канале красного изображения, когда красное освещение выключено, можно вычесть из данных изображения в ближней ИК-области спектра и красной области спектра (NIR+R) посредством пространственной и временной интерполяции для получения сигнала красного изображения, как показано в строках со второй по последнюю на временной диаграмме фиг.6. В альтернативном варианте можно использовать формирователи сигналов изображения с получением в формате прогрессивной развертки аналогично тому, что показано на фиг.5, и получать полноцветное видимое (RGB) изображение и сочетания этого изображения с изображением в ближней ИК-области спектра (RGB+IR) в чередующихся кадрах.
В примере еще одного варианта (на чертежах не показан) зеленое/синее освещение является непрерывным, а модулируют освещение светом ближней ИК-области спектра. Такой способ синхронизации может быть лучше всего применен, когда сигналы красного изображения и сигналы изображения в ближней ИК-области спектра имеют примерно одинаковую величину. В этом варианте источник света создает непрерывное освещение в полном видимом спектре и прерывистое освещение светом ближней ИК-области. Временная диаграмма в этом случае по существу такая же, как и на фиг.6, но освещение светом ближней ИК-области спектра и красное освещение следует поменять местами. Прерывистое освещение светом ближней ИК-области спектра синхронизировано таким образом, чтобы совпадать с каждым третьим полем в видеокамерах с чересстрочной разверткой или с каждым вторым полем в видеокамерах с прогрессивной разверткой. Для каждого поля, где присутствует освещение светом ближней ИК-области спектра, формирователь сигналов красного изображения получает суммарный сигнал красного изображения и изображения в ближней ИК-области спектра (R+NIR). Сигнал изображения в ближней ИК-области спектра можно извлечь из суммарного сигнала красного изображения и изображения в ближней ИК-области спектра (R+NIR) посредством интерполяции величины красного сигнала на основе соответствующих предшествующего и последующего полей «только красного» изображения и затем вычитания полученного сигнала красного изображения из суммарного сигнала красного изображения и изображения в ближней ИК-области спектра (R+NIR). Поскольку сигналы красного изображения и изображения в ближней ИК-области спектра имеют похожие величины, такие интерполяция и вычитание дают величину сигнала изображения в ближней ИК-области спектра с разумной точностью. Цветное изображение обрабатывают с использованием полученных в результате получения и интерполированных сигнала красного изображения в сочетании с сигналами синего и зеленого изображений. Полученная в результате информация цветного изображения в видимой области спектра и информация изображения в ближней ИК-области спектра могут быть затем представлены на дисплее или записаны, как описано ранее.
В любом из перечисленных выше вариантов эндоскопическая система визуализации с использованием изображения в ближней ИК-области спектра может также работать таким образом, что источник света непрерывно освещает либо светом полной видимой области спектра, либо светом ближней ИК-области спектра, а видеокамера получает соответствующее цветное изображение в видимой области спектра или изображение в ближней ИК-области спектра (поглощение или люминесценция) непрерывным образом для достижения высокого пространственного разрешения. Результирующее видеоизображение в любом режиме индивидуального освещения/визуализации - цветное в видимой области спектра или в ближней ИК-области спектра, может быть дальнейшем представлено на дисплее и/или записано.
Реализуя визуализацию цветного изображения и изображения в ближней ИК-области спектра, как описано в приведенных выше вариантах, можно получить и представить на дисплее полноцветное изображение в видимой области спектра и изображение в ближней ИК-области спектра с частотой видео без ущерба для разрешения изображения и/или внесения нежелательных артефактов, обусловленных движением. Более того, если появится какая-либо остаточная цветная окантовка вследствие быстрого перемещения резких кромок через поле зрения (например, при прерывистом получении красного изображения или изображения в ближней ИК-области спектра), эти относительно незначительные эффекты можно будет ослабить посредством временной интерполяции потерянных (красного/ближнего инфракрасного) видеополей при минимальных затратах времени на дополнительную обработку.
Хотя настоящее изобретение было описано в связи с предпочтительными вариантами, показанными и описанными подробно, специалистам в этой области будут очевидны его разнообразные модификации и усовершенствования. Например, вместо использования отдельных формирователей сигналов изображения для получения зеленого/синего (G/B) изображения и красного/ближнего инфракрасного (R/NIR) изображения, либо одного цветного формирователя сигналов изображения для получения изображений основных цветов (RGB) и изображений люминесценции в лучах ближней ИК-области спектра, можно использовать один формирователь сигналов изображения с получением трех основных цветов (RGB), реализованный с многослойным расположением пикселов по КМОП-технологии и продаваемый, например, фирмой Foveon, Inc., San Jose, CA. Такой формирователь сигналов изображения схематично изображен на фиг.7. Следует понимать, что такая конструкция формирователя сигналов изображения может быть расширена до четырех цветов путем добавления слоя, чувствительного к свету ближней ИК-области спектра. Таким образом, изображения красного, зеленого и синего цвета и изображение в ближней ИК-области спектра получают в формирователе сигналов изображения на различных глубинах. При использовании 4-слойного формирователя сигналов изображения мультиплексирование освещения красной области и ближней ИК-области спектра станет ненужным. Однако в случае 3-слойного формирователя сигналов изображения красное освещение и освещение в ближней ИК-области спектра по-прежнему придется мультиплексировать, как было описано выше для обычной видеокамеры с тремя формирователями сигналов изображения. В приложениях, где визуализируют изображение люминесценции, потребуется также подходящий барьерный светофильтр для блокирования излучения возбуждения в ближней ИК-области спектра.
Хотя настоящее изобретение было проиллюстрировано и описано в связи предпочтительными на текущий момент вариантами, показанными и описанными подробно, оно не должно быть ограничено приведенными подробностями, поскольку могут быть сделаны разнообразные модификации и структурные изменения, не выходя никоим образом за пределы духа и объема настоящего изобретения. Рассмотренные варианты были выбраны и описаны с целью разъяснения принципов настоящего изобретения и его практического применения, что позволяет специалисту в данной области наилучшим образом использовать настоящее изобретение и различные варианты с разнообразными модификациями, приспособленными для предполагаемого конкретного использования.
Новые признаки, которые желательно защитить посредством патента на изобретение, сформулированы в прилагаемой формуле изобретения и включают эквиваленты описываемых здесь элементов.
1. Способ получения изображения в ближней ИК-области спектра и полноцветного изображения, содержащий этапы, на которых:
непрерывно освещают наблюдаемую область синим/зеленым светом,
освещают наблюдаемую область красным светом и светом ближней ИК-области спектра, при этом красный свет и/или свет ближней ИК-области спектра периодически включают и выключают,
направляют синий отраженный свет, зеленый отраженный свет, а также суммарный красный отраженный свет и люминесцентное излучение в ближней ИК-области спектра на один или более формирователей сигналов изображения, выполненных с возможностью раздельного измерения отраженного синего света, отраженного зеленого света и суммарного отраженного красного света и люминесцентного излучения в ближней ИК-области спектра, при этом измеряют отраженный красный свет и люминесцентное излучение в ближней ИК-области спектра синхронно с переключением красного света и света ближней ИК-области спектра,
определяют по отдельности спектральную составляющую отраженного красного света и спектральную составляющую люминесцентного излучения в ближней ИК-области спектра на основе сигналов изображения суммарного отраженного красного света и люминесцентного излучения в ближней ИК-области спектра,
выводят на экран полноцветное изображение наблюдаемой области на основе синего отраженного света, зеленого отраженного света и отдельно определенной спектральной составляющей красного света, и
выводят на экран изображение в ближней ИК-области спектра на основе спектральной составляющей люминесцентного излучения в ближней ИК-области спектра.
2. Способ по п.1, в котором наблюдаемую область поочередно освещают красным светом и светом ближней ИК-области спектра.
3. Способ по п.2, в котором продолжительность освещения красным светом отличается от продолжительности освещения светом ближней ИК-области спектра.
4. Способ по п.3, в котором продолжительность освещения красным светом больше продолжительности освещения светом ближней ИК-области спектра.
5. Способ по п.2, в котором продолжительность освещения красным светом по существу идентична продолжительности освещения светом ближней ИК-области спектра.
6. Способ по п.1, в котором наблюдаемую область непрерывно освещают красным светом и периодически освещают светом ближней ИК-области спектра.
7. Способ по п.1, в котором наблюдаемую область непрерывно освещают светом ближней ИК-области спектра и периодически освещают красным светом.
8. Способ по п.1, в котором красный свет и/или свет ближней ИК-области спектра переключают с частотой видеокадров.
9. Способ по п.2, в котором поля изображения, в которых отсутствует спектральная составляющая отраженного красного света или спектральная составляющая люминесцентного излучения в ближней ИК-области спектра, интерполируют на основе соседствующих по времени полей изображения, включающих соответствующую спектральную составляющую отраженного красного света или спектральную составляющую люминесцентного излучения в ближней ИК-области спектра.
10. Способ по п.7, в котором спектральную составляющую света ближней ИК-области спектра, полученную в отсутствие освещения красным светом, вычитают из суммарного отраженного красного света и люминесцентного излучения в ближней ИК-области спектра для получения отдельной спектральной составляющей отраженного красного света.
11. Способ по п.1, в котором пространственную информацию о наблюдаемой области получают главным образом на основе отраженного синего света и отраженного зеленого света.
12. Система визуализации для получения изображений в ближней ИК-области спектра и полноцветных изображений, содержащая:
источник света для освещения наблюдаемой области видимым светом и светом ближней ИК-области спектра,
видеокамеру, содержащую один или более формирователей сигналов изображения, выполненных с возможностью измерения по отдельности отраженного синего света, отраженного зеленого света и суммарного отраженного красного света и люминесцентного излучения в ближней ИК-области спектра, возвращающихся от наблюдаемой области,
контроллер, выполненный с возможностью осуществления связи с источником света и с видеокамерой для непрерывного освещения наблюдаемой области синим/зеленым светом, освещения наблюдаемой области красным светом и светом ближней ИК-области спектра, при этом красный свет и/или свет ближней ИК-области спектра периодически включается и выключается, и
определения по отдельности спектральной составляющей отраженного красного света и спектральной составляющей люминесцентного излучения в ближней ИК-области спектра на основе суммарного отраженного красного света и люминесцентного излучения в ближней ИК-области спектра синхронно с переключением красного света и света ближней ИК-области спектра, и
дисплей, выполненный с возможностью принимать сигналы изображения, соответствующие отраженному синему свету, отраженному зеленому свету и отдельно определенной спектральной составляющей отраженного красного света, и воспроизводить на их основе полноцветное изображение наблюдаемой области, при этом дисплей дополнительно выполнен с возможностью принимать отдельно определенную спектральную составляющую люминесцентного излучения в ближней ИК-области спектра и воспроизводить на ее основе изображение наблюдаемой области в ближней ИК-области спектра.
13. Система визуализации по п.12, в которой наблюдаемая область поочередно освещается красным светом и светом ближней ИК-области спектра.
14. Система визуализации по п.12, в которой источник света содержит
осветитель, выполненный с возможностью излучения видимого света и света ближней ИК-области спектра по существу постоянной интенсивности в непрерывном спектральном диапазоне, и
несколько светофильтров, расположенных между осветителем и наблюдаемой областью, для пропускания непрерывного во времени синего/зеленого света и прерывистого во времени красного света и прерывистого во времени света ближней ИК-области спектра.
15. Система визуализации по п.12, в которой источник света содержит
осветитель, выполненный с возможностью излучения видимого света и света ближней ИК-области спектра по существу постоянной интенсивности в непрерывном спектральном диапазоне,
первое дихроичное средство для разделения видимого света и света ближней ИК-области спектра на синий/зеленый и красный свет и свет ближней ИК-области спектра,
прерыватель для преобразования выделенного красного света и выделенного света ближней ИК-области спектра в прерывистый во времени красный свет и прерывистый во времени свет ближней ИК-области спектра, и
второе дихроичное средство для суммирования синего/зеленого света, прерывистого во времени красного света и прерывистого во времени света ближней ИК-области спектра для передачи на наблюдаемую область.
16. Система визуализации по п.12, в которой источник света содержит
первый осветитель, выполненный с возможностью излучения зеленого и синего света по существу постоянной интенсивности,
второй осветитель, выполненный с возможностью получения переключаемого красного света,
третий осветитель, выполненный с возможностью получения переключаемого света ближней ИК-области спектра, и
дихроичное средство для суммирования переключаемого красного света и переключаемого света ближней ИК-области спектра с зеленым и синим светом для передачи на наблюдаемую область.
17. Система визуализации по п.16, в которой переключаемый красный свет и переключаемый свет ближней ИК-области спектра получены путем прерывания светового пучка постоянной интенсивности красного света и света ближней ИК-области спектра посредством шторки или прерывателя.
18. Система визуализации по п.16, в которой переключаемый красный свет и переключаемый свет ближней ИК-области спектра получены путем электрического включения и выключения второго осветителя и третьего осветителя.
19. Система визуализации по п.12, в которой формирователи сигналов изображения используют чересстрочную развертку.
20. Система визуализации по п.12, в которой формирователи сигналов изображения используют прогрессивную развертку.
21. Система визуализации по п.12, содержащая дополнительно блок дихроичных призм, спектрально разделяющий отраженный синий свет, отраженный зеленый свет и суммарный отраженный красный свет и люминесцентное излучение в ближней ИК-области спектра, возвращающиеся от наблюдаемой области, и направляющий разделенный свет на разные выходные грани блока дихроичных призм, при этом указанный один или более формирователь сигналов изображения содержит три формирователя сигналов изображения, каждый из которых установлен на своей, отличной от других выходной грани.
22. Система визуализации по п.12, в которой указанный один или более формирователь сигналов изображения содержит один формирователь сигналов изображения, имеющий пикселы, причем каждый пиксел реагирует на возвращающийся от наблюдаемой области отраженный синий свет, или отраженный зеленый свет, или суммарный отраженный красный свет и люминесцентное излучение в ближней ИК-области спектра.
23. Система визуализации по п.22, в которой указанный один формирователь сигналов изображения содержит мозаичную матрицу светофильтров синего/зеленого/красного-ближнего инфракрасного цветов, расположенную перед пикселами формирователя сигналов изображения.
24. Система визуализации по п.12, в которой указанный один или более формирователь сигналов изображения содержит один формирователь сигналов изображения, имеющий ряд расположенных один на другом слоев, причем каждый слой имеет пикселы, реагирующие на возвращающийся от наблюдаемой области отраженный синий свет, или отраженный зеленый свет, или суммарный отраженный красный свет и люминесцентное излучение в ближней ИК-области спектра.
25. Система визуализации по п.12, характеризующаяся тем, что выполнена в виде эндоскопа.
