Выравнивание упорядоченного стека изображений образца

Изобретение относится к области техники выравнивания упорядоченного стека изображений разрезанного образца. Техническим результатом является повышение точности выравнивания каждого изображения образца, разделенного на части. В соответствии с настоящим способом и устройством, упорядоченный стек изображений выравнивается посредством последовательного определения, по меньшей мере, для двух уже выровненных изображений упорядоченного стека соответствующих рассогласований с невыровненным изображением, которое должно быть выровнено следующим, выбора, по меньшей мере, из двух выровненных изображений, в качестве опорного изображения, выровненного изображения, с которым невыровненное изображение имеет наименьшую величину рассогласования, и выравнивания невыровненного изображения с выбранным опорным изображением. 3 н. и 11 з.п. ф-лы, 3 ил.

 

2420-183949RU/035

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к области техники выравнивания упорядоченного стека изображений образца и более конкретно к способу и устройству для выравнивания упорядоченного стека изображений образца, разделенного на части.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Образцы разделяются на части и отображаются в целях анализа, а также обучения. При использовании стека изображений, которые описывают образец, разделенный на части, можно создавать искусственные представления этого образца для анализа структуры и анатомии образца. После нарезки образца в лаборатории, например, из парафинового блока теряется общая система координат образца, разделенного на части, что приводит к рассогласованию в изображениях стека. Этот изъян влечет за собой линейные и угловые расхождения между изображениями стека. Другой источник рассогласования может происходить из подготовки среза, которая основана на этапах, выполняемых вручную. Может происходить линейное смещение, изменение масштаба и растяжение. Кроме того, могут быть обнаружены такие деформации, как растянутая ткань, нарушенная ткань и отсутствующая ткань.

Для выравнивания гистологических срезов образца в цифровом представлении то есть, после отображения, требуется нейтрализовать результаты процесса деформации, а также изъян общей системы координат. Типичным решением для выравнивания является добавление маркеров в виде искусственных проверочных точек в блоке образца во время подготовки, например, посредством помещения маркеров в парафин, которые обнаруживаются после отображения. Затем позиции этих маркеров могут быть использованы для вычисления параметров преобразования. Однако такие дополнительные маркеры влекут за собой дополнительный этап подготовки. Кроме того, объем памяти для хранения изображений после преобразования в цифровую форму увеличивается в связи с тем, что отображается дополнительная область для захвата маркеров, которые добавляются к реальному образцу. Следовательно, желательно выровнять упорядоченный стек изображений без использования дополнительных маркеров в блоке образца.

В статье "Компьютерное выравнивание и реконструкция последовательных сечений", Джон К. Фиэла и Кирстен М. Харрис, Бостонский Университет, журнал Микроскопия и анализ, страницы 5-7, январь 2002, описывается способ выравнивания последовательности изображений без необходимости добавления дополнительных маркеров в блок образца. Для выравнивания изображения преобразуются посредством вычисления из ряда точечных соответствий, введенных пользователем. Для выравнивания последовательности изображений процесс выравнивания повторяется, причем изображение, которое должно быть выровнено следующим, выравнивается с изображением, выровненным непосредственно перед ним.

Дополнительно к вышеупомянутой ссылке, дополнительные ссылки упоминаются в следующих абзацах:

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Однако без использования дополнительных маркеров в блоке образца различные локальные деформации, такие как отсутствующая и нарушенная ткани, делают сложным надежное выравнивание каждого изображения образца, разделенного на части.

Учитывая большой размер изображений патологической анатомии, как правило, 64 тыс.×64 тыс. пикселов, для автоматизированного выравнивания становятся критическими требования по вычислениям. Следовательно, очень желательны быстрые процедуры выравнивания, которые упрощают требования по вычислениям.

Предпочтительно достигнуть способа выравнивания упорядоченного стека изображений образца и достигнуть устройства выравнивания, которые позволяют надежное выравнивание упорядоченного стека изображений и которые могут позволить быстрое выравнивание с низкими требованиями по вычислениям.

Для лучшего устранения одной или более из этих проблем в первом аспекте изобретения представлен способ выравнивания упорядоченного стека изображений образца, содержащий последовательные этапы: a) определения, по меньшей мере, для двух уже выровненных изображений упорядоченного стека соответствующих рассогласований с невыровненным изображением, которое должно быть выровнено следующим в упорядоченном стеке; b) выбора в качестве опорного изображения, по меньшей мере, из двух выровненных изображений выровненного изображения, имеющего наименьшую величину рассогласований с невыровненным; и c) выравнивания невыровненного изображения относительно выбранного опорного изображения.

Для дальнейшего устранения одной или более из этих проблем во втором аспекте настоящего изобретения представлено устройство для выравнивания упорядоченного стека изображений образца, содержащее следующие устройства: блок определения для определения, по меньшей мере, для двух уже выровненных изображений упорядоченного стека соответствующих рассогласований с невыровненным изображением, которое должно быть выровнено в упорядоченном стеке следующим; блок выбора для выбора, по меньшей мере, из двух выровненных изображений, в качестве опорного изображения, выровненного изображения, которое имеет наименьшую величину рассогласований с невыровненным изображением; и блок выравнивания для выравнивания невыровненного изображения с выбранным опорным изображением.

Определение, по меньшей мере, двух рассогласований для каждого изображения, которые должны быть выровнены, может обеспечивать надежный способ выравнивания. Выбор в качестве опорного изображения для выравнивания выровненного изображения, обеспечивающего наименьшую величину рассогласований, также может гарантировать надежный способ выравнивания. Одно лишь выравнивание невыровненного изображения с выбранным опорным изображением, что подразумевает исключительно одно затратное в вычислительном отношении преобразование из невыровненного изображения в выровненное изображение, может обеспечить упрощенные требования по вычислениям и, дополнительно, может позволить быстрое выравнивание.

В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующие рассогласования определяются посредством оценки движения так, чтобы каждое рассогласование описывалось посредством области оценочного смещения. Это может позволить быстрое определение соответствующих рассогласований и достигнуть упрощенных требований по вычислениям.

В соответствии, по меньшей мере, с одним вариантом осуществления, область смещения включает в себя, по меньшей мере, один вектор смещения, описывающий то, как сдвинуть пиксели в изображении, которое должно быть выровнено, для выравнивания этого изображения с выбранным опорным изображением. Также это может позволить быстрое определение соответствующих рассогласований и достигнуть упрощенных требований вычислительных ресурсов.

В соответствии, по меньшей мере, с одним вариантом осуществления, выровненные изображения и невыровненное изображение, которое должно быть выровнено следующим, разделяются на блоки, и соответствующие области смещения получаются посредством алгоритма поблочного сравнения. Это может дополнительно повысить надежность выравнивания.

В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующая величина рассогласований вычисляется на основе соответствующей ошибки сравнения между соответствующим выровненным изображением и невыровненным изображением, которое должно быть выровнено следующим, причем соответствующие ошибки вычисляются на основе предварительно определенного критерия сравнения, и причем выровненное изображение, имеющее наименьшую ошибку соответствия, выбирается в качестве опорного изображения. Этот признак также может позволить быстро определять соответствующие рассогласования и достигать упрощенных требований вычислительных ресурсов.

В соответствии, по меньшей мере, с одним вариантом осуществления, выравнивание невыровненного изображения с выбранным опорным изображением включает в себя преобразование невыровненного изображения на основе параметров преобразования, описывающих то, как невыровненное изображение должно быть преобразовано для достижения выравнивания с выбранным опорным изображением, и причем для каждого этапа выравнивания преобразуется исключительно соответствующее невыровненное изображение, выравнивание которого выполняется в настоящий момент. Этот признак может позволить уменьшить затраты на вычислительных ресурсов, связанные с преобразованием невыровненного изображения в изображение, выровненное с выбранным опорным изображением.

В соответствии, по меньшей мере, с одним вариантом осуществления, невыровненное изображение, которое должно быть выровнено следующим, будет удалено из упорядоченного стека изображений, если вся величина определенных рассогласований будет выше заданного порогового значения, и, в таком случае, удаленное изображение может, в некоторых случаях, быть дополнительно заменено посредством интерполирования уже выровненных изображений, и/или выровненное изображение не будет использовано для дальнейших этапов определения рассогласований, если величина его рассогласований на текущем этапе определения рассогласования будет выше заданного порогового значения в отличие от оставшейся величины рассогласований. Этот признак может позволить увеличить надежность выравнивания и уменьшить чувствительность выравнивания относительно локальных деформаций.

В соответствии, по меньшей мере, с одним вариантом осуществления, перед определением соответствующих рассогласований, по меньшей мере, одно из изображений преобразуется в другое пространство сигналов так, чтобы все изображения находились в совместимом пространстве сигналов. Этот признак может позволить выравнивать изображения различной окраски при сохранении простого критерия сравнения. Этот признак также может позволить использовать пространство сигналов, которое позволяет улучшать или дополнительно упрощать определение рассогласований.

В соответствии, по меньшей мере, с одним вариантом осуществления, устройство включает в себя блок оценки движения для определения соответствующих рассогласований посредством оценки движения так, чтобы каждое рассогласование было описано посредством предполагаемой области смещения. Блок оценки движения может позволить быстрое и эффективное в вычислительном отношении определение величины рассогласований.

В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующие рассогласования определяются посредством распознавания объектов. Этот признак может позволить дополнительно увеличить надежность процесса выравнивания.

В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующие рассогласования определяются посредством оценки движения так, чтобы каждое рассогласование было описано как область оценочного смещения, а если неоднократно возникает большая величина рассогласований, то тогда рассогласования определяются посредством распознавания объектов вместо оценки движения. Этот признак может позволить автоматически переключаться между быстрым и простым процессом определения рассогласования, который основан на оценке движения, и более сложным и надежным процессом определения рассогласования, который основан на распознавании объектов так, чтобы соотношение между надежностью и затратами вычислительных ресурсов для выравнивания было оптимизировано при изучении рассогласований, определенных в предшествующих повторениях выравнивания.

Все вышеупомянутые этапы способа предназначены для выполнения их автоматически или, по меньшей мере, частично автоматически.

Дополнительные варианты осуществления получаются посредством комбинирования двух или более отдельных признаков, заявленных в вышеизложенных абзацах, каждый из которых начинается «в соответствии, по меньшей мере, с одним вариантом осуществления». Следовательно, эти вышеизложенные параграфы не должны интерпретироваться так, что вариант осуществления может содержать исключительно отдельные признаки вышеизложенных признаков. Дополнительные варианты осуществления устройства соответствующим образом получаются таким образом, чтобы любое устройство, которое приспособлено для выполнения способа, представляющего вариант осуществления, также являлось вариантом осуществления.

Кроме того, настоящее изобретение относится к компьютерному программному продукту, позволяющему процессору выполнять вышеизложенные этапы способа, и относится к носителю информации, на котором сохраняется такой компьютерный программный продукт.

Эти и другие аспекты изобретения будут очевидны и объяснены со ссылкой на варианты осуществления, описанные далее в настоящем документе.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 иллюстрирует процесс последовательного выравнивания упорядоченного стека изображений образца.

Фиг.2 является графическим представлением блок-схемы для иллюстрации способа выравнивания упорядоченного стека изображений образца в соответствии, по меньшей мере, с одним вариантом осуществления настоящего изобретения.

Фиг.3 иллюстрирует устройство для выравнивания упорядоченного стека изображений образца в соответствии с вариантом осуществления настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В следующих вариантах осуществления настоящее изобретение будет более подробно разъяснено в комбинации с сопроводительными чертежами.

Фиг.1 иллюстрирует процесс последовательного выравнивания упорядоченного стека изображений образца (который является, например, разрезанным образцом). Как показано на Фиг.1, перед выравниванием упорядоченного стека изображений, считается, что стек полностью невыровнен и включает в себя четыре невыровненных изображения c0, c1, c2 и c3. Посредством последовательного или рекурсивного выравнивания изображений в стеке, которые все еще невыровнены, на основе уже выровненных изображений, как, например, изображенные в середине Фиг.1, которая изображает уже выровненные изображения r0 и r1 и изображения, которые все еще должны быть выровнены c2 и c3, причем упорядоченный стек изображений может быть полностью выровнен так, чтобы все изначально невыровненные изображения c0, с1, с2 и с3 были преобразованы в выровненные изображения r0, r1, r2 и r3. В последующем, обозначение, используемое для Фиг.1, будет использоваться на протяжении всего оставшегося описания: невыровненные изображения будут обозначены посредством ссылочного обозначения c, тогда как уже выровненные изображения будут обозначаться посредством ссылочного обозначения r. Соответствующая позиция изображения (независимо от того, выровненного или невыровненного) в упорядоченном стеке обозначается посредством подстрочного порядкового номера так, чтобы, например, выровненное изображение r1 было окружено посредством выровненного изображения r0 и невыровненного изображения c2, как иллюстративно изображено в середине Фиг.1.

Фиг.2 является графическим представлением блок-схемы для иллюстрации способа выравнивания упорядоченного стека изображений образца в соответствии с вариантом осуществления настоящего изобретения.

В начале способа, в соответствии, по меньшей мере, с одним вариантом осуществления, на этапе S10 из Фиг.2, одно невыровненное изображение упорядоченного стека определяется в качестве выровненного изображения r без выравнивающего преобразования: r00. Следовательно, это изображение выбирается в качестве исходной точки для последовательного выравнивания изображений упорядоченного стека. Несмотря на то, что на этапе S10 из Фиг.2 изображение с порядковым номером 0 выбрано в качестве исходного значения, способ не ограничивается этой исходной позицией. Может быть выбрана любая позиция в упорядоченном стеке изображений, например, позиция в середине стека. Кроме того, начальная позиция может быть определена так, чтобы в качестве исходной точки выбиралось изображение, в котором ожидается наличие наименьшей величины рассогласований вследствие подготовки вручную. Например, это может являться изображением, имеющим наименьшее поперечное сечение, поскольку в нем может ожидаться наименьшая абсолютная величина деформаций. Однако по другим причинам, оно также может являться изображением, покрывающим наибольшую часть разрезанной поверхности.

На этапе S20 затем определяется рассогласование s0 между выровненным изображением r0 и изображением c1, которое должно быть выровнено следующим. Подходящие способы определения рассогласования s будут обсуждаться ниже.

Затем на этапе s30 изображение c1 выравнивается с r0 на основе определенного рассогласования s0 так, чтобы было выполнено выравнивающее преобразование, которое приводит к c1→r1. В последующем представление ci→ri будет использовано для обозначения того, что (прежнее) невыровненное изображение ci было преобразовано в выровненное изображение ri.

На этапе S35, затем указатель i позиции устанавливается на 0 для установки исходной позиции для рекурсивного способа в соответствии по меньшей мере, с одним вариантом осуществления настоящего изобретения. Подобно вышеприведенному для не рекурсивно выполняемого этапа S10, указатель i позиции также может быть установлен на любое другое подходящее значение. Значение i=0 выбрано исключительно для упрощения последующего объяснения. Не рекурсивно выполняемые этапы S10 к S35 являются лишь произвольными для способа в соответствии, по меньшей мере, с одним вариантом осуществления.

Теперь будут разъяснены рекурсивно выполняемые этапы способа последовательного выравнивания упорядоченного стека изображений. На этапе S40 определяется рассогласование si между выровненным изображением ri и невыровненным изображением, которое должно быть выровнено следующим ci+2, и рассогласование si+1 между выровненным изображением ri+1 и невыровненным изображением, которое должно быть выровнено следующим ci+2.

На следующем этапе S50 соответствующие величины рассогласований f(si) и f(si+1) определяются для рассогласований si и si+1 соответственно. Определение величины рассогласования означает, что величина f(s) получается из рассогласования s так, чтобы величина f(s) могла быть использована для сравнения. В самом простом случае, величина f(s) вычисляется как абсолютная величина рассогласования s. Если рассогласование s представлено в виде вектора, то величина f(s), альтернативно, может быть вычислена как сумма абсолютных значений компонентов вектора (которая является такой же, что и вычисление суммированного абсолютного расхождения (сокращенно SAD) в связи с тем, что рассогласование s уже является вектором расхождения), или как среднеквадратическая ошибка (MSE) числовых значений компонентов вектора.

На этапе S70 затем величины рассогласований f(si) и f(si+1), определенные на этапе S50, сравниваются друг с другом. В случае, когда f(si) меньше, чем f(si+1), выровненное изображение ri является изображением, с которым изображение должно сравниваться следующим ci+2, и имеет наименьшую величину рассогласования, так чтобы выровненное изображение ri было выбрано в качестве опорного изображения rref на этапе S74. В случае, когда f(si) больше или равно f(si+1), выровненное изображение ri+1 является изображением, с которым изображение должно сравниваться следующим ci+2, и имеет наименьшую величину рассогласования, так что выровненное изображение ri+1 будет выбрано в качестве опорного изображения rref на этапе S76.

После выбора rref на этапе S74 или на этапе S76, на этапе S80 изображение, которое должно быть выровнено следующим ci+2, выравнивается с rref, включая выравнивающее преобразование ci+2 в ri+2 так, чтобы ci+2ri+2. Это выравнивающее преобразование выполняется на основе определенного рассогласования si (если rref было выбрано на этапе S74) или определенного рассогласования si+1 (если rref было выбрано на этапе S76). После преобразования выравнивания на этапе S80, на этапе S90 проверяется, полностью ли выровнен упорядоченный стек изображений, то есть не осталось ли какого-либо невыровненного изображения c. Если стек еще полностью не выровнен, то все еще существуют изображения, которые должны быть выровнены в стеке, то на этапе S95 указатель позиции i увеличивается на один, а затем выполняется следующая рекурсия (или повторение) выполнения этапов с S40 по S90 для выравнивания следующего изображения. Если на этапе S90 определено, что стек был полностью выровнен, то способ выравнивания заканчивается и дополнительная рекурсия выполняться не будет.

По меньшей мере, в одном варианте осуществления настоящего изобретения соответствующие рассогласования si, si+1 определяются посредством оценки движения так, чтобы каждое рассогласование описывало область оценочного смещения. Например, область оценочного смещения может содержать, по меньшей мере, один вектор смещения, который описывает, как перемещать пиксели в изображении, которое должно быть выровнено, для выравнивания этого изображения до выбранного опорного изображения. Вектор смещения может описывать все возможные рассогласования, такие как линейное перемещение, вращение, масштабирование и растяжение. Такой вектор смещения также называется вектором движения.

Для выполнения оценки движения для получения векторов смещения или векторов движения, было предложено несколько алгоритмов. Оценка движения может пониматься как проблема оптимизации: иногда комплексная, но обычно простая функция критериев должна быть минимизирована или максимизирована для обнаружения выходного вектора движения. Существуют способы перебора, которые просто пробуют все векторы-кандидаты в предварительно определенном диапазоне, чтобы гарантировать получение глобального оптимума функции критерия. Также существуют эффективные подходы, которые проверяют исключительно наиболее вероятные векторы движения. Эта вероятность обычно определяется посредством пространственной или временной близости, и, следовательно, временные и пространственные векторы прогнозирования могут применяться в эффективных алгоритмах оценки движения. Это может быть выполнено посредством алгоритма трехмерного рекурсивного поиска с использованием поблочного сравнения, как описано в документе Джерарда де Хаана с соавторами "Оценка истинного движения при помощи трехмерно-рекурсивного поиска с использованием поблочного сравнения транзакции IEEE на схемах и системах видеотехники, глава 3, номер 5, октябрь 1993 года. Этот документ полностью включен в состав настоящего документа посредством ссылки. Этот алгоритм разделяет кадр на блоки, например, по 8×8 пикселов и пытается идентифицировать позицию этого блока в следующем кадре. Сравнение этих позиций позволяет присваивать вектор движения каждому блоку пикселов, который содержит отношение замены пикселов блока и время между двумя кадрами. Трехмерный рекурсивный поиск является основанным на блоках алгоритмом оценки движения, использующим небольшое количество кандидатов MV (MV = вектор движения), полученных при помощи пространственно-временного прогнозирования. Алгоритм трехмерного рекурсивного поиска предполагает, что блоки меньше, чем объекты, с тем, чтобы MV из соседнего блока являлся хорошей оценкой для MV-кандидата текущего блока. Блоки обрабатываются в определенном порядке, например слева направо и сверху вниз, так, чтобы некоторые соседние блоки, которые уже были оценены для MV, могли предоставить пространственные MV-кандидаты для текущего блока, в то время как другие блоки, которые не были обработаны, получают MV-кандидата из опорного блока для предоставления временного MV для текущего блока. Для каждого MV-кандидата вычисляется ошибка оценки движения. Вероятный вектор с самой малой ошибкой оценки движения выбирается в качестве выходного вектора движения для этого блока. В алгоритме используется нормальный порядок развертки растра для прохождения через блоки. По меньшей мере, в одном из вариантов осуществления настоящего изобретения используется такой алгоритм поблочного сравнения для получения соответствующих областей смещения. Предпочтительно алгоритм трехмерного рекурсивного поблочного сравнения используется, по меньшей мере, в одном варианте осуществления настоящего изобретения в качестве алгоритма поблочного сравнения. Для малозатратной производительности в реальном времени изобретатель предлагает использовать быстрый рекурсивный блок оценки движения, который обеспечивает пространственно-временные последовательные области смещения, которые используются для выравнивания изображений в стеке. Дополнительные фундаментальные способы определения вектора движения, которые могут быть использованы, по меньшей мере, для одного варианта осуществления настоящего изобретения, описываются в Патентах США Номер 5,072,293 и US2008/0144716A1, каждый из которых включен в состав настоящего документа посредством ссылки.

По меньшей мере, в одном варианте осуществления настоящего изобретения, соответствующие величины рассогласований f(s) вычисляются в контексте соответствующей ошибки сравнения, например, f(si), f(si+i), f(mi), f(mi+1), которая вычисляется на основе предварительно определенного критерия соответствия f. Такой критерий соответствия f, который может быть просто определен, является суммированным абсолютным расхождением(SAD):

где C является исследуемым вектором-кандидатом, вектор X указывает позицию блока B(X), F(x,n) является сигналом яркости, а n является номером изображения или области. Вектор движения, который влечет за собой вывод - по одному вектору на блок - является вектором-кандидатом, который дает самое низкое значение SAD. В качестве альтернативы SAD, в качестве критерия сравнения может быть применена среднеквадратическая ошибка (MSE) посредством возведения в квадрат абсолютных расхождений, а затем их сложения. Подобным образом в качестве критерия f сравнения могут быть применены моменты третьего порядка для достижения выравнивания с выбранным опорным изображением. Параметры t преобразования могут быть получены из определенного рассогласования между невыровненным изображением и выбранным опорным изображением и, в частности, из области смещения, вектора смещения или вектора движения, которые описывают определенное рассогласование. Затратное в вычислительном отношении преобразование выполняется лишь единожды для каждого изображения, которое должно быть выровнено, тогда как незатратное в вычислительном отношении вычисление соответствующих ошибок сравнения выполняется неоднократно для одного изображения, которое должно быть выровнено.

Изображения, которые будут сравниваться, должны находиться в совместимом пространстве сигналов. Однако это не так, если изображения в стеке окрашены различными красителями (например, гематоксилин и эозин (H&E) и иммуногистохимией (IHC)). Посредством преобразования, по меньшей мере, одного из изображений в пространство сигналов других изображений или в совместимое пространство сигналов до минимизации рассогласования или ошибки сравнения, возможно сохранить или получить простой критерий сравнения.

Затем в соответствии, по меньшей мере, с одним вариантом осуществления, невыровненное изображение, которое должно быть выровнено, может быть удалено из упорядоченного стека изображений, если все величины определенных рассогласований s будут превышать заданное пороговое значение. Заданное пороговое значение может являться фиксированным значением или может быть определено адаптивно, например, на основе ранее определенных величин рассогласований. Удаленное изображение может быть заменено посредством интерполированного изображения, сформированного посредством интерполяции выровненных изображений. В качестве входных данных для интерполяции могут быть выбраны выровненные изображения, расположенные в упорядоченном стеке следом за рассогласованным изображением. Кроме того, выровненное изображение не будет использовано для дальнейших этапов определения рассогласования, если величина его рассогласования на текущем этапе определения рассогласования будет выше заданного порогового значения, в то время как оставшиеся величины рассогласований будут ниже заданного порогового значения. Заданное пороговое значение может являться фиксированным значением или может быть определено адаптивно, например, на основе ранее определенных величин рассогласований.

В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующие рассогласования определяются посредством распознавания объектов. По сравнению с алгоритмами поблочного сравнения для сравнения пикселов, для распознавания объекта требуются большие вычислительные затраты. С другой стороны, распознавание объектов работает на дескрипторах более высоко уровня, которые являются более надежными, чем, например, SAD. Однако не все способы распознавания объектов подходят в качестве основы для выравнивания упорядоченного стека изображений. Подходящий способ распознавания объектов является распознаванием объектов из так называемых локальных масштабно-инвариантных признаков. Одна разновидность этого способа называется SHIFT (для масштабно-инвариантного преобразования признаков), и он был представлен в статье "Распознавание объектов из локальных масштабно-инвариантных признаков" Дэвид Г. Лоу, Международная конференция по машинному распознаванию образов, 1999 год, страницы 1150-1157. Очень глубокое описание способа SIFT распознавания объектов описано в статье "Отличительные признаки изображения из масштабно-инвариантных ключевых точек" Дэвид Г. Lowe, Международный журнал по машинному распознаванию образов, 2004 год, страницы 91-110. Оба документа включены в состав настоящего документа посредством ссылки. Способ SIFT преобразует каждую локальную часть изображения в координаты, которые не зависят от масштаба и ориентации изображения. Локальные инвариантные признаки позволяют эффективно сравнивать маленькие части беспорядочных изображений при произвольных вращениях, масштабировании, изменении яркости и контраста и других преобразований. Идея состоит в разбиении изображения на много небольших перекрывающихся частей различного переменного размера, каждая из которых описывается способом, инвариантным к возможным преобразованиям. Затем может быть выполнено отдельное сравнение каждой части, и сравниваемые части проверяются на предмет последовательности. Для сравнения и распознавания изображений сначала извлекаются признаки SIFT из ряда опорных изображений и сохраняются в базе данных. Новое изображение сравнивается посредством отдельного сравнения каждого признака из нового изображения для этой предыдущей базы данных и нахождения кандидата, соответствующего признакам, расположенным в Евклидовом расстоянии их векторов признаков.

В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующие рассогласования определяются исключительно посредством вышеупомянутого распознавания объектов, если неоднократно возникала относительно большая величина рассогласования. В противном случае, если величина рассогласования, в основном, остается ниже заданного порогового значения, то соответствующие рассогласования определяются посредством быстрой и простой в вычислительном отношении оценки движения. Заданное пороговое значение может являться постоянной величиной или может быть определено адаптивно, например, на основе ранее определенных величин рассогласования.

Фиг.3 иллюстрирует устройство для выравнивания упорядоченного стека изображений разрезанного образца в соответствии, по меньшей мере, с вариантом осуществления настоящего изобретения. Устройство 100 содержит блок 10 определения, блок 20 выбора и блок 30 выравнивания. Блок 10 определения содержит два блока 11 и 12 оценки движения. Блок 11 оценки движения принимает на входе выровненное изображение ri и изображение, которое должно быть выровнено следующим ci+2. Блок 11 оценки движения приспособлен для определения на основе этих входных данных рассогласования si и вектора mi смещения и их вывода. Подобным образом блок 12 оценки движения принимает на входе выровненное изображение ri+1 и изображение, которое должно быть выровнено следующим ci+2, и приспособлен для определения на основе этих входных данных рассогласования si+1 и вектора mi+1 смещения и их вывода. Выходные рассогласования si и si+1 подаются на блок 20 выбора. Выходные рассогласования si и si+1 также могут быть выведены в виде соответствующих векторов mi и mi+1 смещения соответственно для подачи их на блок 20 выбора (в этом случае si=mi и si+1=mi+1). Блок 20 выбора применяет критерий сравнения, например SAD, MSE или третьего порядка, к рассогласованиям si и si+1, принятым из блоков 11 и 12 оценки движения. Применение критерия сравнения влечет за собой вычисление ошибок f сравнения f(si) и f(si+1). Затем блок 20 выбора определяет минимум этих ошибок сравнения и выбирает из векторов mi и mi+1 смещения, выведенных из блоков 11 и 12 оценки движения, вектор смещения, имеющий наименьшую ошибку сравнения, в качестве опорного вектора mref смещения. Посредством этого опорного вектора mref смещения, неявно выбирается опорное изображение rref, с которым должно быть выровнено невыровненное изображение ci+2. Затем выбранный опорный вектор mref смещения подается из соответствующего блока оценки движения на блок 30 выравнивания. В блоке 30 выравнивания, опорный вектор mref смещения преобразуется в конвертере 32 в параметры t преобразования для преобразования невыровненного изображения ci+2. В блоке 30 выравнивания параметры t преобразования выводятся из конвертера 32 на преобразователь 34. Преобразователь 34 использует параметры t преобразования для преобразования невыровненного изображения ci+2 в выровненное изображение ri+2 так, чтобы ci+2→ri+2. После завершения одного повторения выравнивания для ci+2, может быть начато следующее повторение для ci+3 при увеличении на 1 счетчика i позиций.

Несмотря на то, что все вышеописанные варианты осуществления основаны на определении двух рассогласований для выравнивания невыровненного изображения, настоящее изобретение не ограничивается определением исключительно двух рассогласований. Для каждого этапа выравнивания может быть определено более двух рассогласований. Опорное изображение может быть выбрано более чем из двух выровненных изображений.

Несмотря на то, что вышеописанные варианты осуществления основаны на определении, по меньшей мере, двух рассогласований между невыровненным изображением и, по меньшей мере, двумя изображениями, непосредственно предшествующими невыровненному изображению, настоящее изобретение не ограничено выбором опорного изображения из выровненных изображений, смежных друг с другом и смежных с невыровненным изображением.

Несмотря на то, что в вышеописанных примерах упорядоченный стек изображений содержит только четыре изображения для объяснения, размер стека этими размерами не ограничен. Упорядоченный стек изображений может содержать любое количество изображений. В пределах концепции изобретения, “блок определения”, “блок выбора”, “блок выравнивания”, “блок оценки движения” должны пониматься широк и должны содержать, например, любой элемент аппаратных средств (такой блок определения, блок выбора, блок выравнивания, блок оценки движения), любую схему или часть схемы, разработанную для выполнения определения, выбора, выравнивания, оценки движения описанным способом, а также любой элемент программных средств (компьютерную программу, или подпрограмму, или ряд компьютерных программ, или программный(е) код(ы)), разработанный или запрограммированный для выполнения определения, выбора, выравнивания, оценки движения, а также любую комбинацию элементов аппаратных средств и программных средств, действующих, по существу, отдельно или в комбинации, без ограничения нижеприведенными иллюстративными вариантами осуществления.

Специалисты в данной области техники поймут, что настоящее изобретение не ограничено тем, что, в частности, было изображено и описано выше. Изобретение заключается во всех без исключения новых отличительных признаках и в каждой комбинации отличительных признаков. Ссылочные позиции в формуле изобретения не ограничивают их объем охраны. Использование глагола “содержать” и его спряжений не исключает наличия элементов, отличных от заявленных в формуле изобретения. Использование признака единственного числа перед элементом не исключает наличия множества таких элементов.

Настоящее изобретение было описано в контексте конкретных вариантов осуществления, которые являются иллюстративными для изобретения и не должны рассматриваться как огранивающие. Изобретение может быть реализовано в аппаратных средствах, программируемом оборудовании, или программных средствах, или в их комбинации. Другие варианты осуществления находятся в пределах объема следующей формулы изобретения.

СПИСОК ССЫЛОЧНЫХ ОБОЗНАЧЕНИЙ

10 блок определения

11 блок оценки движения

12 блок оценки движения

20 блок выбора

30 блоков выравнивания

32 конвертер

34 преобразователь

100 устройство

1. Способ выравнивания упорядоченного стека изображений образца, содержащий последовательные этапы, на которых:
определяют (S40), по меньшей мере, для двух уже выровненных изображений (ri, ri+1) упорядоченного стека соответствующие рассогласования (si, si+1) с невыровненным изображением (ci+2), которое должно быть выровнено следующим в упорядоченном стеке;
выбирают (S50, S70, S74, S76), по меньшей мере, из двух выровненных изображений (ri, ri+1) в качестве опорного изображения (rref) выровненное изображение, с которым невыровненное изображение (ci+2) имеет наименьшую величину рассогласования (f(si), f(si+1)); и
выравнивают (S80) невыровненное изображение (ci+2) с выбранным опорным изображением (rref).

2. Способ по п.1, в котором соответствующие рассогласования (si, si+1) определяются посредством оценки движения так, чтобы каждое рассогласование было описано посредством области (mi, mi+1) оценочного смещения.

3. Способ по п.2, в котором область смещения содержит, по меньшей мере, один вектор (mi, mi+1) смещения, описывающий, как сдвинуть пиксели в изображении, которое должно быть выровнено, для выравнивания этого изображения до выбранного опорного изображения.

4. Способ по п.2, в котором выровненные изображения и невыровненное изображение, которое должно быть выровнено следующим, разделены на блоки, и в котором соответствующие области смещения получаются посредством алгоритма поблочного сравнения.

5. Способ по п.1, в котором соответствующие величины рассогласования вычисляются на основе соответствующей ошибки (f(si), f(si+1) сравнения между соответствующим выровненным изображением и невыровненным изображением, которое должно быть выровнено следующим, в котором соответствующие ошибки сравнения вычисляются на основе предварительно определенного критерия (f) сравнения, и в котором выровненное изображение, имеющее наименьшую ошибку сравнения, выбирается в качестве опорного изображения (rref).

6. Способ по п.1, в котором выравнивание невыровненного изображения с выбранным опорным изображением содержит преобразование невыровненного изображения на основе параметров (t) преобразования, описывающих, как невыровненное изображение должно быть преобразовано для достижения выравнивания с выбранным опорным изображением, и в котором для каждого этапа выравнивания преобразуется исключительно соответствующее невыровненное изображение, которое выравнивается в настоящий момент.

7. Способ по п.1, в котором невыровненное изображение, которое должно быть выровнено следующим, удаляется из упорядоченного стека изображений, если все величины определенных рассогласований будут выше заданного порогового значения, и в котором, в таком случае, удаленное изображение может дополнительно быть заменено посредством интерполяции уже выровненных изображений и/или в котором выровненное изображение не будет использоваться для дополнительных этапов определения рассогласований, если величина его рассогласования на текущем этапе определения рассогласования будет, в отличие от оставшихся величин рассогласований, выше заданного порогового значения.

8. Способ по п.1, в котором перед определением соответствующих рассогласований, по меньшей мере, одно из изображений преобразуется в другое пространство сигналов так, чтобы все изображения были в сравнимом пространстве сигналов.

9. Способ по п.1, в котором соответствующие рассогласования определяются посредством распознавания объектов.

10. Способ по п.1, в котором соответствующие рассогласования определяются посредством оценки движения так, чтобы каждое рассогласование было описано посредством области (mi, mi+1) оценочного смещения, и в котором если неоднократно возникают большие величины рассогласований, то тогда рассогласования определяются посредством распознавания объектов вместо оценки движения.

11. Устройство (100) для выравнивания упорядоченного стека изображений образца, содержащее следующие устройства:
блок (10) определения для определения, по меньшей мере, для двух уже выровненных изображений (ri, ri+1) упорядоченного стека соответствующих рассогласований (si, si+1) с невыровненным изображением (ci+2), которое должно быть выровнено следующим в упорядоченном стеке;
блок (20) выбора для выбора, по меньшей мере, из двух выровненных изображений (ri, ri+1) в качестве опорного изображения (rref) выровненного изображения, с которым невыровненное изображение (ci+2) имеет наименьшую величину рассогласования; и
блок (30) выравнивания для выравнивания невыровненного изображения (ci+2) с выбранным опорным изображением (rref).

12. Устройство по п.11, дополнительно содержащее блок (11, 12) оценки движения для определения соответствующих рассогласований посредством оценки движения так, чтобы каждое рассогласование было описано посредством области оценочного смещения.

13. Устройство по п.11, в котором устройство дополнительно сконфигурировано для выполнения способа в соответствии с любым из п.п.3-10.

14. Носитель информации, на котором хранится компьютерный программный продукт, позволяющий процессору выполнять способ по п.1.



 

Похожие патенты:

Изобретение относится к области планирования лучевой терапии. Техническим результатом является снижение лучевой нагрузки на здоровую ткань за счет того, что к идентифицированному контуру поверхности добавляют непостоянную граничную область.

Изобретение относится к способу автоматической сегментации структур мозга. Техническим результатом является повышение точности и надежности идентификации структурной атрофии после черепно-мозговой травмы.

Изобретение относится к области обработки информации посредством использования результатов распознавания. Технический результат - обеспечение вывода нового результата распознавания, используя возможность повторного использования результатов вывода, полученных от множества механизмов распознавания.

Изобретение относится к медицинской технике, а именно к средствам формирования функциональных изображений. Способ содержит получение первого изображения накопления первого контрастного вещества в ткани пациента, не являющейся объектом исследования, при этом первое изображение генерируется на основе первых данных от первого средства формирования изображений, получение второго изображения накопления второго контрастного вещества в исследуемой ткани пациента и ткани пациента, не являющейся объектом исследования, при этом второе изображение генерируется на основе вторых данных от другого второго средства формирования изображений, генерирование первой маски изображения на основе первого изображения, генерирование первого изображения особенности на основе второго изображения и первой маски изображения и отображение первого изображения особенности, которое не включает в себя накопление контрастного вещества в исследуемой ткани, не накапливающей контрастное вещество.

Изобретение относится к средствам сегментации изображения. Техническим результатом является повышение быстродействия сегментации.

Изобретение касается способа и устройства обеспечения помощи в подборе размера устройств при медицинском вмешательстве. Способ заключается в получении рентгеновского изображения сосуда, введении в сосуд проволочного направителя, имеющего рентгеноконтрастный кончик проволоки, получении рентгеновского изображения кончика проволоки, разбиении на сегменты кончика проволоки при его прохождении через сосуд и предоставлении информации о размерах сосуда на основе размера кончика проволоки.

Изобретение относится к системе для выделения объекта из исходного изображения, при этом упомянутый объект описан контуром. Техническим результатом является повышение точности выделения объекта на рентгенологических снимках за счет обеспечения ослабления мешающих изогнутых объектов.

Изобретение относится к области идентификации личности по рукописному тексту. Техническим результатом является повышение достоверности идентификации личности.

Изобретение относится к области микроскопического исследования ткани и клеток. Техническим результатом является повышение точности извлечение материала из объекта в области биологии, гистологии или патологии.

Изобретение относится к средствам обработки объемных изображений. Техническим результатом является уменьшение времени создания конечных изображений при выравнивании объемных секций данных изображения.

Изобретение относится к области техники медицинской диагностики методом визуализации. Техническим результатом является повышение точности регистрации двумерных/трехмерных изображений. Способ содержит этапы, на которых: извлекают двумерный набор признаков из двухмерного изображения; извлекают трехмерный набор признаков из трехмерного изображения; математически проецируют трехмерный набор признаков в двумерный набор проецируемых признаков с помощью проекционной геометрии; выполняют первую регистрацию двумерного набора признаков и двумерного набора проецируемых признаков и выполняют вторую регистрацию двумерного изображения и математической проекции трехмерного изображения; в котором операции извлечения содержат этап, на котором применяют алгоритм определения углов для извлечения признаков, содержащих угловые точки, из двухмерного или трехмерного изображения путем идентификации локально максимальных собственных значений инерционной матрицы градиента изображения вдоль множества направлений и путем идентификации дискретного набора пересечений линий исходя из идентифицированных локально максимальных собственных значений. 4 н. и 11 з.п. ф-лы, 2 ил.

Изобретение относится к навигации интервенционного устройства. Техническим результатом является повышение точности навигации интервенционного устройства внутри трубчатой структуры объекта. Система содержит: устройство захвата рентгеновского изображения; блок обработки; интерфейс; устройство захвата рентгеновского изображения захватывает данные 2-мерного рентгеновского изображения в одной геометрии проекции области интереса трубчатой структуры; блок обработки выполнен с возможностью обнаруживать интервенционное устройство на 2-мерном рентгеновском изображении; определяет 2-мерное положение интервенционного устройства на 2-мерном рентгеновском изображении; совмещает одно 2-мерное рентгеновское изображение с ранее захваченным 3-мерным набором данных области интереса; преобразовывает определенное 2-мерное положение интервенционного устройства в положение в 3-мерном наборе данных; выделяет локальные 3-мерные параметры в положении интервенционного устройства; генерирует навигационную информацию для определенного 3-мерного положения интервенционного устройства и выделенных локальных 3-мерных параметров; интерфейс обеспечивает навигационной информацией пользователя. 3 н. и 9 з.п. ф-лы, 18 ил.

Изобретение относится к области сегментации текущих диагностических изображений. Техническим результатом является повышение точности сегментации диагностических изображений. Система содержит: рабочую станцию, которая сегментирует объем интереса в ранее сформированных диагностических изображениях; процессор запрограммирован с возможностью совмещения сегментированных, ранее сформированных изображений и объединения сегментированных, ранее сформированных изображений в вероятностную карту, которая отражает вероятность того, что каждый воксель представляет объем интереса или фон, и среднюю сегментационную границу; процессор сегментации совмещает вероятностную карту с текущим диагностическим изображением, чтобы сформировать преобразованную вероятностную карту; предварительно обученный классификатор классифицирует воксели диагностического изображения с использованием вероятности того, что каждый воксель отражает объем интереса или фон; процессор объединения объединяет вероятности из классификатора и преобразованной вероятностной карты; процессор обработки сегментационной границы определяет сегментационную границу для объема интереса, основанного на текущем изображении, по вероятностям объединения. 4 н. и 9 з.п. ф-лы, 5 ил.

Группа изобретений относится к вариантам выполнения устройства обнаружения трехмерных объектов. Устройство содержит: модуль 41 задания областей обнаружения для задания области обнаружения позади с правой стороны и с левой стороны от транспортного средства; модули 33, 37 обнаружения трехмерных объектов для обнаружения трехмерного объекта, который присутствует в правосторонней области A1 обнаружения или левосторонней области A2 обнаружения позади транспортного средства, на основе информации изображений из камеры 10 сзади транспортного средства; модуль 34 оценки трехмерных объектов для определения того, представляет или нет обнаруженный трехмерный объект собой другое транспортное средство VX, которое присутствует в правосторонней области A1 обнаружения или левосторонней области A2 обнаружения. Модуль 41 задания областей обнаружения, когда влажное состояние линзы обнаруживается, изменяет позицию первой области обнаружения, которая сначала задается в качестве области обнаружения, таким образом, что эта область не включает в себя область отображения белой линии дорожной разметки на стороне полосы движения транспортного средства из числа белых линий дорожной разметки в смежных полосах движения, которые являются смежными с полосой движения, в которой едет транспортное средство, и задает вторую область обнаружения в качестве новых областей A1, A2 обнаружения. Обеспечивается повышение безопасности движения за счет точности отражения реальной обстановки на дороге. 5 н. и 8 з.п. ф-лы, 28 ил.

Изобретение относится к системам определения цвета цветового образца по изображению цветового образца. Техническим результатом является устранение искажения изображения известных калибровочных цветов за счет применения преобразования перспективы в зависимости от местоположения идентифицированных точек на изображении. Предложен способ определения цвета из изображения. Способ включает в себя этап, на котором осуществляют прием первых данных изображения, относящихся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться, и прием вторых данных изображения, относящихся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны. Далее определяют множество характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с известными колориметрическими данными калибровочных цветовых образцов, и вычисляют колориметрические данные неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и характеристикам цветовой калибровки. 2 н. и 40 з.п. ф-лы, 21 ил., 5 табл.

Изобретение относится к идентификации нарушений анатомических структур. Техническим результатом является повышение точности диагностирования анатомических структур пациента. Способ содержит: сегментацию, с использованием процессора, анатомической структуры, изображенной в объемном изображении множества контрольных пациентов для создания контрольной сегментации анатомических структур каждого из контрольных пациентов; получение нормативного набора данных посредством извлечения статистических представлений морфологии контрольных сегментаций; добавление, посредством процессора, описательной части нормативного набора данных, при этом описательная часть включает в себя текстовую информацию из данных, не являющихся изображением, относительно анатомической структуры; сегментацию анатомической структуры пациента, анализируемой на нарушения для создания сегментации пациента; сравнение сегментации пациента с нормативным набором данных, полученным от контрольных сегментаций и описательных частей нормативного набора данных; и идентификацию, посредством процессора, нарушений анатомических структур пациента, проанализированных на основании сравнения. 2 н. и 13 з.п. ф-лы, 5 ил.

Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах получения трехмерных моделей физических объектов. Техническим результатом является повышение качества сканирования сцены с неламбертовыми эффектами освещения. Предложено устройство трехмерной реконструкции сцен с неламбертовыми эффектами освещения. Устройство содержит блок получения изображения, блок управления, блок вычисления маски глобального освещения, блок извлечения шаблона, блок генерации адаптивных шаблонов, блок поиска пересечений, блок проецирования, блок получения информации, блок ассоциации шаблонов, блок вычисления трехмерной формы, блок тактовой частоты. 1 ил.

Изобретение относится к системе и способу для идентификации объектов. Техническим результатом является улучшение быстродействия системы идентификации и точности идентификации. Система для асинхронной идентификации предмета в пространстве для измерений содержит множество датчиков объектов для определения по меньшей мере одного параметра, описывающего объекты при их относительном перемещении по отношению к пространству для измерений, причем каждый параметр не содержит данных системных часов, датчик положения для формирования данных о положении, относящихся к относительному перемещению, причем данные о положении не содержат данных системных часов, обрабатывающее устройство для приема параметров от датчиков объектов, соотнесения параметров с соответствующими параметрами объектов на основании данных о положении и известных положения и ориентации датчика объекта, которым определен каждый соответствующий параметр, причем обеспечена возможность соотнесения соответствующих параметров с соответствующими объектами без учета данных системных часов, и сравнения для каждого объекта, имеющего по меньшей мере один соотносимый параметр, по меньшей мере одного соотносимого параметра с параметрами известных предметов для присвоения объекту идентификатора предмета. 2 н. и 12 з.п. ф-лы, 22 ил.

Изобретение относится к технологиям отображения изображений. Техническим результатом является повышение реалистичности изображения, за счет передачи семантических метаданных от стороны создателя контента. Предложен способ добавления информации детализации воспроизведения отображения во входное изображение из набора видеоизображений. Причем данная информация используется приемной стороной устройства обработки изображения цветовоспроизведения для управления воспроизведением яркостей области изображения соответствующих изображений для, по меньшей мере, двух отображений различных динамических диапазонов яркости. Способ включает в себя этап, на котором показывают входное изображение человеку-оператору, а также согласно способу принимают через пользовательский интерфейс описательные данные режима области во входном изображении от человека-оператора. При этом описательные данные включают в себя: информацию выбора области, чтобы позволить извлечение области пикселей на приемной стороне, причем информация выбора области содержит значение яркости, разделяющее пиксели, имеющие яркости соответственно выше или ниже указанного, или геометрическую информацию. 4 н. и 8 з.п. ф-лы, 7 ил.

Изобретение относится средствам формирования изображения в компьютерной программе. Техническим результатом является повышение качественной информативности формируемого изображения. Система (10) содержит: устройство (16) получения изображений; устройство (24) обработки, содержащее блок (24а) отслеживания, блок (24b) привязки, блок (24с) определения, блок (24d) восстановления и блок (24е) формирования. Устройство (16) получения изображений получает множество первых изображений с первым критерием, вторичное изображение со вторым критерием. Блок (24а) отслеживания отслеживает предварительно определенные первый признак и второй признак в первых изображениях и во вторичном изображении. Блок (24с) определения определяет преобразование первого признака, векторные поля искажения второго признака относительно первого признака. Блок (24b) привязки привязывает и записывает векторные поля искажения второго признака, соответствующие атрибутам фазы. Блок (24d) восстановления восстанавливает текущее физическое искажение. Блок (24е) формирования формирует объединенное межкритериальное изображение на основе восстановленного физического искажения. 3 н. и 10 з.п. ф-лы, 10 ил.
Наверх