Обнаружение биологического объекта

Группа изобретений в общем относится к системе помощи при диагностике, выполненной с возможностью идентификации контура биологического объекта в графической информации, к способу обработки изображений для идентификации контура биологического объекта в графической информации и дополнительно к компьютерно-читаемому носителю с элементом компьютерной программы для управления блоком обработки. Система помощи при диагностике клеточного ядра выполнена с возможностью идентификации контура биологического объекта в графической информации. Указанная система содержит блок обработки. Блок обработки выполнен с возможностью приема графической информации, которая была сегментирована на суперпиксели, выбора исходного набора суперпикселей в графической информации в исходном местоположении в графической информации, определения первой морфологической переменной исходного набора суперпикселей, идентификации дополнительного набора суперпикселей, смежных к суперпикселю исходного набора суперпикселей, в дополнительном местоположении в графической информации, генерации второй морфологической переменной объединения исходного набора и дополнительного набора суперпикселей и, если сравнение второй морфологической переменной с первой морфологической переменной указывает, что объединение исходного набора и дополнительного набора имеет большую компактность формы, задания контура биологического объекта в графической информации как границы объединения исходного набора и дополнительного набора суперпикселей. Способ обработки изображений для идентификации контура биологического объекта в графической информации содержит этапы, на которых a) принимают графическую информацию, которая была сегментирована на суперпиксели, b) выбирают исходный набор суперпикселей в графической информации в исходном местоположении в графической информации, c) определяют первую морфологическую переменную исходного набора суперпикселей, d) идентифицируют дополнительный набор суперпикселей, смежных к суперпикселю исходного набора суперпикселей, в дополнительном местоположении в графической информации, e) генерируют вторую морфологическую переменную объединения исходного набора и дополнительного набора суперпикселей, f) если сравнение второй морфологической переменной с первой морфологической переменной указывает, что объединение исходного набора и дополнительного набора имеет большую компактность формы, задают контур биологического объекта в графической информации как границу объединения исходного набора и дополнительного набора суперпикселей. Компьютерно-читаемый носитель для управления ранее указанными блоком обработки и/или системой, выполненный с возможностью сохранения на нем элемента компьютерной программы для управления блоком обработки и/или системой посредством компьютера для исполнения этапов ранее указанного способа. Применение изобретений приводит к более точному обнаружению границы биологического объекта, имеющего неоднородное распределение цвета или текстуры, такого как клеточное ядро. 3 н. и 11 з.п. ф-лы, 8 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Это изобретение в общем относится к системе помощи при диагностике, выполненной с возможностью идентификации контура биологического объекта в графической информации, к способу обработки изображений для идентификации контура биологического объекта в графической информации и, дополнительно, к элементу компьютерной программы для управления блоком обработки и компьютерно-читаемому носителю.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Цифровые патологические исследования направлены на увеличение автоматизации трудного процесса идентификации объектов на слайдах патологических исследований, содержащих образцы, взятые у людей или животных. Цифровые патологические исследования трудны из-за того, что улучшения аппаратного обеспечения для сбора данных позволили записывать слайды патологических исследований размером много гигабайтов. Такие слайды, как правило, содержат сотни тысяч или миллионы целей, представляющих потенциальный интерес для медицинского специалиста.

Одним подходом для обнаружения границ объектов на цифровых изображениях патологических исследований является использование так называемых «затравочных областей». Эти затравочные области, как правило, основаны на анализе интенсивности пикселей, сопровождаемом этапами морфологической обработки изображений. Как только исходные затравочные области были идентифицированы на цифровом изображении, может начаться поиск границы объекта. Типичные подходы для выполнения этого используют Модели активных контуров (ACM). ACM могут точно находить границу объектов на цифровом изображении патологического исследования. Методика ACM работает путем сглаживания границы возможного представляющего интерес объекта. Может использоваться функция минимизации энергии для нахождения окончательной границы объекта.

Хотя способ ACM может быть в общем полезен, его успех зависит от качества выбранной исходной затравочной области и от точного шаблона интенсивности границы. Для изображений патологических исследований со «структурой с открытыми клетками» подход ACM не всегда может находить правильную границу. Кроме того, ACM не всегда эффективен в вычислительном отношении и по этой причине может быть не слишком хорошим выбором для системы интерактивного выбора объекта.

US 2006/0050947 A1 обсуждает способ патогистологического обследования для идентификации потенциальных клеточных ядер. Этот способ использует анализ главных компонентов для получения данных монохроматического изображения, сопровождаемый бинаризацией Оцу для создания бинарного изображения. Однако способы цифровой обработки изображений патологических исследований могут быть дополнительно улучшены.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В соответствии с первым аспектом обеспечена система помощи при диагностике, выполненная с возможностью идентификации контура биологического объекта в графической информации. Система диагностики содержит:

- блок обработки.

Блок обработки выполнен с возможностью приема графической информации, которая была сегментирована на суперпиксели, выбора исходного набора суперпикселей в графической информации в исходном местоположении в графической информации, определения первой морфологической переменной исходного набора суперпикселей, идентификации дополнительного набора суперпикселей, смежных к суперпикселю исходного набора суперпикселей, в дополнительном местоположении в графической информации, генерации второй морфологической переменной объединения исходного набора и дополнительного набора суперпикселей и, если сравнение второй морфологической переменной с первой морфологической переменной указывает, что объединение исходного набора и дополнительного набора имеет бóльшую компактность формы, задания контура биологического объекта в графической информации как границы объединения исходного набора и дополнительного набора суперпикселей.

Эффектом является улучшенная точность определения контура в биологической графической информации, потому что подход не основан главным образом на группировании суперпикселей на основе анализа текстуры или интенсивности. Это выгодно, например, в случае обнаружения клеточных ядер в цифровом изображении патологического исследования. В цифровом изображении патологического исследования клеточные ядра могут иметь области переменного цвета и интенсивности в областях, задающих клеточные ядра. Подходы ACM могли быть не в состоянии идентифицировать границу ядра. Поэтому предложенный подход, например, не зависит от того, имеют или нет два суперпикселя в группировке различные интенсивности цветов. Таким образом, применение диагностической системы в соответствии с этим подходом приводит к более точному обнаружению границы биологического объекта, имеющего неоднородное распределение цвета или текстуры, такого как клеточное ядро.

Другим эффектом методики является то, что суперпиксели могут быть предварительно вычислены в автономном режиме, что позволяет обеспечить эффективную оценку метрик компактности формы. Таким образом, могут быть обеспечены в вычислительном отношении эффективные алгоритмы поиска ядер, позволяющие методике работать в интерактивном режиме с низкими задержками на мобильных устройствах (таким как, например, смартфоны). Соответственно, контур биологического объекта в графической информации может быть идентифицирован эффективным в вычислительном отношении образом.

Другим эффектом методики является то, что могут быть достоверно обнаружены ядра, которые имеют большую внутреннюю вариацию интенсивности цветов. Граница таких ядер может быть обнаружена более легко, так как подход использует в качестве критерия для обнаружения морфологическую переменную, а не критерий интенсивности или текстуры при группировании смежных суперпикселей.

В соответствии с одним вариантом осуществления первого аспекта обеспечена система помощи при диагностике, как определено в первом аспекте, дополнительно содержащая:

- блок ввода.

Блок ввода выполнен с возможностью приема указания относительно исходного местоположения в графической информации от пользователя, при этом исходный набор суперпикселей содержит суперпиксель в исходном местоположении, и при этом блок обработки дополнительно выполнен с возможностью задания контура, который является результатом применения алгоритма поиска, начинающегося в исходном местоположении.

Соответственно, система помощи при диагностике идентифицирует контур биологического объекта с помощью пользователя для идентификации оптимальной начальной точки алгоритма. Таким образом, требуется меньше вычислительных циклов для нахождения биологического объекта, например, клеточного ядра.

В соответствии с одним вариантом осуществления первого аспекта обеспечена система помощи при диагностике, в которой блок обработки дополнительно выполнен с возможностью генерации исходного местоположения с использованием случайного процесса, и при этом исходный набор суперпикселей содержит суперпиксель в исходном местоположении.

Поэтому алгоритм для нахождения контура биологического объекта в графической информации может быть применен автоматически, без пользовательского ввода.

В соответствии с одним вариантом осуществления первого аспекта обеспечена система помощи при диагностике, как было описано выше, в которой блок обработки дополнительно выполнен с возможностью выбора исходного набора суперпикселей и/или дополнительного набора суперпикселей путем размещения области поиска в исходном местоположении и/или дополнительном местоположении и выбора исходного набора и/или дополнительного набора суперпикселей как набора областей суперпикселей, которые касаются области поиска в исходном местоположении и/или дополнительном местоположении.

Соответственно, суперпиксели, которые являются кандидатами на включение в набор суперпикселей, взятый для представления контура биологического объекта, который должен быть идентифицирован в графической информации, могут быть идентифицированы, если границы суперпикселей пересекаются с областью поиска.

В соответствии с одним вариантом осуществления первого аспекта обеспечена система помощи при диагностике, в которой блок обработки дополнительно выполнен с возможностью выбора исходного местоположения и дополнительного местоположения для обеспечения пути поиска для ограничения размещения областей поиска в графической информации, при этом путь поиска является одним из: расходящимся спиральным шаблоном, случайным блужданием или расширяющимся вовне набором кругов.

Соответственно, идентификация дополнительных суперпикселей в биологической графической информации более вероятна или возможна за меньшее число вычислительных этапов, потому что различные схемы поиска могут иметь выгодные свойства в определенных типах биологической графической информации. В частности, случайное блуждание имеет преимущества для нахождения вытянутых ядер, тогда как расходящиеся вовне спирали или круговые схемы могут иметь преимущества при нахождении круглых ядер.

В соответствии с одним вариантом осуществления первого аспекта обеспечена система помощи при диагностике, как было описано выше, в которой блок обработки дополнительно выполнен с возможностью итерации до тех пор, пока вторая морфологическая переменная не достигнет значения остановки или пока не будет завершено заранее установленное число итераций.

Соответственно, в случае, когда итерации выполняются до тех пор, пока вторая морфологическая переменная не достигнет значения остановки, идентифицируется оптимальное значение второй морфологической переменной, обеспечивающее более высокую уверенность, что биологический объект, представляющий интерес, был идентифицирован в графической информации. Альтернативно, если заранее установленное число итераций было завершено, может быть идентифицирована вторая морфологическая переменная объекта в графической информации с эффективным числом итераций, улучшая вычислительную эффективность алгоритма.

В соответствии с одним вариантом осуществления первого аспекта обеспечена система помощи при диагностике, как обсуждалось выше, в которой блок обработки дополнительно выполнен с возможностью генерации множества исходных местоположений и задания множества потенциальных контуров биологических объектов в графической информации, начинающихся с каждого соответствующего исходного местоположения множества исходных местоположений, отображения множества потенциальных контуров пользователю, приема пользовательского ввода для выбора поднабора контуров во множестве потенциальных контуров и генерации контролируемой обучающей информации на основании множества потенциальных контуров и выбранного поднабора контуров.

Соответственно, в графической информации может быть идентифицировано большое количество контуров биологических объектов, представляющих интерес. Они могут быть представлены пользователю, и система может применить автоматизированные принципы обучения для улучшения идентификации контуров биологических объектов, представляющих интерес, в графической информации.

В соответствии с одним вариантом осуществления первого аспекта обеспечена система помощи при диагностике, как было описано выше, в которой первая морфологическая переменная является изопериметрическим частным исходного набора, а вторая морфологическая переменная является изопериметрическим частным объединения исходного набора и дополнительного набора.

Изопериметрическое частное является показателем компактности формы. Идентификация контуров может выполняться эффективно путем предварительного вычисления и сохранения длин краев для смежных пар суперпикселей, что особенно важно, когда файлы изображений являются очень большими, и число контуров биологических объектов, которые должны быть идентифицированы, также велико.

В соответствии с одним вариантом осуществления первого аспекта первая морфологическая переменная является кривизной границы исходного набора, а вторая морфологическая переменная является кривизной границы объединения исходного набора и дополнительного набора. Опционально, кривизну границы находят путем суммирования кривизны границы по всем точкам на контуре исходного набора и/или дополнительного набора.

В соответствии с одним вариантом осуществления первого аспекта обеспечена система помощи при диагностике, как было описано ранее, в которой графическая информация содержит микроскопическое изображение образца ткани, и контур соответствует стенке клеточного ядра.

Соответственно, на цифровых изображениях патологических исследований могут более эффективно искаться изображения клеточных ядер.

В соответствии со вторым аспектом обеспечен способ обработки изображений для идентификации контура биологического объекта в графической информации. Способ обработки изображений содержит этапы, на которых:

a) принимают графическую информацию, которая была сегментирована на суперпиксели;

b) выбирают исходный набор суперпикселей в графической информации в исходном местоположении в графической информации;

c) определяют первую морфологическую переменную исходного набора суперпикселей;

d) идентифицируют дополнительный набор суперпикселей, смежных к суперпикселю исходного набора суперпикселей, в дополнительном местоположении в графической информации;

e) генерируют вторую морфологическую переменную объединения исходного набора и дополнительного набора суперпикселей;

f) если сравнение второй морфологической переменной c первой морфологической переменной указывает, что объединение исходного набора и дополнительного набора имеет бóльшую компактность формы, задают контур биологического объекта в графической информации как границу объединения исходного набора и дополнительного набора суперпикселей.

Соответственно, обеспечен способ обработки изображений, позволяющий идентифицировать контур биологического объекта в графической информации, например, контур стенки клеточного ядра, с большей вычислительной эффективностью.

В соответствии с одним вариантом осуществления второго аспекта обеспечен способ обработки изображений в соответствии с предыдущим вторым аспектом, в котором этапы b) и/или d), выбор исходного набора суперпикселей и/или дополнительного набора суперпикселей основан на:

b1) размещении области поиска в исходном местоположении и/или дополнительном местоположении;

b2) выборе исходного набора и/или дополнительного набора суперпикселей как набора областей суперпикселей, которые касаются области поиска в исходном местоположении и/или дополнительном местоположении.

В соответствии с одним вариантом осуществления второго аспекта обеспечен способ обработки изображений, как обсуждалось в соответствии со вторым аспектом или его вариантами осуществления, в котором первая морфологическая переменная является изопериметрическим частным исходного набора, а вторая морфологическая переменная является изопериметрическим частным объединения исходного набора и дополнительного набора.

В соответствии с одним вариантом осуществления второго аспекта обеспечен способ обработки изображений в соответствии с одним из вторых аспектов или его вариантами осуществления, описанными выше, в котором исходное местоположение и дополнительное местоположение выбираются для обеспечения пути поиска для ограничения размещения областей поиска в графической информации, при этом путь поиска является одним из: расходящимся спиральным шаблоном, случайным блужданием или расширяющимся вовне набором круговых периметров.

В соответствии с третьим аспектом обеспечен элемент компьютерной программы для управления блоком обработки и/или устройством, определенным в первом аспекте или его вариантах осуществления, который, когда элемент компьютерной программы исполняется блоком обработки и/или компьютером, выполнен с возможностью выполнения способа второго аспекта или его вариантов осуществления.

В соответствии с четвертым аспектом обеспечен компьютерно-читаемый носитель, хранящий элемент компьютерной программы третьего аспекта.

Поэтому можно рассматривать как основную идею прием цифровой графической информации биологической природы, которая была сегментирована на суперпиксели, например, взятой из слайда патогистологического исследования. Затем предлагается обнаруживать в цифровой графической информации, которая была сегментирована на суперпиксели, контур биологического объекта, например, клеточного ядра. Обнаружение выполняется путем последовательного группирования вместе суперпикселей в биологической графической информации в зависимости от того, как изменяется значение морфологической переменной. Морфологическая переменная определяется для данной группировки суперпикселей.

В следующем ниже описании термин «контур биологического объекта» означает разницу, обнаруживаемую в цифровой графической информации, которая задает границу предмета, такого как клеточное ядро, в некотором месте на изображении. В случае клеточного ядра отдельное ядро может иметь различную форму, например, круглую, эллиптическую или иную. Ядра могут иметь различный размер. Например, ядро эпителиальной клетки может быть намного больше (до 5 раз больше), чем ядро инфильтрованной иммунной клетки. Поэтому контур является любой линией в биологически полученной цифровой графической информации, которая может разграничивать часть внутри и за пределами биологического объекта, такого как клеточное ядро. Такая линия может быть даже «поврежденной» (иметь разрыв) линией, соответствующей разорванному ядру.

В следующем ниже описании термин «графическая информация» может относиться к цифровым данным, которые при воспроизведении в соответствии с подходящим графическим стандартом могут быть повторно собраны так, чтобы обеспечивать пиксели изображения на дисплее, показывающие биологический объект. Графическая информация может быть сжата в соответствии, например, со стандартом RAW. Графическая информация может быть в формате BITMAP или JPEG, специалистам в области техники известны и другие форматы.

В следующем ниже описании термин «суперпиксель» относится к непрерывной области пикселей в графической информации, которая была задана как непрерывная область с использованием алгоритма сегментации на суперпиксели. Такие алгоритмы используются для деления цифровой графической информации на области, которые являются пространственно однородными, например, с точки зрения цвета и/или текстуры. При высоком разрешении клеточные ядра четко видны, например, на изображении с окраской гематоксилин-эозином (H&E). Сегментация на суперпиксели может помочь сегментировать и распознать части клеточных ядер на изображении с окраской H&E. Другими словами, суперпиксель является непрерывным поднабором пикселей, имеющих однородный цвет и/или текстуру в наборе пикселей биологической графической информации.

В следующем ниже описании термин «область поиска» может относиться к части графической информации, которая может перекрывать несколько суперпикселей или охватывать только один суперпиксель графической информации. Альтернативно, «область поиска» может рассматриваться как место поиска. Если границы суперпикселя пересекаются с местом поиска, то также можно считать, что область поиска «касается» суперпикселя(ей).

В следующем ниже описании термин первая и вторая «морфологическая переменная» определяет метрики, которые дают информацию о форме суперпикселя или набора суперпикселей.

В следующем ниже описании термин «компактность формы» относится к численной величине, представляющей собой площадь формы, поделенной на периметр этой формы. Эллипс, который имеет сильно разные полуоси (эллипс с большим эксцентриситетом), будет иметь низкую компактность формы, тогда как идеальный круг будет иметь высокую компактность формы. Такие метрики применимы ко всем геометрическим формам и не зависят от масштаба и/или ориентации. Общей мерой компактности является изопериметрическое частное. Это отношение площади формы к площади круга, имеющего такой же периметр.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Иллюстративные варианты осуществления будут описаны со ссылкой на следующие чертежи:

фиг. 1 показывает моделируемый набор биологической графической информации до и после преобразования в области суперпикселей;

фиг. 2 показывает систему помощи при диагностике в соответствии с первым аспектом;

фиг. 3 показывает последовательность изображений, иллюстрирующих работу алгоритма поиска в соответствии с одним примером;

фиг. 4a)-4c) показывают конкретные примеры шаблонов поиска;

фиг. 5a)-5b) показывают типичные результаты с использованием примера предложенного алгоритма поиска;

фиг. 6 показывает способ в соответствии со вторым аспектом;

фиг. 7 показывает применение системы помощи при диагностике;

фиг. 8 показывает клиент-серверное применение системы помощи при диагностике.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Обнаружение ядер является сложной проблемой как для изображений с окраской H&E, так и для иммуногистохимических (IHC) изображений. Типичным подходом является обнаружение исходных местоположений с использованием интенсивности изображения, инициализация местоположения и формы контура и применение Модели активных контуров (ACM) для точного задания границы клеточных ядер. Этот подход предполагает, что полезные кандидаты в ядра уже были обнаружены. Кроме того, окончательная граница потенциальных ядер может быть найдена только путем сглаживания границы, выраженного функцией минимизации энергии.

Этот подход не может быть предпочтительным решением с точки зрения устойчивости или эффективности алгоритма. Инициализация контура в подходе ACM может испытывать сложности, когда анализируемая клетка состоит из открытой структуры, другими словами, когда различные части клетки или ядра имеют сильно отличающуюся интенсивность цветов вследствие, например, проникновения клеточной цитоплазмы.

В таких случаях подходы предшествующего уровня техники не в состоянии обнаружить контуры биологических объектов, таких как ядра, потому что исходная затравочная область может быть расположена неблагоприятно для этапа инициализации ACM, или потенциальные исходные затравочные области вообще не обнаруживаются. Другими словами, биологические объекты, таких как клеточные ядра, часто имеют различные формы. Они различаются по размеру и демонстрируют вариации внутренней текстуры и цвета, приводя к увеличению вероятности обнаружения неправильной границы при применении алгоритма ACM.

Здесь представлен один подход к решению упомянутых выше проблем в соответствии с аспектами, описанными выше. Сначала будет представлен подход в соответствии со вторым аспектом, который является способом обработки изображений для идентификации контура биологического объекта в графической информации.

Способ в соответствии со вторым аспектом содержит:

a) прием графической информации, которая была сегментирована на суперпиксели;

b) выбор исходного набора суперпикселей в графической информации в исходном местоположении в графической информации;

c) определение первой морфологической переменной исходного набора суперпикселей;

d) идентификацию дополнительного набора суперпикселей, смежных к суперпикселю исходного набора суперпикселей, в дополнительном местоположении в графической информации;

e) генерацию второй морфологической переменной объединения исходного набора и дополнительного набора суперпикселей;

f) если сравнение второй морфологической переменной c первой морфологической переменной указывает, что объединение исходного набора и дополнительного набора имеет бóльшую компактность формы, задать контур биологического объекта в графической информации как границу объединения исходного набора и дополнительного набора суперпикселей.

Соответственно, обнаружение не зависит от свойств цвета или текстуры областей биологического объекта в графической информации. Вместо этого оно зависит от компактности формы групп суперпикселей по мере того, как они последовательно добавляются в набор.

Теперь будет объяснен принцип подхода к обработке изображений, начиная со способа второго аспекта.

Фиг. 1a) изображает синтетический образ типичной необработанной цифровой графической информации, взятой c патогистологического слайда. Фиг. 1a) показывает патогистологический слайд 10, имеющий множество биологических объектов, например, таких как ядро 12 иммунной клетки и ядра эпителиальных клеток, такие как 14 и 16. Ядра 14 и 16 эпителиальных клеток содержат множество объектов, имеющих различный размер и текстуру. На цветном изображении объекты внутри ядер также могут иметь различные цвета.

Фиг. 1b) изображает получившуюся сегментацию на суперпиксели графической информации на фиг. 1a). Как результат отличающихся цветов, текстур и размеров, тела ядер поделены в группы суперпикселей с помощью применения алгоритма сегментации на суперпиксели к биологической графической информации, как можно видеть на фиг. 1b) под номерами 14a и 16a. Можно заметить, что группирование соседних суперпикселей на основе только показателя подобия цвета или текстуры в общем не позволяет обеспечить надежную идентификации ядер 14 и 16, потому что множество ядер демонстрирует большое разнообразие интенсивности цветов и текстуры в ядрах.

Для получения правильных границ клеточных ядер предлагается применить новый подход к группированию суперпикселей. После приема биологической графической информации, которая была сегментирована с помощью алгоритма сегментации на суперпиксели, набор суперпикселей в цифровой графической информации, которые соответствуют границе клеточного ядра 14, 16, например, области суперпикселей около 14a и 16a, как правило, формируют более компактную форму, чем любой другой набор суперпикселей в другой части цифровой графической информации 10. Поэтому предлагается оценивать компактность формы нескольких наборов суперпикселей в сегментации на суперпиксели цифровой графической информации 10, и задавать набор суперпикселей, который приводит к значительной компактности формы, как набор суперпикселей, который задает область цифровой графической информации в качестве клеточного ядра.

Одним показателем компактности формы, который может использоваться в качестве морфологической переменной, является так называемое изопериметрическое частное, хотя специалисту в области техники будет понятно, что могут применяться другие показатели компактности формы.

Альтернативным показателем для описания формы, который может использоваться в качестве морфологической переменной, является кривизна границы суперпикселя или набора суперпикселей. Путем суммирования кривизны границы по всем точкам на контуре получается одно интегральное значение, которые также будет описывать форму.

Для двумерной формы изопериметрическое частное задается как отношение ее площади и площади круга, имеющего такой же периметр. Уравнение изопериметрического частного определяется в уравнении (1):

(1)

Переменная A представляет собой площадь двумерной формы, а L является периметром двумерной формы. Компактность, q, формы лежит в диапазоне [0,1].

Поэтому очень вытянутая форма будет иметь q близкое к 0, в то время как для круга q=1. В настоящей заявке первая морфологическая переменная является компактностью формы исходного набора суперпикселей, а вторая морфологическая переменная является компактностью формы дополнительного набора суперпикселей. Хотя будет понятно, что имеются другие метрики для оценки первой и второй морфологических переменных.

В частности, следует отметить, что описанная здесь методика не ограничивается случаем двумерного цифрового изображения, и варианты осуществления могут применяться к трехмерной биологической графической информации с использованием показателя компактности формы, такого как, например, шарообразность.

Поэтому, хотя и предпочтительно, но не обязательно использовать изопериметрическое частное в качестве морфологической переменной, чтобы оценить компактность формы.

Выбор одного набора суперпикселей с более высоким значением q по сравнению с другим набором суперпикселей, который имеет более низкое значение q, является основой для построения алгоритма поиска. Существует множество разных подходов к формированию потенциальных наборов (предлагаемых группирований) суперпикселей. Общим элементом алгоритмов является то, что набор суперпикселей модифицируется с целью максимизации компактности q формы. Опционально, поиск наборов суперпикселей заканчивается, когда q становится достаточно высоким, при максимальной итерации, или когда удовлетворяется некоторый другой критерий остановки.

Теперь будет обеспечен подробный пример процедуры поиска настоящего алгоритма в соответствии со вторым аспектом.

Формально, пусть S обозначает набор областей суперпикселей, объединение которых должно задавать клеточное ядро. Обеспечено исходное введенное местоположение (x₀, y₀) в цифровой графической информации. Исходный набор S инициируется путем размещения области поиска (которая может быть формой, такой как круг радиуса R) в местоположении (x₀, y₀).

Идентификация суперпикселей, лежащих в пределах и вне области поиска, может выполняться множеством различных способов. Например, если пиксели, содержащиеся в некотором суперпикселе, находятся в пределах области поиска, то весь этот некоторый суперпиксель может быть назначен как находящийся в исходном наборе. В качестве другого примера, если граница суперпикселя пересекается с областью поиска, то суперпиксели с любой стороны границы могут быть назначены как находящиеся в исходном наборе.

В этом примере все области суперпикселей, границы которых пересекаются (касаются) с областью поиска, добавляются в набор S.

Для исходного набора S вычисляется первая морфологическая переменная, обозначающая компактность формы S. Например, площадь формы, заданной суперпикселями исходного набора S, может быть вычислена путем подсчета числа пикселей в исходном наборе S. Например, периметр начального набора S может быть вычислен путем подсчета числа пикселей, лежащих на границе исходного набора S. В качестве примера, q может быть вычислено в соответствии с уравнением (1) выше, с помощью которого ищется изопериметрическое частное q исходного набора S. Конечно, возможны и другие способы оценки значений A и l.

Результатом этого является исходный набор S₀ с ассоциированной компактностью q₀ формы в качестве первой морфологической переменной.

В следующем шаге в местоположении (x₁, y₁) размещается следующая область поиска (в этом примере круг) вблизи исходного входного местоположения (x₀, y₀).

Теперь пусть S₁ обозначает набор всех областей суперпикселей, которые пересекаются со следующей областью поиска. Ищется вторая морфологическая переменная (например, показатель компактности формы, такой как изопериметрическое частное) для объединения наборов S₀ и S₁.

Первая морфологическая переменная и вторая морфологическая переменная затем сравниваются. Если вторая морфологическая переменная больше первой морфологической переменной, S переопределяется как объединение наборов S₀ и S₁. Если вторая морфологическая переменная остается без изменений в сравнении с первой морфологической переменной или уменьшается, то в этом примере S не изменяется. Специалисту в области техники будет понятно, что может быть обеспечено большое разнообразие критериев остановки.

Области поиска, предпочтительно, добавляются с заранее заданным шаблоном поиска, который предназначен для обеспечения высокой вероятности обнаружения ядра. Ниже будут рассмотрены некоторые реализации шаблонов поиска.

Фиг. 2 изображает способ в соответствии со вторым аспектом.

Фиг. 3a)-3f), изображают итерации последовательности обнаружения ядра в цифровой графической информации в соответствии с описанным выше подходом.

Фиг. 3a) показывает клеточное ядро 20 в цифровой графической информации, окруженное клеточными ядрами 21a, 21b и 21c меньшего размера и областями 19a и 19b внеклеточного матрикса. Цифровая графическая информация ранее была сегментирована на суперпиксели A-R.

Суперпиксели C и E являются внутриядерными границами. В этом случае алгоритм сегментации на суперпиксели добавил области C и E внутри области ядра, дополнительно усложняя процесс правильного определения клеточного ядра 20.

В этом примере представляет интерес контур клеточного ядра 20. Он представляет собой границу клеточного ядра 20.

Фиг. 3b) показывает первую итерацию способа поиска. Исходное местоположение в графической информации было задано в 22 (например, пользователем или случайным размещением исходных начальных местоположений). Граница первой области 24 поиска (в этом случае круглой области поиска) показана в этом случае как пунктирная линия.

Исходный набор суперпикселей задан как области A, B и D, все из которых имеют области суперпикселей, касающиеся первой области 24 поиска (другими словами, границы суперпикселей пересекают границу области поиска). Суперпиксели A, B и D заданы как исходный набор суперпикселей.

Граница A, B и D задана как жирная линия 26. Следует отметить, что C и E являются суперпикселями, содержащимися внутри границы 20 ядра, которое было сегментировано. Однако первая область 24 поиска не касается границ C и E. Поэтому площади C и E, но не их периметры, используются для вычисления компактности формы границы 26 для A, B и D. Компактность формы исходного набора A, B и D генерируется в качестве первой морфологической переменной с использованием площади A, B и D и полного периметра A, B и D.

Фиг. 3c) показывает следующую итерацию, имеющую следующее размещение второго начального местоположения 26 в цифровой графической информации, вокруг которого расположена вторая область 27 поиска (в этом случае круг). Область 27 поиска касается суперпикселей F и D. Таким образом, F и D формируют дополнительный набор суперпикселей. Поэтому объединением исходного набора и дополнительного набора суперпикселей являются A, F, D и B, имеющие периметр, показанный жирной линией 28. Затем генерируется вторая морфологическая переменная объединения исходного набора и дополнительного набора суперпикселей (A, F, D и B). Поскольку компактность формы набора A, F, D и B больше, чем компактность формы A, B и D, вторая морфологическая переменная больше, чем первая морфологическая переменная, и набор A, F, D и B задается как временно являющийся самой подходящей оценкой контура клеточного ядра 20.

Фиг. 3d) показывает следующую итерацию, где была размещена третья область 32 поиска с центром в третьем исходном местоположении 30. Третья область 32 поиска касается суперпикселей B, D и E. Поэтому суперпиксель E добавляется в следующий набор суперпикселей. Вычисляется третья морфологическая переменная этого следующего набора суперпикселей. В этом случае третья морфологическая переменная увеличивается.

Фиг. 3e) показывает следующую итерацию, где была добавлена четвертая область 34 поиска с центром в четвертом исходном местоположении 36. Можно видеть, что добавление четвертой области поиска 34 приведет к дальнейшему увеличению компактности формы клеточного ядра 20.

Фиг. 3f) показывает следующую итерацию, в которой размещена область 38 поиска с центром вокруг пятого исходного местоположения 40, что вызывает генерацию морфологической переменной, использующей объединение дополнительного набора (включающего в себя суперпиксели G и H) с текущим исходным набором (включающим в себя суперпиксели с А по F). Можно видеть, что добавление дополнительного набора больших суперпикселей G и H вне границы клеточного ядра 20 приводит к сильному уменьшению компактности формы, потому что дополнительная длина суперпикселей G и H (полная длина не показана) намного больше, чем дополнительная площадь суперпикселей G и H.

Соответственно, оптимальная компактность формы в этой ситуации, обеспечивающая окончательную потенциальную границу области ядра, достигается для расположения первых четырех кругов.

Пример на фиг. 3 размещал последовательные области поиска в соответствии с растущей вовне схемой кругов, размещаемые на все возрастающем расстоянии от исходного начального местоположения.

Фиг. 4a) изображает опциональный шаблон поиска, где местоположение (x_o, y_o) является первым исходным местоположением, и области поиска являются кругами с центром в исходном местоположении.

Фиг. 4b) демонстрирует другой опциональный шаблон поиска, в котором путь 44 поиска не ограничен прямоугольной схемой, а вместо этого следует шаблону в виде раскручивающейся спирали (раковина улитки), начинающейся в исходном местоположении (x_o, y_o), на которой находятся центры круглых областей поиска.

Фиг. 4c) показывает случайный маршрут 46, на котором генерируются области поиска. Случайный маршрут может генерироваться, начиная с исходного местоположения (x_o, y_o), например, с использованием алгоритма «случайного блуждания».

Специалисту в области техники будет очевидно, что могут быть обеспечено множество других путей поиска в алгоритме поиска.

Может быть обеспечено множество различных форм области поиска в соответствии с вариантами осуществления. Например, вместо круглой область поиска может быть квадратной, прямоугольной или треугольной. Опционально, диаметр области поиска может увеличиваться в последующих этапах по мере продвижения вперед алгоритма. Альтернативно, диаметр областей поиска может уменьшаться по мере продвижения вперед алгоритма. Это позволяет настраивать алгоритм к конкретным типам ядер.

В одном варианте осуществления способа на этапе a) принимается графическая информация, которая была сегментирована на суперпиксели. Специалисту в области техники будет понятно, что сегментация изображений на суперпиксели является хорошо известным этапом предварительной обработки при обработке изображений. Это один из нескольких альтернативных подходов к обнаружению частей ткани, таких как клеточные мембраны, цитоплазма клетки и клеточные ядра. Подход с сегментацией на суперпиксели предполагает, что соседние пиксели имеют схожие свойства и могут быть сгруппированы и кластеризованы в суперпиксели, эффективно уменьшая объем данных для дальнейшего анализа.

Опционально, в одном варианте осуществления имеется исходный этап приема цифровой графической информации патологического исследования, которая не была сегментирована на суперпиксели, и сегментацию принятой цифровой графической информации патологического исследования в графическую информацию для использования на этапе a) способа.

Поэтому в соответствии с одним вариантом осуществления обеспечен способ обработки изображений, в котором на этапе b) и/или d) выбор исходного набора суперпикселей и/или дополнительного набора суперпикселей основан на:

b1) размещении области поиска в исходном местоположении и/или дополнительном местоположении;

b2) выборе исходного набора и/или дополнительного набора суперпикселей как набора областей суперпикселей, которые касаются области поиска вокруг исходного местоположения и/или дополнительного местоположения.

В соответствии с одним вариантом осуществления первая морфологическая переменная является изопериметрическим частным исходного набора, а вторая морфологическая переменная является изопериметрическим частным объединения исходного набора и дополнительного набора.

В соответствии с одним вариантом осуществления первая морфологическая переменная является кривизной границы исходного набора, а вторая морфологическая переменная является кривизной границы объединения исходного набора и дополнительного набора. Опционально, кривизну границы находят путем суммирования кривизны границы по всем точкам на контуре исходного набора и/или дополнительного набора.

В соответствии с одним вариантом осуществления исходное местоположение и дополнительное местоположение выбираются так, чтобы обеспечивать путь поиска для ограничения размещения областей поиска в графической информации, при этом путь поиска является одним из: шаблоном в виде расходящейся спирали, случайным блужданием; или расширяющимся вовне набором круговых периметров.

В соответствии с одним вариантом осуществления обеспечен дальнейший этап:

a1) приема через пользовательский интерфейс указания относительно исходного местоположения; и

при этом на этапе b) исходный набор суперпикселей содержит суперпиксель в исходном местоположении.

Выбор начального положения пользователем позволяет быстро найти хорошее потенциальное исходное положение. Предпочтительно, пользовательский интерфейс является сенсорным экраном. Тогда пользователь может «прокручивать» графическую информацию, используя сенсорный экран и помещать указание относительно исходного местоположения в представляющем интерес месте в графической информации.

Опционально, пользователь может разместить множество начальных положений. Опционально, пользовательский интерфейс может быть указателем компьютерной мыши, клавиатурой или сенсорной панелью компьютера.

В соответствии с одним вариантом осуществления обеспечен дальнейший этап:

b3) генерации исходного местоположения с использованием случайного процесса. На этапе b) исходный набор суперпикселей содержит суперпиксель в исходном местоположении.

Соответственно, алгоритм может быть начат без контроля со стороны пользователя.

В соответствии с одним вариантом осуществления этапы с a) по f) многократно повторяются до тех пор, пока вторая морфологическая переменная не достигнет значения остановки, или пока не будет совершено заранее установленное число итераций.

Соответственно, в первом случае может быть необходим конкретный коэффициент формы или диапазон коэффициента формы, прежде чем алгоритм будет остановлен, чтобы гарантировать, например, что было идентифицировано подлинное ядро. Альтернативно, алгоритм может быть остановлен после определенного числа итераций, которое может зависеть от конкретного типа патогистологического контекста, для уменьшения числа циклов обработки.

В соответствии с одним вариантом осуществления обеспечены дальнейшие этапы:

g) повторения этапов с a) по f) из множества исходных начальных положений, тем самым идентификации множества потенциальных контуров.

g1) отображения множества потенциальных контуров пользователю;

g2) приема пользовательского ввода для выбора поднабора контуров во множестве потенциальных контуров.

g3) генерации контролируемой обучающей информации на основании множества потенциальных контуров и выбранного поднабора контуров.

Изопериметрическое частное обеспечивает хороший критерий для таких ядер, но подход может быть дополнительно улучшен путем генерации нескольких потенциальных ядер. Например, в одном пикселе могут быть различные границы ядер, которые можно выбирать.

Поэтому в одном варианте осуществления также предлагается обеспечить контролируемый обучающий подход для извлечения истинной границы из набора потенциальных ядер. Преимущество этого состоит в том, что потенциальные ядра позволяют проводить сегментацию, которая часто уже является правильной, так что признаки поглощения границы ядра и размерные признаки могут быть точно оценены в окончательной задаче классификации.

В соответствии с одним вариантом осуществления обеспечен дальнейший этап:

h) отображения контура на пользовательском интерфейсе.

В соответствии с дополнительным аспектом обеспечен пользовательский интерфейс, выполненный с возможностью идентификации контура биологического объекта в графической информации. Пользовательский интерфейс выполнен с возможностью приема графической информации, которая была сегментирована на суперпиксели, обеспечения выбора пользователем исходного набора суперпикселей в графической информации в исходном местоположении в графической информации и передачи выбора пользователя блоку обработки.

Пользовательский интерфейс дополнительно выполнен с возможностью отображения контура биологического объекта в графической информации, если сравнение второй морфологической переменной с первой морфологической переменной блоком обработки указывает, что объединение исходного набора и дополнительного набора имеет бóльшую компактность формы по сравнению с исходным набором.

Пользовательский интерфейс может содержать, например, дисплей с сенсорной панелью или монитор PC.

Поэтому идентифицированный контур может быть выделен для пользователя, например, путем окрашивания идентифицированного контура в отличительный цвет, чтобы позволить выделить идентифицированный контур для обеспечения дальнейшего контроля.

Опционально, идентифицированный контур выполнен с возможностью «оставаться» в отображенной биологической графической информации по мере того, как обнаруживается больше потенциальных контуров. Опционально, идентифицированный контур выполнен с возможностью «оставаться» в отображенной биологической графической информации по мере того, как пользователь прокручивает в разных направлениях изображение с использованием пользовательского интерфейса. Опционально, активирующее событие, такое как касание контура, когда контур отображается на сенсорном экране, вызывает сокрытие контура из вида. Опционально, касание области пользовательского интерфейса, имеющего форму, как целевой объект, такой как ядро, вызывает отображение контура.

В соответствии с одним вариантом осуществления второго аспекта пользовательский интерфейс принимает активирующее событие, такое как касание поверхности сенсорного экрана, при этом сенсорный экран отображает графическую информацию. Касание инициирует поиск контура с использованием описанного выше способа второго аспекта, при этом исходное местоположение обеспечивается местоположением, в котором было сделано касание на сенсорном экране. Когда контур был идентифицирован с использованием подхода, описанного выше, он отображается пользователю. Таким образом, пользовательский интерфейс выполнен с возможностью оперативно и быстро «по запросу» генерировать контуры из исходной графической информации, содержащей суперпиксели.

В соответствии с одним вариантом осуществления пользовательский интерфейс принимает информацию отслеживания, такую как смахивающее движение пальцем на сенсорной панели или перемещение мыши, которая указывает, что пользователь «прокручивает» поле обзора графической информации. Затем, с помощью автоматического подхода, в поле обзора идентифицируется множество потенциальных местоположений. Опционально, потенциальные местоположения могут идентифицироваться случайным образом. Опционально, потенциальные местоположения могут идентифицироваться в соответствии с алгоритмом затравки, который идентифицирует потенциальные начальные местоположения на основании информации о цвете и/или текстуре в графической информации. Затем в «текущем» поле обзора идентифицируется множество потенциальных ядер, предпочтительно все ядра.

Таким образом, можно генерировать контуры в поле обзора, содержащем суперпиксели, по мере того, как пользователь осуществляет прокрутку. Как обсуждалось выше, вычислительная эффективность подхода с нахождением контуров позволяет генерировать контуры с низкой задержкой, что является важным фактором при взаимодействии человека с графическим пользовательским интерфейсом (GUI).

В соответствии с одним вариантом осуществления графическая информация является микроскопическим изображением образца ткани, а контур соответствует стенке клеточного ядра.

В соответствии с одним вариантом осуществления графическая информация является микроскопическим изображением образца ткани, а контур соответствует стенке поврежденного клеточного ядра.

Фиг. 5a) и 5b) изображают синтетическое изображение с окрашиваением H&E. Суперпиксели с различными цветами были сгруппированы, потому что сходство цветов не использовалось в качестве критерия.

На фиг. 5a) была достигнута относительно высокая компактность формы, равна 0.58, как можно видеть в виде светлоокрашенной линии, задающей сошедшийся результат алгоритма. Этот контур будет одобрен, потому что компактность формы относительно высока.

Фиг. 5b) показывает ситуацию, в которой алгоритм сошелся к компактности формы, равной 0.33, относительно низкому результату, как можно видеть в виде линии 47, «выходящей за пределы» ядра 49. Эта граница будет отклонена вследствие низкой компактности формы.

В соответствии с первым аспектом обеспечена система 50 помощи при диагностике, выполненная с возможностью идентификации контура биологического объекта в графической информации. Диагностическая система содержит:

- блок 52 обработки.

Блок обработки выполнен с возможностью приема графической информацию, которая была сегментирована на суперпиксели, выбора исходного набора суперпикселей в графической информации в исходном местоположении в графической информации, определения первой морфологической переменной исходного набора суперпикселей, идентификации дополнительного набора суперпикселей, смежного к суперпикселю исходного набора суперпикселей, в дополнительном местоположении графической информации, генерации второй морфологической переменной объединения исходного набора и дополнительного набора суперпикселей и, если сравнение второй морфологической переменной с первой морфологической переменной указывает, что объединение исходного набора и дополнительного набора имеет бóльшую компактность формы, задания контура биологического объекта в графической информации как границы объединения исходного набора и дополнительного набора суперпикселей.

Фиг. 6 показывает диагностическую систему в соответствии с первым аспектом. Система 50 помощи при диагностике содержит блок 52 обработки.

Опционально, система помощи при диагностике может быть воплощена как настольное вычислительное устройство, такое как персональный компьютер. Альтернативно, система помощи при диагностике может быть воплощена как вычислительное устройство с сенсорным экраном, такое как «iPad» (TM) или смартфон. Опционально, система помощи при диагностике воплощена как сервер в системе «облачных вычислений».

Блок 52 обработки может быть одним из многих устройств цифровой обработки данных, способным выполнять операции над графической информацией. Например, блок 52 обработки является универсальным центральным процессором (CPU). Альтернативно, блок обработки является цифровым сигнальным процессором (DSP) или программируемой пользователем вентильной матрицей (FPGA). Опционально, блок 52 обработки может быть графическим процессором (GPU). Опционально, блок 52 обработки может быть комбинацией ранее перечисленных элементов. Таким образом, идентификация контура биологического объекта в графической информации может быть «передана» в вычислительном отношении более подходящему устройству.

Фиг. 7 показывает машину 55 цифрового патогистологического исследования, содержащую множества слотов 56 для образцов и интерактивный пользовательский интерфейс 54. Опционально, машина 55 цифрового патогистологического исследования соединена с PC 60, который отображает результат операции по идентификации контуров на экране 62 дисплея. Поэтому цифровые результаты патогистологического исследования могут быть быстро проанализированы после того, как образцы были помещены в машину.

Уменьшение вычислительной сложности с использованием идентификации контуров, обсуждавшейся выше, позволяет разделить обработку изображений по типу «клиент-сервер». Подходы с генерацией суперпикселей, в общем, являются относительно высокозатратными в вычислительном отношении.

Альтернативно, алгоритм нахождения контуров, подробно описанный в настоящем описании, будет относительно менее сложным в вычислительном отношении. Таким образом, одним подходом является предварительное выполнение этапа обнаружения суперпикселей на первом устройстве, имеющем подходящее в вычислительном отношении мощное аппаратное обеспечение, и обеспечение графической информации, содержащей суперпиксели, второму устройству для нахождения и отображения контуров, это уменьшает тяжесть вычислительной нагрузки на второе устройство.

Таким образом, в соответствии с первым дополнительным аспектом обеспечен способ серверной стороны обработки цифровых изображений патологических исследований. Способ содержит:

SP) прием цифровой графической информации патологического исследования;

SQ) применение алгоритма построения суперпикселей к цифровой графической информации патологического исследования для обеспечения, таким образом, изображения с суперпикселями; и

SR) передачу изображения с суперпикселями клиентскому устройству, содержащему систему помощи при диагностике.

Опционально, способ серверной стороны может быть обеспечен в машине 57 цифрового патологического исследования. Альтернативно, способ серверной стороны может обеспечивать зашифрованную загрузку изображений из машины цифрового патологического исследования в базу данных или в «облачный» вычислительный сервис, где обеспечивается генерация суперпикселей.

В соответствии со вторым дополнительным аспектом обеспечен способ клиентской стороны обработки цифровых изображений патологического исследования. Способ содержит:

CA) прием изображения с суперпикселями, которое было сегментировано на суперпиксели в устройстве серверной стороны;

CB) выбор исходного набора суперпикселей на изображении с суперпикселями в исходном местоположении на изображении с суперпикселями;

CC) определение первой морфологической переменной исходного набора суперпикселей;

CD) идентификацию дополнительного набора суперпикселей, смежных с суперпикселем исходного набора суперпикселей, в дополнительном местоположении в графической информации;

CE) генерацию второй морфологической переменной объединения исходного набора и дополнительного набора суперпикселей;

CF) если сравнение второй морфологической переменной с первой морфологической переменной указывает, что объединение исходного набора и дополнительного набора имеет бóльшую компактность формы, задать контур биологического объекта на изображении с суперпикселями как границу объединения исходного набора и дополнительного набора суперпикселей.

В соответствии с третьим дополнительным аспектом обеспечено устройство связи серверной стороны, которое выполнено с возможностью передачи изображения с суперпикселями устройству клиентской стороны, содержащему систему помощи при диагностике в соответствии со способом первого дополнительного аспекта. Опционально, изображение с суперпикселями может быть загружено в зашифрованном формате из облачного сервера.

В соответствии с четвертым дополнительным аспектом обеспечено устройство связи клиентской стороны, которое выполнено с возможностью приема изображения с суперпикселями, которое было сегментировано на суперпиксели в устройстве серверной стороны, и задания контура биологического объекта на изображении с суперпикселями как границы объединения исходного набора и дополнительного набора суперпикселей в соответствии со способом второго дополнительного аспекта.

Варианты осуществления с первого по четвертый дополнительных аспектов могут содержать любой объект изобретения, обсуждавшийся в настоящем описании в отношении аспектов с первого по четвертый, или их варианты осуществления.

Соответственно, контур может быстро быть найден на изображении с суперпикселями с использованием сенсорной панели или смартфона, например, когда изображение с суперпикселями было предварительно вычислено на сервере.

Фиг. 8 показывает машину 57 цифрового патогистологического исследования в одном варианте осуществления, в котором она выполняет функцию способа серверной стороны обработки цифровых изображений патологического исследования. Информация о суперпикселях передается беспроводным образом от машины 55 цифрового патогистологического исследования (которая функционирует как сервер в этом примере) с использованием беспроводного приемопередатчика 62. Переносное клиентское устройство 64 (в этом случае планшетный компьютер) выполнено с возможностью осуществления связи с машиной 57 цифрового патогистологического исследования для приема информации о суперпикселях. Пользователь может прокручивать принятую информацию о суперпикселях, и алгоритм клиентской стороны идентифицирует контуры на изображении с суперпикселями в режиме реального времени с минимальной задержкой, потому что в вычислительном отношении этап генерации суперпикселей ранее был завершен на серверной стороне, и алгоритм обнаружение контуров пониженной сложности имеет подходящую сложность, чтобы исполняться на более скромном вычислительном аппаратном обеспечении, которое присутствует в переносном планшете.

В соответствии с третьим аспектом обеспечен элемент компьютерной программы для управления блоком обработки и/или системой, как заявлено в первом аспекте, или ее вариантов осуществления, которые, когда элемент компьютерной программы исполняется блоком обработки, выполнены с возможностью выполнения способа второго аспекта или его вариантов осуществления.

В соответствии с четвертым аспектом обеспечен компьютерно-читаемый носитель, хранящий элемент компьютерной программы третьего аспекта.

Поэтому элемент компьютерной программы может храниться в блоке вычислительного устройства, который также может быть вариантом осуществления настоящего изобретения. Этот вычислительный блок может быть выполнен с возможностью выполнять или индуцировать исполнение этапов способа, описанного выше. Кроме того, он может быть выполнен с возможностью управления компонентами описанного выше устройства.

Вычислительный блок может быть выполнен с возможностью автоматической работы и/или исполнения команд пользователя. Компьютерная программа может быть загружена в оперативную память процессора для обработки данных. Процессор для обработки данных, таким образом, может выполнять способ изобретения.

Этот иллюстративный вариант осуществления изобретения охватывает как компьютерную программу, которая содержит изобретение, установленную с самого начала, так и компьютерную программу, которая посредством обновления превращает существующую программу в программу, которая использует это изобретение. Компьютерная программа может храниться и/или распространяться в подходящей среде, такой как оптическая среда хранения данных или твердотельная среда, предоставляемая вместе или как часть другого аппаратного обеспечения, но также может распространяться в других формах, например, через Интернет или другие проводные или беспроводные телекоммуникационные системы.

Однако, компьютерная программа также может быть представлена через сеть, такую как всемирная паутина, и может быть загружена в оперативную память процессора для обработки данных из такой сети. В соответствии с дополнительным иллюстративным вариант осуществления настоящего изобретения обеспечена среда, которая делает элемент компьютерной программы доступным для загрузки, этот элемент компьютерной программы выполнен с возможностью выполнения способа в соответствии с одним из ранее описанных вариантов осуществления изобретения.

Также следует отметить, что варианты осуществления изобретения описаны со ссылкой на различные объекты изобретения. В частности, некоторые варианты осуществления описаны со ссылкой на пункты, описывающими способ, тогда как другие варианты осуществления описаны со ссылкой на пункты, описывающие устройство. Однако специалисту в области техники из упомянутого выше и следующего ниже описания будет понятно, что, если не указано иное, в дополнение к любой комбинации признаков, принадлежащих одному типу объекта изобретения, другая комбинация признаков, относящихся к различным объектам изобретения, также считается раскрытой в этой заявке.

Все признаки могут комбинироваться для обеспечения синергического эффекта, который является более чем простой суммой признаков.

Хотя изобретение было подробно проиллюстрировано и описано на чертежах и в приведенном выше описании, такие иллюстрацию и описание следует считать иллюстративными и приведенными в качестве примера, и не ограничивающими. Изобретение не ограничивается раскрытыми вариантами осуществления.

Специалистами в области техники при осуществлении заявленного изобретения могут быть осознаны и осуществлены другие вариации раскрытых вариантов осуществления после изучения чертежей, раскрытия и зависимых пунктов формулы изобретения.

В пунктах формулы изобретения слово «содержащий» не исключает другие элементы или этапы, а единственное число не исключает множественное. Один процессор или другой блок может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Сам по себе факт, что некоторые средства перечислены во взаимно различных зависимых пунктах формулы изобретения, не означает, что комбинация этих средств не может быть использована с выгодой. Любые ссылочные позиции в формуле изобретения не должны рассматриваться как ограничение объема изобретения.

1. Система помощи при диагностике клеточного ядра, выполненная с возможностью идентификации контура биологического объекта в графической информации, содержащая:

- блок обработки (52);

при этом блок обработки выполнен с возможностью приема графической информации, которая была сегментирована на суперпиксели, выбора исходного набора суперпикселей в графической информации в исходном местоположении в графической информации, определения первой морфологической переменной исходного набора суперпикселей, идентификации дополнительного набора суперпикселей, смежных к суперпикселю исходного набора суперпикселей, в дополнительном местоположении в графической информации, генерации второй морфологической переменной объединения исходного набора и дополнительного набора суперпикселей и, если сравнение второй морфологической переменной с первой морфологической переменной указывает, что объединение исходного набора и дополнительного набора имеет большую компактность формы, задания контура биологического объекта в графической информации как границы объединения исходного набора и дополнительного набора суперпикселей.

2. Система по п. 1, дополнительно содержащая:

- блок ввода;

при этом блок ввода выполнен с возможностью приема указания относительно исходного местоположения в графической информации от пользователя, при этом исходный набор суперпикселей содержит суперпиксели в исходном местоположении; и при этом блок (52) обработки дополнительно выполнен с возможностью задания контура, который является результатом применения алгоритма поиска, начинающегося в исходном местоположении.

3. Система по п. 1, в которой блок обработки дополнительно выполнен с возможностью генерации исходного местоположения с использованием случайного процесса и в которой исходный набор суперпикселей содержит суперпиксели в исходном местоположении.

4. Система по любому из предыдущих пунктов, в которой блок (52) обработки дополнительно выполнен с возможностью выбора исходного набора суперпикселей и/или дополнительного набора суперпикселей путем размещения области поиска в исходном местоположении и/или дополнительном местоположении и выбора исходного набора и/или дополнительного набора суперпикселей как набора областей суперпикселей, которые касаются области поиска в исходном местоположении и/или дополнительном местоположении.

5. Система по любому из предыдущих пунктов, в которой блок (52) обработки дополнительно выполнен с возможностью выбора исходного местоположения и дополнительного местоположения для обеспечения пути поиска для ограничения размещения областей поиска в графической информации, при этом путь поиска является одним из: расходящимся спиральным шаблоном, случайным блужданием или расширяющимся вовне набором кругов.

6. Система по любому из предыдущих пунктов, в которой блок (52) обработки дополнительно выполнен с возможностью итерации до тех пор, пока вторая морфологическая переменная не достигнет значения остановки или пока не будет завершено предварительно заданное число итераций.

7. Система по любому из предыдущих пунктов, в которой блок (52) обработки дополнительно выполнен с возможностью генерации множества исходных местоположений и задания множества потенциальных контуров биологических объектов в графической информации, начиная с каждого соответствующего исходного местоположения множества исходных местоположений, отображения множества потенциальных контуров пользователю, приема пользовательского ввода для выбора поднабора контуров во множестве потенциальных контуров и генерации контролируемой обучающей информации на основании множество потенциальных контуров и выбранного поднабора контуров.

8. Система по любому из предыдущих пунктов, в которой первая морфологическая переменная является изопериметрическим частным исходного набора, а вторая морфологическая переменная является изопериметрическим частным объединения исходного набора и дополнительного набора.

9. Система по любому из предыдущих пунктов, в которой графическая информация является микроскопическим изображением образца ткани, а контур соответствует стенке клеточного ядра.

10. Способ обработки изображений для идентификации контура биологического объекта в графической информации, содержащий этапы, на которых

a) принимают графическую информацию, которая была сегментирована на суперпиксели;

b) выбирают исходный набор суперпикселей в графической информации в исходном местоположении в графической информации;

c) определяют первую морфологическую переменную исходного набора суперпикселей;

d) идентифицируют дополнительный набор суперпикселей, смежных к суперпикселю исходного набора суперпикселей, в дополнительном местоположении в графической информации;

e) генерируют вторую морфологическую переменную объединения исходного набора и дополнительного набора суперпикселей;

f) если сравнение второй морфологической переменной с первой морфологической переменной указывает, что объединение исходного набора и дополнительного набора имеет большую компактность формы, задают контур биологического объекта в графической информации как границу объединения исходного набора и дополнительного набора суперпикселей.

11. Способ обработки изображений по п. 10, в котором на этапах b) и/или d) выбор исходного набора суперпикселей и/или дополнительного набора суперпикселей основан на

b1) размещении области поиска в исходном местоположении и/или в дополнительном местоположении;

b2) выборе исходного набора и/или дополнительного набора суперпикселей как набора областей суперпикселей, которые касаются области поиска в исходном местоположении и/или дополнительном местоположении.

12. Способ обработки изображений по одному из пп. 10 или 11, в котором первая морфологическая переменная является изопериметрическим частным исходного набора, а вторая морфологическая переменная r является изопериметрическим частным объединения исходного набора и дополнительного набора.

13. Способ обработки изображений по одному из пп. 10-12, в котором исходное местоположение и дополнительное местоположение выбираются для обеспечения пути поиска для ограничения размещения областей поиска в графической информации, при этом путь поиска является одним из: расходящимся спиральным шаблоном, случайным блужданием или расширяющимся вовне набором кругов.

14. Компьютерно-читаемый носитель для управления блоком обработки и/или системой по одному из пп. 1-9, выполненный с возможностью сохранения на нем элемента компьютерной программы для управления блоком обработки и/или системой посредством компьютера для исполнения этапов способа по пп. 10-13.