Идентификация аннотаций к описанию изображения

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности создания идентификации аннотации в электронному отчету об изображении на основании предварительно аннотированных изображений. Способ включает прием вводимого изображения для аннотирования, сравнение вводимого изображения с набором предварительно аннотированных изображений, генерирование показателя сходства для каждого из предварительно аннотированных изображений исходя из результата соответствующего сравнения, идентифицирование предварительно аннотированного изображения с наибольшей степенью сходства для каждой из множества заданных аннотаций, визуальное отображение идентифицированного изображения для каждой аннотации вместе с указанной аннотацией, прием входного сигнала, идентифицирующего одно из отображаемых изображений, аннотирование вводимого изображения с помощью аннотации одного из отображаемых изображений, генерирование в электронном формате отчета по вводимому изображению, который включает в себя полученную идентифицированием аннотацию. 3 н. и 12 з.п. ф-лы, 4 ил.

 

ОБЛАСТЬ ИЗОБРЕТЕНИЯ

Данное изобретение в целом относится к идентификации аннотации к электронному отчету об изображении на основании предварительно аннотированных изображений.

УРОВЕНЬ ТЕХНИКИ

Структурированные отчеты широко используются для получения описательной информации об исследуемой ткани (например, об онкологических поражениях) при работе с рентгенографическими и томографическими изображениями. С помощью структурированных отчетов врач-радиолог маркирует исследуемую ткань на изображениях, используя стандартизированный набор текстовых аннотаций, описывающих форму, ориентацию, местоположение и/или другие характеристики ткани способом, который может быть легко интерпретирован другими лицами, знакомыми с номенклатурой аннотаций.

Например, при визуализирующих исследованиях молочной железы используется стандарт BI-RADS (Система анализа и протоколирования результатов лучевых исследований молочной железы), разработанный Американской коллегией радиологов. В соответствии с этим стандартом поражения, исследуемые с помощью МРТ, должны описываться формой (круглая, овальная, дольчатая, неправильная), границами (плавные, неправильные, игольчатые), увеличением (равномерное, неравномерное, периферическое, с внутренними темными перегородками, с увеличенными внутренними перегородками, центральное) и другими характеристиками.

Аналогично, объемные образования в молочной железе при УЗИ должны быть аннотированы на предмет их формы (овальная, круглая, неправильная), ориентации (параллельная, не параллельная), границ (описанные, неявно выраженные, угловые, микродольчатые, игольчатые) и других характеристик. Подобные системы существуют или рассматриваются и для других органов, например легких. При использовании таких стандартов врач-радиолог анализирует изображение и выбирает текстовые аннотации исходя из своих наблюдений и понимания определений терминов аннотаций.

Основным подходом при составлении структурированных отчетов является непосредственный выбор пользователем текстовых аннотаций для изображения или полученных данных. Этот подход можно легко реализовать, например, с помощью выпадающего меню, в котором пользователь может выбрать характеристику с помощью мышки, сенсорного экрана, клавиатуры и/или другого устройства ввода. Однако такой подход зависит от уровня компетентности пользователя и его интерпретации смысла терминов. Альтернативным подходом к составлению структурированных отчетов является визуальный отчет.

При использовании визуальных отчетов выпадающий перечень текстов заменяется типовыми изображениями (каноническими изображениями) из базы данных, и пользователь выбирает аннотации с помощью типовых изображений. Например, вместо выбора просто термина «игольчатые» пользователь может выбрать из набора предварительно отобранных заданных изображений изображение, являющееся типовым примером игольчатой ткани. Благодаря этому снижается субъективность выбора, поскольку определение структурированных аннотаций задается изображением, а не термином в текстовой форме.

Такая визуальная аннотация изображения способствует обеспечению одинакового пониманию терминологии всеми пользователями. Однако типовые изображения являются ф (то есть всегда показывается одно и то же каноническое изображение «игольчатых краев»), а поражения определенной ткани могут быть самыми разными. И поэтому канонические примеры могут визуально отличаться от текущего изображения. Например, даже если текущее изображение, относящееся к пациенту, является «игольчатым», оно может в недостаточной мере быть сходным с каноническим «игольчатым» изображением, чтобы считаться совпадающим.

US 2012/0041779 A1 раскрывает систему поддержки принятия клинических решений (ППКР), которая содержит: подсистему группирования случаев болезни, содержащую графический пользовательский интерфейс, который выполнен с возможностью одновременно отображать данные, представляющие множество случаев заболевания пациентов, и дополнительно выполнен с возможностью давать пользователю возможность группировать выбранные случаи заболевания пациентов, представленные одновременно отображаемыми данными, в группы, связанные с клинической точки зрения, выбранные пользователем; подсистему определения доказательных характеристик, которая выполнена с возможностью определять доказательные характеристики, соотносящиеся с группами, связанными с клинической точки зрения; и пользовательский интерфейс ППКР, который выполнен с возможностью принимать текущие данные пациентов, связанные с текущими случаями заболевания пациентов, и предоставлять информацию о поддержке принятия клинических решений исходя из значений доказательных характеристик, определенных из полученных текущих данных пациентов.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Аспекты, описанные в данном документе, относятся к представленным выше и другим проблемам.

Согласно одному аспекту способ создания отчета в электронном формате к изображению с аннотацией изображения включает прием вводимого изображения, относящегося к пациенту, для аннотирования согласно п. 1.

Согласно другому аспекту представлено вычислительное устройство согласно п. 13 с .

Согласно еще одному аспекту представлен компьютерочитаемый носитель данных согласно п. 15, который кодирован компьютерочитаемыми инструкциями, которые, при выполнении их процессором, предписывают процессору исполнять этапы способа по п. 1.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Данное изобретение может содержать различные компоненты и комбинации компонентов, а также разные этапы и комбинации этапов. Чертежи представлены только с целью иллюстрации предпочтительных вариантов реализации и ни в коем случае не должны рассматриваться как ограничивающие данное изобретение.

ФИГУРА 1 схематически иллюстрирует пример компьютерной системы с модулем отчета.

ФИГУРА 2 схематически иллюстрирует пример модуля отчета.

ФИГУРА 3 иллюстрирует пример экрана дисплея, показывающего наиболее совпадающие изображения для нескольких различных типов аннотаций.

ФИГУРА 4 иллюстрирует пример способа генерирования отчета с аннотацией.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

ФИГУРА 1 иллюстрирует систему 100 с вычислительным устройством 102, которое включает в себя по меньшей мере один процессор 104, который выполняет одну или более компьютерочитаемых команд 106, хранящихся в компьютерочитаемом носителе 108 данных, который не включает в себя кратковременный носитель и включает в себя физическую память и/или другой некратковременный носитель данных. Дополнительно или альтернативно процессор 104 может выполнять одну или более компьютерочитаемых команд, передаваемых электромагнитной волной на несущей частоте, сигналом или другим кратковременным носителем.

Вычислительное устройство 102 принимает информацию от одного или более устройств 110 ввода, таких как клавиатура, мышь, сенсорный экран и т.д., и/или передает информацию на одно или более устройств 112 вывода, таких как один или более мониторов отображения. Проиллюстрированное вычислительное устройство 102 связано также с сетью 116 и одним или более устройствами, связанными с этой сетью, такими как по меньшей мере один архив 118 данных, по меньшей мере одна система 120 формирования изображений и/или одно или более других устройств.

Примеры архивов 118 данных включают в себя, в числе прочего, систему архивации и передачи изображений (PACS), радиологическую информационную систему (RIS), больничную информационную систему (HIS) и электронную медицинскую карту (EMR). Примеры систем 120 формирования изображений включают, в числе прочего, систему компьютерной томографии (КТ), систему магнитно-резонансной томографии (МРТ), систему позитронно-эмиссионной томографии (ПЭТ), систему однофотонной эмиссионной компьютерной томографии (ОФЭКТ), ультразвуковую систему (УЗИ) и систему рентгенологических исследований.

Вычислительное устройство 102 может быть компьютером общего назначения или другим аналогичным устройством, расположенным в кабинете врача, медицинском учреждении, центре томографии и т.д. Вычислительное устройство 102 включает в себя по меньшей мере программное обеспечение, позволяющее уполномоченному персоналу генерировать электронные медицинские отчеты. Вычислительное устройство 102 может передавать и/или принимать информацию с помощью таких форматов, как Health Level Seven (HL7), расширяемый язык разметки (язык XML), формирование цифровых изображений и обмен ими в медицине (DICOM) и/или один или более других форматов.

По меньшей мере одна компьютерочитаемая инструкция 106 включает в себя модуль 122 отчета, который при его выполнении по меньшей мере одним процессором 104 генерирует в электронном формате отчет для вводимого изображения, подлежащего аннотированию, включающий в себя аннотацию. Как подробно описано ниже, модуль 122 отчета определяет аннотацию на основе вводимого изображения, подлежащего аннотированию, и набора ранее полученных и аннотированных изображений других пациентов. В одном примере итоговый отчет включает в себя аннотацию, соответствующую изображению, которое визуально соответствует исследуемой ткани на вводимом изображении лучше, чем типовое заданное изображение со стандартным представлением исследуемой ткани.

ФИГУРА 2 схематически иллюстрирует пример модуля 122 отчета.

Модуль 122 отчета принимает, в качестве вводимых или входных данных, изображение (субъекта или объекта), предназначенное для аннотирования. Вводимое изображение может поступить от систем(ы) 120 формирования изображений, архива(ов) 118 данных и/или другого устройства. В этом примере вводимое изображение является медицинским изображением, например изображением с результатом МРТ, КТ, УЗИ, маммографии, рентгенограммой, ОФЭКТ-изображением или ПЭТ-изображением. Однако в одном из вариантов вводимое изображение может быть немедицинским изображением, таким как изображение объекта, связанного с неразрушающим контролем, процедурой досмотра (например, в аэропорту) и/или другим немедицинским применением.

В этом примере модуль 122 отчета имеет доступ к архиву(ам) 118 данных. Следует отметить, что модуль 122 отчета может иметь доступ к другому устройству хранения данных, которое хранит ранее полученные и аннотированные изображения, включая облачное хранилище данных, распределенную среду хранения и/или другие устройства хранения данных. Архив(ы) 118 данных включает, по меньшей мере, базу данных изображений, относящихся к другим пациентам, для которых аннотации уже были созданы. Пример форматов изображения для таких изображений включает DICOM, JPG, PNG и/или другие форматы электронных изображений.

В одном примере архив(ы) 118 данных является отдельной отобранной базой данных, в которой изображения были специальным образом проанализированы для данного применения. В другом примере архив(ы) 118 данных является базой данных бывших пациентов в медицинском учреждении, например, хранящейся в системе PACS. В данном описании предусмотрены также и другие архивы данных. В этом примере архив(ы) 118 данных включает в себя изображение и аннотацию. В другом примере изображение и аннотация хранятся в разных устройствах.

В общем случае архив(ы) 118 данных включает по меньшей мере одно изображение, представляющее каждую из существующих аннотаций. Например, в одном случае набор доступных аннотаций включает в себя аннотации границы (например, «игольчатая» или «описанная»), аннотации формы (например, «круглая», «неправильная») и/или одно или более других аннотаций. Для этого набора архив(ы) 118 данных включает по меньшей мере один пример изображения с игольчатыми краями, по меньшей мере один пример границы в виде описанной границы, по меньшей мере один пример изображения круглой формы и по меньшей мере один пример изображения неправильной формы.

Модуль 122 отчета включает в себя модуль 202 сравнения изображений. Модуль 202 сравнения изображений определяет показатель сходства между вводимым изображением и одним или более предварительно аннотированных изображений в архиве(ах) 118 данных.

Для сравнения, в одном примере модуль 122 отчета принимает вводимые пользователем данные, идентифицирующие точку или отдельный участок вводимого изображения для идентифицирования исследуемой ткани на вводимом изображении для аннотирования. В другом примере аннотированию подлежит все вводимое изображение, а не только его точка или отдельный участок. В последнем случае ввод пользователем данных не является необходимым.

Для сравнения, в одном примере производят сравнение идентифицированного участка или в целом двух изображений (то есть вводимое изображение и предварительно аннотированное изображение). Для этого указанный участок вначале сегментируется с помощью известных и/или других методов. Затем подсчитываются количественные характеристики с помощью известных и/или других методов, генерирующих численные признаки, описывающие размер, местоположение, яркость, контраст, форму, текстуру объекта и окружающих его участков, что дает «вектор признаков». Затем два вектора признаков сравниваются, например, с помощью евклидовой меры расстояния, где более короткие расстояния представляют более сходные объекты.

В другом примере изображения сравниваются с помощью метода на основе пикселей (или вокселей, или подгруппы пикселей или вокселей), такого как сумма квадратов разностей, взаимная информация, нормированная взаимная информация, кросс-корреляция и т.д. В проиллюстрированном примере отдельный модуль сравнения изображений (например, модуль 202 сравнения изображений) выполняет все сравнения. В другом примере существует отдельный модуль сравнения изображений для каждой аннотации, по меньшей мере один модуль сравнения изображений для двух или более сравнений, по меньшей мере один другой модуль сравнения изображений для другого сравнения и т.д.

Модуль 122 отчета также включает в себя модуль 204 выбора изображения. Модуль 204 выбора изображения выбирает потенциально подходящее изображение для каждой аннотации.

В одном примере выбирают одно наиболее сходное изображение. Это можно сделать путем идентифицирования изображения с наибольшей степенью сходства и требуемой аннотации. Например, если поражение описано границей («игольчатой» или «описанной») и формой («круглой» или «неправильной»), тогда идентифицируют наиболее сходное «игольчатое» поражение, наиболее сходное «описанное» поражение, наиболее сходное «круглое» поражение и наиболее сходное поражение «неправильной формы». Они могут частично совпадать, например наиболее сходное описанное поражение может также быть наиболее сходным круглым поражением.

В другом примере идентифицируют набор сходных изображений, где каждый набор состоит по меньшей мере из одного изображения. Его можно получить путем выбора подмножества изображений (из архива(ов) 118 данных) с данной аннотацией, в котором степень сходства будет выше установленного порогового значения. В альтернативном варианте это можно сделать путем выбора процента случаев. Например, если степень сходства измеряется по шкале от 0 до 1, тогда в приведенном выше примере можно выбрать все игольчатые поражения со степенью сходства выше 0,8 или 5% игольчатых поражений, имеющих наибольшую степень сходства. Эту процедуру можно повторять для каждого типа аннотации.

Модуль 122 отчета также включает в себя модуль 206 представления. Модуль 206 представления визуально представляет (например, с помощью дисплея устройств(а) 112 вывода) каждое аннотацию и по меньшей мере одно наиболее сходное изображение для каждой аннотации. Пример показан на ФИГУРЕ 3, которая содержит изображение 302 с игольчатой тканью 304 для аннотации 306 «игольчатая» и изображение 308 с микродольчатой тканью 310 для аннотации 312 «микродольчатая». В другом примере, для одной аннотации может быть показано несколько изображений. Например, для аннотации 306 «игольчатая» предоставляется не одно изображение, как на ФИГУРЕ 3, а несколько изображений.

Модуль 122 отчета также включает в себя модуль 208 аннотирования. В ответ на прием введенных пользователем данных, идентифицирующих одно из показанных изображений и/или аннотаций, модуль 208 аннотирования аннотирует вводимое изображение с помощью отображенного изображения. Визуально представленные изображения (например, на ФИГУРЕ 3) помогают пользователю выбрать правильную аннотацию. Пользователь может выбрать изображение, например, нажатием соседней клавиши, нажатием на это изображение и/или с помощью какого-либо другого аналогичного действия.

Модуль 122 отчета также включает в себя модуль 210 генерирования отчета. Модуль 210 генерирования отчета генерирует в электронном формате отчет по вводимому изображению, который включает в себя выбранную пользователем аннотацию «игольчатая» 306. В другом варианте такой отчет является визуальным отчетом, который также включает в себя идентифицированное аннотированное изображение 302 в качестве визуальной аннотации изображения.

ФИГУРА 4 иллюстрирует пример блок-схемы технологического процесса в соответствии с представленным в данном документе раскрытием.

Следует отметить, что последовательность действий в способах, описанных в данном документе, не является ограничивающей. Таким образом, здесь предусмотрены и другие последовательности действий. Кроме того, одно или более действий могут быть исключены и/или одно или более дополнительных действий могут быть включены.

На этапе 402 получают изображение для аннотирования.

На этапе 404 получают предварительно аннотированное изображение.

На этапе 406 определяют показатель сходства этих двух изображений.

На этапе 408 определяют необходимость сравнения с другим предварительно аннотированным изображением.

При наличии другого предварительно аннотированного изображения для сравнения, действия 404 - 408 повторяют.

На этапе 410 при отсутствии другого предварительно аннотированного изображения для сравнения, идентифицируют наиболее сходное изображение для каждой аннотации исходя из показателя сходства.

На этапе 412 выполняют визуальное представление наиболее сходного предварительно аннотированного изображения для каждой аннотации вместе с идентифицированием соответствующей аннотации.

На этапе 414 принимают вводимые данные, характеризующие идентифицированные пользователем предварительно аннотированное изображение и/или аннотацию.

На этапе 416 вводимое изображение аннотируют с помощью идентифицированной аннотации.

На этапе 418 генерируют отчет в электронном формате для вводимого изображения с помощью идентифицированной аннотации и, при необходимости, с помощью идентифицированного изображением в качестве визуальной аннотации изображения.

Представленные выше действия могут быть реализованы с помощью компьютерочитаемых команд, закодированных или встроенных в компьютерочитаемый носитель данных, которые при выполнении процессором(ами) предписывают процессору(ам) выполнять аннотированные действия. В дополнительных или альтернативных вариантах по меньшей мере одна из компьютерочитаемых команд передается сигналом, несущей частотой или другим кратковременным носителем.

Данное изобретение было описано со ссылкой на предпочтительные варианты реализации. После прочтения и анализа представленного выше описания специалисты в данной области техники смогут внести в него изменения и усовершенствования. Предполагается, что данное изобретение истолковывается как включающее все такие изменения и усовершенствования в той мере, в которой они попадают в рамки формулы изобретения или ее эквивалентов.

1. Способ создания отчета в электронном формате к изображению с аннотацией изображения, включающий:

прием вводимого изображения пациента для аннотирования;

сравнение вводимого изображения с набором предварительно аннотированных изображений;

генерирование показателя сходства для каждого из предварительно аннотированных изображений исходя из результата сравнения вводимого изображения с соответствующим предварительно аннотированным изображением;

идентифицирование, для каждой из множества заданных аннотаций, предварительно аннотированного изображения с наибольшей степенью сходства с вводимым изображением на основе сгенерированного показателя сходства;

визуальное отображение указанного идентифицированного изображения для каждой из указанного множества аннотаций вместе с указанной аннотацией;

прием входного сигнала, идентифицирующего одно из отображаемых изображений;

аннотирование вводимого изображения с помощью аннотации указанного идентифицированного изображения и

генерирование в электронном формате отчета к вводимому изображению, который включает в себя указанную идентифицированную аннотацию.

2. Способ по п. 1, дополнительно включающий:

идентифицирование двух или более предварительно аннотированных изображений для заданной аннотации;

визуальное отображение идентифицированных двух или более предварительно аннотированных изображений для аннотации вместе с указанной аннотацией и

прием входного сигнала, идентифицирующего одно из отображаемых изображений.

3. Способ по п. 2, в котором каждое из двух или более предварительно аннотированных изображений имеет степень сходства выше заданного порогового уровня сходства.

4. Способ по п. 2, в котором каждое из двух или более предварительно аннотированных изображений имеет степень сходства в заданном процентном диапазоне сходства.

5. Способ по любому из пп. 1-4, в котором набор предварительно аннотированных изображений включает предварительно аннотированные изображения других пациентов.

6. Способ по любому из пп. 1-5, в котором набор предварительно аннотированных изображений включает по меньшей мере одно аннотированное изображение, соответствующее каждой из множества заданных аннотаций.

7. Способ по любому из пп. 1-6, в котором сравнивают полностью вводимое изображение и полностью каждое изображение из набора предварительно аннотированных изображений.

8. Способ по п. 7, в котором изображения сравнивают на основе пикселей, вокселей, подгруппы пикселей или подгруппы вокселей.

9. Способ по любому из пп. 1-6, дополнительно включающий:

прием сигнала, указывающего на подобласть вводимого изображения, причем сравнивают только подобласть вводимого изображения и соответствующую подобласть каждого изображения из набора предварительно аннотированных изображений.

10. Способ по п. 9, дополнительно включающий:

сегментирование подобласти вводимого изображения и соответствующей подобласти каждого изображения из набора предварительно аннотированных изображений; и

сравнение сегментированной подобласти вводимого изображения и сегментированной подобласти каждого изображения из набора предварительно аннотированных изображений.

11. Способ по любому из пп. 7-10, дополнительно включающий:

генерирование вектора количественных признаков для каждого вводимого изображения и каждого изображения из набора предварительно аннотированных изображений, причем указанное сравнение включает сравнение векторов количественных признаков.

12. Способ по п. 11, в котором вектор количественных признаков включает численные значения, описывающие размер, местоположение, яркость, контраст, форму и/или текстуру.

13. Вычислительное устройство (102) для создания отчета в электронном формате к изображению с аннотацией изображения, содержащее:

первое устройство (110) ввода, которое выполнено с возможностью принимать вводимое изображение пациента для аннотирования;

процессор (104), который выполнен с возможностью сравнивать вводимое изображение с набором предварительно аннотированных изображений, генерировать показатель сходства для каждого из предварительно аннотированных изображений исходя из результата сравнения вводимого изображения с соответствующим предварительно аннотированным изображением и идентифицировать, для каждой из множества заданных аннотаций, предварительно аннотированное изображение с наибольшей степенью сходства с вводимым изображением на основе сгенерированного показателя сходства; и

дисплей (112), который выполнен с возможностью визуально отображать идентифицированное изображение для каждой из указанного множества аннотаций вместе с указанной аннотацией, и

второе устройство (110) ввода, которое выполнено с возможностью принимать входной сигнал, идентифицирующий одно из отображаемых изображений,

причем процессор (104) дополнительно выполнен с возможностью аннотировать вводимое изображение с помощью идентифицированного изображения из изображений и генерировать в электронном формате отчет по вводимому изображению, который включает в себя полученную идентифицированием аннотацию.

14. Вычислительное устройство по п. 13, в котором процессор (104) дополнительно выполнен с возможностью идентифицировать два или более предварительно аннотированных изображения для заданной аннотации и визуально отображать идентифицированные два или более заранее аннотированные изображения для аннотации вместе с указанной аннотацией.

15. Компьютерочитаемый носитель данных, кодированный компьютерочитаемыми инструкциями, которые, при выполнении их процессором, предписывают процессору исполнять этапы способа по п. 1.