Способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии
Владельцы патента RU 2756156:
Общество с ограниченной ответственностью "СберМедИИ" (RU)
Настоящее изобретение относится к области вычислительной техник. Предложен способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии (далее - КТ). Предлагаемый способ содержит этапы, на которых: на вычислительном устройстве получают КТ-изображение; осуществляют обучение нейронной сети, причем на вход нейронной сети подают бинаризированное КТ-изображение; причем обучение нейронной сети включает: построение по меньшей мере одной карты вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза; построение оценки срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания; определяют три анатомических уровня и область определения срединных структур по меньшей мере на одном срезе; уточняют построенные карты вероятности посредством определения распределения вероятности прохождения срединной линии на соседних срезах и повторно строят оценку срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания; оценивают максимальное смещение построенной оценки срединных структур на трех анатомических уровнях, на основе уточненных карт вероятностей и оценки расположения трех анатомических уровней; выводят полученный результат. Изобретение обеспечивает смещение срединных структур головного мозга на трех анатомических уровнях. 1 з.п. ф-лы, 3 ил.
ОБЛАСТЬ ТЕХНИКИ
Настоящее техническое решение относится к области вычислительной техники, в частности, к способу определения смещения срединных структур головного мозга по изображениям компьютерной томографии (далее - КТ).
УРОВЕНЬ ТЕХНИКИ
Наиболее близким аналогом является работа Pisov, M., Goncharov, M., Kurochkina, N., Morozov, S., Gombolevskiy, V., Chernina, V., Vladzymyrskyy, A., Zamyatina, K., Chesnokova, A., Pronin, I. and Shifrin, M., 2019. Incorporating Task-Specific Structural Knowledge into CNNs for Brain Midline Shift Detection. In Interpretability of Machine Intelligence in Medical Image Computing and Multimodal Learning for Clinical Decision Support (pp. 30-38). Springer, Cham.
Указанный в статье способ обрабатывает каждый из срезов, поданных на вход изображения магнитной резонансной томографии для решения двух задач:
- определение границ для построения оценки срединной линии (в том числе ответ может быть, то на данном срезе строить оценку не надо);
- построения карты вероятностей того, что через конкретный пиксель проходит срединная линия.
Предлагаемое решение отличается от известного из уровня техники тем, что предлагаемый способ выделяет смещение на самых важных анатомических уровнях, необходимых для принятия решения; учитывает информацию с соседних срезов, предлагаемый способ работает с изображения КТ, в то время как способ-аналог предназначен для работы с магнитной резонансной томографией, в то время как основной клинический интерес представляет работа с компьютерной томографией.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Технической проблемой, на решение которой направлено заявленное техническое решение, является создание способа определения смещения срединных структур головного мозга по изображениям компьютерной томографии, который охарактеризован в независимом пункте формулы. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения. Другой технической проблемой является расширение арсенала технических средств - пользовательских носимых устройств для связи с промышленными объектами.
Технический результат заключается в определении смещения срединных структур головного мозга на трех анатомических уровнях.
Заявленный результат достигается за счет осуществления компьютерно-реализуемого способа определения смещения срединных структур головного мозга по изображениям КТ содержащего этапы на которых:
на вычислительном устройстве получают КТ изображения;
осуществляют обучение нейронной сети, причем на вход нейронной сети подают бинаризированное КТ изображение;
причем обучение нейронной сети включает:
построение по меньшей мере одной карты вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза;
построение оценки срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания;
определяют три анатомических уровня и по меньшей мере одну область определения срединных структур по меньшей мере на одном срезе;
уточняют построенные карты вероятности посредством определения распределение вероятности прохождения срединной линии на соседних срезах и повторно строят оценку срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания;
оценивают максимальное смещение построенной оценки срединных структур на трех анатомических уровнях, на основе уточненных карт вероятностей и оценки расположения трех анатомических уровней.
В частном варианте реализации определяют три анатомических уровня, а именно: начало и конец прозрачной перегородки; левое и правое межжелудочковое отверстие; шишковидную железу, срез с наибольшей площадью железы.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:
Фиг. 1 иллюстрирует архитектуру нейронной сети.
Фиг. 3 иллюстрирует пример расположения анатомических уровней.
Фиг. 3 иллюстрирует пример общей схемы вычислительного устройства.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.
Предлагаемое решение осуществляется на вычислительном устройстве. На вычислительное устройство подают КТ изображения и осуществляют предварительную обработку изображений.
Осуществляют обучение нейронной сети, для предсказания трех анатомических уровней и построение карты вероятностей прохождения срединной линии через конкретный пиксель изображения, причем на вход нейронной сети подают бинаризированное КТ изображение.
Обучение нейронной сети осуществляется в два этапа.
На первом этапе каждый аксиальный срез КТ изображения обрабатывается с помощью нейронной сети для предсказания карты вероятностей и оценки анатомических уровней.
Интенсивности входных КТ изображений скалируются в интервал [0, 1] - этап бинаризации.
Каждый бинаризированный срез изображения обрабатывается сверточной нейронной сетью с двумя выходными ветвями, как указано на Фиг. 1
Первая ветвь предназначена для построения карт вероятностей прохождения срединной линии через конкретный пиксель среза с помощью метода мягкой максимальной апостериорной оценки.
И для построения оценки средней линии по полученным картам вероятности прохождения срединной линии через конкретный пиксель среза, с помощью математического ожидания. Оценка средней линии - это математическое ожидание, подсчитанное по карте вероятностей.
Вторая ветвь предназначена для определения анатомических уровней и области определения срединных структур на каждом отдельном срезе (для исключения областей изображения вне мозга). Определяют три анатомических уровня в соответствии с рекомендациями Американского колледжа радиологии, проиллюстрированные на Фиг. 2:
(1) начала (1a) и конца (1б) прозрачной перегородки;
(2) левое и правое межжелудочковое отверстие;
(3) для шишковидной железы, срез с наибольшей площадью железы.
Поиск анатомических уровней происходит следующим образом: на основе описания, построенного с помощью сверточных слоев сети, для каждого среза оценивается вероятность принадлежности среза к каждому из трех выбранных. Для этого оценивается вероятность, что срез является целевым уровнем для каждого из них с помощью полносвязного слоя нейронной сети, завершающегося операцией softmax от всех срезов. Затем выбирается срез с максимальной оцененной вероятностью в качестве целевого анатомического уровня (для каждого из уровней). Обучение происходит на основании экспертной разметки, которая представляет собой бинарные метки, которые устанавливает пользователь, отмечающие нужный срез для каждого из типов анатомического уровня.
Одновременно с классификацией среза вторая ветвь также оценивает область определения срединных линий, делая это следующим образом: для каждой y-координаты среза строится вероятность того, что срединная линия определена. Затем принимается бинарное решение с порогом 0.7 (70%) и строится выпуклая оболочка полученного набора координат для оценки области определения срединной линии на срезе.
На втором этапе обучаются параметры условных случайных полей. Для обучения используются карты вероятностей на всех срезах, предсказанные первой ветвью нейронной сети.
Оценивают максимальное смещение построенной оценки срединных структур на трех анатомических уровнях, на основе уточненных карт вероятностей и оценки расположения трех анатомических уровней с помощью математического ожидания. При этом анатомические уровни используются для подсчета смещения (отклонения оцененной линии от прямой) на срезах КТ изображений.
Основная задача второго этапа - учесть распределение вероятностей на соседних срезах для разрешения неопределенностей (например, двухмодульные распределения вероятностей). Результат работы второго этапа - уточненные карты вероятностей распределения на соседних срезах и оценка срединных структур с помощью математического ожидания по уточненным картам. На их основе с учетом предсказаний второй ветви нейронной сети формируется итоговый ответ: оцениваются максимальные смещения построенной оценки срединной структур на срезах, выбранных второй ветвью.
Уточняют построенные карты вероятности посредством определения распределение вероятности прохождения срединной линии на соседних срезах и повторно строят оценку срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания и выводят полученный результат.
Обучаемые условные случайные поля - это одна из разновидностей случайных марковских полей, которая используется в задачах анализа текстов и изображений. В разработанном алгоритме это шаг используется для совместного анализа карт вероятностей прохождения срединных структур на соседних срезах, для чего алгоритм используется для анализа всего трехмерного массива карт вероятностей, построенных с помощью сверточных нейронных сетей на предыдущем этапе.
На Фиг. 3 далее будет представлена общая схема вычислительного устройства (300), обеспечивающего обработку данных, необходимую для реализации заявленного решения.
В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну память (302), средство хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).
Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функциональности одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).
Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.
Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.
Интерфейсы (304) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.
Выбор интерфейсов (304) зависит от конкретного исполнения устройства (300), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.
В качестве средств В/В данных (305) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
Средства сетевого взаимодействия (306) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (305) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.
Компоненты устройства (300) сопряжены посредством общей шины передачи данных (310).
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.
1. Компьютерно-реализуемый способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии (КТ), выполняющийся на вычислительном устройстве, содержащем процессор и память, хранящую инструкции, исполняемые процессором, и включающий этапы, на которых:
на вычислительное устройство получают КТ-изображение;
осуществляют обучение нейронной сети, причем на вход нейронной сети подают бинаризированное КТ-изображение;
причем обучение нейронной сети включает:
построение по меньшей мере одной карты вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза;
построение оценки срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания;
определяют три анатомических уровня и область определения срединных структур по меньшей мере на одном срезе;
уточняют построенные карты вероятности посредством определения распределения вероятности прохождения срединной линии на соседних срезах и повторно строят оценку срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания;
оценивают максимальное смещение построенной оценки срединных структур на трех анатомических уровнях, на основе уточненных карт вероятностей и оценки расположения трех анатомических уровней;
выводят полученный результат.
2. Способ по п.1, отличающийся тем, что определяют три анатомических уровня, а именно: начало и конец прозрачной перегородки; левое и правое межжелудочковое отверстие; шишковидную железу, срез с наибольшей площадью железы.
