Способ и система отображения текущих результатов в процессе обработки изображения
Изобретение относится к области вычислительной техники для отображения текущих результатов обработки многомерного изображения большого размера. Технический результат заключается в сокращении потерь времени и ресурсов при обработке изображения за счет предоставления пользователю возможности оценки текущего качества результата обработки. Технический результат достигается за счет отображения на устройстве отображения эскизного представления разбиения исходного изображения на части, графика зависимости числовой характеристики обработанных частей исходного изображения от номера обработанной части и области для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения. Обозначения на эскизном представлении разбиения исходного изображения на части обработанных частей исходного изображения и отмечания на устройстве отображения одной из обозначенных обработанных частей исходного изображения. Отображения на устройстве отображения в области для вывода пар фрагментов изображений фрагмента отмеченной части результирующего изображения и соответствующего ему фрагмента исходного изображения и оценки качества обработки каждой отмеченной части. 2 н. и 9 з.п. ф-лы, 7 ил.
Настоящее изобретение относится к обработке изображений, а точнее к способам и системам отображения для пользователя текущих результатов обработки многомерного изображения большого размера, когда обработка изображения выполняется по частям и занимает от десятков минут до десятков часов.
Во многих областях техники обрабатывают многомерные изображения большого размера, когда размер изображения сравним с размером оперативной памяти обычного персонального компьютера, или превышает его. Обработка изображений может содержать следующие операции, но не ограничена ими: изменение яркости и контраста, фильтрация, сегментация, классификация, коррекция локальных дефектов, геометрические преобразования, вычисление морфометрических характеристик объектов в изображении. Примером подобных данных являются трехмерные изображения компьютерной микротомографии, которые используются для построения цифровой модели керна для последующего моделирования характеристик течения жидкостей в керне, с целью оценки фильтрационно-емкостных свойств соответствующих пород. Также примерами подобных изображений являются трехмерные изображения, полученные с помощью рентгеновской компьютерной томографии (КТ), магнитно-резонансной томографии (МРТ), нейтронной томографии, FIB-SEM (растрового электронного микроскопа с фокусированным ионным пучком), а также кубы сейсмических атрибутов.
В силу ограниченного размера памяти вычислительных систем и с целью обеспечить, насколько это возможно, быструю обработку, стремятся обрабатывать большие изображения по частям и параллельно на нескольких устройствах. Часто изображение может храниться распределенно и обрабатываться по частям параллельно несколькими компьютерами в облачной архитектуре. Несмотря на параллельную обработку, в силу большого объема данных и сложности способов обработки, время обработки может занимать от десятков минут до десятков часов и более. Из-за неправильного выбора параметров часть или целое изображение могут быть обработаны неверно, что потребует заново перезапустить процесс обработки. Это приведет к потере времени и других ресурсов, например, денежных, если облачная инфраструктура арендуется на возмездной основе. Предпочтительно предоставить возможность оператору в процессе обработки видеть текущие результаты, чтобы он имел возможность прервать процесс обработки в случае появления неудовлетворительных результатов. Это приведет к сокращению потерь времени и ресурсов.
Из уровня техники известно большое количество различных индикаторов прогресса, которые позволяют видеть, что процесс обработки идет, и оценить долю обработанного объема информации и время, остающееся до завершения процесса обработки. В патенте США 9477533 описан набор индикаторов прогресса для использования при параллельной обработке данных. Однако индикаторы прогресса не позволяют оценить текущие результаты обработки и прервать длительный процесс при возникновении неудовлетворительных результатов. В патентах США 7571064 и 7937230 описаны способы визуализации на графике одномерного звукового сигнала по частям. Все части сигнала по мере поступления выводятся на экран и увеличивается точность отображения сигнала. Однако данные способы направлены не на оценку качества результата обработки, а создают эффект анимации для формирования привлекательного интерфейса в процессе ожидания завершения операции.
Техническим результатом заявленного изобретения является сокращение потерь времени и ресурсов при обработке изображения за счет предоставления пользователю возможности оценки текущего качества результата обработки и, при необходимости, остановки процесса обработки в случае неудовлетворительного качества.
Указанный технический результат достигается тем, что в соответствии с предлагаемым способом отображения текущих результатов обработки изображения на устройстве отображения получают исходное изображение для обработки и отображения, разбивают исходное изображение на части и нумеруют их. Передают задание на обработку пронумерованных частей исходного изображения и осуществляют обработку каждой части исходного изображения. Отображают на устройстве отображения эскизное представление разбиения исходного изображения на части, график зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одну область для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения. Обозначают на эскизном представлении разбиения исходного изображения на части обработанные части исходного изображения и отмечают на устройстве отображения одну из обозначенных обработанных частей исходного изображения. Затем отображают на устройстве отображения в области для вывода пар фрагментов изображений фрагмент отмеченной части результирующего изображения и соответствующий ему фрагмент исходного изображения и оценивают качество обработки каждой отмеченной части.
Обработка частей исходного изображения представляет собой обработку, выбираемую из группы, содержащей изменение яркости и контраста, фильтрацию, сегментацию, классификацию, коррекцию локальных дефектов, геометрические преобразования, вычисление морфометрических характеристик объектов в изображении.
В соответствии с одним из вариантов осуществления изобретения обозначенную обработанную часть изображения отмечают с помощью первого указателя на эскизном представлении разбиения изображения, при этом связанный с первым указателем второй указатель отмечает точку на графике числовых характеристик обработанных частей исходного изображения, соответствующую числовой характеристике отмеченной части.
В соответствии с другим вариантом осуществления изобретения обозначенную обработанную часть изображения отмечают с помощью второго указателя на графике числовых характеристик обработанных частей исходного изображения, при этом связанный со вторым указателем первый указатель отмечает обработанную часть изображения, соответствующее отмеченной на графике точке, на эскизном представлении разбиения исходного изображения.
В случае неудовлетворительного качества обработки частей исходного изображения прерывают процесс обработки, например, с помощью сенсорной кнопки на устройстве отображения.
В соответствии с еще одним вариантом реализации изобретения автоматически выбирают обработанную часть изображения, результат обработки которой наиболее сильно отличается от остальных ранее полученных результатов, обозначают на эскизном представлении разбиения исходного изображения выбранную обработанную часть, обозначают на графике числовых характеристик обработанных частей исходного изображения значение, соответствующее выбранной части, и отображают на устройстве отображения во второй области для вывода пар фрагментов изображений фрагмент выбранной обработанной части изображения и соответствующий ему фрагмент исходного изображения.
Предлагаемая система отображения текущих результатов обработки изображения содержит по меньшей мере один процессор, сконфигурированный с возможностью исполнения программ с инструкциями для обработки исходного изображения и обеспечения отображения на устройстве отображения эскизного представления разбиения исходного изображения на части, графика зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одной области для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения, путем исполнения программ с инструкциями, содержащихся в памяти системы отображения текущих результатов обработки изображения.
Система содержит также память, предназначеную для хранения частей исходного изображения, обработанных частей исходного изображения, числовых характеристики обработанных частей исходного изображения, фрагментов обработанных частей изображения и соответствующих им фрагментов частей исходного изображения, и содержащую программы с инструкциями, сконфигурированными для обработки исходного изображения и обеспечения отображения на устройстве отображения эскизного представления разбиения исходного изображения на части, графика зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одной области для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения.
Кроме того, система содержит устройство отображения с по меньшей мере одним экраном, выполненное с возможностью отображения эскизного представления разбиения исходного изображения на части, графика зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одной области для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения, и интерфейс пользователя.
Процессор дополнительно может быть выполнен с возможностью отображения на устройстве отображения двух связанных между собой указателей, первый из которых предназначен для перемещения с помощью интерфейса пользователя на устройстве отображения по эскизному представлению разбиения изображения на части и активации части изображения, а второй указатель предзначен для перемещения с помощью интерфейса пользователя на устройстве отображения по графику числовой характеристики обработанных частей исходного изображения и активации части изображения, соответствующей выбранной точке графика.
В соответствии с еще одним вариантом реализации изобретения процессор дополнительно может быть выполнен с возможностью отображения на устройстве отображения сенсорной кнопки для прерывания обработки.
Интерфейс пользователя может быть выполнен в виде по меньшей мере одного устройства, выбранного из группы: сенсорный экран, мышь, джойстик, тачпэд, клавиатура, микрофон для голосового управления, датчики для управление жестами.
Изобретение поясняется чертежами, где на Фиг. 1 представлена блок-схема системы отображения текущих результатов в процессе обработки изображения, на Фиг. 2 - блок-схема способа системы отображения текущих результатов в процессе обработки изображения, на Фиг. 3 приведен пример эскизного представления разбиения исходного трехмерного изображения на неперекрывающиеся части, на Фиг. 4 представлен пример эскизного представления разбиения двухмерного изображения на перекрывающиеся части, на Фиг. 5 приведен пример эскизного представления разбиения трехмерного изображения на части, на Фиг. 6 представлен вариант выполнения отображаемых элементов и элемента управления в процессе коррекции кольцевых артефактов трехмерного томографического изображения, на Фиг. 7 - вариант выполнения отображаемых элементов и элемента управления в процессе сегментации трехмерного изображения.
В данном описании изобретения "выбранной" называют ту часть изображения, которую автоматически выбирают из набора обработанных частей исходного изображения, а "отмеченной" называют ту часть изображения, которую оператор выбирает с помощью интерфейса пользователя. Далее термины "выбранная" и "отмеченная" используются без дополнительных пояснений.
Создание визуального интерфейса для оценки текущих результатов обработки большого многомерного изображения является непростой задачей. Во-первых, данных много, поступают они, как правило, со скоростью, превышающей возможности человека для визуального анализа. Во-вторых, данные разных частей изображения могут обрабатываться параллельно и поступать асинхронно в произвольном порядке - зачастую непонятно, как соотносить поступающие данные с их положением в изображении. В-третьих, большой размер и размерность (в частности, трехмерность) изображений затрудняют детальный визуальный анализ результатов обработки.
Если просто выводить на экран текущие результаты обработки изображения фрагмент за фрагментом, то, скорее всего, это будет выглядеть как мелькание картинок. Практически невозможно будет сделать какой-либо вывод по этим быстро сменяющимся кадрам. Требуется обеспечить интервал времени, в ходе которого информация на устройстве отображения остается неизменной, и оператор имеет возможность проанализировать текущие результаты. Однако, тогда на экран выводится информация только о некоторых из обработанных частей изображения. Возникают следующие подзадачи: как наиболее продуктивным образом выводить на экран информацию о результате обработки части изображения; какую из имеющихся в настоящий момент обработанных частей изображения предпочтительнее показывать на экране; как предоставить пользователю возможность просмотра информации о результатах обработки остальных частей изображения, информация о которых не выводилась на экран; и как показывать пользователю трехмерные части изображений, чтобы обеспечить возможность детального визуального анализа результатов.
На Фиг. 1 показан пример системы отображения текущих результатов обработки изображения, содержащий по меньшей мере один процессор 1, память 2, причем память может быть разного типа (статическая и динамическая) и может быть распределена между несколькими процессорами, интерфейс 3 пользователя, интерфейс 4 обмена данными и устройство 5 отображения с по меньшей мере одним экраном. Все перечисленные компоненты 1-5 соединены каналом 6 обмена данными.
Память 2 предназначена для хранения частей исходного изображения, обработанных частей исходного изображения, числовых характеристик обработанных частей исходного изображения, фрагментов обработанных частей изображения и соответствующих им фрагментов частей исходного изображения. Она также содержит программы 7 с инструкциями, сконфигурированными для обработки исходного изображения и обеспечения отображения на устройстве 5 отображения эскизного представления 8 разбиения исходного изображения на части, графика 9 зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одной области 10 для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения
Процессор 1 сконфигурирован с возможностью исполнения программ 7 с инструкциями для обработки исходного изображения и обеспечения отображения на устройстве 5 отображения эскизного представления 8 разбиения исходного изображения на части, графика 9 зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одной области 10 для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения, путем исполнения программ с инструкциями, содержащихся в памяти 2 системы отображения текущих результатов обработки изображения,
Система может быть выполнена на основе одного компьютерного или микропроцессорного устройства, в том числе мобильного, тогда канал 6 обмена данными является шиной данных. Также система может быть выполнена в виде нескольких компьютерных и микропроцессорных устройств, часть из которых может быть мобильными, тогда канал 6 обмена данными является проводной или беспроводной сетью обмена данными. Обработка и хранение изображения может осуществляться несколькими устройствами в облачной среде или локальной сети. В этом случае используют интерфейс обмена данными, являющийся интерфейсом проводной или беспроводной сети. Также обработка и хранение изображения может осуществляться на том же самом устройстве, который используется для отображения текущих результатов. В этом случае обмен данными происходит в оперативной памяти. В качестве интерфейса 3 пользователя может использоваться любое из перечисленных устройств или их комбинация: сенсорный экран, мышь, джойстик, тачпэд, клавиатура, микрофон для голосового управления, датчики для управление жестами или иные способы ввода информации в микропроцессорную систему.
Устройство 5 отображения выполнено с возможностью отображения эскизного представления 8 разбиения исходного изображения на части, графика 9 зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одной области 10 для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения.
Также процессор 1 может быть выполнен с возможностью обеспечения отображения на устройстве 5 отображения кнопки 11 для прерывания процесса обработки изображения и двух связанных между собой указателей 12 и 13, первый из которых выполнен с возможностью перемещения с помощью интерфейса 3 пользователя по эскизному представлению 8 разбиения изображения на части и отметки какой-либо обработанной части изображения. Второй указатель 13 выполнен с возможностью перемещения с помощью интерфейса 3 пользователя по графику 9 числовой характеристики обработанных частей исходного изображения и отметки части изображения, соответствующей точке графика 9 под указателем.
На Фиг. 2 представлена блок-схема способа отображения текущих результатов обработки изображения, содержащего несколько этапов. После получения исходного изображения для обработки и отображения на первом этапе (поз. 14 на Фиг. 2) в соотвествии с предопределенными пользователем параметрами разбивают исходное изображение на части и нумеруют их.
Разбиение исходного изображения на части однозначным образом позволяет обозначить и выбрать интересующую часть изображения. Возможны различные варианты подобных разбиений исходного изображения на части и различные варианты способа нумерации частей изображения в зависимости от его размерности. Также возможны различные варианты эскизного представления разбиения изображения на части. Примеры различных разбиений изображений, нумерации частей и эскизных представлений разбиения изображения на части показаны на фиг. 3-5.
На фиг. 3 показано разбиение трехмерного исходного изображения перпендикулярно оси Z на непересекающиеся части, где каждая часть содержит несколько соседних срезов (горизонтальных слоев трехмерного изображения), например, томографического или FIB-SEM изображений. В качестве фона эскизного представления разбиения изображения на части используют поперечный срез в плоскости XZ, или проекцию изображения на плоскость XZ, или, в случае томографического изображения, одна из теневых проекций. Части изображения нумеруют по порядку (на фиг. 3 римскими цифрами) в соответствии с увеличением координаты Z. Возможен вариант, когда значение координаты Z, соответствующее положению части изображения, используют в качестве номера.
На фиг. 4 показано разбиение двумерного исходного изображения на шесть перекрывающихся частей. Области перекрытия заштрихованы. В качестве фона используют само это изображение. Части нумеруют в порядке зигзагообразного обхода (на фиг. 4 нумерация для примера показана римскими цифрами). Возможен вариант, когда линейная комбинация значений координат X и Y центра масс части используется в качестве его номера.
На фиг. 5 показано разбиение трехмерного исходного изображения на 27 частей кубической формы (неважно, перекрывающихся или нет). Каждый слой кубов показан отдельно. В качестве фона используют поперечный срез в пределах данного слоя. Части нумеруют по мере удаления от центрального куба: в данном случае, сначала соседи по стороне, потом по ребру, наконец по углу (на фиг. 5 нумерация для примера показана римскими цифрами). Возможен вариант, когда линейная комбинация значений координат X, Y и Z центра масс части используется в качестве его номера.
Части исходного изображения могут быть перекрывающимися или неперекрывающимися. Части могут иметь размерность такую же, как размерность исходного изображения, или меньше; например, для трехмерного изображения части могут быть трехмерные, двумерные и одномерные.
Далее (поз. 15 на Фиг. 2) с помощью интерфейса 4 (Фиг. 1) обмена данными передают задание на обработку пронумерованных частей исходного изображения. При визуальной оценке обработанного изображения целесообразно видеть на экране соответствующий фрагмент части исходного изображения. Для того, чтобы понимать, где в целом изображении расположена часть, которая в текущий момент времени демонстрируется пользователю, на следующем этапе (поз. 16 на Фиг. 2) выводят на устройство 5 отображения эскизное представление 8 разбиения исходного изображения на части. На устройство 5 отображения выводят также оси координат для графика 9 числовой характеристики обработанной части исходного изображения в зависимости от номера части и по меньшей мере одну область 10 для вывода пары фрагментов изображений, где пара включает фрагмент части обработанного изображения и соответствующий ему фрагмент части исходного изображения. Часто числовая характеристика является более информативной, чем демонстрация фрагмента части обработанного изображения, иногда бывает наоборот. Целью значительного количества операций обработки изображений не является получение каких-либо числовых характеристик. Однако, всегда можно предложить использовать некую числовую характеристику, которая будет более-менее адекватно характеризовать результат обработки. Например, при фильтрации шума можно вычислять изменение дисперсии пикселей изображения в локальной области по сравнению с исходным изображением; при проведении сегментации изображения пористой среды можно вычислять значение пористости для данной части изображения. Таким образом, для оценки качества обработки части изображения предлагается выводить фрагмент этой части обработанного изображения и соответствующий ему фрагмент исходного изображения, а также на графике отображать числовую характеристику обработанной части исходного изображения, причем по другой оси графика обозначают номер части изображения, соседним частям изображения присваивают близкие номера. Также в некоторых случаях можно отображать более одной числовой характеристики на одном или нескольких графиках.
На следующем этапе способа (поз. 17 на фиг. 2) осуществляют обработку каждой части исходного изображения. Обработка может содержать следующие типичные операции, но не ограничена ими: изменение яркости и контраста исходного изображения, фильтрация, сегментация, классификация, коррекция локальных дефектов, геометрические преобразования, вычисление морфометрических характеристик объектов в изображении.
Далее (поз. 18 на фиг. 2) получают с помощью интерфейса 4 обмена данными набор обработанных частей изображения за предопределенный интервал времени отображения. Длительность интервала времени отображения выбирается такой, чтобы оператор успел увидеть результат обработки для данной обработанной части и оценить его качество. Качество оценивают путем визуального сравнения фрагмента части обработанного изображения и соответствующего ему фрагмента исходного изображения, а также по числовой характеристике в зависимости от конкретной операции обработки изображения, например, для сегментации можно на фрагменте увидеть, что какие-то области сегментированы неправильно, а на числовой характеристике увидеть, что, например, пористость данной части сильно отличается от пористости по другим ранее обработанным частям.
Затем (поз. 19 на фиг. 2) отображают на устройстве отображения 5 на графике 9 числовые характеристики для всех обработанных частей изображения и обозначают с помощью цвета, или каких-либо обозначений (например, толстой рамки), или анимации (например, чередующееся затемнение и осветление) на эскизном представлении 8 разбиения изображения данные части как обработанные. На фиг. 3 обработанные части изображения показаны более светлыми. На фиг. 4 обработанные части отмечены толстыми рамками. На фиг. 5 обработанные части отмечены галочкой.
В соответствии с одним из вариантов осуществления изобретения на следующем этапе (поз. 20 на фиг. 2) отмечают с помощью связанных друг с другом первого 12 и второго 13 указателей обработанную часть изображения, для чего выполняют любую из двух операций: отмечают с помощью первого указателя 12 обработанную часть на эскизном представлении 8 разбиения изображения, при этом второй указатель 13 перемещается на точку графика 9, соответствующую числовой характеристике отмеченной обработанной части; либо отмечают с помощью второго указателя 13 точку на графике 9 числовых характеристик результата обработки, при этом первый указатель 12 на эскизном представлении 8 разбиения изображения на части перемещается на обработанную часть изображения, соответствующую выбранной на графике точке.
На этапе 21 на фиг. 2 отображают на устройстве 5 отображения область 10 для вывода пар фрагментов изображений фрагмент отмеченной обработанной части изображения и соответствующий ему фрагмент исходного изображения. Связь отмеченной обработанной части на эскизном представлении 8 разбиения изображения на части и соответствующей ей числовой характеристики на графике 9 обозначается с помощью специального визуального элемента, например, стрелочки заданного цвета. Положение и масштаб фрагментов в отмеченной части изображения может быть фиксированным в соответствии с предопределенными параметрами, или данные параметры могут изменяться оператором с помощью интерфейса 3 пользователя, или данные параметры изменяются в соответствии с инструкциями, записанными в оперативную память 2. В последнем случае возможно создание следующих анимационных эффектов с заданной кадровой частотой: панорамирования вдоль 2D изображения за счет изменения положения 2D фрагментов; наезда и отъезда камеры за счет изменения масштаба 2D фрагментов; перелистывания слоев 3D изображения. Причем данные эффекты могут комбинироваться друг с другом.
Если при оценке качества обработки какой-либо отмеченной обработанной части изображения в области 10 для вывода пар фрагментов или на графике 9 замечены неудовлетворительные результаты (поз. 22 на фиг. 2), то прерывают процесс обработки с помощью кнопки 11 элемента управления на устройстве 5 отображения (фиг. 1).
В соответствии с одним из вариантов осуществления изобретения устройство 5 отображения выполнено с возможностью вывода на устройство 5 отображения второй области для вывода пары фрагментов изображений для того, чтобы за предопределенный интервал времени отображения осуществлять автоматический выбор обработанной части изображения, результат обработки которой наиболее сильно отличается от остальных ранее полученных результатов. Выводят во вторую область для вывода пар фрагментов изображений фрагмент части обработанного изображения и соответствующий ему фрагмент исходного изображения; обозначают на графике 9 числовых характеристик значение, соответствующее выбранной части; обозначают на эскизном представлении 8 разбиения изображения выбранную часть.
Отличие определяют по абсолютной величине разности численной характеристики (или, в случае нескольких характеристик, их комбинации) от среднего арифметического для этой характеристики в данном наборе или для всех ранее полученных результатов. В другом варианте отличие определяется по величине критерия схожести гистограмм интенсивностей для части изображения и для всех остальных частей изображения в данном наборе или всех обработанных ранее. В качестве критерия схожести могут выступать, например:
Расстояние Хеллингера (Hellinger):
где n - количество бит на элемент изображения, H - нормализованная гистограмма интенсивностей для части изображения, Hc - нормализованная гистограмма интенсивностей для остальных частей изображения.
Сумма абсолютных разностей соответствующих друг другу столбцов гистограмм:
Так называемый, альтернативный критерий Хи-квадрат:
Связь выбранной наиболее отличающейся части на эскизном представлении 8 разбиения изображения на части и соответствующей ей числовой характеристики на графике 9 обозначают с помощью специального визуального элемента, например, стрелки заданного цвета. Положение и масштаб фрагментов в выбранной части изображения может быть фиксированным в соответствии с предопределенными параметрами, или данные параметры могут изменяться оператором с помощью интерфейса 3 пользователя или данные параметры изменяются в соответствии с инструкциями, записанными в оперативную память 2. В последнем случае возможно создание следующих анимационных эффектов с заданной кадровой частотой: панорамирования вдоль 2D изображения за счет изменения положения 2D фрагментов; наезда и отъезда камеры за счет изменения масштаба 2D фрагментов; перелистывания слоев 3D изображения. Причем данные эффекты могут комбинироваться друг с другом.
Рассмотрим примеры выполнения данного изобретения для нескольких задач обработки изображений. Вариант выполнения эскизного представления разбиения изображения на части, графика числовой характеристики результата обработки, фрагмента обработанной части изображения и соответствующего ему фрагмента исходного изображения в процессе коррекции кольцевых артефактов трехмерного томографического изображения показан на фиг. 6. Исходное изображение разбивается на перекрывающиеся части по несколько слоев, перпендикулярных оси Z. На эскизном представлении (Фиг 6. а) разбиения изображения на части обозначены только внутренние слои, которые не попадают в перекрывающиеся части. В качестве фона используется поперечный срез томографического изображения в плоскости XZ для Y равного половине размера изображения вдоль оси Y. Части пронумерованы по порядку при увеличении координаты Z. Обработанные части подсвечены синим цветом, необработанные - не подсвечены. Выбранная часть подсвечена желтым цветом, а отмеченная - красным. В качестве числовой характеристики результата обработки используется доля вокселей части изображения, которые повреждены кольцевым артефактом. Точки на графике (Фиг 6. b) числовой характеристики для обработанных частей синие. Соответствие точки на графике для выбранной части положению этой части в изображении показано прерывистой желтой стрелкой. Соответствие точки на графике для отмеченной части положению этой части в изображении показано прерывистой красной стрелкой, и данная точка обведена в красный кружок. На желтом фоне показаны соответствующие друг другу фрагменты для выбранной части изображения (Фиг. 6 с): сверху для исходного изображения, снизу для результата. На красном фоне показаны соответствующие друг другу фрагменты для отмеченной части изображения (Фиг 6. d): сверху для исходного изображения, снизу для результата. Таким образом, с помощью цвета красного и желтого обозначается информация, относящаяся к отмеченной пользователем и автоматически выбранной наиболее отличающейся от других частям соответственно. Размер и положение фрагментов выбираются автоматически средством управления так, чтобы самый большой по площади кольцевой артефакт был виден в максимально большом масштабе. С помощью связанных друг с другом указателей пользователь отмечает часть изображения на эскизном представлении или на графике. В данном случае целесообразно отмечать те точки на графике, которые соответствуют большим значениям процентной доли поврежденных вокселей. Дополнительно может отображаться процент обработанных на текущий момент частей изображения (59% на фиг. 6). Кнопка "Прервать" позволяет прервать процесс обработки. После завершения обработки с помощью элементов управления можно продолжить отмечать и просматривать обработанные части до тех пор, пока не нажата кнопка "Закрыть".
Вариант выполнения отображаемых элементов и элементов управления в процессе сегментации трехмерного томографического изображения на воксели пор и породы показан на фиг. 7. Изображение разделено на две половины перпендикулярно оси Y, и каждая половина разбита на 4 части. На эскизном представлении (Фиг. 7 а) разбиения изображения на части показано разбиение обеих половин на 4 части. Таким образом имеем 8 частей. В качестве фона эскизного представления для каждой части используются два поперечных среза томографического изображения в плоскости XZ для середины каждой из половин изображения. Части пронумерованы против часовой стрелки начиная с нижней левой части, нумерация начинается с половины изображения, показанной ниже. Для обработанных частей указаны их номера (римскими цифрами), для необработанных - не показаны. Номер автоматически выбранной части заключен в треугольник, а номер отмеченной пользователем заключен в квадрат. Строятся графики для двух числовых характеристик частей изображения: пористости (Фиг. 7 b), вычисляемой как отношение количества черных вокселей к общему количеству вокселей для сегментированного изображения, и коэффициента схожести Фиг. 7 с ("Похожесть"), вычисляемое как единица минус расстояние Хеллингера между гистограммой данной части исходного изображения и гистограммой всего исходного изображения. Точки на графиках, соответствующие выбранной части заключены в треугольник, а соответствующие отмеченной части заключены в квадрат. Около соответствующих друг другу фрагментов для выбранной части изображения нарисован треугольник (Фиг. 7 d). Около соответствующих друг другу фрагментов для отмеченной части изображения нарисован квадрат (Фиг. 7 е). В обоих случаях слева расположен фрагмент исходного изображения, справа расположен фрагмент результата обработки. Таким образом, с помощью пиктограмм в виде квадрата и треугольника отмечается информация, относящаяся к отмеченной пользователем и выбранной автоматически частям соответственно. Размер и положение фрагментов для выбранной части изменяются средством управления так, чтобы создать анимационные эффекты панорамирования, наезда и отъезда камеры в пределах части среза (плоскости перпендикулярной оси Z), а также перехода между срезами. С помощью связанных друг с другом указателей пользователь отмечает часть изображения на эскизном представлении разбиения изображения или на любом из графиков. Размер и положение фрагментов для отмеченной части пользователь устанавливает с помощью элемента управления, который дополнительно включает кнопки для увеличения и уменьшения масштаба, перемещения между срезами вверх и вниз, перемещения по срезу влево, вправо, вверх и вниз. Дополнительно могут отображаеться сумма потраченных на данный момент ресурсов, например, денежная сумма в рублях, на обработку изображения в облаке, а также оценка времени до завершения обработки. Кнопка "Пауза" служит для приостановки обработки, например, для того чтобы оценить текущие результаты и при необходимости прервать процесс обработки. "Прервать" позволяет прервать процесс обработки. После завершения обработки кнопка "Прервать" заменяется кнопкой "Закрыть", и с помощью элементов управления можно продолжить отмечать и просматривать обработанные части до тех пор, пока не нажата кнопка "Закрыть".
Хотя указанные выше варианты выполнения изобретения были изложены с целью иллюстрации, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.
1. Способ отображения текущих результатов обработки изображения на устройстве отображения, в соответствии с которым:
- получают исходное изображение для обработки и отображения;
- разбивают исходное изображение на части и нумеруют их;
- передают задание на обработку пронумерованных частей исходного изображения;
- осуществляют обработку каждой части исходного изображения;
- отображают на устройстве отображения эскизное представление разбиения исходного изображения на части, график зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одну область для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения;
- обозначают на эскизном представлении разбиения исходного изображения на части обработанные части исходного изображения;
- отмечают на устройстве отображения одну из обозначенных обработанных частей исходного изображения,
- отображают на устройстве отображения в области для вывода пар фрагментов изображений фрагмент отмеченной части результирующего изображения и соответствующий ему фрагмент исходного изображения, и
- оценивают качество обработки каждой отмеченной части.
2. Способ по п. 1, в соответствии с которым обработка частей исходного изображения представляет собой обработку, выбираемую из группы, содержащей изменение яркости и контраста, фильтрацию, сегментацию, классификацию, коррекцию локальных дефектов, геометрические преобразования, вычисление морфометрических характеристик объектов в изображении.
3. Способ по п. 1, в соответствии с которым обозначенную обработанную часть изображения отмечают с помощью первого указателя на эскизном представлении разбиения изображения, при этом связанный с первым указателем второй указатель отмечает точку на графике числовых характеристик обработанных частей исходного изображения, соответствующую числовой характеристике отмеченной части.
4. Способ по п. 1, в соответствии с которым обозначенную обработанную часть изображения отмечают с помощью второго указателя на графике числовых характеристик обработанных частей исходного изображения, при этом связанный со вторым указателем первый указатель отмечает обработанную часть изображения, соответствующую отмеченной на графике точке, на эскизном представлении разбиения исходного изображения.
5. Способ по п. 1, в соответствии с которым в случае неудовлетворительного качества обработки частей исходного изображения прерывают процесс обработки.
6. Способ по п. 1, в соответствии с которым процесс обработки частей исходного изображения прерывают с помощью сенсорной кнопки на устройстве отображения.
7. Способ по п. 1, в соответствии с которым автоматически выбирают обработанную часть изображения, результат обработки которой наиболее сильно отличается от остальных ранее полученных результатов, обозначают на эскизном представлении разбиения исходного изображения выбранную обработанную часть, обозначают на графике числовых характеристик обработанных частей исходного изображения значение, соответствующее выбранной части, и отображают на устройстве отображения во второй области для вывода пар фрагментов изображений фрагмент выбранной обработанной части изображения и соответствующий ему фрагмент исходного изображения.
8. Система отображения текущих результатов обработки изображения, содержащая:
- по меньшей мере один процессор, сконфигурированный с возможностью исполнения программ с инструкциями для обработки исходного изображения и обеспечения отображения на устройстве отображения эскизного представления разбиения исходного изображения на части, графика зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одной области для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения, путем исполнения программ с инструкциями, содержащихся в памяти системы отображения текущих результатов обработки изображения,
- память, предназначенную для хранения частей исходного изображения, обработанных частей исходного изображения, числовых характеристики обработанных частей исходного изображения, фрагментов обработанных частей изображения и соответствующих им фрагментов частей исходного изображения, и содержащую программы с инструкциями, сконфигурированными для обработки исходного изображения и обеспечения отображения на устройстве отображения эскизного представления разбиения исходного изображения на части, графика зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одной области для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения, и
- устройство отображения с по меньшей мере одним экраном, выполненное с возможностью отображения эскизного представления разбиения исходного изображения на части, графика зависимости по меньшей мере одной числовой характеристики обработанных частей исходного изображения от номера обработанной части и по меньшей мере одной области для вывода пары фрагментов изображений, где пара включает в себя фрагмент обработанной части изображения и соответствующий ему фрагмент части исходного изображения, и
- интерфейс пользователя.
9. Система по п. 8, в которой процессор дополнительно выполнен с возможностью отображения на устройстве отображения двух связанных между собой указателей, первый из которых предназначен для перемещения с помощью интерфейса пользователя на устройстве отображения по эскизному представлению разбиения изображения на части и активации части изображения, а второй указатель предзначен для перемещения с помощью интерфейса пользователя на устройстве отображения по графику числовой характеристики обработанных частей исходного изображения и активации части изображения, соответствующей выбранной точке графика.
10. Система по п. 8, в которой процессор дополнительно выполнен с возможностью отображения на устройстве отображения сенсорной кнопки для прерывания обработки.
11. Система по п. 8, отличающаяся тем, что интерфейс пользователя выполнен в виде по меньшей мере одного устройства, выбранного из группы: сенсорный экран, мышь, джойстик, тачпэд, клавиатура, микрофон для голосового управления, датчики для управление жестами.
