Способ дешифрации изображений



Способ дешифрации изображений
Способ дешифрации изображений

 


Владельцы патента RU 2610283:

Федеральное государственное бюджетное образовательное учреждение высшего образования "Тверской государственный университет" (RU)

Изобретение относится к области дешифрации изображений, получаемых от датчиков изображения. Техническим результатом является повышение точности распознавания объектов на изображении. Предложен способ дешифрации изображений, включающий формирование изображений на основе информации, получаемой от датчиков изображения. Согласно способу осуществляют сегментацию изображений на основе использования многомерной нейронной карты Кохонена по пирамидальной схеме, с сегментацией на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшим объединением результатов сегментации. Далее осуществляют классификацию образов на изображении с помощью древовидного классификатора, использующего в качестве простых классификаторов нейронные сети прямого распространения без обратных связей, обучаемые с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети. 1 ил.

 

Изобретение относится к области дешифрации изображений, получаемых от датчиков изображения, например телевизионных и тепловизионных камер, в режиме реального времени на борту летательных аппаратов гражданского назначения. Изобретение может быть использовано для улучшения точности построения двухмерных и трехмерных карт и моделей местности, в том числе и специализированной системой улучшенного видения на дисплее пилота, используемой для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.

Система улучшенного видения EVS - это электронное средство обеспечения летного экипажа изображением внешней обстановки, полученным либо непосредственно от датчиков, либо предварительно обработанным (улучшенным). В качестве датчика изображения может использоваться инфракрасная камера, радиолокатор миллиметрового диапазона и др. Добавление каждого сенсора в систему при комплексировании его информации с другими источниками потенциально приводит к увеличению возможности получить дополнительные эксплуатационные преимущества.

Для решения задач дешифрации изображений, в том числе аэрофотоснимков, полученных от бортовых камер летательного аппарата, бортовые системы улучшенного зрения выполняют ряд действий, среди которых можно выделить:

- формирование изображений;

- сегментация изображений;

- классификация образов на изображении;

- визуализация результатов дешифрации изображений.

Оценка качества работы модулей бортовых систем улучшенного зрения, выполняющих дешифрацию изображений, например аэрофотосъемки, производится путем

- оценки среднего и максимального времени выполнения дешифрации;

- оценки точности дешифрации путем оценки процентного соотношения количества правильно распознанных образов объектов и количества неправильно распознанных образов объектов на изображении;

- оценки диапазона условий применения дешифрации.

Оценка качества работы модулей производится на тестовом наборе изображений, репрезентативно покрывающем множество возможных комбинаций погодных условий, времени съемок, времен года и прочих факторов, влияющих на качество выполнения съемки для конкретного климата, природных условий и тому подобных характеристик местности.

Одним из самых популярных подходов является подход, базирующийся на применении дерева принятия решений для сегментации и распознавания изображений. Дерево принятия решений может быть реализовано аппаратно. Обладая низкими временными затратами на дешифрацию изображений, данный подход имеет низкую точность распознавания 50-60% образов объектов и узкий диапазон условий применения, так как аппаратный модуль, реализующий дерево принятия решений, требует перенастройки под различные погодные условия, различные времена года и т.п. даже для одного изображения.

Другим широко известным подходом является метод, основанный на применении эвристических систем дешифрации изображений, в состав которых входят различные концепции теории искусственного интеллекта и теории машинного обучения. Нередко в состав таких систем включаются искусственные нейронные сети, однако, учитывая общую концепцию данных систем, все вычисления выполняются, как правило, на специализированном вычислительном устройстве, состоящем из центрального процессора и одного или нескольких графических процессоров, с помощью которых достигается распараллеливание вычислений. Данный подход существенно проигрывает по времени выполнения подходам, реализованным полностью аппаратно, однако он лучше подхода, основанного на дереве принятия решений, с точки зрения точности и возможного диапазона дешифрации, поскольку имеет больше возможностей по тонкой настройке.

Известен способ дешифрации изображений, основанный на применении охлаждаемых инфракрасных датчиков, реализованный, в частности, компанией Kollsman Inc. (США) в системах Kollsman All Weather Window - всепогодная система дневного применения и Kollsman Night Window - система ночного применения. К недостаткам данного подхода относятся низкие показатели по точности дешифрации изображений в условиях плохой погоды (тумана, дымки и т.п.) из-за отсутствия в системе датчиков, работающих в видимом диапазоне частот. В отличие от данного подхода заявляемый способ содержит в своем составе датчики, работающие в видимых диапазонах частот.

Наиболее близкими к заявленному техническому решению являются аппаратные комплексы дешифрации изображений, основанные на применении датчиков, работающих в видимом диапазоне, и датчиков, работающих в ближнем инфракрасном диапазоне, реализованные, в частности, компанией CMC Electronics (Канада) в системах СМА-2600 I-Series и СМА-2610 M-Series. К недостаткам данного подхода относят низкие показатели по точности дешифрации изображений из-за применения для дешифрации неинтеллектуальных алгоритмов компьютерного зрения, основанных на простейших операциях обработки изображений, например, таких как пороговая обработка, морфологические операции. В отличие от данного подхода в заявляемом способе дешифрация изображений осуществляется с помощью методов теории искусственного интеллекта, в частности с помощью искусственных нейронных сетей.

Технический результат заявляемого изобретения состоит в улучшении основных эксплуатационных параметров бортовых систем улучшенного видения - качества детектирования объектов на изображении, оцениваемого как процентное соотношение количества правильно распознанных образов объектов и количества неправильно распознанных образов объектов на наборе модельных изображений, репрезентативно покрывающем характерные сцены, анализируемые бортовыми системами улучшенного видения при полетах над средней полосой России, а также в уменьшении времени обработки одного кадра.

Для достижения низких временных показателей, высоких показателей точности и широкой применимости процесса дешифрации в настоящем изобретении используется подход, основанный на применении сегментатора, выполненного по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшее объединение результатов сегментации; классификатор состоит из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети; предусмотрено введение дополнительных кеширующих банков памяти, позволяющих эвристически оптимизировать работу за счет кеширования отдельных результатов работы сегментатора и классификатора, позволяющих эвристически оптимизировать работу программно-аппаратного комплекса за счет кеширования отдельных результатов.

Заявляемое изобретение иллюстрируется Фиг. 1.

Фиг. 1. Блок-схема способа дешифрации изображений.

Изобретение осуществляется следующим образом.

Аппаратный комплекс дешифрации изображений состоит из блока «Регистрация изображения», блока «Сегментатор», блока «Классификатор» и блока «Визуализация».

Блок «Регистрация изображения», выполненный по технологии программируемой логической интегральной схемы, получает по шине Ethernet исходные изображения от телевизионной и тепловизионной камер, выполняет их объединение в одно изображение и расширяет цветовой диапазон изображения до 16 бит на спектральный канал, после чего передает результирующее изображение на вход блока «Сегментатор».

Блок «Сегментатор» представляет собой набор модулей, связанных друг с другом шинами передачи данных, выполненных по технологии PCIe. Модуль «Построение дерева изображений» выполняет кратномасштабную обработку изображений (пять уровней), на каждом шаге уменьшая изображение в два раза путем усреднения его элементов. Модули «Простой сегментатор 1», «Простой сегментатор 5» выполняют сегментацию соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена, передавая результат обработки на вход блока «Классификатор».

Блок «Классификатор» выполняет классификацию образов на изображении. Блок содержит несколько модулей, выполненных в виде ПЛИС. Модуль «Очередь» реализует очередь изображений, получаемых от блока «Классификатор». Блок «Дерево классификаторов» управляет деревом классификаторов - передает на вход блока «Простой классификатор» вектор параметров классификатора, зависящий от уровня классификатора в дереве классификаторов, погодных условий съемки, времени года съемки и прочих факторов, а также передает соответствующее изображение. Результат своей работы блок «Простой классификатор» передает обратно блоку «Дерево классификаторов», который выполняет анализ результатов и принимает решение о дальнейшей необходимости классификации или принимает решение о выдаче результатов классификации образов объектов, выделенных на обрабатываемом изображении, на блок «Визуализация».

Блок «Визуализация», выполненный в виде ПЛИС, упорядочивает результаты классификации и передает их по шине Ethernet в систему улучшенного видения.

Отличительные особенности заявляемого изобретения:

- сегментатор выполнен по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшее объединение результатов сегментации;

- классификатор состоит из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети;

- введены дополнительные кеширующие банки памяти, позволяющие эвристически оптимизировать осуществление способа за счет кеширования отдельных результатов работы сегментатора и классификатора.

Заявляемое изобретение позволяет достичь точности распознавания образов объектов равной 97,12% от общего количества образов объектов, а также времени обработки кадра размером 2000 на 2000 пикселей, состоящем из пяти спектральных каналов видимого и ближнего инфракрасного диапазонов, в 0,031 секунды, что равно примерно 32-м кадрам в секунду и удовлетворяет требованиям, предъявляемым к бортовой системе улучшенного видения, функционирующей в режиме реального времени.

Способ дешифрации изображений, включающий формирование изображений на основе информации, получаемой от датчиков изображения, сегментацию изображений на основе использования многомерной нейронной карты Кохонена, классификацию образов на изображении с помощью древовидного классификатора, использующего в качестве простых классификаторов нейронные сети прямого распространения без обратных связей, визуализацию изображений, в котором алгоритмы регистрации и предобработки изображений, алгоритмы работы сегментатора, алгоритмы обучения и работы классификатора, алгоритмы постобработки изображений реализуются на программируемой логической интегральной схеме, отличающийся тем, что

сегментация изображений выполняется по пирамидальной схеме, с сегментацией на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшим объединением результатов сегментации;

классификация образов предусматривает обучение нейронных сетей прямого распространения без обратных связей с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети;

при сегментации изображений и классификации образов на изображении используются дополнительные кеширующие банки памяти.



 

Похожие патенты:

Изобретение относится к сегментации изображений и, более конкретно, к сегментации изображений с использованием деформируемых моделей. Техническим результатом является повышение точности адаптации модели анатомического органа с высокой анатомической вариабельностью при сегментировании изображения анатомического органа.

Изобретение относится к технологиям определения координат объекта в двух измерениях посредством моделирующих установок. Техническим результатом является повышение точности обнаружения объекта в двух измерениях, за счет использования одной инфракрасной камеры.

Изобретение относится к технологиям обработки изображений посредством электронных средств. Техническим результатом является устранение ошибок обработки изображений с целью устранения шума при сохранении резких контуров.

Изобретение относится к области вычислительной техники, а именно к системам анализа изображений, и предназначено для использования в сфере обработки данных изображений.

Изобретение относится к динамической локализации дефекта в дефектном изделии, полученном ковкой. Система локализации дефекта содержит средства обработки для моделирования операции ковки при помощи численного решения уравнений с получением набора моделей формования изделия, средства ввода для предоставления указанному средству обработки данных относительно дефекта в изделии, средства обработки для добавления к первой модели из набора отметчика дефекта и средства визуализации для отслеживания во времени отметчика дефекта.

Группа изобретений относится к медицинской технике, а именно к средствам совмещения изображений. Система для визуализации картирования совмещения изображений, обеспечивающая осуществление способа для визуализации картирования совмещения изображений, в которой первое изображение, использующее первую систему координат, сопоставляется со вторым изображением, использующим вторую систему координат, причем система содержит дисплей и один или более процессоров, запрограммированных принимать первое и второе изображение, получать картирование совмещения изображений из первого изображения во второе изображение, получать одно или более опорных мест в изображении, выделять каждое опорное место в изображении и выделять коррелированное место в изображении, причем один или более процессоров запрограммированы отображать первое изображение рядом со вторым изображением на дисплее, и коррелированные места в изображении определяются с использованием картирования совмещения изображений, причем картирование совмещения изображений содержит, если картирование совмещения изображений осуществляется в системе координат одного из первого изображения и второго изображения, то путем суммирования картирования совмещения изображений с опорным местом в изображении одного из первого изображения и второго изображения и преобразования суммы в систему координат другого из первого изображения и второго изображения, или если картирование совмещения изображений осуществляется в системе координат другого из первого изображения и второго изображения, то путем преобразования опорного места в изображении в систему координат другого из первого изображения и второго изображения и прибавления картирования совмещения изображений.

Изобретение относится к области оптического и интеллектуального распознавания символов. Технический результат - обеспечение визуализации результатов машинной интерпретации при помощи технологии оптического распознавания символов изображения документа посредством снабжения изображения документа визуально различимыми линейными идентификаторами.

Изобретение относится к области обработки и генерации данных изображения. Технический результат - обеспечение возможности идентифицировать объект на захваченном изображении и повышение точности локализации визуализируемого объекта.

Изобретение относится к области обработки информации, а более конкретно к анализу информации, получаемой от космических средств дистанционного зондирования Земли.

Использование: для обработки двухмерных изображений срезов, определяющих объем трехмерного изображения. Сущность изобретения заключается в том, что устройство содержит контроллер графического пользовательского интерфейса, блок двухмерной сегментации и блок трехмерной сегментации.

Изобретение относится к области сжатия цифровых изображений. Технический результат – обеспечение управления скоростью JPEG сжатия цифрового изображения посредством генерации набора таблиц квантования.

Изобретение относится к устройству обработки видеоинформации, причем видеоинформация содержит видеоданные с узким динамическим диапазоном (LDR) и/или видеоданные с расширенным динамическим диапазоном (HDR).

Изобретение относится к области протонной радиографии, в частности к способу регистрации оптических изображений, сформированных с помощью протонного излучения, и может быть использовано в системах цифровой съемки для определения внутренней структуры объектов или исследования быстропротекающих процессов.

Изобретение относится к технологиям визуализации медицинских изображений. Техническим результатом является уменьшение визуально наблюдаемых искажений при визуализации изображений.

Изобретение относится к области обработки изображений. Технический результат - повышение эффективности устранения растра в растрированном изображении за счет экономии ресурсов при обработке изображений.

Группа изобретений относится к медицинской технике, а именно к средствам компьютерной томографии. Система формирования изображений содержит источник, который вращается вокруг области обследования и излучает радиацию, которая пересекает область обследования, радиационно-чувствительную детекторную матрицу, устройство оценки, которое определяет, уменьшен ли уровень шума в проекции, на основании числа обнаруженных фотонов для проекции, и аппарат уменьшения уровня шума в данных проекции на основании числа обнаруженных фотонов для проекции, при этом по меньшей мере одна проекция включает в себя число обнаруженных фотонов, которое соответствует заранее заданному пороговому значению числа фотонов, и уровень шума в которой не уменьшен, и по меньшей мере одна проекция включает в себя число обнаруженных фотонов, которое не соответствует заранее заданному пороговому значению числа фотонов, и уровень шума в которой уменьшен.

Изобретение относится к устройствам обработки изображения. Техническим результатом является обеспечение редактирования данных движущегося изображения на покадровой основе в соответствии с типом данных движущегося изображения.

Изобретение относится к технологиям обработки изображений. Техническим результатом является повышение эффективности сжатия изображений за счет независимого сжатия изображения материала и изображения освещенности.

Изобретение относится к информационно-измерительным устройствам и может быть использовано в системах управления и обработки сигналов. Технический результат - получение объединенного изображения со сглаженными границами перехода.

Изобретение относится к области обработки изображений. Технический результат - обеспечение уменьшения смещения, включенного в цифровой сигнал, которое возникает вследствие разности между временем, когда потенциал опорного сигнала начинает изменяться во времени, и временем, когда счетчик начинает подсчет синхросигнала.

Изобретение относится к области видеоизмерительной техники для построения стационарных измерительных видеосистем для слежения за событиями. Техническим результатом является создание простого способа калибровки видеосистем с фиксированным фокусным расстоянием и варифокальных видеосистем перестраиваемой конфигурации без предварительной расстановки и измерения взаимного расположения калибровочных марок.
Наверх