Способ дешифрации изображений
Владельцы патента RU 2610283:
Федеральное государственное бюджетное образовательное учреждение высшего образования "Тверской государственный университет" (RU)
Изобретение относится к области дешифрации изображений, получаемых от датчиков изображения. Техническим результатом является повышение точности распознавания объектов на изображении. Предложен способ дешифрации изображений, включающий формирование изображений на основе информации, получаемой от датчиков изображения. Согласно способу осуществляют сегментацию изображений на основе использования многомерной нейронной карты Кохонена по пирамидальной схеме, с сегментацией на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшим объединением результатов сегментации. Далее осуществляют классификацию образов на изображении с помощью древовидного классификатора, использующего в качестве простых классификаторов нейронные сети прямого распространения без обратных связей, обучаемые с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети. 1 ил.
Изобретение относится к области дешифрации изображений, получаемых от датчиков изображения, например телевизионных и тепловизионных камер, в режиме реального времени на борту летательных аппаратов гражданского назначения. Изобретение может быть использовано для улучшения точности построения двухмерных и трехмерных карт и моделей местности, в том числе и специализированной системой улучшенного видения на дисплее пилота, используемой для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.
Система улучшенного видения EVS - это электронное средство обеспечения летного экипажа изображением внешней обстановки, полученным либо непосредственно от датчиков, либо предварительно обработанным (улучшенным). В качестве датчика изображения может использоваться инфракрасная камера, радиолокатор миллиметрового диапазона и др. Добавление каждого сенсора в систему при комплексировании его информации с другими источниками потенциально приводит к увеличению возможности получить дополнительные эксплуатационные преимущества.
Для решения задач дешифрации изображений, в том числе аэрофотоснимков, полученных от бортовых камер летательного аппарата, бортовые системы улучшенного зрения выполняют ряд действий, среди которых можно выделить:
- формирование изображений;
- сегментация изображений;
- классификация образов на изображении;
- визуализация результатов дешифрации изображений.
Оценка качества работы модулей бортовых систем улучшенного зрения, выполняющих дешифрацию изображений, например аэрофотосъемки, производится путем
- оценки среднего и максимального времени выполнения дешифрации;
- оценки точности дешифрации путем оценки процентного соотношения количества правильно распознанных образов объектов и количества неправильно распознанных образов объектов на изображении;
- оценки диапазона условий применения дешифрации.
Оценка качества работы модулей производится на тестовом наборе изображений, репрезентативно покрывающем множество возможных комбинаций погодных условий, времени съемок, времен года и прочих факторов, влияющих на качество выполнения съемки для конкретного климата, природных условий и тому подобных характеристик местности.
Одним из самых популярных подходов является подход, базирующийся на применении дерева принятия решений для сегментации и распознавания изображений. Дерево принятия решений может быть реализовано аппаратно. Обладая низкими временными затратами на дешифрацию изображений, данный подход имеет низкую точность распознавания 50-60% образов объектов и узкий диапазон условий применения, так как аппаратный модуль, реализующий дерево принятия решений, требует перенастройки под различные погодные условия, различные времена года и т.п. даже для одного изображения.
Другим широко известным подходом является метод, основанный на применении эвристических систем дешифрации изображений, в состав которых входят различные концепции теории искусственного интеллекта и теории машинного обучения. Нередко в состав таких систем включаются искусственные нейронные сети, однако, учитывая общую концепцию данных систем, все вычисления выполняются, как правило, на специализированном вычислительном устройстве, состоящем из центрального процессора и одного или нескольких графических процессоров, с помощью которых достигается распараллеливание вычислений. Данный подход существенно проигрывает по времени выполнения подходам, реализованным полностью аппаратно, однако он лучше подхода, основанного на дереве принятия решений, с точки зрения точности и возможного диапазона дешифрации, поскольку имеет больше возможностей по тонкой настройке.
Известен способ дешифрации изображений, основанный на применении охлаждаемых инфракрасных датчиков, реализованный, в частности, компанией Kollsman Inc. (США) в системах Kollsman All Weather Window - всепогодная система дневного применения и Kollsman Night Window - система ночного применения. К недостаткам данного подхода относятся низкие показатели по точности дешифрации изображений в условиях плохой погоды (тумана, дымки и т.п.) из-за отсутствия в системе датчиков, работающих в видимом диапазоне частот. В отличие от данного подхода заявляемый способ содержит в своем составе датчики, работающие в видимых диапазонах частот.
Наиболее близкими к заявленному техническому решению являются аппаратные комплексы дешифрации изображений, основанные на применении датчиков, работающих в видимом диапазоне, и датчиков, работающих в ближнем инфракрасном диапазоне, реализованные, в частности, компанией CMC Electronics (Канада) в системах СМА-2600 I-Series и СМА-2610 M-Series. К недостаткам данного подхода относят низкие показатели по точности дешифрации изображений из-за применения для дешифрации неинтеллектуальных алгоритмов компьютерного зрения, основанных на простейших операциях обработки изображений, например, таких как пороговая обработка, морфологические операции. В отличие от данного подхода в заявляемом способе дешифрация изображений осуществляется с помощью методов теории искусственного интеллекта, в частности с помощью искусственных нейронных сетей.
Технический результат заявляемого изобретения состоит в улучшении основных эксплуатационных параметров бортовых систем улучшенного видения - качества детектирования объектов на изображении, оцениваемого как процентное соотношение количества правильно распознанных образов объектов и количества неправильно распознанных образов объектов на наборе модельных изображений, репрезентативно покрывающем характерные сцены, анализируемые бортовыми системами улучшенного видения при полетах над средней полосой России, а также в уменьшении времени обработки одного кадра.
Для достижения низких временных показателей, высоких показателей точности и широкой применимости процесса дешифрации в настоящем изобретении используется подход, основанный на применении сегментатора, выполненного по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшее объединение результатов сегментации; классификатор состоит из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети; предусмотрено введение дополнительных кеширующих банков памяти, позволяющих эвристически оптимизировать работу за счет кеширования отдельных результатов работы сегментатора и классификатора, позволяющих эвристически оптимизировать работу программно-аппаратного комплекса за счет кеширования отдельных результатов.
Заявляемое изобретение иллюстрируется Фиг. 1.
Фиг. 1. Блок-схема способа дешифрации изображений.
Изобретение осуществляется следующим образом.
Аппаратный комплекс дешифрации изображений состоит из блока «Регистрация изображения», блока «Сегментатор», блока «Классификатор» и блока «Визуализация».
Блок «Регистрация изображения», выполненный по технологии программируемой логической интегральной схемы, получает по шине Ethernet исходные изображения от телевизионной и тепловизионной камер, выполняет их объединение в одно изображение и расширяет цветовой диапазон изображения до 16 бит на спектральный канал, после чего передает результирующее изображение на вход блока «Сегментатор».
Блок «Сегментатор» представляет собой набор модулей, связанных друг с другом шинами передачи данных, выполненных по технологии PCIe. Модуль «Построение дерева изображений» выполняет кратномасштабную обработку изображений (пять уровней), на каждом шаге уменьшая изображение в два раза путем усреднения его элементов. Модули «Простой сегментатор 1», «Простой сегментатор 5» выполняют сегментацию соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена, передавая результат обработки на вход блока «Классификатор».
Блок «Классификатор» выполняет классификацию образов на изображении. Блок содержит несколько модулей, выполненных в виде ПЛИС. Модуль «Очередь» реализует очередь изображений, получаемых от блока «Классификатор». Блок «Дерево классификаторов» управляет деревом классификаторов - передает на вход блока «Простой классификатор» вектор параметров классификатора, зависящий от уровня классификатора в дереве классификаторов, погодных условий съемки, времени года съемки и прочих факторов, а также передает соответствующее изображение. Результат своей работы блок «Простой классификатор» передает обратно блоку «Дерево классификаторов», который выполняет анализ результатов и принимает решение о дальнейшей необходимости классификации или принимает решение о выдаче результатов классификации образов объектов, выделенных на обрабатываемом изображении, на блок «Визуализация».
Блок «Визуализация», выполненный в виде ПЛИС, упорядочивает результаты классификации и передает их по шине Ethernet в систему улучшенного видения.
Отличительные особенности заявляемого изобретения:
- сегментатор выполнен по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшее объединение результатов сегментации;
- классификатор состоит из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети;
- введены дополнительные кеширующие банки памяти, позволяющие эвристически оптимизировать осуществление способа за счет кеширования отдельных результатов работы сегментатора и классификатора.
Заявляемое изобретение позволяет достичь точности распознавания образов объектов равной 97,12% от общего количества образов объектов, а также времени обработки кадра размером 2000 на 2000 пикселей, состоящем из пяти спектральных каналов видимого и ближнего инфракрасного диапазонов, в 0,031 секунды, что равно примерно 32-м кадрам в секунду и удовлетворяет требованиям, предъявляемым к бортовой системе улучшенного видения, функционирующей в режиме реального времени.
Способ дешифрации изображений, включающий формирование изображений на основе информации, получаемой от датчиков изображения, сегментацию изображений на основе использования многомерной нейронной карты Кохонена, классификацию образов на изображении с помощью древовидного классификатора, использующего в качестве простых классификаторов нейронные сети прямого распространения без обратных связей, визуализацию изображений, в котором алгоритмы регистрации и предобработки изображений, алгоритмы работы сегментатора, алгоритмы обучения и работы классификатора, алгоритмы постобработки изображений реализуются на программируемой логической интегральной схеме, отличающийся тем, что
сегментация изображений выполняется по пирамидальной схеме, с сегментацией на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшим объединением результатов сегментации;
классификация образов предусматривает обучение нейронных сетей прямого распространения без обратных связей с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети;
при сегментации изображений и классификации образов на изображении используются дополнительные кеширующие банки памяти.
