Способ распознавания сигналов светофора в ночное время суток

Изобретение относится к методам распознавания сигнала светофора на борту поезда. В способе с камеры, установленной по ходу движения транспортного средства, на первом этапе получают два трехканальных изображения, с высокой выдержкой R₁G₁B₁ и низкой выдержкой R₂G₂B₂, на втором этапе при помощи нейросетевого детектора производится обработка изображения, полученного с высокой выдержкой, с целью определения расположения светофора на кадре и при помощи нейросетевого сегментатора обрамление его прямоугольной рамкой, на третьем этапе осуществляется наложение на изображение с низкой выдержкой прямоугольной рамки в соответствии с рамкой, обрамляющей светофор, полученной на втором этапе, и обрезка обоих изображений по периметру данной рамки, на четвертом этапе осуществляется наложение полученных на третьем этапе изображений путем последовательного размещения цветовых каналов изображений в формате R₁G₁B₁R₂G₂B₂, далее на пятом этапе при помощи моделей глубоких сверточных классификаторов осуществляется обработка совмещенного изображения, полученного на четвертом этапе, с целью классификации типа светофора и на заключительном этапе при помощи нейросетевого классификатора осуществляется распознавание цвета сигнала светофора с учетом его типа. Достигается повышение безопасности движения за счет реализации функции распознавания сигналов светофора в ночное время суток.

 

Изобретение относится к способам распознавания сигнала светофора и может быть использовано в железнодорожных и других транспортных системах для обеспечения выдачи вспомогательной информации, повышающей безопасность управления транспортным средством.

Известны способы, предназначенные для повышения безопасности дорожного движения визуальным предупреждением водителей и машинистов путем отображения дорожной ситуации, в частности включающие отображение информации, идентифицирующей сигналы светофоров, с выдачей предупреждения о сигналах, запрещающих движение. Данные способы основаны на принципах получения изображения с камер, направленных по ходу движения транспортного средства, и распознавания полученного изображения путем выделения на изображении контура светофора, анализа в области данного контура цвета, позволяющего идентифицировать сигнал светофора, и передачи вспомогательной информации о состоянии светофора в салон транспортного средства.

Наиболее близким является способ, раскрытый в описании к патенту US 10086857 B2 от 02.10.2018 «Система технического зрения для помощи машинисту». Для анализа данных в целях определения типа светофора и состояния сигнала светофора в системе используются данные, полученные от камеры, расположенной в передней части поезда. Для нахождения светофора на полученном от камеры изображении определяется участок, содержащий контур светофора, в котором производится анализ цвета сигнала.

Недостатком указанного аналога является ошибка распознавания цвета светофора, возникающая при распознавании изображения, полученного с видеокамеры в ночное время суток, так как в ночное время осуществляется перенасыщение светочувствительных элементов матрицы камеры за счет ее засветки дорожным светофором. В таком случае вокруг светофора на изображении также возникает ореол искаженного цвета, который не дает правильно распознать форму самого светофора и соседние объекты в кадре. В центре источник света будет обозначен белыми (перенасыщенными) пикселями, его цвет становится невозможно восстановить классическими методами компьютерного зрения.

Целью предлагаемого изобретения является разработка способа, позволяющего идентифицировать сигнал светофора на изображениях, полученных от камер в ночное время суток.

Техническим результатом изобретения является расширение функциональных возможностей системы автоматического распознавания сигналов светофора с использованием элементов технического зрения за счет обеспечения возможности распознавания светофоров на изображениях, полученных в ночное время суток.

Технический результат достигается способом распознавания сигналов светофора в ночное время суток, характеризующимся тем, что на первом этапе с камеры, установленной по ходу движения транспортного средства, получают два трехканальных изображения, с высокой выдержкой R₁G₁B₁ и низкой выдержкой R₂G₂B₂, на втором этапе при помощи нейросетевого детектора производится обработка изображения, полученного с высокой выдержкой, с целью определения расположения светофора на кадре и при помощи нейросетевого сегментатора обрамление его прямоугольной рамкой, на третьем этапе осуществляется наложение на изображение с низкой выдержкой полученной на втором этапе прямоугольной рамки, в соответствии с рамкой обрамляющей светофор, и обрезка обоих изображений по периметру данной рамки, на четвертом этапе осуществляется наложение полученных на третьем этапе изображений путем последовательного размещения цветовых каналов изображений в формате R₁G₁B₁R₂G₂B₂, далее на пятом этапе при помощи моделей глубоких сверточных классификаторов осуществляется обработка совмещенного изображения, полученного на четвертом этапе, с целью классификации типа светофора, и на заключительном этапе при помощи нейросетевого классификатора осуществляется распознавание цвета сигнала светофора с учетом его типа.

Сложность распознавания сигнала светофора в ночное время суток обусловлено перенасыщением светочувствительных элементов матрицы, которое происходит за счет засветки камеры дорожным светофором либо любым другим источником яркого света. Когда яркий источник света, находящийся в темноте (например, железнодорожный светофор), направлен в объектив камеры, датчики сенсоров на светочувствительной матрице камеры при стандартных режимах съемки становятся перенасыщенными. Для записи значения интенсивности цвета обычно используют каналы RGB. В качестве координат изображения принято записывать матрицу w*h пикселей, где w - ширина изображения (целое число), h - высота изображения (целое число). В каждый пиксель записывается число в интервале от 0 (черный цвет) до 255 (белый). Когда источник света определенного цвета перенасыщает матрицу камеры, пиксели при стандартных режимах съемки становятся близки к 255, то есть белыми во всех каналах, при этом не факт, что ореол вокруг перенасыщенной области сохранит изначальный окрас и позволит правильно определить цвет.

Данное изобретение раскрывает как использовать динамические настройки камеры, необработанные данные с сенсора камеры и современные глубокие сверточные сети для точного распознавания положения светофора на карте и определения сигнала его горящей секции.

Для решения задачи перенасыщения кадра, полученного с камеры, используются два последовательно полученных кадра, с высокой (светлый кадр) и низкой (темный кадр) выдержками. Для получения темного кадра значения выдержки в настройках камеры значительно снижаются так, чтобы на кадр попадали только яркие огоньки (при этом можно заметить, что цвет огоньков не будет искажен). Если уменьшать время выдержки в камере, то на матрицу попадает меньше света и получается темный кадр, на котором цвет сигнала не сильно искажен.

Также архитектура современных камер позволяет производить линейную композицию до 4-х «выдержек» внутри сенсора. Сенсор дает возможность захватывать сцену с динамическим диапазоном освещенности до 120 дБ. При отключении режима автоэкспозиции камеры при выставленных фиксированных значениях времени экспозиции и усиления, ночная сцена может быть захвачена HDR сенсором целиком, без возникновения пересветок на изображениях светофоров. Выходы сенсора можно настроить на 8, 10, 12, 16, 24 бита RAW. Предпочтительнее использование режима 16 бит RAW. Путем цифровой обработки из 16-битного изображения получают два кадра. Первый кадр, «темный», получают из 8-ми старших бит 16-битного изображения. Этот кадр содержит информацию о ярких источниках света на изображении и их цвете. Второй кадр, «светлый», получают путем тоновой компрессии из 16 бит в 8. В качестве алгоритма тоновой компрессии может быть использован алгоритм Реинхарда. На этом кадре отображается вся сцена целиком, но тона компрессированы, в результате информацию о цвете на данном изображении нельзя считать достоверной.

Использование двух кадров обусловлено тем, что на изображении, полученном с низкой выдержкой (темный кадр), отсутствует возможность определения дорожной сцены, вследствие чего классификация типа светофора на кадре становиться невозможной, однако темный кадр позволяет сохранить истинные цвета, без перенасыщения. Светлый кадр (с высокой выдержкой) используется для распознавания объектов дорожной сцены, классификации типов светофоров, однако из-за перенасыщения цвет светофора на нем определить невозможно.

Весь процесс получения и обработки изображений осуществляется в вычислительном модуле, связанном с камерой, установленной на транспортном средстве.

Способ распознавания сигналов светофора в ночное время суток осуществляется следующим образом.

С камеры, установленной в передней части транспортного средства и направленной по ходу его движения, получают и передают в вычислительный модуль два изображения. Одно сделанное с высокой выдержкой (светлый кадр), второе с низкой выдержкой (темный кадр).

Координаты светофора на изображении находим следующим образом. Для того, чтобы обозначить светофор на изображении размерами w*h прямоугольником, достаточно иметь кортеж из четырех элементов:

<x1, y1, x2, y2>,

где

0<=x1<w,

0<=x2<w, x2>=x1

0<=y1<h,

0<=y2<h, y2>=y1

эти точки обозначают положение диагональных координат обрамляющего прямоугольника светофора на изображении.

В качестве генератора обрамляющих прямоугольников используются глубокие сверточные сети, обученные на решение задачи семантической сегментации и детектирования объектов на кадре.

Семантическая сегментация используется, чтобы обвести все пиксели всех светофоров на кадре. Детектирующая сеть используется, чтобы обвести обрамляющими прямоугольниками все светофоры на кадре. Применение двух генераторов необходимо для того, чтобы использовать их усредненный выход, тем самым повышая точность распознавания объекта.

Получаем области кадра, в которых ожидаем найти светофор (сниппеты изображений). Однако генератор обрамляющих прямоугольников не предназначен для определения типа светофора.

Для определения принадлежности светофора в кадре определенному классу (привязка обрамляющего прямоугольника или сниппета к типу светофора и дальнейшей его трекинг) используют пользовательскую модель глубокого полностью сверточного классификатора. При этом важным в контексте работы является не выбор модели энкодера для классификации, а структура входа модели.

Для улучшения качества классификации используется объединенный вход с двух кадров (в модели классификатора входным будет не трехканальное RGB изображение, а шестиканальное). Важным вопросом является то, как расположить несколько изображений для формирования входной матрицы. В качестве входа сети используется матрица раскладки CWH (канал, ширина, высота). Для объединения имеем кадры R1G1B1 с высокой выдержкой и R2G2B2 с низкой выдержкой. В ходе экспериментов было установлено, что лучшие результаты классификации достигаются не при последовательном расположении каналов в формате R1R2G1G2B1B2, а при последовательном расположении каналов изображений в формате R1G1B1R2G2B2.

Обрамляющий прямоугольник, полученный от генератора на светлом кадре, накладывают на изображение темного кадра и по периметру прямоугольников осуществляется обрезка обоих изображений.

Далее полученные изображения со светлого и темного кадров совмещают в шестиканальное изображение с последовательным расположением каналов в формате R1G1B1R2G2B2. Таким образом, повышается объем информации об объекте, у нейронной сети появляется доступ к изображению с темного кадра с неискаженным цветом, что повышает точность распознавания сигнала, позволяет распознавать засвеченные на светлом кадре сигналы, дает возможность устойчиво отличать сигналы светофоров от прочих источников света.

После этого при помощи моделей глубоких сверточных классификаторов осуществляется обработка полученного совмещенного изображения и, при помощи заранее обученного нейросетевого классификатора, осуществляется распознавание цвета светофора с учетом его типа.

Техническое преимущество предлагаемого изобретения заключается в расширении возможностей систем автоматического распознавания сигналов светофора с использованием элементов технического зрения, за счет обеспечения возможности распознавания светофоров на изображениях, полученных в ночное время суток. Это достигается при помощи получения с камеры, установленной на транспортном средстве, дополнительного темного кадра, позволяющего сохранить истинные цвета, разработанного алгоритма первоначальной обработки изображений, а также совмещения полученных кадров именно с последовательным расположением их каналов в указанном формате.

Таким образом, предложенное изобретение может найти широкое применение в различных областях техники.

Способ распознавания сигналов светофора в ночное время суток, характеризующийся тем, что на первом этапе с камеры, установленной по ходу движения транспортного средства, получают два трёхканальных изображения, с высокой выдержкой R₁G₁B₁ и низкой выдержкой R₂G₂B₂, на втором этапе при помощи нейросетевого детектора производится обработка изображения, полученного с высокой выдержкой, с целью определения расположения светофора на кадре и при помощи нейросетевого сегментатора обрамление его прямоугольной рамкой, на третьем этапе осуществляется наложение на изображение с низкой выдержкой прямоугольной рамки в соответствии с рамкой, обрамляющей светофор, полученной на втором этапе, и обрезка обоих изображений по периметру данной рамки, на четвертом этапе осуществляется наложение полученных на третьем этапе изображений путем последовательного размещения цветовых каналов изображений в формате R₁G₁B₁R₂G₂B₂, далее на пятом этапе при помощи моделей глубоких сверточных классификаторов осуществляется обработка совмещенного изображения, полученного на четвертом этапе, с целью классификации типа светофора и на заключительном этапе при помощи нейросетевого классификатора осуществляется распознавание цвета сигнала светофора с учетом его типа.