Классификаторы низкого и высокого качества, применяемые к изображениям дорожных сцен - заявка 2017100468 на патент на изобретение в РФ

1. Система, содержащая:
классификатор низкой точности на процессорном наборе, выполненный с возможностью выбирать область-кандидат из набора областей, охватывающего субдискретизированный вариант изображения с закрепленной на автомобиле камеры, захватывающей дорожные сцены при определении, что кандидат изображает классифицируемый объект;
классификатор высокой точности на процессорном наборе, выполненный с возможностью проверять изображение классифицированного объекта во фрагменте, отображаемом с кандидата, высокоточного варианта изображения, когда классификатор высокой точности указывает на изображение.
2. Система по п. 1, в которой:
классификатор низкой точности, содержащий первую сверточную нейронную сеть (CNN), обучается с помощью субдискретизированного обучающего набора, содержащего множество помеченных субдискретизированных вариантов изображений объектов в классе, характеризующем классифицируемый объект, причем помеченные субдискретизированные варианты имеют размер, соизмеримый с размерами областей в наборе областей; и
классификатор высокой точности, содержащий вторую CNN, обучается с помощью обучающего набора с высоким разрешением, содержащего множество помеченных высококачественных вариантов изображений объектов в классе.
3. Система по п. 2, дополнительно содержащая модуль разрешения, выполненный с возможностью создавать субдискретизированные варианты в субдискретизированном обучающем наборе, по меньшей мере часть которых подвергается субдискретизации до наименьшего разрешения, при котором энтропии в субдискретизированных вариантах остаются выше порогового значения, определяемого относительно энтропий в изображениях объектов в классе.
4. Система по п. 2, дополнительно содержащая модуль субдискретизации, реализуемый на процессорном наборе и выполненный с возможностью получения субдискретизированного варианта изображения с закрепленной на автомобиле камеры при коэффициенте субдискретизации, определяемом для сохранения в субдискретизированном варианте заданного процента энтропии в изображении с камеры.
5. Система по п. 4, в которой заданный процент энтропии получается из диапазона с центром в восьмидесяти процентах и продолжающегося выше и ниже восьмидесяти процентов на пять процентов.
6. Система по п. 2, дополнительно содержащая:
модуль окна, выполненный с возможностью:
извлекать перекрывающиеся области из субдискретизированного варианта, которые могут быть кадрированы с помощью по меньшей мере одного окна, сдвигаемого полностью через субдискретизированный вариант, для набора областей; и
применения перекрывающихся областей к классификатору низкой точности; и
модуль отображения, выполненный с возможностью отображения области-кандидата из субдискретизированного варианта изображения для фрагмента высокоточного варианта изображения, так что область-кандидат и фрагмент покрывают общий сектор изображения в субдискретизированном варианте и высокоточном варианте соответственно.
7. Система по п. 6, в которой:
по меньшей мере одно окно содержит первое окно с первыми размерами, отличающимися от вторых размеров для второго окна, причем как первые размеры, так и вторые размеры соответствуют различным масштабам, в которых объекты в классе могут возможно быть изображены и обнаружены в субдискретизированном варианте изображения;
набор областей содержит поднабор первых областей первых перекрывающихся областей с размерами, соизмеримыми с первыми размерами, и поднабор вторых областей вторых перекрывающихся областей с размерами, соизмеримыми со вторыми размерами;
субдискретизированный обучающий набор содержит первый субдискретизированный поднабор первых субдискретизированных вариантов, имеющих размеры, соизмеримые с первыми размерами, и второй субдискретизированный поднабор со вторыми субдискретизированными вариантами, имеющими размеры, соизмеримые со вторыми размерами.
8. Система по п. 2, дополнительно содержащая:
подсистему формирования изображений, содержащую по меньшей мере одну из подсистемы радиообнаружения и определения дальности (радар) и подсистемы светового обнаружения и определения дальности (лидар); и
систему многоступенчатой классификации изображений, содержащую камеру и оба из классификатора низкой точности и классификатора высокой точности на процессорном наборе; и
модуль агрегации, реализуемый на процессорном наборе, выполненный с возможностью применения классификатора низкой точности с исчерпывающим покрытием субдискретизированного варианта изображения с камеры, применяемого к набору областей, чтобы обеспечивать избыточность и предоставлять недостающую информацию о классификации, отсутствующую в информации о классификации, обеспечиваемой подсистемой формирования изображений.
9. Система по п. 2, дополнительно содержащая:
очередь изображений, выполненную с возможностью последовательно ставить в очередь серию изображений предстоящих дорожных сцен, захватываемых камерой;
по меньшей мере один блок графической обработки (GPU) в пределах процессорного набора, реализующий по меньшей мере один из классификатора низкой точности и классификатора высокой точности; и при этом
параметры обоих из классификатора низкой точности и классификатора высокой точности устанавливаются для ограничения вычислительных требований классификатора низкой точности и классификатора высокой точности относительно вычислительных возможностей по меньшей мере одного GPU, обеспечивая обработку серии изображений с заданной скоростью, обеспечивающей доступ в реальном времени к информации о классификации в серии изображений.
10. Способ классификации и определения местоположения объекта, содержащий этапы, на которых:
подвергают субдискретизации изображение до субдискретизированного варианта изображения;
выделяют набор перекрывающихся зон, покрывающих субдискретизированный вариант, определяемых с помощью скользящего окна с размерами, равными размерам зон;
выбирают вероятную зону из набора перекрывающихся зон, для которой классификатор низкой точности, содержащий первую сверточную нейронную сеть (CNN), указывает на вероятность присутствия объекта, относящегося к классу объектов, классифицируемых с помощью классификатора низкой точности;
отображают вероятную зону, выбираемую из субдискретизированного варианта, в сектор варианта изображения с высоким разрешением; и
подтверждают присутствие объекта путем применения сектора к классификатору высокой точности, содержащему вторую CNN, когда применение сектора указывает на присутствие.
11. Способ по п. 10, дополнительно содержащий этапы, на которых:
обрезают набор изображений объектов при наборе размеров изображений, причем изображения в наборе изображений классифицируют в соответствии с набором классов обнаружения по меткам, присвоенным изображениям;
подвергают субдискретизации набор изображений для создания субдискретизированного набора помеченных изображений;
обучают классификатор низкой точности с помощью субдискретизированного набора помеченных изображений; и
обучают классификатор высокой точности с помощью по меньшей мере одного из набора изображений и сравнимых изображений, выбираемых в целях обучения.
12. Способ по п. 10, дополнительно содержащий этапы, на которых:
собирают обучающий набор изображений, изображающих пешеходов в различных положениях и ситуациях, для включения в набор изображений;
и помечают обучающий набор в соответствии с общим классом в наборе классов обнаружения.
13. Способ по п. 10, дополнительно содержащий этап, на котором вычисляют максимальный коэффициент, с которым изображение может быть подвергнуто субдискретизации, для создания субдискретизированного варианта при сохранении отношения энтропии в субдискретизированном варианте к энтропии в упомянутом изображении выше заданного порогового уровня.
14. Способ по п. 10, дополнительно содержащий этап, на котором ищут зоны в наборе перекрывающихся зон, к которым классификатор низкой точности должен все же быть применен для по меньшей мере одной дополнительной вероятной зоны при одновременном подтверждении присутствия объекта путем применения сектора к классификатору высокой точности.
15. Способ по п. 10, дополнительно содержащий этапы, на которых:
захватывают с помощью камеры, закрепленной на автомобиле, серию изображений предстоящих дорожных сцен с частотой кадров, удовлетворяющей заданному пороговому значению; и
обрабатывают серию изображений путем применения пункта 10 к отдельным изображениям в серии изображений со скоростью обработки, также удовлетворяющей заданному пороговому значению, причем заданное пороговое значение обеспечивает достаточное время для заданного автономного отклика автомобиля на информацию о классификации в серии изображений.
16. Способ по п. 10, дополнительно содержащий этапы, на которых:
извлекают набор масштабированных зон из субдискретизированного варианта, причем масштабированные зоны в наборе масштабированных зон имеют размеры, отличающиеся от размеров скользящего окна и соизмеримые с масштабированными размерами масштабированного скользящего окна;
выбирают масштабированную зону из набора масштабированных зон, для которой классификатор низкой точности указывает на вероятность наличия масштабированного объекта, классифицируемого классификатором низкой точности;
отображают масштабированную зону на масштабированном секторе варианта с более высоким разрешением; и
подтверждают наличие масштабированного объекта путем применения масштабированного сектора к классификатору высокой точности, когда применение масштабированного сектора приводит к вероятности наличия.
17. Система анализа изображений, содержащая:
по меньшей мере одну базу данных на по меньшей мере одном носителе данных, содержащую:
первый набор данных, содержащий обрезанные субдискретизированные изображения с метками из набора меток;
второй набор данных, содержащий обрезанные изображения с более высоким разрешением с метками из набора меток; и
процессорный набор, реализующий:
первую сверточную нейронную сеть (CNN), выполненную с возможностью обучения на первом наборе данных для классифицирования относительно набора меток участка из набора перекрывающихся участков, охватывающих субдискретизированный вариант изображения дорожной сцены, причем размеры участка соизмеримы с размерами субдискретизированного изображения; и
вторую CNN, выполненную с возможностью обучения на втором наборе данных для повторного классифицирования относительно набора меток области изображения дорожной сцены с высокой точностью, покрывающей участок.
18. Система по п. 17, дополнительно содержащая модуль разрешения, выполненный с возможностью создавать субдискретизированные изображения в первом наборе данных, содержащем полностью субдискретизированные изображения, которые подвергаются субдискретизации до предельного разрешения, вычисляемого как нижний предел по разрешению, способный сохранять по меньшей мере заданный процент энтропии относительно исходного обрезанного изображения, из которого создается соответствующее субдискретизированное изображение.
19. Система по п. 17, дополнительно содержащая набор процессоров, реализующих:
модуль субдискретизации, выполненный с возможностью субдискретизации изображения дорожной сцены до изображения с низким разрешением;
прикладной модуль, выполненный с возможностью:
изучать полное поле зрения, захватываемое изображением с низким разрешением, путем применения перекрывающихся участков изображения с низким разрешением к классификатору низкой точности;
отмечать набор возможных участков, в которых классификатор низкой точности идентифицирует возможные изображения объектов, классифицируемых в соответствии с набором меток; и
модуль определения, выполненный с возможностью:
проецирования набора возможных участков на высокоточный вариант изображения дорожной сцены для создания набора областей-кандидатов; и
определения подтвержденного набора областей путем применения классификатора высокой точности к набору областей-кандидатов.
20. Система по п. 19, дополнительно содержащая:
камеру, выполненную с возможностью установки на автомобиль для захвата серии изображений дорожных сцен;
блок обработки графики (GPU) в процессорном наборе, реализующий первую CNN, чтобы воспользоваться возможностями параллельной обработки GPU, позволяя первой CNN обрабатывать серию изображений дорожных сцен со скоростью, обеспечивающей время для заданного отклика автономного транспортного средства на информацию о классификации в серии обрабатываемых изображений дорожных сцен.
Наверх