Оптико-электронное устройство предупреждения столкновений транспортного средства


 


Владельцы патента RU 2441283:

Учреждение Российской академии наук Центр информационных технологий в проектировании РАН (RU)

Изобретение относится к технике предотвращения дорожно-транспортных происшествий. Предложенное устройство содержит первое устройство ввода изображения (УВИ) и системный контроллер (СК). Дополнительно введены пять оптико-электронных датчиков (ОЭД), второе, третье и четвертое УВИ, два устройства компенсации размытости (УКР), жидкокристаллический индикатор и устройство звуковой индикации. Первый и второй ОЭД установлены с возможностью получения изображений рабочей сцены спереди транспортного средства, третий и четвертый ОЭД - с возможностью получения изображений рабочей сцены сзади транспортного средства, а пятый ОЭД - с возможностью получения изображений глаз водителя. УВИ подключены к выходам соответствующих ОЭД и выполнены с возможностью промежуточного хранения полученных изображений. Первое и второе УКР подключены к выходам соответственно первого и второго УВИ и выполнены с возможностью повышения четкости полученного изображения и обнаружения движущихся объектов. СК подключен к выходам первого и второго УКР, третьего и четвертого УВИ, пятого ОЭД и датчика скорости транспортного средства. С помощью СК обеспечивается возможность выделения контуров на изображениях, обнаружения неподвижных объектов на них, определения их трехмерных координат по парам стереоизображений и траекторий движения по изменению трехмерных координат объектов и обнаружения препятствий. Узел звуковой индикации и жидкокристаллический индикатор подключены к соответствующим выходам СК. Предложенное устройство обеспечивает автоматическое оповещение водителя о возможном столкновении транспортного средства с препятствием для, а также возможность анализа состояния водителя (спит/не спит) для предупреждения засыпания за рулем. 1 ил.

 

Изобретение относится к вычислительной технике и может быть использовано для предотвращения дорожно-транспортных происшествий путем своевременного обнаружения препятствий на пути движения транспортного средства, других движущихся транспортных средств и предупреждения засыпания водителя.

Известна система предупреждения столкновений (см. патент США №7436430) [1], базирующаяся на принципе бинокулярного зрения.

Недостатком системы является низкая точность обнаружения препятствий в условиях шума изображения, что вызвано значительным снижением вероятности идентификации одного и того же объекта на разных кадрах стереоизображений при повышении шума. С пользовательской точки зрения данный факт снижает точность обнаружения препятствий при дожде, снеге и других осадках.

Известна телевизионная система (см. патент США №7400266) [2], содержащая источник инфракрасного диапазона и высокочувствительную видеокамеру. Поступающее с видеокамеры изображение отображается на бортовом дисплее и увеличивает вероятность обнаружения препятствия на дороге водителем в ночное время. Однако данная система не является автоматизированной, т.е. человек постоянно должен смотреть на монитор, что не дает возможности следить за ситуацией на дороге и не снижает вероятности возникновения дорожно-транспортного происшествия.

Известна система для обнаружения препятствий (см. патент США №7389171) [3] с единственным оптико-электронным датчиком (ОЭД). Очевидным недостатком предложенного решения является невозможность определения трехмерных координат объектов, что существенно снижает функциональные возможности системы предупреждения столкновений, в частности не позволяет анализировать траекторию движения встречного транспортного средства и своевременно сигнализировать о возможном препятствии.

Известно устройство для оповещения об аварийной ситуации на дороге (см. патент РФ №2157769) [4], состоящее из узла реагирования на столкновение, взаимосвязанного с механизмом срабатывания, имеющим сигнализирующий элемент. Недостатками устройства является недостаточная для практического применения проработанность технического решения, особенно в части бесконтактного обнаружения препятствия. В [4] предлагаются лишь решения, связанные с механическими узлами устройства, тогда как вопросы построения автоматического средства обнаружения препятствий практически не затрагиваются.

Наиболее близким к предлагаемому устройству является система трехмерного технического зрения для робототехнических систем (см. патент США №7410266) [5], которая состоит из системы линз, устройства ввода изображения (УВИ) и системного контроллера. Основной выполняемой задачей системой технического зрения (СТЗ) является идентификация и распознавание объектов. СТЗ может быть применена для решения задач предупреждения столкновений. Недостатком данного устройства является его ориентация на универсальное применение, что делает данное решение неэффективным в плане обнаружения препятствий на пути движения транспортного средства и, кроме того, не обеспечивает анализ состояния водителя (спит/не спит).

Задача, на решение которой направлено заявляемое изобретение, состоит в разработке системы, обеспечивающей автоматическое оповещение водителя о возможном столкновении транспортного средства с препятствием для предотвращения дорожно-транспортного происшествия (по ходу движения или сзади), а также обеспечивающей возможность анализа состояния водителя (спит/не спит) для предупреждения засыпания за рулем.

Технический результат достигается за счет того, что в известное устройство, содержащее первое устройство ввода изображения и системный контроллер (СК), дополнительно введены первый, второй, третий, четвертый, пятый ОЭД, второе, третье, четвертое устройства ввода изображения (УВИ), первое, второе устройства компенсации размытости (УКР), ЖК-индикатор (ЖКИ), устройство звуковой индикации (УЗИ), причем выходы первого, второго, третьего и четвертого ОЭД соединены соответственно с входами первого, второго, третьего и четвертого УВИ, выходы первого и второго УВИ соединены соответственно с входами первого и второго УКР, чьи выходы подключены соответственно к первому и второму входам СК, выходы третьего и четвертого УВИ соединены соответственно с третьим и четвертым входом СК, выход пятого ОЭД соединен с пятым входом СК, сигнал с датчика текущей скорости транспортного средства поступает на шестой вход СК, первый и второй выходы которого соединены с входами УЗИ и ЖКИ, соответственно.

Изобретение может быть использовано для оповещения водителя о возможном столкновении транспортного средства с препятствием и засыпания водителя для предотвращения дорожно-транспортного происшествия.

Изобретение поясняется чертежом, где показана структурная схема оптико-электронного устройства предупреждений столкновения транспортного средства.

Устройство (чертеж) содержит первый ОЭД 1, первое УВИ 2, первое УКР 3, второй ОЭД 4, второе УВИ 5, второе УКР 6, третий ОЭД 7, третье УВИ 8, четвертый ОЭД 9, четвертое УВИ 10, пятый ОЭД 11, СК 12, УЗИ 13, ЖКИ 14, причем выходы первого ОЭД 1, второго ОЭД 4, третьего ОЭД 7 и четвертого ОЭД 9 соединены с входами первого УВИ 2, второго УВИ 5, третьего УВИ 8 и четвертого УВИ 10, соответственно, выходы первого УВИ 2 и второго УВИ 5 соединены с группами входов первого УКР 3 и второго УКР 6, соответственно, чьи выходы подключены к первому и второму входам СК 12, соответственно, выходы третьего УВИ 8 и четвертого УВИ 10 соединены с третьим и четвертым входом СК 12, соответственно, выход пятого ОЭД 11 соединены с пятым входом СК 12, информация о текущей скорости транспортного средства поступает на шестой вход СК 12, чьи первый и второй выходы соединены с группами входов УЗИ 13 и ЖКИ 14, соответственно.

Первый ОЭД 1 и второй ОЭД 4 служат для получения изображений рабочей сцены по ходу (спереди) движения транспортного средства, третий ОЭД 7 и четвертый ОЭД 9 служат для получения изображений рабочей сцены сзади транспортного средства, пятый ОЭД 11 предназначен для получения изображений глаз водителя. Первое УВИ 2, второе УВИ 5, третье УВИ 8 и четвертое УВИ 10 обеспечивают промежуточное хранение полученных изображений с первого ОЭД 1, второго ОЭД 4, третьего ОЭД 7 и четвертого ОЭД 9, соответственно и последующий ввод этих изображений в СК 12. Первое УКР 3 и второе УКР 6 используются для повышения четкости полученного изображения и обнаружения движущихся объектов. СК 12 служит для выделения контуров на изображениях, полученных с первого ОЭД 1, второго ОЭД 4, третьего ОЭД 7 и четвертого ОЭД 9, обнаружения неподвижных объектов на них, определения их трехмерных координат и траекторий движения, обнаружения препятствий и предупреждения водителя об опасности. УЗИ 13 служит для звукового оповещения водителя об опасности. ЖКИ 14 используется для визуального оповещения водителя об опасности.

Устройство работает следующим образом. Первый ОЭД 1, второй ОЭД 4, третий ОЭД 7 и четвертый ОЭД 9 преобразуют распределение оптического излучения рабочей сцены в электрический сигнал и далее в цифровой форме формируют изображение рабочей сцены на своих выходах, с которых затем изображения поступают на входы первого УВИ 2, второго УВИ 5, третьего УВИ 8 и четвертого УВИ 10, соответственно, для хранения и последующей обработки. Изображения, полученные по ходу движения транспортного средства, хранимые в первом УВИ 2 и втором УВИ 5, передаются с их выходов на входы первого УКР 3, второго УКР 6, соответственно. Первый УКР 3 и второй УКР 6 производят обнаружение движущихся объектов и повышение четкости изображений.

Первый УКР 3 и второй УКР 6 повышают четкость изображения адаптивно посредством изменения выходных значений яркости изображения текущего кадра в зависимости от входных значений яркости пикселей текущего и предыдущего кадров. Первый УКР 3 и второй УКР 6 также обнаруживают на изображении движущиеся объекты и измеряют их двумерные координаты.

Повышение четкости состоит из следующих этапов:

- выделение движущихся пикселей на изображении на основе анализа межкадровой разницы,

- определение направления движения каждого пикселя,

- объединение движущихся в одном направлении пикселей,

- подчеркивание контуров движущихся объектов (см. патент РФ №2337501) [6].

Первый УКР 3 и второй УКР 6 объединяют в объекты пиксели, движущиеся в одном направлении. Под объектом понимают совокупность отличных от фона точек (пикселей) изображения с направлением движения, таких, что для каждой точки найдется не менее одной соседней точки, расположенной на расстоянии в один пиксель.

Для повышения четкости изображения у движущихся объектов первый УКР 3 и второй УКР 6 производят подчеркивание контуров путем сложения их исходного изображения с градиентным изображением. Значения яркости статичных областей изображения первый УКР 3 и второй УКР 6 оставляют неизменными.

Реализация алгоритма обнаружения движущихся объектов, основанного на вычислении межкадровой разности, позволяет компенсировать искажения изображения движущихся объектов на аппаратном уровне в первом УКР 3 и втором УКР 6 и обеспечивает своевременное обнаружение движущихся встречных объектов в реальном времени.

С выхода пятого ОЭД 11 на пятый вход СК 12 поступает изображение глаз водителя. Анализ изображения глаз водителя включает операции анализа изображений лица водителя, полученных в различных спектральных диапазонах (инфракрасном (ИК) и видимом) излучения и последующего обнаружения изображения лица и зрачков на основе следующих особенностей изображения лица: яркость фона в некотором диапазоне остается неизменной в независимости от ИК подсветки, яркость кожи лица значительно возрастает при включении ИК осветителя, а яркость зрачков, представляющих собой темные круги, неизменна. Каждый кадр изображения СК 12 разбивает на небольшие области. По каждой области СК 12 получает среднее значение яркостей пикселей, ее составляющих.

По анализу средних яркостей областей кадров при выключенном и включенном источнике ИК излучения СК 12 обнаруживает лицо на основе следующих особенностей. При включенном ИК излучении расстоянии кожа лица имеет почти белый цвет, тогда как фон, расположенный дальше от ОЭД, чем лицо, характеризуется существенно меньшей яркостью. Кроме этого для обнаружения лица используют дополнительный признак: при выключенном и включенном ИК излучении яркость соответствующей коже лица части кадра будет существенно отличаться, а яркость фона за лицом лишь незначительно изменится. Таким образом, совокупность данных признаков позволяет обнаружить лицо водителя простой с вычислительной точки зрения процедурой, реализованной СК 12. Заключительной операцией является обнаружение СК 12 глаз по наличию зрачков на изображении на основе двух признаков: при ИК освещении зрачок остается почти черным на изображении, а остальная часть лица светлой, а также круглой формы зрачка.

Изображения с выходов первого УКР 3, второго УКР 6, третьего УВИ 8, четвертого УВИ 10 поступают соответственно на первый, второй, третий, четвертый входы СК 12, который производит выделение контуров на изображениях, обнаружение неподвижных объектов на них, определение их трехмерных координат на основе известных формул (см. Шапиро Л., Стокман Дж. Компьютерное зрение: Пер. с англ. М.: БИНОМ. Лаборатория знаний, 2006. - 752 с.) [7] по парам стереоизображений, полученных первым ОЭД 1, втором ОЭД 4 и третьим ОЭД 7, четвертым ОЭД 9, и траекторий движения по изменению трехмерных координат объектов, обнаружение препятствий.

При обнаружении опасной ситуации (возможно столкновение с препятствием или закрытии водителем глаз на длительное время) с первого и второго выходов СК 12 передается сигнал на входы УЗИ 13 и ЖКИ 14, соответственно, для звукового и визуального оповещения водителя о сложившейся обстановке.

В своей совокупности представленные операции обнаружения движущихся объектов и глаз водителя позволяют параллельно распределить вычисления между различными модулями устройства и повысить скорость обработки изображений, что, в конечном счете, обеспечивает своевременное обнаружение факторов риска при движении транспортного средства.

В качестве первого ОЭД 1, второй ОЭД 4, третьего ОЭД 7, четвертого ОЭД 9 могут быть использованы цифровые видеокамеры Logitech 9000, Philips 1300. Для реализации пятого ОЭД 11 целесообразно использовать или одну из указанных выше видеокамер или аналоговую монохроматическую видеокамеру, формирующую на своем выходе стандартный телевизионный сигнал.

Первое УВИ 2, второе УВИ 5, третье УВИ 8, четвертое УВИ 10 могут быть реализованы по схеме, подробно рассмотренной в патенте РФ 2295153 [8], или на базе представленных широким спектром на современном рынке электроники стандартных средств ввода изображения, например, фирмы AverMedia. При этом отметим, что тип и структура устройств ввода изображения определяется типом используемых первого ОЭД 1, второй ОЭД 4, третьего ОЭД 7, четвертого ОЭД 9, пятого ОЭД 11 и типом системного контроллера 12.

Первое УКР 3 и второе УКР 6 должны быть реализованы на программируемой логической интегральной схеме по представленному в [6] решению.

В качестве системного контроллера 12 целесообразно использовать микроЭФВМ или цифровой сигнальный процессор, также допустимо использование так называемых карманных персональных компьютеров или компьютеров типа «ноутбук». В последнем случае с СК 12 конструктивно будут совмещены и УЗИ 13, ЖКИ 14. УЗИ 13, ЖКИ 14 кроме этого могут быть реализованы независимо от СК 12: для этого могут быть соответственно применены жидкокристаллические индикаторы и звуковые пьезоизлучатели.

Изобретение позволяет повысить безопасность движения за счет своевременного обнаружения препятствий на пути движения транспортного средства и закрытых длительное время глаз водителя и обеспечивает комплексный учет факторов, снижающих безопасность дорожного движения.

Оптико-электронное устройство предупреждения столкновений транспортного средства, содержащее первое устройство ввода изображения (УВИ), и системный контроллер (СК), отличающееся тем, что дополнительно введены первый, второй, третий, четвертый и пятый оптико-электронные датчики (ОЭД), второе, третье и четвертое УВИ, первое и второе устройства компенсации размытости (УКР), жидкокристаллический индикатор и устройство звуковой индикации, причем первый и второй ОЭД установлены с возможностью получения изображений рабочей сцены спереди транспортного средства, третий и четвертый ОЭД - с возможностью получения изображений рабочей сцены сзади транспортного средства, а пятый ОЭД - с возможностью получения изображений глаз водителя, первое, второе, третье и четвертое УВИ подключены к выходам соответственно первого, второго, третьего и четвертого ОЭД и выполнены с возможностью промежуточного хранения полученных изображений, первое и второе УКР подключены к выходам соответственно первого и второго УВИ и выполнены с возможностью повышения четкости полученного изображения и обнаружения движущихся объектов, СК подключен к выходам первого и второго УКР, третьего и четвертого УВИ, пятого ОЭД и датчика скорости транспортного средства и выполнен с возможностью выделения контуров на изображениях, обнаружения неподвижных объектов на них, определения их трехмерных координат по парам стереоизображений и траекторий движения по изменению трехмерных координат объектов и обнаружения препятствий, узел звуковой индикации и жидкокристаллический индикатор подключены к соответствующим выходам СК.



 

Похожие патенты:

Изобретение относится к транспортной технике, в частности к системам предупреждения столкновения автомобиля при движении в транспортном потоке. .

Изобретение относится к области организации безопасности дорожного движения и может быть использовано как автоматическая система торможения транспортного средства.

Изобретение относится к автомобилестроению, в частности к способам и устройствам повышения активной безопасности транспортных средств, и может быть использовано в бортовой локальной информационно-вычислительной сети транспортного средства.

Изобретение относится к транспортной технике и может быть использовано в автоматических устройствах управления транспортным средством. .

Изобретение относится к системам автоматики с использованием собственного излучения объектов и может быть использовано для создания аппаратуры, служащей для предотвращения столкновений и наездов автомобилей и других транспортных средств.

Изобретение относится к транспортной электронике и может быть использовано для предотвращения столкновений транспортных средств. .

Изобретение относится к транспортным устройствам и может быть использовано для-предотвращения столкновения кранов , тележек. .

Изобретение относится к системам автоматики с использованием собственного излучения объектов и может быть использовано для создания аппаратуры, служащей для предотвращения столкновений транспортных средств

Изобретение относится к технике предотвращения столкновений транспортных средств (ТС) с пешеходами

Изобретение относится к области помощи водителю при вождении транспортного средства

Изобретение относится к электронно-оптическим устройствам и может быть использовано для установки на транспортном средстве в качестве дополнительного устройства для обнаружения объектов в зоне, недоступной для визуального контроля водителем. Оптический датчик для автомобиля содержит приемоизлучающие каналы, каждый из которых включает электронный блок, импульсный источник оптического излучения и фотоприемник, соединенные с электронным блоком. Электронный блок содержит модуль обработки отраженного сигнала, реализующий алгоритм контроля на основании измерения временного интервала между излучением и регистрацией отраженного от объекта сигнала. Источник оптического излучения и фотоприемник расположены преимущественно вплотную друг к другу, таким образом, что их оптические оси практически параллельны. Количество излучателей в датчике определено из соотношения n ≥ β/α, где n - количество излучателей, β - центральный угол контролируемого датчиком сектора, α - угол расхождения пучка излучения. Технический результат заключается в повышении надежности и точности обнаружения объекта в контролируемой зоне. 1 ил.

Изобретение относится к устройству контроля вождения транспортного средства. Устройство содержит средство обнаружения бокового объекта, средство управления для приведения в действие управления сдерживанием перемещения в сторону, средство определения начала вхождения в соседнюю полосу движения, средство подавления приведения в действие для подавления приведения в действие управления сдерживанием перемещения в сторону. Перемещение в сторону сопровождается изменением поперечного положения транспортного средства относительно дорожной полосы. Подавление приведения в действие управления сдерживанием перемещения в сторону осуществляют, когда транспортное средство начало вхождение в соседнюю полосу движения и боковой объект обнаружен в соседней полосе движения. Технический результат заключается в предотвращении ненадлежащего вмешательства в управление для сдерживания перемещения транспортного средства в сторону во время смены полосы движения. 21 з.п. ф-лы, 11 ил.

Изобретение относится к области авиации, в частности к области способов помощи в навигации для определения траектории летательного аппарата. Технический результат - ограничение использования процедур увода при потере спутниковой навигационной информации, что позволяет уменьшить насыщенность воздушного пространства и ограничить затраты и продолжительность полетов. Способ помощи в навигации заключается в определении будущей траектории захода на посадку, с помощью произведения оценки прогнозируемых безопасных радиусов на будущей траектории, основанной на вычислении предельного момента, начиная с которого прогнозируемый безопасный радиус превышает или равен пределу выдачи тревожного сигнала и вычисления предельного момента ухода, который соответствует максимальному моменту, в который летательный аппарат должен покинуть заранее определенную траекторию, по которой он двигался, чтобы иметь возможность выйти на безопасную высоту. 3 н. и 12 з.п. ф-лы, 5 ил.

Группа изобретений относится к вариантам выполнения устройства выбора режима парковки и способу выбора режима парковки. Устройство по первому варианту содержит блок регистрации угла поворота, блок регистрации операции, в которой рулевое колесо возвращается в нейтральное положение после поворота вправо или влево, блок выбора режима парковки. Устройство по второму варианту содержит средство регистрации угла поворота, средство регистрации операции, в которой рулевое колесо возвращается в нейтральное положение после того, как поворачивалось вправо или влево, и средство выбора режима парковки. Способ заключается в том, что регистрируют угол поворота рулевого колеса, регистрируют операцию, в которой рулевое колесо возвращается в нейтральное положение после поворота вправо или влево, выбирают один режим парковки по правую сторону транспортного средства или левую сторону транспортного средства из множества режимов парковки. Технический результат заключается в упрощении установки целевого положения парковки. 3 н. и 18 з.п. ф-лы, 29 ил.

Группа изобретений относится к устройству и способу содействия парковке. Устройство содержит средство регистрации доступного пространства парковки, средство установки конечного целевого положения парковки, средство определения контакта, средство вычисления неконечного целевого положения парковки, средство вычисления первого, второго и третьего путей, средство отображения первого пути, второго пути и третьего пути. Средство определения контакта обеспечивает определение того, существует или нет первый путь для достижения транспортным средством конечного целевого положения парковки без вхождения в контакт с крайним участком доступного пространства парковки. Способ заключается в том, что регистрируют доступное пространство парковки, устанавливают конечное целевое положение парковки, определяют существование первого пути для достижения транспортным средством конечного целевого положения парковки без вхождения в контакт с крайним участком доступного пространства парковки. Отображают первый путь, если первый путь существует. Вычисляют угол въезда и неконечное целевое положение парковки, если первый путь не существует. Неконечное целевое положение парковки является положением, которое должно быть достигнуто, когда транспортное средство въезжает в доступное пространство парковки при угле въезда. Вычисляют второй и третий пути и отображают их. Технический результат заключается в повышении эффективности содействия парковке. 2 н. и 8 з.п. ф-лы, 15 ил.

Группа изобретений относится к устройству управления для транспортного средства, к портативному вычислительному устройству и к способу помощи водителю транспортного средства при парковке. Устройство управления содержит вычислительный блок пути движения транспортного средства до места парковки в парковочном пространстве, камеру для регистрации обстановки вблизи транспортного средства, интерфейс сопряжения с устройством вывода для выдачи инструкций по маневрированию при движении к месту парковки, интерфейс сопряжения с устройством ввода для ручного ввода границы парковочного пространства, интерфейс сопряжения со средством для установления соотношения между границей парковочного пространства и положением транспортного средства. Камера ориентирована так, что она смотрит вперед транспортного средства. Портативное вычислительное устройство содержит вышеуказанное устройство управления. Способ включает регистрацию обстановки вблизи транспортного средства посредством камеры, вычисление пути движения транспортного средства до места парковки в парковочном пространстве, выдачу инструкций по маневрированию при движении к месту парковки. С использованием полученного камерой изображения вручную вводят границу парковочного пространства и соотносят ее с текущим положением транспортного средства. Технический результат заключается в обеспечении помощи водителю при парковке транспортного средства. 3 н. и 8 з.п. ф-лы, 4 ил.
Наверх