Способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства
Владельцы патента RU 2703341:
Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН) (RU)
Изобретение относится к системам безопасности транспортного средства. Способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства. Обнаруживают области изображения, содержащие лицо, глаза и границы области движения зрачка, определяют частоту и направления движения глаз, частоту морганий, продолжительность времени, когда глаза закрыты. Сравнивают параметры состояния водителя с эталонными для состояния засыпания и состояния сна и принимают решение о необходимости сигнализации водителю. Формируют рекомендации на основе определенного опасного состояния и контекста водителя, а затем принимают решение о необходимости сигнализации водителю. После этого сохраняют статистику и генерируют отчёт для заинтересованных лиц, выявляют паттерны поведения водителя, калибруют алгоритмы распознавания опасных ситуаций под работу с конкретным водителем и выявляют предпочтения водителя для формирования персонализированных рекомендаций. Достигается повышение безопасности эксплуатации транспортного средства. 6 ил.
Изобретение относится к технике мониторинга ситуации в кабине транспортного средства и касается определения опасных состояний на дорогах общего пользования.
Для понимания сущности изобретения введем ряд определений.
Опасная ситуация – ситуация, с которой водитель может столкнуться во время управления транспортным средством, возникновение которой может привести к наступлению опасного состояния (усталости или ослабленного внимания водителя).
Опасное состояние – состояние, при котором дальнейшее управление транспортным средством может привести к аварийной ситуации. Опасное состояние определяется при возникновении нескольких опасных ситуаций в течение некоторого времени.
Паттерн поведения водителя – шаблон действий водителя для некоторой ситуации, описывающий успешность, последовательность и время выполнения тех или иных его маневров в момент времени, определённый на основе характеристик управления транспортным средством с использованием сенсорных данных смартфона и информации о профиле водителя.
Контекст водителя – совокупность информации о водителе, характеризующая текущую ситуацию, в которой он находится, и изменяющаяся в течение времени.
Известен способ предупреждения о съезде с полосы движения на основе распознавания изображений [Патент WO2013151266 A1 США, Y. Park, Method and system for lane departure warning based on image recognition; опубл. 10.10.2013], описывающий процедуру предупреждения водителя о сходе с полосы движения на основе обработки изображений при помощи монокамеры, установленной внутри автомобиля. Отличительной особенностью способа является то, что он успешно обрабатывает ряд дорожных условий, включая такие нежелательные ситуации, такие как изменяющаяся ширина дорожной полосы, радиус ее кривой, направление дороги и полное отсутствие дорожного покрытия.
Известен способ [Патент US7363140 B2 США, F. Ewerhart, C. Guenther, T. Wittig, Lane changing assistant for motor vehicles; опубл. 22.04.2008.], помогающий водителю предотвратить случайное изменение выбранной полосы движения при обгоне другим транспортным средством в соседней полосе движения путем измерения оптимального безопасного временного промежутка, необходимого для перестроения в другую полосу движения. Задействуя сенсорную систему определения местонахождения транспортных средств в соседних полосах направленного движения сзади автомобиля, специализированный модуль принимает решение о том, движется ли транспортное средство, расположенное сзади, непосредственно на соседней полосе в таком же направлении.
Известна система автоматического управления [Патент US8700251B1 США, J. Zhu, D. I. Ferguson, D. A. Dolgov, System and method for automatically detecting key behaviors by vehicles; опубл. 15.04.2014.], использующая информацию от сервиса Google Street View, видеокамеры кругового обзора при работе в дневное и вечернее время суток, установленные на крыше автомобиля и датчики LIDAR, работающие в условиях разной освещенности, и радары в передней и задней части авто, осуществляющие мониторинг скорости движения других транспортных средств в любых погодных условиях. Данный набор из различных сенсоров функционирует незаметно для водителя и создает 3D сцену окружающей обстановки во время движения, фиксируя динамические и статические объекты включая пешеходов, велосипедистов, другие транспортные средства, светофоры и другие дорожные объекты. Также, имеются дополнительные сенсоры, включающий датчик распознавания звуковых сигналов для обнаружения автомобилей экстренных служб (полиции, скорой помощи, т.п.) и датчик спутниковой навигации GPS, показывающий текущее местоположение транспортного средства. Данные, считываемые при помощи датчиков, расположенных на борту автомобиля, передаются процессору ТС с целью анализа текущей ситуации путем распознавания и классификации дорожных объектов и определения их текущего состояния (скорость, ускорение, направление движения).
Известна система слежения за взглядом водителя [Патент US20150309566A1 США, V. Hampiholi, S. Belur, Gaze tracking system; опубл. 29.10.2015.], включающая в себя контроллер, соединяющий пользовательский интерфейс и камеру. Учитывая направление движения глаз водителя с течением времени, контролер способен определять степень его вовлеченности в информацию, отображаемую в пользовательском интерфейсе. Определение направления взгляда помогает определить степень сонливости водителя внутри кабины ТС. Различные внешние факторы часто способствуют неверному восприятию водителем маршрута движения.
Известен способ мониторинга транспортных средств в периферийных зонах» [Патент US9025819 B2 США, K. Sung, J. Lee, J. An, Apparatus and method for tracking the position of a peripheral vehicle; опубл. 05.05.2015.], заключающийся в отслеживании расположения транспортных средств сзади при помощи одной или нескольких камер, установленных в автомобиле при помощи устройства, состоящего из процессора, памяти и контроллера захвата изображений. Способ позволяет идентифицировать и осуществляет мониторинг транспортных средств, которые находятся рядом и в особенности в мертвой зоне с автомобилем водителя.
Известен способ слежения за управлением транспортным средством на основе степени усталости водителя [Патент US 9457814 B2 США, S. Kim, S. Park, Apparatus and method for controlling driving of vehicle based on driver's fatigue; опубл. 04.10.2016.], учитывает биологическую информацию (уровень глюкозы в крови, артериальное давление) о водителе, состояние окружающей обстановки (погодные условия, состояние дорожного полотна) и сведения о маршруте (желаемый маршрут из начальной точки в конечный пункт). Способ включает в себя следующую последовательность действий: разделение маршрута, по которому прошел автомобиль, на множество участков и вычисление степени усталости водителя на основе его биологической информации на каждом участке движения; корректирование степени усталости на основе информации о дорожных условиях; расчет степени усталости при построении желаемого маршрута с использованием скорректированного индекса усталости и компенсационного коэффициента на основе предполагаемого индекса усталости; расчет итогового значения функции задачи с использованием компенсационного коэффициента.
Известна система мониторинга и предупреждения о наступлении состояния сонливости водителя [Патент US7138922 B2 США, G. Strumolo, S. Ryan, Drowsy driver monitoring and prevention system; опубл. 21.11.2006.], предназначенная для использования в легковых автомобилях, внедорожниках, микроавтобусах и грузовых автомобилях. Система соединяет оператора диспетчерского центра поддержки и транспортное средство (ТС), тем самым передавая водителю различную информацию. Данная система распознавания сонливости водителя, установленная внутри ТС, состоит из следующих компонентов: датчик определения сонливости, включающий в себя камеру, направленную на водителя в кабине ТС и дорожную обстановку и детектор дыхания, регистрирующий сигналы дыхания водителя; система передачи информации, использующейся для обмена сообщениями между водителем и удаленным центром при помощи микрофона и динамика; блок управления, соединенный с датчиком уровня сонливости водителя, системой передачи информации, навигационной системой автомобиля с подключенным датчиком перемещения. Камера осуществляет мониторинг физиологического состояния водителя (например, частота моргания век, движения головой), и в то же время дорожной обстановки (например, контроль рядности движения) на основе получаемого изображения. Система распознавания сонливости водителя может включать в себя различные типы сенсоров или их комбинации, используемых для определения наступления состояния сонливости водителя и генерирования соответствующего сигнала. При обнаружении блоком управления признаков сонливости у водителя устройством передачи информации сигнал отсылается служебному центру связи, который в свою очередь генерирует и передает сообщение водителю. Данный сигнал автоматически воспроизводится водителю через динамики связи ТС с целью предупредить его об опасности и направить на выезд с автомагистрали, в ближайшее кафе или ресторан, или в другое место отдыха.
Известен способ заблаговременного предупреждению водителя о столкновении транспортного средства с препятствием [Патент US9121944 B2 США, J. Manotas, Mid-infrared vehicle early warning system; опубл. 01.09.2015], включающий следующие три компонента. Прежде всего, данный подход задействует лазер среднего инфракрасного диапазона, излучающий волны длиной 3-5 мкм и позволяющий отслеживать препятствия на расстоянии до двух км впереди транспортного средства. Во-вторых, фазовый сопряженный объектив используется для ортогонального направления части энергии лазера, которая отражается препятствием на устройстве или сенсоре захвата изображения внутри транспортного средства. Третьим устройством является графический дисплей, отвечающий за вывод информации водителю об обнаруженных препятствиях впереди транспортного средства.
Известен способ обнаружения низкого уровня концентрации внимания или признаков засыпания согласно патенту [Патент US8063786 B2 США, J. Manotas, Method of detecting drowsiness of a vehicle operator; опубл. 22.11.2011], учитывающий состояние водителя при помощи последовательности изображений водителя на основе такой характеристики, как отклонение головы от вертикального положения к горизонтальной плоскости плеча водителя. При обнаружении наступления небезопасной ситуации водитель будет оповещен при помощи звукового сигнала. Алгоритм выделения границ на изображении используется для поиска и определения хотя бы одного из признаков сонливости, таких как угол отклонения головы водителя от вертикального положения или частота или длительность закрытия век водителя.
Известен способ обнаружения вождения в состоянии усталости [Патент RU2519964C2; опубл. 20.06.2014] заключающийся в том, что анализируют изображение глаза водителя с помощью прямоугольного эталона признака для получения линии верхнего века, в частности, обходя изображения глаза посредством множества столбцов с помощью прямоугольного эталона признака и записывая расположения в каждом столбце, где значение признака прямоугольного эталона признака является максимальным, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака. Получают линию верхнего века, получая центральные точки прямоугольного эталона признака в расположении в каждом столбце. Соединяют центральные точки, чтобы сформировать соединительную линию. Принимают соединительную линию в качестве линии верхнего века. Определяют состояние закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века. Собирают статистику по состоянию закрытия глаза и, таким образом, определяют, находится ли водитель в состоянии усталости.
Известен способ непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования [Патент RU2662293C2; опубл. 25.07.2018], включающий в себя: сбор данных о состоянии водителя от датчиков электроэнцефалограммы и видеокамеры, сбор данных о характере движения транспортного средства, голосовой опрос водителя, интеллектуальное отслеживание пороговых значений и динамики данных, активацию устройств, активацию бортовых приборов транспортного средства. Голосовой опрос водителя представляет формирование звукового сигнала в его адрес, одновременную фиксацию данных о времени, затраченном водителем на обдумывание вопроса и предоставление ответа, а также классификацию состояния водителя в режиме реального времени на основании обработки данных о состоянии водителя и о характере движения транспортного средства и данных его голосового опроса путем сопоставления обработанных сигналов с автоматическим классификатором. Активация бортовых приборов транспортного средства предназначена для предупреждения окружающих в случае невозврата водителя к нормальному психофизиологическому состоянию в течение заданного временного интервала.
Известен способ обнаружения опасного состояния у водителя в транспортном средстве [Патент RU2606656C2; опубл. 10.01.2017], согласно которому при обнаружении опасного состояния у водителя в транспортном средстве с помощью интерфейса распознавания голоса принимают от водителя первый звуковой сигнал, представляющий собой одно слово, когда водитель не находится в опасном состоянии. На основании первого звукового сигнала определяют с помощью устройства сопряжения транспортного средства первое общее время, затрачиваемое на произнесение одного слова. С помощью электронных средств в течение заранее заданного периода времени предлагают водителю произнести одно слово, чтобы определить состояние водителя. В течение заранее заданного периода времени принимают второй звуковой сигнал от водителя, представляющий собой одно слово. С помощью устройства сопряжения транспортного средства на основании второго звукового сигнала определяют второе общее время, затраченное на произнесение. Сравнивают первое общее время со вторым общим временем, чтобы определить, находится ли водитель в опасном состоянии.
Известен способ предотвращения ДТП по причине "Сон за рулем" [Патент RU2573863C1; опубл. 27.01.2016], согласно которому непрерывно контролируют основные физиологические параметры водителя ТС и включают систему сигнализации при их существенном отклонении от полученных в состоянии бодрости. Исходную информацию о нормальных физиологических параметрах водителя транспортного средства вместе с его паспортными данными фиксируют на ЧИПе пластиковой карты, служащей задающим устройством для автоматической системы коррекции параметров физиологического состояния водителя. В случае наличия существенных отклонений этих параметров, осуществляют периодическую подачу нейроподобных импульсов частотой 10-40 Гц в десинхронизирующий отдел сомногенной системы коры головного мозга водителя.
Наиболее близким по технической сущности к заявляемому способу и выбранным в качестве прототипа является способ предупреждения засыпания водителя транспортного средства [Патент RU2413632 C2; опубл. 10.03.2011], заключающийся в том, что осуществляют формирование эталона зрачка текущего водителя на основе общего для любого человека описания, осуществляют периодическое освещение лица водителя инфракрасным светом, получают изображение лица, обнаруживают область изображения, содержащую лицо, обнаруживают области, предположительно содержащие глаза, обнаруживают области глаз, определяют границы области движения зрачка, определяют частоту и направления движения глаз, определяют частоту морганий, определяют длительность периода времени, в течение которого глаза закрыты, сравнивают параметры, характеризующие состояние водителя с эталонными для состояния засыпания и состояния сна, принимают решение о необходимости сигнализации о засыпании водителя.
Недостатком известных способов является невозможность непрерывного самообучения и адаптации к поведению и стилю вождения конкретного водителя, учёта его особенностей, а также низкая эффективность определения опасных состояний на дорогах общего пользования.
Адаптация к поведению водителя за рулем транспортного средства позволит повысить точность и качество распознавания опасных состояний на дорогах общего пользования и сгенерировать водителю транспортного средства контекстно-ориентированные рекомендации, учитывающие предыдущий опыт использования системы определения опасных состояний на дорогах общего пользования и статистику взаимодействия между остальными участниками такой системы.
Технической проблемой, на решение которой направлено изобретение, является обеспечение возможности непрерывного самообучения и адаптации к поведению и стилю вождения конкретного водителя, учёта его особенностей, а также повышение эффективности определения опасных состояний на дорогах общего пользования.
В заявленном способе эта техническая проблема решается тем, что в способе определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства, заключающемся в том, что обнаруживают область изображения, содержащую лицо, обнаруживают области, предположительно содержащие глаза, обнаруживают области глаз, определяют границы области движения зрачка, определяют частоту и направления движения глаз, определяют частоту морганий, определяют длительность периода времени, в течение которого глаза закрыты, сравнивают параметры, характеризующие состояние водителя с эталонными для состояния засыпания и состояния сна, принимают решение о необходимости сигнализации водителю, дополнительно регистрируют водителя и заполняют его профиль, калибруют углы поворота и наклона головы, калибруют громкость звука. Анализируют контекст водителя и принимают решение о целесообразности определения опасного состояния, определяют время, необходимое для принятия решения о наличии опасного состояния, определяют количество итераций, необходимых для принятия решения о наличии опасного состояния. На каждой итерации получают изображение с фронтальной камеры смартфона, определяют углы поворота и наклона головы относительно туловища, а затем обнаруживают область изображения, содержащую лицо. После того как определяют длительность периода времени, в течение которого глаза закрыты, обнаруживают область, предположительно содержащую рот, обнаруживают область рта, определяют степень открытости рта. Получают данные от датчиков смартфона, определяют темп и скорость передвижения транспортного средства, время разгона, наличие резких ускорений и торможений, поворотов транспортных средств, тип поведения водителя за рулём. Выявляют опасные состояния на основе критериев из онтологии, для чего, в том числе сравнивают параметры, характеризующие состояние водителя с эталонными для состояния засыпания и состояния сна. Повторяют указанные действия в соответствии с количеством итераций, необходимых для принятия решения о наличии опасного состояния. Усредняют полученные результаты по всем итерациям, формируют рекомендации на основе определенного опасного состояния и контекста водителя, а затем принимают решение о необходимости сигнализации водителю. После этого сохраняют статистику и генерируют отчёт для заинтересованных лиц, выявляют паттерны поведения водителя, калибруют алгоритмы распознавания опасных ситуаций под работу с конкретным водителем и выявляют предпочтения водителя для формирования персонализированных рекомендаций.
Благодаря новой совокупности существенных признаков обеспечена возможность непрерывного самообучения и адаптации к поведению и стилю вождения конкретного водителя, учёта его особенностей, а также повышение эффективности определения опасных состояний на дорогах общего пользования.
Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного технического решения, отсутствуют, что указывает на соответствие заявленного способа условию патентоспособности «новизна».
Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность отличительных существенных признаков, обусловливающих тот же технический результат, который достигнут в заявляемом способе. Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».
Заявленный способ поясняется чертежами, на которых показано:
фиг. 1 – блок-схема, иллюстрирующая вариант осуществления способа определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства;
фиг. 2 – блок-схема мониторинга ситуации в кабине транспортного средства на основе изображения с фронтальной камеры смартфона;
фиг. 3 – блок-схема формирования рекомендаций при обнаружении опасного состояния в поведении водителя;
фиг. 4 – схема взаимодействия основных элементов системы определения опасных состояний на дорогах общего пользования, реализующей заявленный способ;
фиг. 5 – общая схема взаимодействия основных участников системы определения опасных состояний на дорогах общего пользования (на примере водителя);
фиг. 6 – оценка времени распознавания ослабленного внимания и усталости.
Для реализация заявленного способа выполняют следующие операции (фиг. 1).
Регистрируют водителя и заполняют его профиль (блок 101), включающий в себя: общую информацией о водителе (имя, фамилия, пол, возраст, номер телефона, т.д.), его стиле вождении (манера торможения и ускорения, скоростной режим на участке, количество и резкость перестроений), навыках и стаже вождения, категории водителя, к которой водитель отнесен в результате персонализации и знаниях правил дорожного движения.
В блоке 102 калибруют углы поворота и наклона головы для лучшей адаптации к конкретному водителю, а также уровень громкости предупреждений об опасной ситуации.
В блоке 103 анализируют контекст водителя и принимают решение о целесообразности определения опасного состояния. Контекст водителя содержит информацию о водителе-пользователе системы, реализующей заявленный способ, которая изменяется в зависимости от текущей ситуации в кабине транспортного средства и дорожной обстановки. В него включены следующие атрибуты: параметры калибровки системы определения опасных состояний на дорогах общего пользования, используемое оборудование и программное обеспечение, психофизиологические особенности водителя, симптомы небезопасного поведения и количество часов без перерыва на отдых.
Атрибут «Параметры калибровки системы» определяет настройки калибровки мобильной системы помощи водителю, полученные в блоке 102 и позволяющие лучше подстроиться под конкретного водителя транспортного средства (угол наклона и угол поворота головы водителя по умолчанию, фокусное расстояние объектива, расстояние от фронтальной камеры смартфона до водителя, предпочитаемый уровень громкости звука смартфона).
Атрибут «Используемое оборудование» описывает технические характеристики смартфона, используемого водителем транспортного средства.
Атрибут «Используемое программное обеспечение» характеризует программный комплекс, устанавливаемый и настраиваемый на смартфоне водителя и предназначенный для прогнозирования вероятности наступления опасных ситуаций.
Атрибут «Психофизиологические особенности» описывает состояние водителя в текущий момент времени, характеризуя его скорость реакции, точность и последовательность действий.
Атрибут «Симптомы небезопасного поведения» содержит информацию о выявленном небезопасном поведении водителя за рулем автомобиля с целью дальнейшей выработки рекомендаций для предотвращения наступления опасной (аварийной) ситуации (например, количество часов непрерывного управления ТС, отражающее информацию о времени нахождения водителя за рулем автомобиля при непрерывном движении без перерыва на отдых).
Атрибут «Состояние обстановки внутри салона кабины ТС» описывает различные параметры и условия обстановки в кабине ТС (например, уровень освещенности, уровень сигнала шума).
Лицевые характеристики водителя, проявляемые им во время вождения, являются основной информацией профиля, используемой при мониторинге его поведения в кабине транспортного средства на присутствие того или иного опасного состояния. Поведение водителя во время управления транспортным средством характеризуется проявлением опасных ситуаций, распознанных в некоторый момент времени, совокупность которых позволяет системе, реализующей заявленный способ, принимать или не принимать решение о присутствии опасного состояния, усталости или ослабленного внимания, на некотором промежутке времени.
Определяют время (блок 104) и количество итераций (блок 105), необходимые для принятия решения о наличии опасного состояния. Одним из ключевых параметров, определяющих число итераций, является совокупное число опасных ситуаций на временном интервале, описывающих то или иное опасное состояние 
где E – коэффициент вычислительной способности смартфона; 
Стоит отметить, что среднее время реакции водителя на опасное состояние зависит не только от индивидуальных особенностей водителя, его пола и возраста, но также и текущего времени его в пути, скорости транспортного средства. В соответствии с перечисленными параметрами, среднее время реакции было предложено определять следующим образом:
где A – возраст водителя (от 18), G – пол водителя (мужской/женский), DT – время в пути (мин), V – скорость транспортного средства (км/ч), а 
представляют собой коэффициенты (веса) для каждого из перечисленных параметров, соответственно. V является единственным обратно пропорциональным параметром ко всем остальным в формуле определения реакции водителя, увеличение (уменьшение) которого влечет за собой уменьшение (увеличение) времени реакции водителя реагирования на опасную ситуацию и наоборот.
На каждой итерации считывают параметры с фронтальной камеры и датчиков смартфона и обрабатывают их в блоке 106, выявляют опасные состояния на основе критериев из онтологии (блок 107). Для чего получают изображение с фронтальной камеры смартфона, определяют углы поворота и наклона головы относительно туловища, обнаруживают область изображения, содержащую лицо, обнаруживают области, предположительно содержащие глаза, обнаруживают области глаз, определяют границы области движения зрачка, определяют частоту и направления движения глаз, определяют частоту морганий, определяют длительность периода времени, в течение которого глаза закрыты, обнаруживают область, предположительно содержащую рот, обнаруживают область рта, определяют степень открытости рта. Затем получают данные от датчиков смартфона, определяют темп и скорость передвижения транспортного средства, время разгона, наличие резких ускорений и торможений, поворотов транспортных средств, тип поведения водителя за рулём (фиг. 2).
Таким образом, к признакам опасного состояния (усталости или ослабленного внимания водителя) согласно настоящему изобретению отнесены: длительность периода времени, в течение которого глаза водителя закрыты, поворот головы влево/вправо по отношению к туловищу, наклон головы вперед относительно туловища (момент, когда водитель «клюет носом»), продолжительность моргания век, частота моргания век, степень открытости рта человека (признаки зевоты), стиль или манера вождения.
Стиль вождения определяется на основе ряда параметров, включающих темп и скорость передвижения транспортного средства, время разгона, наличие резких ускорений и торможений, поворотов транспортных средств, тип поведения водителя за рулём. Перечисленные параметры регистрируются при помощи встроенных в смартфон датчиков, к которым относятся акселерометр, гироскоп, GPS, магнитометр, микрофон. Указанные параметры помогают распознать небезопасное состояние водителя транспортного средства и снизить вероятность наступления опасного состояния, а именно усталости или ослабленного внимания у водителя.
На основе онтологии (блок 107), включающей знания о водителе, профиле, лицевых характеристиках, ТС и показаниях сенсоров смартфона, сопоставляются параметры поведения водителя и опасные состояния, с которыми он может столкнуться при управлении транспортным средством, на основе текущей ситуации в его кабине. В качестве критерия такого сопоставления, в частности, может выступать отклонение параметров, характеризующих состояние водителя, от эталонных параметров, характерных для состояния засыпания и состояния сна.
Повторяют указанные действия (блок 108) в соответствии с количеством итераций, необходимых для принятия решения о наличии опасного состояния.
В блоке 109 для получения надежного решения относительно определенного опасного состояния усредняют полученные результаты по всем итерациям.
В блоке 110 формируют рекомендации на основе определенного опасного состояния и контекста водителя, а в блоке 111 принимают решение о необходимости сигнализации (предупреждения) водителя. С целью оповещения водителя об опасном состоянии и генерации рекомендаций системой определения опасных состояний на дорогах общего пользования (фиг. 3) задействуются информационные оповещения, включающие такие виды уведомлений смартфона, как вибрация (колебания), текстовое сообщение (например, отображение на дисплее смартфона) и звуковое уведомление (например, при помощи динамика смартфона). При обнаружении признаков состояния усталости у водителя ему генерируются следующие рекомендации: выключить радио или музыку, съехать на обочину и отдохнуть или закончить разговор. В случае определения признаков состояния ослабленного внимания у водителя ему генерируются следующие рекомендации: съехать на обочину и отдохнуть, включить радио или музыку, выпить тонизирующий напиток (кофе), начать разговор с пассажиром, напеть мелодию или проветрить салон транспортного средства.
После этого сохраняют статистику и генерируют отчёт для заинтересованных лиц (блок 112), в качестве которых могут выступать администраторы автопарков и представители страховых компаний.
Несмотря на то, что дорожные аварии по вине грузового автотранспорта происходят гораздо реже, чем по вине легковых автомобилей, смертность в ДТП с грузовыми автомобилями остается крайне высокой. Среди факторов, вызывающих снижение бдительности водителя и, как следствие, приводящих к происшествиям с участием грузового автотранспорта, можно выделить такие как плотные рабочие графики, неверно спланированный маршрут или проявление торопливости со стороны работодателя или заказчика. В этом случае реализация заявленного способа может с легкостью найти применение в логистических компаниях, осуществляющих грузовые перевозки.
В процессе эксплуатации транспортного средства страховой компании могут предоставляться необходимые данные о водителе. За счет анализа полученных сведений с сенсоров (например, акселерометр, гироскоп, GPS) о стиле вождения водителя страховая компания предоставляет возможность скорректировать тарифный план страхования транспортного средства. В этом случае, с целью «поощрения» водителей страховыми компаниями могут применяться некоторые из следующих программ: выгодное предложение при пролонгации полиса (окончание срока страхования), снижение стоимости тарифного плана при оформлении полиса и использовании телеметрического оборудования. Преимуществом применения данного сценария является стремление страховых компаний повысить безопасность дорожного движения, снизить расходы на оформление страховых полисов для водителей и, как результат, привлечь больше клиентов.
В блоке 113 выявляют паттерны поведения водителя, которые описывают успешность, последовательность и время выполнения тех или иных действий каждого конкретного водителя в момент времени на основе использования считываемых сенсорных данных и информации, определяющей профиль водителя. Примером паттерна поведения водителя может служить ситуация, описывающая процесс торможения транспортного средства перед красным сигналом светофора на некотором промежутке времени. В данном случае паттерн поведения водителя включает почти неизменное движение транспортного средства в направлении прямо, регистрируемое гироскопом и магнитометром; снижение скорости движения транспортного средства, регистрируемое сенсором GPS; отрицательные значения, считываемые при помощи акселерометра смартфона и свидетельствующие о торможении транспортного средства и, наконец, прекращение движения транспортного средства и установление его скорости равной нулю.
В блоке 114 калибруют алгоритмы распознавания опасных ситуаций под работу с конкретным водителем. С целью адаптации под конкретного водителя система, реализующая заявленный способ, позволяет проанализировать все распознанные опасные ситуации в течение совершенной поездки и подтвердить (правильно распознанные) или отклонить (неверно распознанные) те или иные обнаруженные события, тем самым скорректировав дальнейшую работу.
После чего выявляют предпочтения водителя для формирования персонализированных рекомендаций (блок 115). Персонализация системы обеспечивается за счет выделение групп водителей со схожими характеристиками и размещения новых или измененных данных о группах профилей водителей в отдельном хранилище. В общем случае алгоритм персонализации системы включает в себя решение следующих задач: выделение характерных признаков в поведении водителя в кабине транспортного средства, считывание и преобразование сенсорных данных, классификация событий по правилам, сегментирование путей движения, отбор признаков SMA (Simple Moving Average – простое скользящее среднее) для данных, кластеризация профилей водителей на группы, соотнесение водителя с группой.
Основными компонентами системы определения опасных состояний на дорогах общего пользования (фиг. 4), реализующей заявленный способ, являются водитель, смартфон, облачный сервис и пользователи.
Компонент «Водитель», описывающий психофизиологические особенности водителя транспортного средства, является основным источником информации для системы определения опасных состояний. Данный компонент состоит из модулей «Профиль водителя» и «Обработанные параметры водителя». Первый модуль характеризуется общей информацией о водителе, его стиле вождении, навыками и стажем вождения, категорией водителя, к которой водитель отнесен в результате персонализации, и знаниями правил дорожного движения. Общая информация помогает не только явно идентифицировать водителя среди всех водителей, использующих систему определения опасных состояний, но также улучшить поиск и соотнесение водителей со схожими характеристиками. Во втором модуле обработанные параметры водителя, психофизиологические показатели считываются и формализуются в режиме реального времени за счет использования методов и подходов компьютерной обработки изображений с фронтальной камеры и получения данных с датчиков (сенсоров смартфона), в частности, акселерометра и гироскопа.
Следующим компонентом системы определения опасных состояний на дорогах общего пользования является смартфон водителя, функционирующий на платформе ОС Android. Координирующим модулем системы, реализующей заявленный способ, является мобильное приложение [Смирнов А.В., Кашевник А.М., Лашков И.Б. Drive Safely/ Свидетельство о государственной регистрации программы для ЭВМ № 2017614256 от 10 апреля 2017 г.], устанавливаемое в постоянную память смартфона и выступающее в качестве связующего централизующего звена, через который протекают все процессы передачи информации. Мобильное приложение включает различного типа программные модули и выполняет следующие задачи: считывание информации с фронтальной камеры и датчиков (сенсоров), выявление опасных состояний водителя, калибровка системы для водителя, формирование рекомендаций, поиск и построение маршрута к месту отдыха (например, кафе, отель или автозаправочная станция).
Современные смартфоны оснащаются различными сенсорами, позволяющими получить информацию о взаимодействии устройства с физическим миром, который его окружает, а именно направление движения, ориентация в пространстве и различные условия окружающей среды. Модуль считывания и обработки сенсорных данных собирает, накапливает, анализирует и формализует показания с доступных датчиков смартфона непрерывно во время движения водителя транспортного средства. Данный модуль предоставляет доступ к такой информации о поездке водителя, как видеокадр (изображение) водителя в кабине транспортного средства, скорость движения, текущее месторасположение, удаленность водителя от ближайших мест отдыха и событие перестроения в другую полосу движения или поворот налево/направо. Перечисленные типы показаний приходят от следующих датчиков:
фронтальная камера, использующаяся для непрерывной съемки изображений положения головы и черт лица водителя в процессе движения. При видеосъемке задействуются такие параметры как разрешение выходного видеосигнала, автофокусировка, формат выходных изображений;
акселерометр, относящийся к датчикам движения и позволяющий определить ориентацию смартфона и ускорение силы тяжести по трем осям (X, Y, Z) (например, ускорение или торможение автомобиля);
гироскоп, отслеживающий положение устройства в пространстве, или угол наклона (например, для поворота налево/направо, перестроения в соседнюю полосу движения).
магнитометр, измеряющий величину напряженности магнитного поля вдоль трех осей смартфона. Данные с датчиков магнитометра и гироскопа могут объединяться для более точного определения направления движения транспортного средства;
система глобального позиционирования GPS/ глобальная спутниковая навигационная система ГЛОНАСС, обеспечивающая измерение расстояния, времени и позволяющая получить текущее местоположение и абсолютную скорость движения транспортного средства;
микрофон, изначально являющийся обязательным датчиком каждого смартфона, позволяет с высокой точностью измерить уровень звукового сигнала во внешней среде. Данный датчик позволяет различать ситуации, когда водитель начинает разговор с одним из пассажиров в транспортном средстве или слушает музыку (радио) через мультимедийную систему;
датчик освещенности, позволяющий определить изменение количества света, поступающего извне. Датчик может быть использован для измерения низкого уровня освещенности (например, в ночное время суток) в кабине транспортного средства, когда получение и обработка изображений с фронтальной камеры является нецелесообразным и невозможной соответственно на основании оценки освещения рабочего места водителя. В случае, если количество света в кабине транспортного средства недостаточно для полной работоспособности, система может предупредить водителя о временном и частичном отключении функции распознавания опасных состояний в процессе движения.
Начальным шагом для использования водителем системы определения опасных состояний на дорогах общего пользования является ее первичная калибровка, осуществляемая модулем «Калибровка системы для водителя», которая позволяет мобильному приложению учесть параметры водителя (например, наклон головы водителя влево/вправо, вперед/назад по отношению к туловищу), параметры и возможности его смартфона (например, присутствие того или иного датчика, необходимого для полного функционирования, уровень громкости предупреждений об опасном состоянии) и транспортного средства (легковой или грузовой автомобиль) и лучше адаптироваться под конкретного водителя.
Модуль выявления опасных состояний на основе онтологии позволяет сопоставить параметры поведения водителя и опасные состояния на дорогах общего пользования.
Модуль рекомендаций вырабатывает практические рекомендации, нацеленные на снижение вероятности наступления опасной (аварийной) ситуации. В случае, если сгенерированная рекомендация заключается в том, чтобы предложить водителю воспользоваться ближайшим местом отдыха, модуль поиска мест отдыха может найти подходящее место для остановки и отдыха и построить оптимальный маршрут до этого пункта назначения с учетом текущих дорожных условий. Стоит отметить, что мониторинг опасных состояний и генерация (формирование) рекомендаций водителю выполняются непосредственно на смартфоне водителя, обеспечивая возможность пользоваться системой без подключения к сети Интернет.
Упорядоченное хранение и манипулирование сведениями о группе объектов обеспечивается за счет использования локального хранилища данных, представляющего собой информационную базу данных системы управления базами данных и адаптированного для использования на мобильных устройствах платформы Android. Локальное хранилище данных применяется при записи и хранении временных пользовательских данных и подготовки их с целью дальнейшей синхронизации и отправки в удаленный облачный сервис. Стоит отметить, что возможность работы системы определения опасных состояний на дорогах общего пользования без подключения к сети Интернет (офлайн) обеспечивает хранилище данных, выполняющее логирование и запись событий и их характеристик в постоянную память устройства при обрыве связи, а при ее появлении – в облачный сервис.
Поскольку механизм определения опасных состояний водителя, задействующий в своей работе модуль выявления признаков опасного поведения в составе мобильного приложения, локальное хранилище данных и непосредственно компонент «Водитель», сосредоточен на смартфоне водителя, накапливаемая информация о водителе является минимальной и достаточной для функционирования системы в отсутствие подключения к сети Интернет. При возобновлении соединения с сетью Интернет в системе становится возможным дополнить накапливаемую информацию на смартфоне той, которая является результатом работы программных модулей и алгоритмов, сосредоточенных в облачном сервисе, ориентированном на постобработку поступающих в него данных от водителей и других участников системы.
Облачный сервис получает от мобильного приложения такую информацию как характеристика вождения водителя (ускорение, торможение, плавность хода, перестроение, путь следования и т.д.), опасные состояния в процессе движения и статистика использования приложения. На основе данных, собираемых с мобильного устройства водителя, выделяются и формируются его паттерны поведения, уникальный стиль (манера) вождения, характеризующие конкретного водителя. Стоит отметить, что в качестве пользователей системы определения опасных состояний на дорогах общего пользования определены администраторы автопарков и представители страховых компаний, осуществляющие мониторинг истории взаимодействия с системой и анализ статистики вождения водителей соответственно. Кроме того, используя результаты работы облачного сервиса, система определения опасных состояний на дорогах общего пользования дает возможность пользователям системы повысить эффективность использования водителями транспортных средств, снизив эксплуатационные расходы при обслуживании и улучшить взаимодействие с непосредственными клиентами той или иной компании. По мере взаимодействия водителей и пользователей с системой определения опасных состояний на дорогах общего пользования, она продолжает обучаться на основе накапливаемых данных и подстраиваться под каждого водителя с учетом его особенностей поведения за рулем и стиля вождения, что обеспечивает возможность оценки навыков водителей по управлению транспортными средствами и улучшение эффективности их эксплуатации.
Модуль просмотра истории взаимодействия и статистики использования мобильного программного комплекса водителем обеспечивает запись, обработку и отображение действий водителя транспортного средства на протяжении всего маршрута следования в каждый конкретный момент времени. Данный модуль протоколирования действий водителя позволяет не только внести корректирующие улучшения в алгоритмы обработки данных и принятии решений о наступлении дорожных происшествий, но и в том числе сформировать и предоставить статистику использования системы водителями транспортных средств.
Модуль отображения отчета о поездке статистики позволяет просматривать статистику управления транспортным средством как частному водителю, так и администратору автопарка или представителю страховой компании. Данный модуль способен предоставить такую информацию как средняя скорость движения, ускорение, торможение транспортного средства в конкретный момент времени пройденного маршрута и т.д.
Общая схема взаимодействия участников системы определения опасных состояний на дорогах общего пользования можно представить в виде диаграммы последовательности (фиг. 5). Водитель транспортного средства, осуществляющий взаимодействие главным образом с системой при помощи смартфона (участник процесса), задействует модули калибровки системы под водителя, считывания информации с камеры и сенсоров, выявления опасных состояний, генерации рекомендаций, поиска мест отдыха и синхронизации информации с облачным сервисом.
Использование системы водителем в кабине транспортного средства начинается с модуля калибровки системы, подстраивающейся под текущего водителя с учетом его внешних характеристик лица и его черт, а также предпочтений при использовании программного комплекса на смартфоне (например, уровень громкости предупреждающих уведомлений, рекомендаций).
Далее, наблюдаемая информация о водителе, собираемая и накапливаемая модулем считывания информации с сенсоров смартфона, обрабатывается и поступает в модуль выявления опасных состояний для дальнейшего обнаружения признаков ослабленного внимания и усталости у водителя. При распознавании опасного поведения модуль генерации рекомендаций уведомляет водителя о небезопасной ситуации при помощи звукового сигнала и контекстно-ориентированных рекомендаций за счет голосовых или текстовых сообщений о принятии надлежащих мер с его стороны по предотвращению аварийной ситуации. В случае, если в области видимости водителя расположены зоны отдыха, модуль поиска мест отдыха оповестит его о таких местах и предложит воспользоваться одним из найденных вариантов. Одним из ключевых аспектов функционирования системы является персонализация к стилю вождения индивидуально для водителя. Данная функция системы выполнима за счет синхронизации информации через облачный сервис при помощи соответствующего модуля в фоновом режиме (без прерывания остальных функций) непрерывно на всем протяжении работы программного комплекса. Информация, накапливаемая в процессе управления транспортным средством, при наличии Интернет-соединения периодически синхронизируется в фоновом режиме с удаленным облачным сервисом (модуль синхронизации информации с облачным сервисом) с целью обмена информацией о паттернах поведения конкретного водителя и дальнейшего повышения точности модуля выявления опасных состояний. В том числе, данный модуль предоставляет возможность запроса статистики взаимодействия водителя с системой на любом участке движения.
Результаты эксперимента показали, что если длительность периода времени, в течение которого глаза закрыты, наблюдается более 28% времени в течение одной минуты, то считается, что человек находится в состоянии сонливости. При развитии состояния усталости или ослабленного внимания время моргания глаз может стать более продолжительным и более медленным, может варьироваться частота моргания, и/или при моргании веки могут начать опускаться с небольшой амплитудой, например, пока глаза не начнут закрываться на время краткосрочных «микроснов», то есть состояний сна, которые длятся в течение приблизительно от трех до пяти секунд или дольше, или до продолжительного сна. Безопасный для водителя интервал, в течение которого допускается моргание глаза, варьируется от 0.5 сек. до 0.8 сек. Увеличение времени моргания характеризует степень усталости водителя. Также установлено, что у водителя присутствуют признаки ослабленного внимания, если при управлении транспортным средством он совершает более 3 зевков в течение 30 минут. Одним из заметных признаков ослабленного внимания является момент, когда водитель «клюет носом», то есть ему трудно становится удерживать голову в обычном положении. Если приложение фиксирует, что водитель совершил более 2 кивков головой в течение 2 минут, фиксируется обнаружение опасного состояния.
Кроме того, было установлено, что непрерывное управление транспортом на протяжении 4 часов понижает скорость реагирования автомобилиста на изменение дорожной обстановки в 2 раза, а в течение 8 часов — до 5-7 раз. Термин «невнимательное вождение» подразумевает под собой управление транспортным средством, при котором водитель не полностью сосредоточен на дорожных условиях.
Были выявлены следующие три варианта невнимательного вождения. При выявлении состояния ослабленного внимания водителя используется определение положения его головы относительно туловища. В первом варианте рассматривается ситуация, при которой голова водителя должна быть направлена прямо по направлению движения транспортного средства. У водителя обнаружены признаки ослабленного внимания, если его голова не смотрит по направлению движения транспортным средством более двух секунд (направление скорости фиксируется акселерометром смартфона), или же она не направлена в сторону поворота (определяется по данным с гироскопа) транспортного средства. Во втором случае осуществляется наблюдение за прохождением водителем поворотов налево и направо, путем отслеживания направления движения транспортного средства и фиксации его поворотов налево или направо. Предполагается, что у водителя обнаружены признаки ослабленного внимания, если при повороте транспортного средства угол поворота головы водителя составляет менее 15° по направлению движения транспортного средства или попросту отсутствует.
Для оценки возможности достижения заявленного технического результата был разработан мобильный программный комплекс, построенный на основе применения статически типизированных языков программирования, официально поддерживаемых платформой Android, которыми являются Java, Kotlin, C++.
Анализ поведения водителя транспортного средства на основе детектирования, отслеживания и распознавания его лицевых характеристик на изображении реализован на языке программирования C++ при помощи программных библиотек компьютерного зрения OpenCV и машинного обучения Dlib. Для выполнения программного кода, написанного на языке программирования C++ и скомпонованного в виде динамических библиотек (с расширением .so), из языка Java были использованы JNI интерфейсы, реализующие механизм позднего связывания. Другие компоненты, такие как модуль принятия решений, модуль генерации рекомендаций и планирования задач, были написаны на языках Java и Kotlin. В качестве системы автоматической сборки мобильного приложения выбрана система Gradle, являющая стандартной системой сборки для Android Studio и предлагающая предметно-ориентированный язык использования Groovy для описания конфигурации проекта. Скомпилированная Java компилятором и собранная утилитой apkbuilder сборка мобильного приложения в формате «apk» для платформы Android и использования в системе РСПАС занимает 100 Мб в памяти смартфона, а после установки на устройство водителя – 120 Мб. Объем программного кода мобильного приложения составляет примерно 109 тысяч строк кода файлов с расширением .java, .kt.
Эффективность определения опасных состояний на дорогах общего пользования была протестирована с использованием смартфонов LG G3, Google Pixel, Google Pixel 2 XL, Asus Zenfone 3 Deluxe 5.5, Asus Zenfone 3 ZE520KL, Samsung Galaxy S6, Samsung Galaxy S8+, Samsung Galaxy J1 Mini, Samsung Galaxy A3, Samsung Galaxy Tab Pro 8.4, Samsung Galaxy Alpha, Huawei Honor 9, Huawei P8 Lite, Huawei Nova, Xiaomi Mi 5, Xiaomi Redmi Note 3, Xiaomi Redmi 4, Xiaomi Redmi 1S. В тестировании соответствующей системы приняло участие 30 водителей на личных транспортных средствах, среди которых были и мужчины, и женщины.
Сравнение времени распознавания опасного состояния на всех использованных смартфонах приведено на фиг. 6, где время 
Представленные данные свидетельствуют о том, что заявленный способ обеспечивает возможность непрерывного самообучения и адаптации к поведению и стилю вождения конкретного водителя, учёта его особенностей, а также позволяет повысить эффективность определения опасных состояний на дорогах общего пользования.
Результаты проведенных экспериментальных исследований свидетельствуют о том, что заявляемый способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства обладает новыми свойствами, обусловливающими получение положительного эффекта, что указывает на возможность решения сформулированной технической проблемы.
Способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства, заключающийся в том, что обнаруживают область изображения, содержащую лицо, обнаруживают области, предположительно содержащие глаза, обнаруживают области глаз, определяют границы области движения зрачка, определяют частоту и направления движения глаз, определяют частоту морганий, определяют длительность периода времени, в течение которого глаза закрыты, сравнивают параметры, характеризующие состояние водителя с эталонными для состояния засыпания и состояния сна, принимают решение о необходимости сигнализации водителю, отличающийся тем, что регистрируют водителя и заполняют его профиль, калибруют углы поворота и наклона головы, калибруют громкость звука, анализируют контекст водителя и принимают решение о целесообразности определения опасного состояния, определяют время, необходимое для принятия решения о наличии опасного состояния, определяют количество итераций, необходимых для принятия решения о наличии опасного состояния, на каждой итерации получают изображение с фронтальной камеры смартфона, определяют углы поворота и наклона головы относительно туловища, а затем обнаруживают область изображения, содержащую лицо, после того как определяют длительность периода времени, в течение которого глаза закрыты, обнаруживают область, предположительно содержащую рот, обнаруживают область рта, определяют степень открытости рта, получают данные от датчиков смартфона, определяют темп и скорость передвижения транспортного средства, время разгона, наличие резких ускорений и торможений, поворотов транспортных средств, тип поведения водителя за рулём, выявляют опасные состояния на основе критериев из онтологии, для чего в том числе сравнивают параметры, характеризующие состояние водителя с эталонными для состояния засыпания и состояния сна, повторяют указанные действия в соответствии с количеством итераций, необходимых для принятия решения о наличии опасного состояния, усредняют полученные результаты по всем итерациям, формируют рекомендации на основе определенного опасного состояния и контекста водителя, а затем принимают решение о необходимости сигнализации водителю, после этого сохраняют статистику и генерируют отчёт для заинтересованных лиц, выявляют паттерны поведения водителя, калибруют алгоритмы распознавания опасных ситуаций под работу с конкретным водителем и выявляют предпочтения водителя для формирования персонализированных рекомендаций.
