Устройство и способ для анализа повреждений

Изобретение относится к средствам для анализа повреждений в панелях остекления транспортных средств. Техническим результатом является обеспечение автоматической оценки размера повреждения панели остекления транспортного средства мобильным вычислительным устройством с камерой без необходимости проведения калибровки камеры. Способ анализа повреждений для анализа повреждений в панели остекления транспортного средства содержит получение изображения повреждения в панели остекления транспортного средства, обработку изображения повреждения; при этом изображение снимают мобильным вычислительным устройством, удерживаемым в контакте с поверхностью панели остекления, содержащим камеру, и его наклоняют для просмотра повреждения в заданном местоположении в поле обзора камеры. При этом размещают мобильное вычислительное устройство плоскостью на поверхности панели остекления; поворачивают его от панели остекления, при этом по меньшей мере часть мобильного вычислительного устройства остается в контакте с панелью остекления; и используют геометрические параметры мобильного вычислительного устройства и параметры объектива камеры для оценки размера повреждения. 4 н. и 16 з.п. ф-лы, 14 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к устройству и способу. В частности, но не исключительно, изобретение относится к устройству и способу, которые используются для анализа повреждений в панелях остекления транспортных средств. Более конкретно, но не исключительно, изобретение относится к способу и устройству, используемым для анализа трещин в стекле, в частности, в панели остекления транспортного средства.

Известный уровень техники

Во время вождения транспортного средства наличие мусора и другого материала на дороге может вызывать отбрасывание такого материала на путь движения, что, когда такой материал сталкивается с ветровым стеклом, может вызывать появление трещин, выбоин или других повреждений в таких ветровых стеклах, что может потребовать ремонт или замену панели остекления транспортного средства.

По соображениям безопасности и причинам экономии крайне важно, чтобы такая работа выполнялась как можно быстрее, поскольку эти трещины могут распространяться дальше в ветровое стекло, скажем, из-за влияния холодной погоды, что может вызвать рост трещины. Это может привести к тому, что трещина изменится от такой, которая нуждается в незначительном ремонте, до такой, которая потребует полной замены ветрового стекла.

Требуется оценка того, можно ли устранить повреждение панели остекления автомобиля при ремонте. Если оценка показывает, что ремонт невозможен, то потребуется замена панели остекления.

Аспекты и формы осуществления изобретения были задуманы с учетом вышеизложенного.

Сущность изобретения

Согласно первому аспекту предлагается способ анализа повреждений для анализа повреждений в панели остекления транспортного средства, причем способ включает в себя: получение изображения повреждения в панели остекления транспортного средства; обработку изображения повреждения.

В соответствии со вторым аспектом предлагается устройство анализа повреждений для анализа повреждений в панели остекления транспортного средства, причем устройство содержит: камеру, выполненную с возможностью получения изображения повреждения в панели остекления транспортного средства; модуль обработки, предназначенный для обработки изображения повреждения.

Опционально, устройство может содержать мобильное вычислительное устройство, которое имеет камеру. Мобильное вычислительное устройство представляет собой электронное устройство, которое выполнено с возможностью получения изображений. Это может быть мобильный телефон (например, смартфон), портативный компьютер, планшетный компьютер, смартфон с очень большим экраном (phablet) или камера.

Мобильное вычислительное устройство может содержать также модуль обработки.

Способ или устройство в соответствии с первым и вторым аспектами позволяет использовать изображение повреждения на поверхности для анализа повреждений. Это устраняет необходимость физического посещения техническим специалистом для проведения анализа на трещину.

Определение необходимости замены панели остекления может быть основано на обработке изображения. Таким образом, способ может включать в себя этап определения, на основе обработки изображения, необходимости замены панели остекления и/или того, подходит ли панель остекления для ремонта.

Изображение повреждения может быть снято под углом наклона относительно панели остекления транспортного средства.

Изображение может сниматься мобильным вычислительным устройством, удерживаемым в контакте с поверхностью панели остекления, если мобильное вычислительное устройство содержит камеру. Мобильное вычислительное устройство может быть, например, мобильным телефоном, например, смартфоном, снабженным камерой. Изобретение может быть реализовано посредством программного компонента для обработки данных изображения из камеры, чтобы определить, может ли быть исправлено повреждение, или необходима замена. Программный компонент может быть загружен в устройство, например, в виде автономного приложения или чего-либо подобного. Программный компонент может содержать алгоритм для определения, а также предпочтительно может отображать инструкции для пользователя о том, как реализовать способ определения.

Соответственно, в соответствии с другим аспектом изобретение включает в себя реализуемый компьютером способ определения технической информации относительно повреждения, присутствующего в панели остекления транспортного средства, причем способ включает в себя этап загрузки программного компонента в мобильное вычислительное устройство, имеющее камеру; программный компонент предназначен для обработки информации изображения, снятого с помощью камеры, чтобы определить, может ли повреждение быть отремонтировано, или предпочтительна замена.

Мобильное вычислительное устройство предпочтительно может наклоняться для просмотра повреждения в заранее заданном местоположении в поле обзора камеры. Позиция базы отсчета может быть достигнута путем обеспечения того, что вычислительное устройство наклоняется к панели, когда его край контактирует с панелью.

Заранее заданное положение, в которое мобильное вычислительное устройство может быть наклонено для просмотра повреждения, может быть обозначено знаками, отображаемыми на камере или мобильном вычислительном устройстве, содержащем камеру (например, на экране).

Дополнительно или альтернативно, знаки могут указывать центр поля обзора (например, на экране).

Опционально, камера или мобильное вычислительное устройство может быть первоначально уложена плоскопараллельно на поверхность панели остекления. Затем мобильное вычислительное устройство может быть повернуто или отклонено от панели остекления, при этом по меньшей мере часть мобильного вычислительного устройства остается в контакте с панелью остекления.

Опционально, камера располагается в заданном положении относительно повреждения перед поворотом мобильного вычислительного устройства. Например, способ может включать в себя выставление какой-то детали мобильного вычислительного устройства в заданное положение относительно повреждения.

В некоторых формах осуществления изобретения край модуля получения изображения, такой как верхний край, может быть выставлен рядом с самой низкой точкой повреждения (или непосредственно ниже нее). Это означает, что начальное расстояние между камерой и самой низкой точкой повреждения может быть определено с использованием геометрических параметров мобильного вычислительного устройства.

Затем модуль получения изображения или мобильное вычислительное устройство может быть повернуто от панели остекления, при этом нижний край мобильного вычислительного устройства остается в контакте с панелью остекления. Затем снимается изображение повреждения.

Способ может включать в себя поворот или отклонение мобильного вычислительного устройства до тех пор, пока повреждение не будет доступно для просмотра в заданном местоположении в поле обзора камеры.

Опционально, способ включает в себя поворот мобильного вычислительного устройства до тех пор, пока повреждение не окажется в центре поля обзора камеры.

Способ может включать в себя использование геометрических параметров мобильного вычислительного устройства и параметров объектива камеры для оценки параметров повреждения. Параметры повреждения включают в себя один или несколько пространственных размеров, указывающих размер повреждения.

Например, используя вышеописанный способ, геометрические параметры мобильного вычислительного устройства и параметры объектива камеры могут использоваться для определения длины одного или нескольких лучей повреждения и/или размера (например, ширины/диаметра) центра повреждения.

Геометрические параметры мобильного вычислительного устройства могут использоваться для определения угла поворота (или угла наклона) между мобильным вычислительным устройством и панелью остекления.

Если расчетный размер повреждения (например, длина одного из лучей повреждения) превышает заданный порог, то способ может определить, что панель остекления должна быть заменена. Если расчетный размер повреждения (например, длина одного из лучей повреждения) меньше заданного порога, то способ может определить, что панель остекления подходит для ремонта.

Обработка изображения может основываться на геометрических параметрах мобильного вычислительного устройства для получения изображения повреждения.

Обработка изображения может дополнительно основываться на параметрах интегральной схемы камеры и/или мобильного вычислительного устройства.

Обработка изображения может создавать набор точек данных, которые используются для получения диаметра повреждения; этот диаметр может быть использован для определения требований для замены панели остекления транспортного средства.

Способ может включать в себя вывод сигнала или индикации, указывающих, нужно ли ремонтировать или заменять панель остекления.

Повреждение в панели остекления может содержать центр и один или несколько лучей. Формирование такого повреждения обычно происходит, когда маленький камень или другой объект ударяет по панели остекления. Один или несколько лучей (или трещин) обычно исходят из центра повреждения.

Центр повреждения по форме может быть по существу круглым.

Определение необходимости замены или ремонта панели остекления может включать в себя получение данных, характеризующих центр повреждения и один или несколько лучей повреждения.

Способ может включать в себя идентификацию центра повреждения и одного или нескольких лучей повреждения.

Способ может включать в себя создание коэффициента масштабирования, указывающего относительную длину одного или нескольких лучей повреждения по сравнению с размером центра повреждения. Размер центра повреждения может быть диаметром, шириной и/или длиной центра повреждения. Способ может включать в себя оценку длины одного или нескольких лучей повреждения (т.е. абсолютной длины в см или мм и т.п.) с использованием коэффициента масштабирования. Например, длину одного или нескольких лучей можно оценить, умножив коэффициент масштабирования на заданное значение.

Заданное значение может быть оценкой фактического (то есть абсолютного) размера центра повреждения. Это обеспечивает то преимущество, что не требуется калибровочного объекта, что по меньшей мере более удобно для пользователя. Таким образом, способ согласно настоящему изобретению может содержать определение масштаба изображения для оценки длины одного или нескольких лучей повреждения.

Если расчетная длина одного или нескольких лучей превышает заданный порог, то способ может определить, что панель остекления должна быть заменена. Если расчетная длина одного или нескольких лучей меньше заданного порога, то способ может определить, что повреждение в панели остекления подходит для ремонта.

Способ может включать в себя вывод сигнала, указывающего, что требуется ремонт панели остекления, если расчетная длина одного или нескольких лучей меньше заданного порога.

Способ может включать в себя вывод сигнала, указывающего, что требуется замена панели остекления, если расчетная длина одного или нескольких лучей превышает заданный порог.

Было найдено, что размер центра повреждения обычно изменяется меньше, чем длина одного или нескольких лучей повреждения, при сравнении разных повреждений в панелях остекления. Таким образом, заранее определенное значение может представлять собой среднее значение или моду (наиболее вероятное значение) измеренных размеров центра повреждения в панели остекления.

Опционально, оценка фактической ширины (или диаметра) центра повреждения (то есть заранее заданного значения) может составлять от 1 до 3 мм. Особенно предпочтительная заданная ширина (или диаметр) центра повреждения может составлять 2 мм. Эти диапазоны/значения были определены из исследований повреждений, проведенных заявителем.

Эффект этого заключается в том, что расчетный размер центра повреждения, такой как расчетный диаметр центра повреждения, можно использовать для оценки длины лучей повреждения, поскольку заранее заданное значение может использоваться для определения масштаба между относительной длиной одного или нескольких лучей относительно размера центра повреждения и оцениваемой фактической длиной одного или нескольких лучей повреждения.

Например, если мы знаем, что центр повреждения всегда будет около 2 мм в ширину (или в диаметре), а полученные данные изображения показывают, что лучи в два раза больше диаметра центра повреждения, тогда способ может содержать умножение 2 мм на коэффициент масштабирования 2. Это дает оценку длины лучей 4 мм. Это помогает построить картину размеров повреждения для этих данных.

Полученная (или оценочная) длина одного или нескольких лучей может использоваться для указания предполагаемого размера повреждения. Размер повреждения можно сравнивать с пороговым параметром, чтобы определить необходимость замены или ремонта панели остекления.

Если расчетный размер повреждения превышает заданный порог, то способ может определить, что панель остекления должна быть заменена. Если расчетный размер повреждения меньше заданного порога, то способ может определить, что панель остекления подходит для ремонта.

Сравнение может быть выполнено между пороговым параметром повреждения и наибольшим расстоянием поперек повреждения.

Опционально, заданная оценка размера центра повреждения может зависеть от одного или нескольких параметров. Параметры могут быть введены пользователем и/или предварительно установлены в устройство или модуль обработки. Например, параметры могут включать: одно или несколько свойств панели остекления (например, тип, размер и т.п.) и/или скорость движения транспортного средства при возникновении повреждения.

Обработка изображения может включать в себя фильтрацию изображения для удаления фоновой части, чтобы идентифицировать повреждение.

Морфологическое улучшение качества может быть применено к изображению, чтобы удалить шум из изображения и улучшить качество данных изображения, используемых в качестве основы для определения того, требуется ли замена панели остекления.

Способ может включать очистку панели остекления до съемки изображения повреждения. Это может помочь удалить грязь, которая может повлиять на обработку изображения. Например, существует риск того, что грязь может быть истолкована как повреждение программным обеспечением для обработки изображений.

Способ может включать в себя отключение функции вспышки в модуле получения изображения или устройстве перед съемкой изображения повреждения. Если используется фотографирование со вспышкой, свет может отрицательно повлиять на точность программного обеспечения для обработки изображений. Например, вспышка может отразиться на панели остекления, что может повлиять на идентификацию или анализ повреждения.

Способ может быть реализован с использованием реализуемых компьютером команд, которые при загрузке в память заставляют процессор реализовать способ, как определено выше. Предпочтительным является загружаемый программный компонент (например, приложение).

Понятно, что любые отличительные признаки способа могут быть выполнены с использованием устройства по настоящему изобретению.

Эти и другие аспекты настоящего изобретения будут очевидны из формы осуществления и разъяснены со ссылкой на форму осуществления, описанную в данном документе.

Описание

Первая и вторая формы осуществления настоящего изобретения будут теперь описаны, только в качестве примера, со ссылкой на сопроводительные чертежи, на которых:

На фиг. 1 показано ветровое стекло с трещиной.

На фиг. 2 показано использование камеры для съемки изображения трещины.

На фиг. 3 показан модуль обработки, который может использоваться для анализа трещины на ветровом стекле, показанной на фиг. 1.

На фиг. 4 показана блок-схема последовательности операций, в которой подробно описаны этапы, связанные с оценкой трещины на ветровом стекле с использованием системы, показанной на фиг. 3.

На фиг. 5 показано изображение преобразования Фурье трещины.

Фиг. 6 иллюстрирует очерченное изображение трещины.

На фиг. 7 показано устройство, которое может быть использовано для моделирования трещины 102.

На фиг. 8 показаны этапы, связанные с созданием параметров повреждения.

На фиг. 9а схематично показано поле обзора камеры с видом сверху на ветровое стекло.

На фиг. 9b схематично показано поле обзора камеры с наклонным видом ветрового

стекла.

На фиг. 10 показано, как можно смоделировать камеру, чтобы использовать параметры камеры для анализа трещины.

На фиг. 11 показано изображение, которое выводится из системы, чтобы определить размер трещины на ветровом стекле.

В первой форме осуществления изобретения фиг. 1 иллюстрирует ветровое стекло 100 из стекла с трещиной 102, вызванной камнем, который ударил по ветровому стеклу. Водитель автомобиля, в котором находится ветровое стекло 100, затем снимает изображение трещины 102 с помощью мобильного телефона 104, который содержит камеру 106, используемую для съемки изображения трещины 102. Эта расположение показано сбоку на фиг. 2. Фокусное расстояние камеры 106 фиксируется на расстоянии менее 100 миллиметров, чтобы обеспечить фокусировку камеры на небольшом расстоянии.

Затем снимается изображение трещины 102, в ответ на ввод команды пользователем, и мобильный телефон 104 конфигурируется для подсказки пользователю запроса, чтобы он запросил, чтобы изображение передавалось из камеры 106 в модуль 108 обработки изображения, который мы теперь опишем со ссылкой на фиг. 3. Этот этап позволяет пользователям самому оценивать качество изображения, чтобы он мог выбирать съемку другого изображения, если он не считает изображение четким, например, в неблагоприятных погодных условиях, когда может быть конденсация влаги на объективе камеры 106.

Камера 106 преобразует снятое изображение в массив данных изображения с использованием любого подходящего способа. Камера 106 может сохранять данные изображения в формате файла обмена изображениями EXIF (Exchangeable Image File Format), где хранятся также параметры объектива камеры.

Другими словами, камера 106 является примером модуля захвата изображения, который предназначен для захвата изображения трещины 102 и для передачи захваченного изображения в виде данных захваченного изображения в модуль 108 обработки изображения, где он может обрабатываться далее для извлечения деталей трещины.

Модуль 108 обработки изображений может составлять часть мобильного телефона 104 или он может быть географически удален от мобильного телефона 104. Данные изображения передаются в модуль 108 обработки изображений любыми подходящими средствами, такими как, например, шина данных или Интернет.

В предпочтительной форме осуществления модуль 108 обработки изображения реализован в виде программного компонента, загруженного в мобильный телефон. Это может быть реализовано путем загрузки программного компонента в виде приложения. Программный компонент способен обрабатывать данные изображения из камеры, чтобы определить, является ли повреждение пригодным к ремонту или может потребоваться замена панели остекления в качестве предпочтительного решения.

Модуль 112 анализа повреждений может быть программным компонентом, загружаемым в мобильный телефон предпочтительно в виде одиночной загрузки в сочетании с модулем 108 обработки изображения. Один загруженный программный компонент предпочтительно выполнен с возможностью обработки данных изображения из камеры телефона и анализа повреждений с использованием одного или несколько алгоритмов, реализованных в программном обеспечении.

В одной реализации данные снятого изображения принимаются модулем 108 обработки изображения в интерфейсе 110 ввода данных. Затем данные изображения передаются в модуль 112 анализа повреждений, который сконфигурирован для доступа к библиотеке 114 программ, где могут храниться программы для выполнения операций над захваченными данными на протяжении всего анализа данных снятого изображения.

Модуль 112 анализа повреждений также сконфигурирован для доступа к базе 116 данных параметров устройства, где хранятся параметры, относящиеся к мобильному телефону 104.

Параметры, относящиеся к мобильному телефону 104, включают в себя параметры интегральной схемы, которые определяют характеристику получения изображения камерой 106, такие как, например, фокусное расстояние и размер датчика объектива, а также размерные параметры мобильного телефона 104, такие как, например, длина мобильного телефона 104 и расстояние между верхней кромкой мобильного телефона 104 и центром изображения камеры 106.

Модуль 112 анализа повреждений также работает для взаимодействия с модулем 118 отображения, который предназначен для отображения данных изображения, передаваемых из модуля 112 анализа повреждений, на дисплее, и для отображения на дисплее параметрических данных, передаваемых из модуля 112 анализа повреждений.

Теперь опишем со ссылкой на фиг. 4 анализ трещины 102 с использованием модуля 112 анализа повреждений.

Модуль 112 анализа повреждений принимает данные изображения на этапе S400. Затем модуль 112 анализа повреждений на этапе S402 вызывает программу преобразования Фурье из библиотеки 114 программ и использует эту программу для применения дискретного двумерного преобразования Фурье к данным изображения для создания преобразованного изображения, как показано на фиг. 5а.

На фиг. 5а мы видим преобразованное изображение. На фиг. 5а показана пространственная частота в зависимости от величины соответствующей составляющей Фурье. Можно видеть, что низкие пространственные частоты занимают центр преобразованного изображения, а более высокие пространственные частоты можно видеть, когда мы отодвигаемся от центра преобразованного изображения.

Применение преобразования Фурье изображения позволяет модулю 112 анализа повреждений выполнять анализ изображения на основе его пространственных частот и фазы. Как будет теперь описано, оно позволяет удалить пространственные частоты, в которых мы не заинтересованы, и позволяет восстановить интересующее нас изображение, сохраняя пространственные частоты, представляющие интерес.

Затем на этапе S404 модулем 112 анализа повреждений к преобразованному изображению применяется полосовой фильтр Баттерворта. Маска, реализованная полосовым фильтром Баттерворта, показана на фиг. 5b. Полосовой фильтр Баттерворта реализует маску на преобразованном изображении, показанном на фиг. 5а, и удаляет низкие пространственные частоты (показаны черной точкой в центре фиг. 5b) и очень высокие пространственные частоты (темная рамка на изображении на фиг. 5b), которые представляют пятнышки пыли и грязи на изображении.

Результат преобразования Фурье данных изображения затем преобразуется обратно на этапе S406 путем вызова программы обратного преобразования Фурье из библиотеки 114 программ для выполнения обратного дискретного двумерного преобразования Фурье над данными преобразованного изображения.

Осуществление обратного преобразования Фурье над данными преобразованного изображения преобразует преобразованные данные изображения из пространства Фурье в реальное пространство для получения данных изображения в реальном пространстве. Полученные в результате данные изображения в реальном пространстве показаны на фиг. 6а и 6b.

Использование преобразования Фурье для получения изображения, показанного на фиг. 6b, приводит к выделению трещины из фона.

Данные изображения в реальном пространстве сравниваются с пороговой интенсивностью, равной 4, на этапе S408 для более четкого определения областей, представляющих интерес.

На фиг. 6а показаны данные изображения в реальном пространстве без использования полосового фильтра Баттерворта. На фиг. 6b показаны данные изображения в реальном пространстве после применения полосового фильтра Баттерворта к преобразованным данным, представленным на фиг. 5а, и применения порогового значения для формирования бинарного изображения с использованием пороговой интенсивности 4. Полосовой фильтр Баттерворта в этом примере имеет значение показателя спада амплитудно-частотной характеристики фильтра равное 3.

Верхняя и нижняя частоты отсечки полосового фильтра Баттерворта могут быть смоделированы как линейно зависящие от количества пикселей на самой длинной стороне изображения (обозначенного как т) и могут быть соответственно выражены как:

Это соотношение может быть изменено с помощью стандартных испытаний и численных экспериментов.

Изображение, показанное на фиг. 6b, представляет собой изображение, которое может содержать больше, чем просто трещину 102. Оно может также включать в себя данные изображения, прошедшие через этапы S400-S408, но обусловленные пятнами грязи на ветровом стекле и другими артефактами обработки, выполняемой модулем 112 анализа повреждений.

Использование пороговой интенсивности 4 для формирования бинарного изображения, показанного на фиг. 6b, помогает более четко отображать области, представляющие интерес. Изображение, представленное данными изображения в реальном пространстве, показанное на фиг. 6b, выделяет трещину - включая центральную область трещины, которая является областью низкой пространственной частоты.

Как можно видеть, метод Фурье делает очень аккуратную работу по изоляции области трещины от фона с помехами, предполагая, что она находится в фокусе, а фон - нет.

Затем на этапе S410 модуль 112 анализа повреждений может вызвать программу морфологии из библиотеки 114 программ, чтобы удалить всевозможные помехи из изображения, показанного на фиг. 6b.

Программа морфологии выполняет несколько операций на изображении, показанном на фиг. 6b. Это изображение представляет собой двоичное изображение. Области черного имеют нулевые значения, а области белого оцениваются ненулевым значением. Значение пикселей сохраняется в памяти модуля 112 анализа повреждений и является результатом обработки на этапах S400-S408.

Первая из этих операций - операция заполнения, использующая морфологическую реконструкцию для заполнения белым областей черного цвета размером в пиксель, которые окружены областями белого, путем замены нулевого значения ненулевым значением в соответствии с процессом, описанным в [1].

Вторая из этих операций - операция очистки, которая отбрасывает очень малые области с ненулевым значением. Очень малые области с ненулевым значением определяются как ненулевые области, занимающие площадь меньше квадрата (наибольший размер изображения/500). Наибольший размер изображения может быть определен модулем анализа повреждений просто путем сравнения ширины изображения с длиной изображения.

Затем первая морфологическая операция повторяется для заполнения любых областей черного цвета, имеющих размер пикселя, окруженных областями белого цвета, которые были созданы второй морфологической операцией. Это третья морфологическая операция.

Затем выполняют четвертую морфологическую операцию, чтобы соединить любые лучи в изображении трещины 102, которые имеют в них промежутки. Это реализуется с использованием морфологической операции закрытия, как описано в [2]. Выполняется эрозия с последующей дилатацией с использованием структурирующего элемента в форме диска с радиусом (наибольший размер изображения/5312), умноженным на 20. Значение 20 было определено эмпирически и может изменяться. Это значение может быть определено без каких-либо излишних затрат для разных разрешений изображения.

Затем первая морфологическая операция повторяется, чтобы заполнить области черного цвета с размером пикселя, окруженные областями белого цвета, которые были сформированы четвертой морфологической операцией. Это пятая морфологическая операция.

Затем выполняется шестая морфологическая операция, чтобы отбросить любые небольшие ненулевые области. Малые области определяются как области с площадью, равной квадрату (наибольший размер изображения/100).

Затем выполняется седьмая морфологическая операция для удаления любых отсоединенных объектов в изображении. Отсоединенные объекты, представляющие интерес, представляют собой объекты, которые находятся дальше, чем 3/4 радиуса наибольшего объекта, ближайшего к центру изображения. Это означает, что лучи трещины, которые все еще разделены, включаются в состав, но включаются и лишние артефакты. Седьмая морфологическая операция реализуется путем нахождения для каждой оставшейся области изображения центроида, т.е. центра масс изображения, и длины главной оси области.

Взвешивание w=l/d, где d - евклидово расстояние между центроидом и центром изображения. Выбирается наибольшая область, наиболее близкая к центру изображения, а длина ее основной оси используется для установки радиуса (или 3/4 длины основной оси от его центроида), за пределами которого отбрасываются любые области. То есть, морфологическая программа и центроид для расчетов границы сконфигурированы так, чтобы сохранять все "вкрапления" на расстоянии радиуса наибольшего объекта изображения плюс половина этого радиуса от центра трещины, чтобы гарантировать, что любые разрывы в трещине 102 не теряются.

Данные изображения после того, как морфология была применена для улучшения их качества, затем могут быть использованы для определения размеров трещины 102.

Модуль 112 анализа повреждений применяет дальнейшее обнаружение краев, морфологию, размытие и сравнение с порогом для определения центра трещина 102.

Экспериментально было обнаружено, что центр трещины обычно составляет около 2 мм в диаметре. Модуль 112 анализа повреждений работает для того, чтобы с использованием улучшенных данных изображения и данных, которые являются результатом определения центра трещины 102, оценивать длину лучей трещины 102 и определять пропорциональное значение, которое характеризует длину лучей по сравнению с диаметром центра трещины 102, то есть коэффициент масштабирования для лучей по сравнению с центром трещины 102. Используя то, что центр трещины обычно составляет 2 мм, коэффициент масштабирования можно затем использовать для определения длины лучей. Это обеспечивает анализ размера трещины 102 без калибровки.

Затем определенная длина лучей может использоваться для аппроксимации размера трещины 102 и позволяет модулю 112 анализа повреждений определить, потребуется ли замена ветрового стекла или будет достаточным ремонт, так как она является размером трещины, который важен при этом определении, и путем сравнения размера трещины 102 с порогом ремонта/замены модуль 112 анализа повреждений может автоматизировать это определение. Модуль 112 анализа повреждений выводит это определение в модуль 118 отображения.

Результат, то есть, требуется ли замена ветрового стекла, затем отображается с помощью модуля 118 отображения на этапе S412.

Использование наблюдаемой оценки центра трещины для оценки размера лучей трещины, которая опирается на предположение о степени склонности к радиальным лучам в трещине, означает, что изображение может быть взято из трещины и использовано для анализа трещины без какой-либо калибровки на месте, чтобы получить масштаб для трещины 102.

Этот способ позволяет проводить анализ трещины в широком диапазоне условий и без участия технического специалиста.

Во второй форме осуществления изобретения мы теперь опишем, как получать параметры трещины 102 с использованием параметров мобильного телефона 104 и объектива камеры 106. Это может помочь в исправлении любого влияния, которое угол оказывает на изображение.

Вторая форма осуществления может быть объединена с первой формой осуществления без выхода за пределы объема этого изобретения.

Схема, показанная на фиг. 2, может позволить оценить размеры трещины с использованием параметров интегральной схемы датчика камеры 106 и геометрических параметров мобильного телефона 104.

Чтобы вычислить угол поворота (или угол поворота или наклона) мобильного телефона 104 относительно ветрового стекла, мы можем использовать геометрические параметры мобильного телефона 104.

Размещение трещины 102 в центре поля обзора объектива камеры 106 позволяет получить прямоугольный треугольник. Это описывается в отношении фиг. 7.

После обнаружения трещины 102 мобильный телефон 104 укладывается на ветровое стекло с верхней кромкой в основании трещины 102. Это означает, что расстояние между нижней кромкой мобильного телефона 104 и основанием трещины равно длине мобильного телефона 104. Мобильный телефон 104 затем отклоняется с опорой на его нижнюю кромку до тех пор, пока трещина 102 не окажется в центре поля обзора камеры 106. На дисплее мобильного телефона 104 может быть предусмотрена индикация для указания центра поля обзора.

Расстояние между нижней кромкой мобильного телефона 104 и объективом камеры 106 может быть выбрано из базы 116 данных параметров устройства. Следовательно, формируется прямоугольный треугольник, определяемый углом поворота между нижней стороной мобильного телефона 104 и ветровым стеклом 100, осью z объектива камеры и расстоянием, образованным между нижней кромкой и основанием трещины.

Теперь мы опишем, как геометрические параметры мобильного телефона 104 и параметры объектива могут использоваться для оценки параметров трещины.

Изображение трещины снимается согласно процессу, описанному выше, в котором мобильный телефон 104 вращается до тех пор, пока трещина 102 не окажется в центре поля обзора камеры 106.

Это позволяет сформировать прямоугольный треугольник с помощью оси z объектива камеры, расстоянием, образованным между нижней кромкой и основанием трещины, и расстоянием между нижней кромкой и объективом камеры.

Со ссылкой на фиг. 8 мы опишем, как геометрия мобильного телефона 104 и параметры объектива могут использоваться для оценки параметров повреждения.

На этапе S800 модуль 112 анализа повреждений выбирает из базы 116 данных параметров устройства расстояние, сформированное между нижней кромкой мобильного телефона 104 и основанием трещины (то есть длину мобильного телефона 104), и расстояние между нижней кромкой мобильного телефона 104 и объективом камеры. Угол поворота мобильного телефона 104 затем может быть рассчитан на этапе S802 с использованием косинусного соотношения между расстоянием, образованным между нижней кромкой и основанием трещины, и расстоянием между нижней кромкой и объективом камеры.

Затем нам необходимо использовать параметры камеры для получения томографического преобразования из одной плоскости в другую между пикселями камеры и реальными пространственными размерами изображения. Затем на этапе S804 из библиотеки 114 программ вызывается программа томографического преобразования из одной плоскости в другую, чтобы получить реальные пространственные размеры изображения.

Получение томографического отображения для обеспечения реальных пространственных размеров изображения основано на "модели камеры с точечным отверстием", где камера представляет ее область обзора как прямоугольный конус, расширяющийся относительно объектива камеры 106. Это схематически показано на фиг. 9а и 9b.

На фиг. 9а показан только иллюстративный пример и иллюстрируется случай, когда мобильный телефон 104 расположен непосредственно над ветровым стеклом 100. То есть камера 106 обеспечивает вид сверху на ветровое стекло 100. В этом случае область обзора А1 является прямоугольником и каждый пиксель занимают одинаковое пространство реального мира (в миллиметрах).

В другом случае, как показано на фиг. 9b, мобильный телефон 104 находится под углом относительно ветрового стекла 100. Угол был рассчитан на этапе S802. Тогда область просмотра А2 становится трапецией, что означает, что пиксели, близкие к камере, представляют собой меньшие миллиметры, чем пиксели, которые находятся дальше.

Мы опишем теоретические основы того, как получается томографическое отображение из одной плоскости в другую, но легко понять, что это будет реализовано численно с помощью программ, которые будут доступны модулю 112 анализа повреждений с использованием программ, предоставленных с помощью библиотеки 114 программ.

Рассмотрим прямоугольный датчик изображения, который образует часть камеры 106 и датчик, наклоненный относительно плоскости под углом поворота θ, площадь, наблюдаемая датчиком, отображается на равнобедренную трапецию. Ширина оснований этой трапеции напрямую зависит от θ. Применяя программу томографического преобразования из одной плоскости в другую, мы можем использовать этот принцип для численной оценки параметров трещины 102, используя знание пикселей в камере 106.

Мы определяем трехмерную матрицу поворота вокруг оси х как функцию θ следующим образом:

Легко понять, что 9 - угол мобильного телефона 104 относительно ветрового стекла. Мы можем определить начало декартовых координат х, у и z в точке (0,0,0), то есть в начале абсолютных координат. Это точка в середине кромки основания мобильного телефона 104, которая совмещена с осью х. Затем ось у этой системы координат направляется вертикально от основания к верхней части телефона. Для простоты и без потери общности предположим, что камера лежит на оси у на некотором расстоянии d_c от основания телефона. Поэтому центр камеры определяется как:

Фокусное расстояние и вертикальный и горизонтальный размеры датчика объектива камеры 106 затем могут быть выбраны из базы 116 данных параметров устройства на этапе S806. Эти параметры можно назвать параметрами интегральной схемы. Это позволяет вычислить область обзора из камеры. Область обзора определяется двумя величинами, которые называются горизонтальным и вертикальным углами обзора (соответственно обозначаются как ан и ау), и они определяются следующими уравнениями:

где s_x и s_y - горизонтальный и вертикальный размеры датчика и f - фокусное расстояние.

Вычислив горизонтальный и вертикальный угол обзора, модуль 112 анализа повреждений на этапе S808 использует программу томографического преобразования одной плоскости в другую для вычисления краев пирамиды обзора, чтобы предоставить нам поле обзора на ветровом стекле 100. Это обеспечивается трапецией, схематично изображенной на фиг. 9b, т.е. трапецией, которую мы должны скорректировать, чтобы компенсировать различие пространства, которое занято пикселями дальше от объектива относительно пикселей, расположенных ближе к объективу. То есть нам нужно масштабировать трапецию, чтобы гарантировать, что выполняемые вычисления связывают равный объем пространства реального мира с каждым пикселем.

Это моделируется в программе томографического преобразования из одной плоскости в другую, используемой модулем 112 анализа повреждений, линией, то есть лучом, который проходит от объектива вдоль линии наблюдения между объективом и трещиной 102. Эта линия будет пересекать плоскость, представленную ветровым стеклом, т.е. программа томографического преобразования из одной плоскости в другую моделируется как плоскость.

На этапе S810 программа томографического преобразования из одной плоскости в другую вызывает программу числового решателя из библиотеки 114 программ для решения совместных уравнений, которые определяют плоскость ветрового стекла и линию, проходящую от объектива вдоль линии наблюдения между линзой и трещиной 102. Программа томографического преобразования из одной плоскости в другую программируется в предположении, что плоскость, определяющая ветровое стекло 100, является плоской, и камера 106 наклонена относительно нее. Это обеспечивает пересечение между линией, проходящей от объектива вдоль линии наблюдения, и плоскостью ветрового стекла 100.

Теоретически это можно выразить как вычисление лучей, исходящих из точки в центре камеры через углы датчика/плоскости изображения и на ветровое стекло, которое образует вышеупомянутую трапецию.

Сначала мы получим пересечение лучей с плоскостью, параллельной плоскости изображения, на единичном расстоянии, учитывая горизонтальные и вертикальные углы обзора α_H и α_V, соответственно, как определено выше.

Есть четыре луча, по одному для каждого угла прямоугольного датчика. Минимальные и максимальные значения х могут быть определены как:

Аналогичным образом мы можем определить минимальные и максимальные значения у как:

Затем мы можем определить углы прямоугольного датчика как:

Нормализация этих координат по их величине дает нам направление 4 лучей. Мы определяем направление луча для каждой из этих координат как:

Если мы предположим, что телефон повернут вокруг оси х на θ, мы можем вычислить, что теперь положение центра камеры:

Это позволяет нам определить направление лучей как:

Это дает нам лучи в декартовых координатах с известной точкой пересечения с плоскостью, параллельной плоскости изображения, и теперь мы знаем, что это пересечение происходит только один раз. Это обеспечивает трапецию, показывающую поле обзора в реальном мире.

Мы определяем углы трапеции как:

Мы вычисляем вершины трапеции по формуле пересечения линей плоскости, описанной в [3].

Мы знаем, что нормалью к плоскости ветрового стекла является вектор n=(0,0,-1) и что он лежит на начале абсолютных координат; это означает, что формула пересечения упрощается до:

где точкиопределяют вершины трапеции, которые нам нужны для определения томографического преобразования Н из плоскости изображения в плоскость в реальном мире с использованием метода четырехточечного соответствия между вершинами трапеции и координатами изображения:

где w - ширина изображения, h - высота изображения. Алгоритм, описывающий, как получается это томографическое отображение, обсуждается в [4].

Высота камеры над ветровым стеклом может быть рассчитана модулем 112 анализа повреждений с использованием теоремы Пифагора как расстояние между нижней кромкой мобильного телефона 104 и основанием трещины (то есть длиной мобильного телефона 104), а расстояние между нижней кромкой мобильного телефона 104 и объективом камеры было выбрано из базы 116 данных параметров устройства на этапе S800 и все еще находится в памяти модуля 112 анализа повреждений.

Результат этапа S810 представляет собой вид трапеции в реальном мире (X₁, Х₂, Х₃, Х₄). Сравнение параметров (X₁, Х₂, Х₃, Х₄) и углов заснятого изображения на ветровом стекле (выполняемое модулем 112 анализа повреждений на этапе S812) обеспечивает масштабирование, которое необходимо для преобразования местоположения пикселей камеры 106 в местоположения в миллиметрах на поле обзора на ветровом стекле 100. Это дает нам томографическое отображение из одной плоскости в другую. Масштабирование выполняется в виде матрицы 3×3, которая представляет масштаб, поворот, перекос и сдвиг между полем обзора камеры и ветровым стеклом 100.

Томографическое отображение из одной плоскости в другую делает возможной коррекцию влияния перспективы на снятое изображение и преобразование из размеров в пикселях в миллиметры, что позволяет модулю 112 анализа повреждений получить размерные параметры для трещины 102.

Томографическое отображение из одной плоскости в другую представляет собой матрицу, отображающую плоскость двумерного изображения камеры 106 на плоскость, представляющую ветровое стекло.

Результат томографического отображения из одной плоскости в другую обеспечивает ортотрансформированную маску в миллиметрах, указывающую местоположение и форму трещины.

В ответ на этот результат томографического отображения из одной плоскости в другую, который будет, очевидно, результатом выполнения программы томографического преобразования из одной плоскости в другую, модуль 112 анализа повреждений вызывает программу вычисления выпуклой оболочки из библиотеки 114 программ. Местоположения в миллиметрах в поле обзора ветрового стекла предоставляются для программы вычисления выпуклой оболочки из библиотеки 114 программ.

Таким образом, выпуклая оболочка представляет собой пространство, которое покрывает каждое из местоположений в миллиметрах на поле обзора. Результат программы вычисления выпуклой оболочки представляет собой данные, которые могут быть выражены простыми словами в виде "пятна" (blob), которое будет иметь тот же размер, что и обнаруженная трещина 102. Это позволяет проводить анализ на обнаруженной трещине 102 с использованием пятна.

Модуль 112 анализа повреждений затем вызывает программу наименьшей окружности из библиотеки 114 программ, которая реализует численное решение задачи о наименьшей окружности для выпуклой оболочки, которая выводится из программы вычисления выпуклой оболочки. Этот модуль выдает наименьшую окружность, которая охватывает каждую из точек в выпуклой оболочке и, следовательно, обеспечивает минимальный радиус для трещины 102.

Данные, представляющие выпуклую оболочку, данные, представляющие решение задачи о наименьшей окружности для выпуклой оболочки и рассчитанный радиус для трещины, сохраняются модулем 112 анализа повреждений в хранилище, которое является либо локальным для модуля 108 обработки, либо удаленным относительно модуля 108 обработки.

То есть модуль 112 анализа повреждений использовал геометрические параметры мобильного телефона 104 и параметры камеры 106 для получения радиуса для трещины 102.

Параметры и окружность, выводимые из программы наименьшей окружности, могут быть отображены с использованием модуля 118 отображения на этапе S814.

Пример изображения, которое может быть предоставлено модулем 118 отображения, показан на фиг. 11. В этом случае диаметр наименьшей окружности обозначен как 16 мм, что означает радиус 8 мм. По оценке наибольший диаметр трещины в этом случае составляет 16 мм. Эффект здесь заключается в том, что оценивается минимальный размер для трещины и он может использоваться для определения необходимости замены ветрового стекла.

Оцененный радиус может сравниваться с порогом замены/ремонта посредством модуля 112 анализа повреждений, чтобы определить, требует ли трещина 102 замены или будет ли достаточным ремонт.

Наличие чехла на мобильном телефоне 104, вероятно, приведет к ошибке в измеренных параметрах, поскольку это добавит длину мобильного телефона 104, но ошибка, как правило, составляет около 3%. Допустимая погрешность 3% встроена в вычисления модуля 112 анализа повреждений и представлена на дисплее модулем 118 отображения.

Возможно также, что расстояние между основанием мобильного телефона 104 и камерой 106 будет недоступно из базы данных параметров устройства 116. В этом случае мы можем оценить параметр для повышения надежности описанного способа.

Мы можем использовать инклинометр, встроенный в мобильный телефон 104, чтобы получить угол мобильного телефона при съемке изображения трещины 102. Этот угол можно использовать для вычисления высоты h с помощью уравнения:

где l - длина мобильного телефона 104, а угол θ - угол, полученный инклинометром.

Аналогично, угол телефона можно оценить с помощью угла обзора, разрешения изображения и размера датчика.

Как описано в связи с первым способом, в предпочтительной форме осуществления изобретения модуль 108 обработки изображения реализован в виде программного компонента, загружаемого в мобильный телефон. Это может быть реализовано путем загрузки программного компонента в качестве приложения. Программный компонент способен обрабатывать данные изображения из камеры, чтобы определить, является ли повреждение ремонтопригодным или может потребоваться замена панели остекления в качестве предпочтительного решения.

Модуль 112 анализа повреждений может быть программным компонентом, загружаемым в мобильный телефон предпочтительно в виде одной загрузки в сочетании с модулем 108 обработки изображения. Один загруженный программный компонент I, предпочтительно выполняется с возможностью обработки данных изображения из камеры телефона и анализа повреждений с использованием одного или нескольких алгоритмов, реализованных в программном обеспечении.

Модуль 112 анализа повреждений работает так, чтобы предоставить на дисплее предупреждение о том, требуется ли полная замена ветрового стекла, на основе радиуса наименьшей окружности. Если трещина 102 превышает заданный порог, тогда модуль 112 анализа повреждений будет указывать на необходимость замены ветрового стекла. Предупреждение может отображаться на дисплее мобильного телефона 104.

Следует отметить, что вышеупомянутые формы осуществления иллюстрируют, а не ограничивают изобретение, и специалисты в данной области техники смогут разработать множество альтернативных форм осуществления в пределах объема изобретения, который определен прилагаемой формулой изобретения. В формуле изобретения любые ссылочные знаки, помещенные в круглые скобки, не должны толковаться как ограничивающие формулу изобретения. Слово "содержащий", "содержит" и тому подобное не исключают наличия элементов или шагов, отличных от тех, которые указаны в любом пункте формулы изобретения или описании в целом. В настоящем описании "содержит" означает "включает в себя или состоит из" и "содержащий" означает "включающий в себя или состоящий из". Ссылка на элемент, употребленная в единственном числе, не исключает ссылки на такие элементы во множественном числе, и наоборот. Изобретение может быть реализовано с помощью аппаратного обеспечения, содержащего несколько отдельных элементов, и с помощью специально запрограммированного компьютера. В пункте формулы изобретения для устройства, перечисляющем несколько средств, некоторые из этих средств могут быть реализованы одним и тем же аппаратным обеспечением. Факт того, что определенные меры перечислены в различных зависимых пунктах, не указывает на то, что комбинация этих мер не может быть использована с выгодой.

Ссылочный материал

[1] http://www.mathworks.com/tagteam/6419991822v00_eddins_final.pdf.

[2] https://en.wikipedia.org/wiki/closing_(morphology).

[3] Joseph O'Rourke "Computational Geometry in C", Cambridge University Press, 2012.

[4] Richard Hartley and Andrew Zisserman "Multiple View Geometry in Computer Vision", Cambridge University Press, 2011.

1. Способ анализа повреждений для анализа повреждений в панели остекления транспортного средства, содержащий:

получение изображения повреждения в панели остекления транспортного средства; и

обработку изображения повреждения;

при этом изображение снимают мобильным вычислительным устройством, удерживаемым в контакте с поверхностью панели остекления, причем мобильное вычислительное устройство содержит камеру, и его наклоняют для просмотра повреждения в заданном местоположении в поле обзора камеры, а заданное местоположение указывают знаками, отображаемыми на мобильном вычислительном устройстве;

при этом способ также включает:

размещение мобильного вычислительного устройства плоскостью на поверхности панели остекления;

поворот мобильного вычислительного устройства от панели остекления, при этом по меньшей мере часть мобильного вычислительного устройства остается в контакте с панелью остекления; и

использование геометрических параметров мобильного вычислительного устройства и параметров объектива камеры для оценки размера повреждения.

2. Способ по п. 1, который включает в себя:

определение необходимости замены или ремонта панели остекления на основе обработки изображения.

3. Способ по любому из предыдущих пунктов, в котором изображение повреждения снимают под углом к панели остекления транспортного средства.

4. Способ по п. 1, в котором камеру располагают в заданном положении относительно повреждения перед поворотом мобильного вычислительного устройства.

5. Способ по п. 4, включающий выставление детали мобильного вычислительного устройства в заданной позиции относительно повреждения перед поворотом мобильного вычислительного устройства.

6. Способ по п. 5, включающий выравнивание края мобильного вычислительного устройства с самой низкой точкой повреждения перед поворотом мобильного вычислительного устройства.

7. Способ по любому из пп. 1-6, включающий поворот мобильного вычислительного устройства до тех пор, пока повреждение не будет доступно для просмотра в заданном местоположении в поле обзора камеры.

8. Способ по п. 7, в котором заданное местоположение является центром поля обзора камеры.

9. Способ по п. 1, в котором геометрические параметры мобильного вычислительного устройства используют для определения угла поворота между мобильным вычислительным устройством и панелью остекления.

10. Способ по п. 1 или 9, в котором обработка изображения дополнительно основана на параметрах интегральной схемы для камеры и/или мобильного вычислительного устройства.

11. Способ по любому из пп. 1-10, в котором обработка изображения создает набор точек данных, которые используют для получения диаметра повреждения или зоны в пределах повреждения.

12. Способ по любому из пп. 1-11, в котором способ дополнительно включает в себя: определение необходимости замены или ремонта панели остекления транспортного средства на основе расчетного размера повреждения.

13. Способ анализа повреждений для анализа повреждений в панели остекления транспортного средства, содержащий:

получение изображения повреждения в панели остекления транспортного средства; и

обработку изображения повреждения, при этом способ также включает:

идентификацию центра повреждения и одного или нескольких лучей повреждения;

получение коэффициента масштабирования, указывающего относительную длину одного или нескольких лучей повреждения по сравнению с размером центра повреждения; и

оценку длины одного или нескольких лучей с использованием коэффициента масштабирования,

при этом оценка длины одного или нескольких лучей повреждения включает умножение коэффициента масштабирования на заранее заданное значение.

14. Способ по п. 13, в котором заранее заданное значение представляет собой предварительно определенную оценку фактического размера центра повреждения, причем размер представляет собой диаметр, ширину и/или длину центра повреждения.

15. Способ по п. 13 или 14, в котором расчетную длину одного или нескольких лучей используют для указания размера повреждения, а размер повреждения сравнивают с пороговым параметром для определения необходимости замены или ремонта панели остекления.

16. Способ по любому из предыдущих пунктов, в котором обработка изображения для идентификации повреждения включает в себя фильтрацию изображения для удаления фоновой части.

17. Способ по п. 16, в котором фильтрация изображения включает в себя применение к изображению морфологического улучшения.

18. Способ по п. 16 или 17, включающий вывод сигнала, указывающего, нужно ли отремонтировать или заменить ветровое стекло.

19. Устройство для анализа повреждений в панели остекления транспортного средства, которое содержит:

камеру для получения изображения повреждения в панели остекления транспортного средства; и

модуль обработки для обработки изображения повреждения согласно способу по любому из пп. 1-18.

20. Реализуемый с помощью компьютера способ определения технической информации, касающейся повреждения, присутствующего в панели остекления транспортного средства, причем способ включает в себя этап загрузки программного компонента в мобильное вычислительное устройство, имеющее камеру, при этом программный компонент выполнен с возможностью обработки информации изображения повреждения в панели остекления транспортного средства, снимаемого камерой, чтобы определить, может ли панель остекления транспортного средства быть отремонтирована или предпочтительна ее замена, при этом программный компонент сконфигурирован для выполнения этапов способа по любому из пп. 1-18.