Способ внешней калибровки бинокулярной системы технического зрения

Изобретение относится к области информационно-измерительных систем. Способ внешней калибровки бинокулярной системы технического зрения (СТЗ) основан на применении подводного манипулятора, в схвате которого установлен калибровочный объект. С помощью штатной системы управления (СУ) манипулятора калибровочный объект выводят в исходную точку рабочего пространства видеокамеры. Координаты путем типовых ортогональных преобразований переводят в прямоугольную систему координат (СК), две оси которой располагают в плоскости изображения левой видеокамеры, а третью направляют вдоль оптической оси левой видеокамеры, определяют трехмерные координаты калибровочного объекта в СК, связанной с СТЗ, которые после этого запоминают в исходной ячейке трехмерной матрицы памяти, разности между соответствующими тремя координатами калибровочного объекта, найденными с помощью СТЗ и полученными после ортогонального переноса из связанной с основанием манипулятора СК, заносят в эту же ячейку матрицы памяти, затем строят плоскость, в которой находится калибровочный объект и которая перпендикулярна оптическим осям видеокамер СТЗ, манипулятором переносят калибровочный объект в другое наблюдаемое СТЗ положение этой плоскости, три координаты нового положения калибровочного объекта в СТЗ и три разности между указанными выше координатами последовательно запоминают в следующей ячейке матрицы памяти, эту же процедуру равномерного переноса манипулятором калибровочного объекта в новые наблюдаемые СТЗ положения, а также фиксации в соответствующих местах однотипных ячеек матрицы памяти числовой информации о погрешностях и искажениях в реальном расположении калибровочного объекта, возникающих на рассматриваемой плоскости, повторяют определенное количество раз, которое зависит от заданной точности калибровки и расстояния рассматриваемой плоскости от плоскости изображения левой видеокамеры СТЗ с учетом величины ее сектора обзора. Изобретение повышает точность калибровки. 2 ил.

 

Изобретение относится к области информационно-измерительных систем и, в частности, к системе технического зрения, используемой в водной среде для определения трехмерных координат конкретных точек объектов.

Известен способ калибровки цифровой видеокамеры для адаптивного процесса намотки композиционных материалов на многокоординатных намоточных станках с числовым программным управлением, предусматривающий калибровку видеокамер, где в качестве исходной информации используют координаты точек калибровочного объекта в системе координат намоточного станка и координаты образов этих точек в системе координат плоскости изображения видеокамеры, расчет параметров калибровки, отличающийся тем, что калибровочный объект устанавливают перед видеокамерой таким образом, чтобы он полностью находился в рабочей зоне кадра намотки композиционного материала, при этом калибровочный объект выполнен в виде плоскости, состоящей из N≥12 черных прямоугольников, размеры сторон черного прямоугольника калибровочного объекта равны по длине A=L/(2n+1), по ширине B=H/(2f+1), где L, Н - длина и ширина рабочей области калибровочного объекта; n, f - количество прямоугольников по длине и ширине калибровочного объекта, причем расстояние между этими прямоугольниками составляет A=L/(2n+1), при этом калибровочный объект расположен в плоскости OYZ системы координат намоточного станка, а ось ОХ рабочей области намотки направлена в сторону видеокамеры, перед которой устанавливают калибровочный объект и с помощью которой делают снимок, на котором получают отображение калибровочного объекта в системе координат видеокамеры, определяют проекцию калибровочного объекта на плоскости изображения видеокамеры, а затем определяют угловые точки калибровочного объекта, по которым строят криволинейную сетку отображения калибровочного объекта на плоскости изображения видеокамеры с параметризацией по длине дуги, затем передвигают калибровочный объект в направлении видеокамеры или от нее на расстояние с шагом h=D/G, где D - где глубина рабочей области намотки композиционного материала, G - количество шагов, и повторяют предшествующие действия, полученную криволинейную сетку с угловыми точками отображают на плоскости калибровочного объекта и получают проекцию с экрана в координатах видеокамеры на плоскости калибровочного объекта в координатах намоточного станка, получают при этом первую дисторсию, затем вторую дисторсию, отодвинув калибровочный объект на шаг h=D/G, и так до десяти снимков подряд, затем все соответствующие угловые точки дисторсий десяти снимков аппроксимируют линейной функцией и получают пучок лучей, пересекающихся в бесконечности, тем самым производят калибровку видеокамеры, а в памяти компьютера сохраняют все точки десяти сеток, затем берут композиционный материал в виде композиционной ленты черного цвета в начальном положении и производят видеокамерой снимок композиционной ленты между плоскостью калибровочного объекта и видеокамерой, точно зная точку пересечения композиционной ленты с плоскостью движения раскладчика композиционной ленты, делают снимки, композиционную ленту отображают на все десять сеток калибровки, затем с этих сеток отображают на плоскость изображения на видеокамере калибровочного объекта и линейно аппроксимируя, получают по отображениям проецирующую плоскость, после чего берут две точки произвольно на одной прямой и одну точку на другой прямой и то же самое производят со второй видеокамерой, получают две проецирующие плоскости, пересекающиеся по прямой линии, а с помощью прямой линии получают положение калиброванной композиционной ленты в пространстве намоточного станка, определяя точку пересечения прямой с плоскостью движения раскладчика композиционной ленты, затем сравнивают точки пересечения композиционной ленты с плоскостью движения раскладчика композиционной ленты и прямой, полученной с помощью двух проецирующих плоскостей, которые сходятся в одной точке точной калибровки для двух видеокамер (Патент РФ №2295109. Бюл. №7, 10.03.2018).

Недостатком этого способа является невозможность точного определения 3D координат конкретных точек объектов в наблюдаемом пространстве без использования длительной и сложной процедуры калибровки видеокамеры, требующей перемещения специально изготовленного наблюдаемого калибровочного объекта, без ручного измерения положений маркеров с помощью уровней и лазерных дальномеров, а также без проведения большого количества последующих дополнительных действий.

Известен также способ внешней калибровки бинокулярной системы технического зрения, включающий определение калибровочного объекта путем построения функций принадлежности всех возможных калибровочных объектов на изображении и последующий выбор объекта с наибольшим значением функции принадлежности, определение расхождения фокусных расстояний видеокамер, входящих в состав бинокулярной системы технического зрения, и приведение его к нулевому значению, определение углов отклонения осей локальных декартовых систем координат видеокамер относительно декартовой системы координат бинокулярной системы технического зрения, определяющих вектора направлений взгляда каждой видеокамеры, и приведение их к нулевым значениям, отличающийся тем, что дополнительно определяют расхождение глубины и высоты установки видеокамер и приводят эти расхождения к нулевым значениям, определяют величину базы между видеокамерами с приведением ее к заданному значению. (Патент РФ №2286598, Бюл. №30, 2006)

Этот способ является наиболее близким к предлагаемому изобретению. Но его недостатком также является большая сложность его реализации, вытекающая из необходимости построения функций принадлежности всех возможных калибровочных объектов на изображении и точного изменения всех ориентаций видеокамер калибруемой системы технического зрения (СТЗ).

Технический результат, получаемый при решении поставленной задачи, заключается в том, что перед началом работы СТЗ формируется трехмерная матрица соответствия значений координат произвольных точек рабочего пространства, видимых СТЗ, и их реальных координат в используемой связанной с СТС системе координат (СК). Эта матрица учитывает реальные преломления света на границах различных по физическим свойствам сред, а также все возникающие искажения наблюдаемых объектов, исключает трудоемкое создание перспективных моделей видеокамер СТЗ, а также обеспечивает в дальнейшем точное позиционирование всех характерных точек этих объектов в используемой СК СТЗ.

Поставленная задача решается тем, что калибруемую систему технического зрения, оси видеокамер которой параллельны друг другу, располагают в водной среде, определяемый ею калибровочный объект фиксируют в схвате подводного манипулятора в исходной точке рабочего пространства СТЗ, решая прямую задачу кинематики определяют трехмерные координаты калибровочного объекта в прямоугольной СК, связанной с основанием манипулятора, затем эти координаты путем типовых ортогональных преобразований переводят в прямоугольную СК, две оси которой располагают в плоскости изображения левой видеокамеры, а третью направляют вдоль оптической оси левой видеокамеры, с помощью СТЗ определяют трехмерные координаты калибровочного объекта в СК, связанной с СТЗ, которые после этого запоминают в исходной ячейке трехмерной матрицы памяти, разности между соответствующими тремя координатами калибровочного объекта, найденными с помощью СТЗ и полученными после ортогонального переноса из связанной с основанием манипулятора СК, заносят в эту же ячейку матрицы памяти, затем строят плоскость, в которой находится калибровочный объект и которая перпендикулярна оптическим осям видеокамер СТЗ, манипулятором переносят калибровочный объект в другое наблюдаемое СТЗ положение этой плоскости, три координаты нового положения калибровочного объекта в СТЗ и три разности между указанными выше координатами последовательно запоминают в следующей ячейке матрицы памяти, эту же процедуру равномерного переноса манипулятором калибровочного объекта в новые наблюдаемые СТЗ положения, а также фиксации в соответствующих местах однотипных ячеек матрицы памяти числовой информации о погрешностях и искажениях в реальном расположении калибровочного объекта, возникающих на рассматриваемой плоскости, повторяют определенное количество раз, которое зависит от заданной точности калибровки и расстояния рассматриваемой плоскости от плоскости изображения левой видеокамеры СТЗ с учетом величины ее сектора обзора, все сформированные для конкретной плоскости ячейки памяти систематизируют по их расположению на этой плоскости и помещают в один двумерный массив трехмерной матрицы памяти, аналогичную процедуру выполняют для любого количества других плоскостей, перпендикулярных оптической оси левой видеокамеры, располагающихся на различном расстоянии от СТЗ, это количество определяют, исходя из требуемой точности калибровки и прозрачности водной среды, все сформированные для каждой плоскости двумерные массивы ячеек памяти, помещают последовательно на соответствующее место в трехмерной матрице памяти с учетом расстояний этих плоскостей от плоскости изображения левой видеокамеры, всю процедуру предложенного способа калибровки бинокулярной СТЗ повторяют до полного заполнения указанной трехмерной матрицы памяти.

Сопоставительный анализ существенных признаков заявляемого способа с существенными признаками аналогов и прототипа свидетельствует о его соответствии критерию "новизна".

При этом отличительные признаки формулы изобретения решают следующие функциональные задачи.

Признак «…калибровочный объект фиксируют в схвате подводного манипулятора в исходной точке рабочего пространства СТЗ, решая прямую задачу кинематики определяют трехмерные координаты калибровочного объекта в прямоугольной системе координат связанной с основанием манипулятора…» позволяет автоматически с необходимой точностью определить координаты реальной трехмерной точки пространства в прямоугольной СК, жестко связанной с основанием манипулятора. Такой подход исключает процедуру построения функций принадлежности калибровочных объектов и измерения ориентации видеокамер СТЗ.

Признак «…координаты путем типовых ортогональных преобразований переводят в прямоугольную систему координат, две оси которой располагают в плоскости изображения левой видеокамеры, а третью направляют вдоль оптической оси левой видеокамеры…» позволяет точно определить координаты реальной трехмерной точки рабочего пространства калибруемой СТЗ в связанной с ней СК.

Признак «…с помощью СТЗ определяют трехмерные координаты калибровочного объекта в системе координат, связанной с СТЗ, которые после этого запоминают в исходной ячейке трехмерной матрицы памяти, разности между соответствующими тремя координатами калибровочного объекта, найденными с помощью СТЗ и полученными после ортогонального переноса из связанной с основанием манипулятора системы координат, заносят в эту же ячейку матрицы памяти…» обеспечивает возможность фиксации и запоминания трех координат точки рабочего пространства в связанной с СТЗ СК, причем получаемые координаты, наблюдаемые с помощью СТЗ, содержат пространственные искажения изображения этой точки, вызванные прохождением светового луча через среды с различными оптическими свойствами, а запомненные разности между двумя координатами калибровочного объекта, которые определены СТЗ и манипулятором, в СК, связанной с СТЗ, точно характеризуют величины указанных искажений.

Признак «…строят плоскость, в которой находится калибровочный объект и которая перпендикулярна оптическим осям видеокамер СТЗ, манипулятором переносят калибровочный объект в другое наблюдаемое СТЗ положение этой плоскости, три координаты нового положения калибровочного объекта в СТЗ и три разности между указанными выше координатами последовательно запоминают в следующей ячейке матрицы памяти, эту же процедуру равномерного переноса манипулятором калибровочного объекта в новые наблюдаемые СТЗ положения, а также фиксации в соответствующих местах однотипных ячеек матрицы памяти числовой информации о погрешностях и искажениях в реальном расположении калибровочного объекта, возникающих на рассматриваемой плоскости, повторяют определенное количество раз, которое зависит от заданной точности калибровки и расстояния рассматриваемой плоскости от плоскости изображения левой видеокамеры СТЗ с учетом величины ее сектора обзора…» позволяет сформировать двумерную матрицу (массив) памяти, состоящую из системно и равномерно расположенных и удаленных друг от друга (в соответствии с координатами наблюдаемых точек) ячеек памяти, содержащих координаты точек рабочего пространства калибруемой видеокамеры, расположенных в соответствующей перпендикулярной оптической оси левой видеокамеры СТЗ плоскости, и разности, определяющие искажения в соответствующей точке пространства.

Признак «…аналогичную процедуру выполняют для любого количества других плоскостей, перпендикулярных оптической оси левой видеокамеры, располагающихся на различном расстоянии от СТЗ, это количество определяют, исходя из требуемой точности калибровки и прозрачности водной среды, все сформированные для каждой плоскости двумерные массивы ячеек памяти, помещают последовательно на соответствующее место в трехмерной матрице памяти с учетом расстояний этих плоскостей от плоскости изображения левой видеокамеры, всю процедуру предложенного способа калибровки бинокулярной СТЗ повторяют до полного заполнения указанной трехмерной матрицы памяти…» обеспечивает построение требуемого количества двумерных массивов (матриц), формирующих полную трехмерную матрицу памяти, которая необходима для решения задачи точной пространственной калибровки любой точки всего объема рабочего пространства, наблюдаемого калибруемой СТЗ.

На Фиг. 1 показана обобщенная схема произвольного многостепенного манипулятора, с помощью которого реализуют предлагаемый способ калибровки любой подводной СТЗ, а на Фиг. 2 - обобщенная схема угловой перспективы СТЗ без учета реальных искажений и преломлений света, реально возникающих на границах различных сред, поясняющая только суть предложенного нового способа калибровки.

На Фиг. 1 введены следующие обозначения: 1 - манипулятор; 2 - его схват; 3 - установленный в схвате калибровочный объект; x₂y₂z₂ - СК жестко связанной с основанием манипулятора 1.

На Фиг. 2 для бинокулярной СТЗ введены обозначения: 1 - точки фокуса; 2 - оптические оси; 3 - плоскости изображений; 4 - рабочее пространство, ограниченное зоной перекрытия СТЗ (находясь в этой зоне, калибровочный объект одновременно наблюдаем обеими видеокамерами СТЗ); 5 - плоскость, перпендикулярная оптическим осям видеокамер СТЗ, расположенная в ее рабочем пространстве; 6 - текущее расположение калибровочного объекта; 7 - проекции калибровочного объекта на плоскости изображений; 8 - расстояние между точками фокуса, определяющее размер зоны перекрытия (размер рабочего пространства СТЗ); f - фокусное расстояние левой видеокамеры; L - расстояние от плоскости 3 изображения левой видеокамеры СТЗ до очередной плоскости 5 в зоне обзора СТЗ (их общее количество ограничено глубиной резкости видеокамер СТЗ и зависит от точности калибровки).

Для реализации нового способа точной калибровки подводной СТЗ перед ее использованием применяется подводный манипулятор 1, в схвате которого установлен калибровочный объект 3 (см. Фиг. 1). Три пространственные координаты этого объекта в СК x₂y₂z₂, жестко связанной с основанием манипулятора 1, определяют с учетом параметров его звеньев (конструкцией манипулятора) и текущих значений всех его обобщенных координат. С помощью штатной системы управления (СУ) манипулятора 1 после решения обратной задачи его кинематики калибровочный объект 3 выводят в первую исходную точку 6 рабочего пространства СТЗ 4 (см. Фиг. 2) и обеспечивают преобразования прямоугольных координат этого объекта из СК x₂y₂z₂ в СК x₁y₁z₁. Оси y₁ и z₁ СК x₁y₁z₁ лежат в плоскости изображения 3 левой видеокамеры СТЗ и жестко связаны с ней, а ось x₁ совпадает с оптической осью этой видеокамеры (см. Фиг. 2).

По наблюдаемым с помощью СТЗ изображениям калибровочного объекта 3 (см. Фиг. 1) определяют три его координаты x₁, y₁ и z₁ (с учетом всех реальных оптических искажений, появляющихся в результате преломления лучей света при их переходе через водную среду и стекло защитного бокса) в связанной СК x₁y₁z₁ и последовательно запоминают эти координаты первыми тремя числами в ячейке двумерной матрицы памяти.

После этого определяют и заносят в эту же ячейку памяти три другие числа, которые являются разностями между соответствующими координатами объекта 3, полученными после их переноса из СК x₂y₂z₂ в СК x₁y₁z₁, и видимыми самой СТЗ в ее СК x₁y₁z₁. Эти три разности определяют все реальные искажения пространства, вносимые видеокамерами калибруемой СТЗ и средой в точке рабочего пространства, совпадающей в текущий момент времени с объектом 3.

После этого, используя оптическую схему, изображенную на фиг.2, и зная расположение оси x₁, строят плоскость A₁, в которой в текущий момент находится объект 3 и которая перпендикулярна оси х₁. Затем манипулятором 1 переносят объект 3 в другое наблюдаемое СТЗ положение этой плоскости. Шаг переноса определяет точность калибровки и зависит от разрешающей способности светочувствительных матриц видеокамер, а также от величины L. Для нового (второго) положения объекта 3 определяют и последовательно запоминают во второй ячейке двумерной матрицы памяти те же шесть чисел, которые описаны ранее. Эту процедуру перемещения манипулятором 1 объекта 3 по плоскости A₁ в следующие новые наблюдаемые СТЗ положения, а также числовую фиксацию этих положений и указанных искажений на рассматриваемой плоскости в соответствующих местах однотипных ячеек двумерной матрицы памяти повторяют определенное количество раз, которое зависит от заданной точности калибровки и величины L с учетом размера зоны перекрытия СТЗ.

Все сформированные ячейки памяти систематизируют по их соответствию конкретным расположениям калибровочного объекта 3 (см. Фиг. 1) на плоскости A₁ (см. Фиг. 2) с учетом текущих значений координат y₁, z₁ СК x₁y₁z₁ и помещают в первый двумерный массив матрицы памяти. Количество строк и столбцов соответствующих ячеек памяти в первой и всех последующих двумерных матрицах памяти определяется размером и разрешающей способностью светочувствительных матриц видеокамер СТЗ и соответствующих им плоскостям 3 изображений (см. 3 на Фиг. 2), а также требуемой точностью калибровки. Аналогичную процедуру построения выполняют для любого выбранного количества других плоскостей А₂, А₃, А₄ и т.д., перпендикулярных оси х₁.

Все созданные для каждой плоскости А₂, A₃, А₄, и т.д. двумерные массивы ячеек памяти, помещают последовательно на соответствующее место в формируемую трехмерную матрицу памяти с учетом их расстояний L от плоскости 3 изображения левой видеокамеры СТЗ. Количество этих плоскостей определяется требуемой точностью калибровки и прозрачностью водной среды. Всю процедуру предложенного способа калибровки СТЗ повторяют до полного заполнения указанной трехмерной матрицы памяти, которая содержит всю необходимую информацию о реальных искажениях, наблюдаемых СТЗ изображений в соответствующих точках рабочего пространства.

Практическая реализация предложенного нового способа внешней калибровки бинокулярной СТЗ не вызывает затруднений, поскольку в этом способе используются типовые устройства.

Способ внешней калибровки бинокулярной системы технического зрения (СТЗ), включающий определение калибровочного объекта, отличающий тем, что калибруемую систему технического зрения, оси видеокамер которой параллельны друг другу, располагают в водной среде, определяемый ею калибровочный объект фиксируют в схвате подводного манипулятора в исходной точке рабочего пространства СТЗ, решая прямую задачу кинематики, определяют трехмерные координаты калибровочного объекта в прямоугольной системе координат, связанной с основанием манипулятора, затем эти координаты путем типовых ортогональных преобразований переводят в прямоугольную систему координат, две оси которой располагают в плоскости изображения левой видеокамеры, а третью направляют вдоль оптической оси левой видеокамеры, с помощью СТЗ определяют трехмерные координаты калибровочного объекта в системе координат, связанной СТЗ, которые после этого запоминают в исходной ячейке трехмерной матрицы памяти, разности между соответствующими тремя координатами калибровочного объекта, найденными с помощью СТЗ и полученными после ортогонального переноса из связанной с основанием манипулятора системы координат, заносят в эту же ячейку матрицы памяти, затем строят плоскость, в которой находится калибровочный объект и которая перпендикулярна оптическим осям видеокамер СТЗ, манипулятором переносят калибровочный объект в другое наблюдаемое СТЗ положение этой плоскости, три координаты нового положения калибровочного объекта в СТЗ и три разности между указанными выше координатами последовательно запоминают в следующей ячейке матрицы памяти, эту же процедуру равномерного переноса манипулятором калибровочного объекта в новые наблюдаемые СТЗ положения, а также фиксации в соответствующих местах однотипных ячеек матрицы памяти числовой информации о погрешностях и искажениях в реальном расположении калибровочного объекта, возникающих на рассматриваемой плоскости, повторяют определенное количество раз, которое зависит от заданной точности калибровки и расстояния рассматриваемой плоскости от плоскости изображения левой видеокамеры СТЗ с учетом величины ее сектора обзора, все сформированные для конкретной плоскости ячейки памяти систематизируют по их расположению на этой плоскости и помещают в один двумерный массив трехмерной матрицы памяти, аналогичную процедуру выполняют для любого количества других плоскостей, перпендикулярных оптической оси левой видеокамеры, располагающихся на различном расстоянии от СТЗ, это количество определяют, исходя из требуемой точности калибровки и прозрачности водной среды, все сформированные для каждой плоскости двумерные массивы ячеек памяти помещают последовательно на соответствующее место в трехмерной матрице памяти с учетом расстояний этих плоскостей от плоскости изображения левой видеокамеры, всю процедуру предложенного способа калибровки бинокулярной СТЗ повторяют до полного заполнения указанной трехмерной матрицы памяти.