Тест-объект для одновременной калибровки телевизионной и инфракрасной видеокамер с различными полями зрения
Владельцы патента RU 2719429:
Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет" (RU)
Изобретение относится к области вычислительной техники. Технический результат заключается в создании устройства для калибровки камер видимого и/или инфракрасного диапазонов, позволяющего при фиксированном положении тест-объекта обеспечить рекомендуемый ракурс его съемки как для узкоугольной, так и для широкоугольной камеры. Заявлен тест-объект, содержащий основную теплопроводящую пластину с выемкой, съемную теплопроводящую пластину, соразмерную выемке, и электронагревательный элемент. На одной из сторон основной теплопроводящей пластины сформировано поле из чередующихся в шахматном порядке темных и светлых правильных многоугольников с длиной стороны L1. На одной из сторон съемной теплопроводящей пластины также сформировано поле из чередующихся в шахматном порядке темных и светлых правильных многоугольников с длиной стороны L1, а на противоположной - аналогичное поле из правильных многоугольников с длиной стороны L2, L2<L1, причем соотношение L1/L2 является натуральным числом. Обе теплопроводящие пластины выполнены из светлого материала с высокой теплопроводностью, а нанесенные на них в шахматном порядке элементы - из тонкой полимерной пленки темного цвета. 7 ил.
Изобретение относится к области вычислительной техники и может быть использовано для определения и приведения к заданным значениям параметров видеокамер видимого и инфракрасного (ИК) диапазонов длин волн.
Из уровня техники известно устройство для калибровки (патент CN 204695399, опубликовано 29.06.2015, МПК: G06T 7/00), состоящее из теплопроводящей пластины с нанесенным на одну из ее поверхностей изображением типа «шахматное поле», нагревательной плиты и корпуса, в который помещаются пластина и нагревательная плита. После включения нагревательной плиты тепловой контраст обеспечивается за счет размещения за темными клетками шахматного поля полостей, заполненных газом или жидкостью с низкой теплопроводностью. Недостатком такого устройства являются сложность изготовления пластины с полостями и ее большая толщина.
Известно устройство для калибровки телевизионных (ТВ) и тепловизионных камер (патент CN 204287725, опубликовано 17.11.2014, МПК: G03B 43/00, G01J 5/52), состоящее из двух плоскопараллельных пластин: темной нижней и светлой верхней, разделенных для обеспечения теплового контраста диэлектрическими столбиками с низкой теплопроводностью. Нижняя пластина является нагреваемой, а в верхней проделаны круглые отверстия для формирования на кадрах камер тестового изображения типа «точечное поле». Недостатком устройства является меньшее, по сравнению с состоящими из единственной плиты планарными тест-объектами, рабочее пространство, в котором наблюдается его резкое изображение: ввиду особенностей конструкции и не равной нулю толщине верхней пластины существуют такие ракурсы съемки тест-объекта, при которых изображения части его особых точек (отверстий в верхней пластине) не будут наблюдаться.
Известны способ и устройство для калибровки камеры (патент RU 2662411, опубликовано 25.07.2018, МПК: G06T 7/80 (2017.01), G01B 11/06 (2006.01), G01B 11/27 (2006.01)), в котором в качестве тест-объекта применяются два щита: первый, с нанесенным на него шаблоном типа «шахматное поле» с тремя дополнительными точечными мишенями, и второй - с точечной мишенью. Калибровка с использованием данного устройства позволяет определить высоту установки камеры транспортного средства относительно уровня земли. Недостатком устройства является отсутствие теплового контраста первого и второго щитов, что не позволяет использовать их для калибровки ИК камер.
В качестве прототипа выбран наиболее близкий по совокупности признаков планарный тестовый шаблон для калибровки видеодатчиков многоспектральной системы технического зрения (патент RU 2672466, опубликовано 14.11.2018, МПК: G06T 7/80 (2017.01)), представляющий собой светлую теплопроводящую пластину с электронагревательным элементом, на одну из сторон которой нанесено изображение типа «шахматное поле». Темные клетки указанного тестового шаблона сформированы путем нанесения на пластину тонкой темной полимерной (например, виниловой) пленки, за счет которой обеспечивается тепловой контраст для ИК камеры.
Поскольку ИК камера, как правило, имеет меньшее разрешение кадра, чем ТВ камера, то в системах улучшенного видения с целью обеспечения одинакового углового разрешения при попиксельном комплексировании каналов видимого и ИК диапазонов применяют ИК камеру с узким полем зрения: в результате после совмещения изображений кадр ИК камеры занимает только центральную часть результирующего кадра, формируемого в режиме комплексирования (Ефимов А.И., Новиков А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений // Компьютерная оптика. 2016. Т. 40, №2. С. 258-265). В то же время при фотограмметрической калибровке для снижения погрешности оценивания матриц внутренних и внешних параметров камер, а также коэффициентов дисторсии их объективов, рекомендуется выполнять съемку тест-объекта с таких ракурсов, при которых его проекции на плоскость изображения занимают не менее 50% площади кадра и располагаются в различных его частях (Лазарева Н.С. Калибровка неметрических малоформатных камер с целью применения их для решения некоторых задач фотограмметрии // Фотограмметрия и дистанционное зондирование. 2011. №1. С. 80-91; Толкачев Д.С. Повышение точности калибровки внешних параметров видеокамеры // Инженерный вестник Дона. 2013. Т. 26, №3). Недостатком тестового шаблона прототипа при фотограмметрической калибровке камер с различием угловых размеров полей зрения в два раза и более является невозможность выполнения указанной рекомендации: при рекомендованном положении изображения тест-объекта в кадре широкоугольной камеры (например, как на фиг. 1) его изображение выйдет за пределы кадра узкоугольной камеры (фиг. 2), а при рекомендованном положении тест-объекта для узкоугольной камеры (фиг. 1) - будет занимать менее 50% площади кадра широкоугольной камеры (фиг. 3), что приведет к увеличению погрешности оценивания координат особых точек тест-объекта и, как следствие, к увеличению погрешности оценивания калибровочных параметров.
Техническая проблема, решаемая созданием заявленного изобретения, заключается в отсутствии простых в изготовлении и имеющих малое время готовности к работе универсальных тест-объектов для одновременной калибровки камер и видимого, и инфракрасного диапазонов с различием полей их зрения в 2 раза и более.
Технический результат изобретения заключается в создании устройства для калибровки камер видимого и/или инфракрасного диапазонов, позволяющего при фиксированном положении тест-объекта обеспечить рекомендуемый ракурс его съемки как для узкоугольной, так и для широкоугольной камеры.
Технический результат достигается тем, что рекомендуемый ракурс съемки тест-объекта обеспечивается изменением размера упорядоченных геометрических элементов нанесенного на него изображения калибровочного шаблона. Для этого центральную часть тест-объекта выполняют съемной (фиг. 4): например, в основной пластине 1 тест-объекта протачивается выемка глубиной t<Т, где Т - толщина основной пластины, и предусматриваются отверстия с резьбой 2, а на съемной пластине 3 толщиной t имеются конструктивные элементы, например, отверстия для винтов 4, для крепления к основной части тест-объекта. Сзади основной пластины 1 размещается электронагревательный элемент 5 с терморегулятором 6, а также ребра жесткости 7 для обеспечения плоскостности. При этом на одну из сторон съемной пластины 3 наносят калибровочный шаблон с правильными многоугольниками с длиной стороны L1 (позиция 2 на фиг. 5), как и на несъемной части тест-объекта (позиция 1 на фиг. 5), а на противоположную сторону - шаблон с правильными многоугольниками с длиной стороны L2=L1/n (фиг. 6), где n=2, 3, 4, … -натуральное число, для которого обеспечивается минимум абсолютного значения |Δϕ1/Δϕ2 - n|, а Δϕ1 и Δϕ2 - соответственно поля зрения широкоугольной и узкоугольной камер. При этом длина и ширина съемной части тест-объекта оказываются в n раз меньшими соответствующих линейных размеров калибровочного шаблона, а количество особых точек N1 и N2 - соответственно углов многоугольников с длинами сторон L1 и L2 - остается неизменным, в том числе и с сохранением количества особых точек в строке и столбце. Это иллюстрирует фиг. 6, где предполагается, что |Δϕ1/Δϕ2 ≈ 2, а правильные многоугольники представляют собой квадраты.
Равное количество особых точек позволяет при оценке внешних параметров камер (стереокалибровке) использовать стандартные функции библиотек OpenCV или инструмента Camera Calibration Toolbox для MATLAB.
Тест-объект используют следующим образом. Для калибровки разноспектральных видеокамер с различными полями зрения тест-объект устанавливают перед камерами таким образом, чтобы его изображение целиком попадало в кадр камеры с большим полем зрения, а его съемная часть - в кадр камеры с меньшим полем зрения, причем площади изображения тест-объекта и его съемной части составляют не менее 50% площади кадров. Меняя положение тест-объекта (либо положение конструктивно связанных калибруемых разноспектральных камер) таким образом, чтобы его изображения располагались как в центральной части кадров, так и по краям, сохраняют серии кадров, снятых с различных ракурсов, для двух положений съемной части тест-объекта:
1) с многоугольниками с длиной стороны L1 (для широкоугольной камеры);
2) с многоугольниками с длиной стороны L2 (для узкоугольной камеры).. На каждом ракурсе съемки (рекомендуемое количество ракурсов - не менее 15) фиксируют два кадра:
1) для широкоугольной камеры с полем зрения Δϕ1 - тест-объект с шаблоном из многоугольников с длиной стороны L1,
2) для узкоугольной камеры с полем зрения Δϕ2 - съемную часть тест-объекта с шаблоном из многоугольников с длиной стороны L2.
Если в поле зрения узкоугольной камеры при этом попадают особые точки многоугольников с длиной стороны L1, то перед выполнением алгоритма калибровки они удаляются из кадров: например, вручную в графическом редакторе.
Далее в каждом из кадров автоматически выделяют пиксельные координаты опорных точек (углов темных многоугольников), которые затем используются в алгоритме калибровки.
В процессе обработки полученных серий кадров осуществляют ввод значений параметров тестового калибровочного шаблона: длин сторон многоугольников L1 для широкоугольной камеры и L2 для узкоугольной, а также количества особых точек по горизонтали и вертикали. Далее оценивают матрицы внутренних параметров камер и коэффициенты дисторсии их объективов: для каждой камеры - по своей серии кадров. Затем по особым точкам, пространственные координаты которых одинаковы как для широкоугольной камеры, так и для узкоугольной (на фиг. 7 отмечены окружностями) оценивают внешние параметры камер: матрицу поворота и вектор параллельного переноса.
Тест-объект для одновременной калибровки телевизионной и инфракрасной видеокамер с различными полями зрения, содержащий теплопроводящую пластину и электронагревательный элемент, причем теплопроводящая пластина выполнена из светлого материала с высокой теплопроводностью, а на одной из ее сторон сформировано поле из чередующихся в шахматном порядке темных и светлых элементов, причем темные элементы выполнены из тонкой полимерной виниловой пленки в виде правильных многоугольников, квадратов с длиной стороны L1, и углы указанных многоугольников являются опорными точками изображения калибровочного шаблона, отличающийся тем, что центральная часть тест-объекта является съемной и имеет конструктивные элементы: отверстия для винтов для крепления к основной части тест-объекта, на одну из ее сторон нанесен калибровочный шаблон с правильными многоугольниками с длиной стороны L1, как и на несъемной части тест-объекта, а на противоположную сторону - шаблон с правильными многоугольниками с длиной стороны L2=L1/n, где n - натуральное число, n=2, 3, 4, …, для которого обеспечивается минимум абсолютного значения |Δϕ1/Δϕ2 - n|, где Δϕ1 и Δϕ2 - соответственно поля зрения широкоугольной и узкоугольной камер, длина и ширина съемной части тест-объекта в n раз меньше соответствующих линейных размеров нанесенного на тест-объект поля, а общее количество особых точек N1 и N2 - углов многоугольников с длинами сторон L1 и L2 - одинаково.
