Способ блочного сплайнового трансформирования космических изображений местности
Владельцы патента RU 2719559:
Федеральное государственное унитарное предприятие "18 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации (RU)
Изобретение относится к способам фотограмметрической обработки космических изображений местности. Технический результат заключается в ускорении выполнения сплайнового трансформирования космического изображения при отсутствии данных об условиях съемки путем разбиения изображения на фрагменты. Получают опорное и обрабатываемое изображения. Определяют области идентификации опорных точек. Идентифицируют опорные точки на выбранной области. Определяют размеры фрагментов обрабатываемого изображения. Определяют величину перекрытия смежных фрагментов. Разбивают изображение на М фрагментов. Определяют параметры тонкостенного сплайна для каждого фрагмента. Осуществляют трансформирование фрагмента, используя полученную модель. Объединяют фрагменты в единое изображение. 2 ил.
Изобретение относится к способам фотограмметрической обработки космических изображений местности и может быть использовано при обработке данных дистанционного зондирования Земли (ДЗЗ) при отсутствии данных об условиях съемки. Предлагаемый способ позволяет ускорить выполнение сплайнового трансформирования космического изображения при отсутствии данных об условиях съемки путем разбиения изображения на фрагменты. При этом, точность трансформирования остается близкой цельному сплайну.
Известен метод обработки фотограмметрического изображения (патент US 6768813 В1 от 27.07.2004 г.), заключающийся в вычислении значения диапазона отображения на основе позиции камеры и наклонов оптической оси множества изображений в группе, генерации маркера области на основе значения диапазона отображения, отображении маркера области вместе с множеством изображений на экране, маркер области накладывается на карту обзора, обозначение физической точки на маркере области для каждого из множества изображений, отображаемых на экране. Метод использует групповое сжатие изображений, каждое изображение обычно включает целевое размещение в заранее установленной позиции и сконфигурированную для выхода величину смещения и угла наклона, рассчитывает положение камеры для каждого изображения и наклон оптической оси камеры для каждого изображения, вычисляет трехмерные координаты физической точки и генерирует карту обзора на основе трехмерных координат.
Недостатком известного метода является использование данных об условиях съемки (позиция камеры, наклон оптической оси), которые могут не поставляться с изображением.
Известен метод обработки фотограмметрического изображения (патент US 7126616 В2 от 24.10.2006 г.), включающий в себя: определение инверсии геометрически преобразованного нелинейного двухмерного изображения для формирования обратного геометрического преобразования изображения, преобразование обратного геометрического преобразования двухмерного изображения в аналитическую инвертированную геометрическую трансформацию, разделение аналитического обратного геометрического преобразования на первое и второе 1D геометрические преобразования, представление первого и второго геометрических преобразований как преобразованные поверхности, приближение упомянутых поверхностей к многочленам смещения и получение приближенных многочленов для аппаратной реализации, сравнение значений упомянутых первого и второго геометрических преобразований в каждой точке со значением каждой точки аналитического обратного геометрического преобразования и повторения шагов до тех пор, пока упомянутое значение не достигнет установленного уровня представления. Кроме того, метод включает этап выполнения геометрической трансформации на обратной карте между шагами преобразования обратной геометрической трансформации в аналитическую инвертированную геометрическую трансформацию и разделением аналитической обратной геометрической трансформации на два геометрических преобразования. Каждое одномерное геометрическое преобразование делится на сегменты и для каждого сегмента преобразование вычисляется отдельно.
Недостатком известного способа является нарушение непрерывности изображения, ввиду вычисления каждого сегмента отдельно.
Наиболее близким по своей сущности к заявляемому изобретению является прямой способ построения модели нестрогого движения с использованием трансформации тонкостенного сплайна (патент US 7623731 В2 от 24.11.2009 г.). Данный способ состоит из получения первого и второго цифрового изображения из последовательности изображений, определения области шаблона на первом изображении, размещения фиксированного набора опорных точек на выбранной области, определения первого набора пикселей на втором изображении, причем первый набор пикселей соответствует выбранной области шаблона и включает набор величин отлета опорных точек, определение параметров тонкостенного сплайна, трансформацию изображения, используя полученную модель.
Недостатками прототипа является:
1) при увеличении количества опорных точек время расчета параметров трансформирования резко возрастает, поскольку зависимость количества операций, выполняемых при определении этих параметров, от количества опорных точек является нелинейной;
2) добавление новой опорной точки требует полного пересчета параметров трансформации;
3) при определении координат любого пикселя в рамках результирующего изображения используется количество параметров трансформации (тонкостенного сплайна), равное количеству используемых опорных точек, что для больших изображений приводит к недопустимо длительному процессу их трансформирования.
Целью изобретения является сокращение времени выполнения фотограмметрической обработки космических изображений местности со сложным типом рельефа при отсутствии цифровой матрицы рельефа с требуемыми характеристиками, параметров ориентирования снимка и наличии жестких точностных требований к результатам обработки.
Под термином «опорная точка» понимается точка изображения, идентифицированная на местности (опорном изображении), для которой определены ее геодезические координаты.
Под термином «опорное изображение» понимается цифровое космическое изображение местности, для каждого пиксела которого известны геодезические координаты. Опорное изображение может быть использовано наравне с результатами полевых измерений на местности.
Под термином «параметры тонкостенного сплайна» понимаются коэффициенты сплайновой модели трансформирования, имеющей вид:
где (В, L) - значение геодезических координат точки местности, соответствующей пикселу с файловыми координатами (x, у);
а1 - коэффициент смещения по осям координат;
ax и ау- масштабные коэффициенты по соответствующим осям;
N - количество опорных точек;
ωi - весовой коэффициент i-той опорной точки с координатами (xi, yi);
r=||(xi, yi)-(x, y)|| - расстояние от опорной точки до текущего пикселя изображения;
U(r)=r2log r - мера расстояния от опорной точки до текущего пикселя изображения.
Заявляемые преимущества обеспечиваются введением новых операций: получение опорного и обрабатываемого изображения; определение области идентификации опорных точек; идентификация опорных точек на выбранной области; определение размеров фрагментов обрабатываемого изображения; определение величины перекрытия смежных фрагментов; разбиение изображения на М фрагментов; определение параметров тонкостенного сплайна для каждого фрагмента; трансформирование фрагмента, используя полученную модель; объединение фрагментов в единое изображение.
Сопоставительный анализ технического решения со способом, выбранным в качестве прототипа, показывает, что заявляемый способ отличается новыми операциями, такими как: определение размеров фрагментов обрабатываемого изображения; определение величины перекрытия смежных фрагментов; разбиение изображения на М фрагментов; определение параметров тонкостенного сплайна для каждого фрагмента; трансформирование фрагмента, используя полученную модель; объединение фрагментов в единое изображение.
Таким образом, заявляемое техническое решение соответствует критерию изобретения «новизна».
Анализ известных технических решений в исследуемой области и в смежных областях позволяет сделать вывод о том, что введенные операции известны. Однако введение их в способ фотограмметрической обработки космических изображений местности в указанной последовательности придает этому способу новые свойства. Введенные операции осуществляются таким образом, что позволяют значительно сократить время фотограмметрической обработки космических изображений местности, поскольку изображение разбивается на фрагменты, вычисление коэффициентов модели тонкостенного сплайна и трансформирование каждого фрагмента может осуществляться в параллельном режиме, что приводит к уменьшению времени обработки.
Таким образом, техническое решение соответствует критерию «изобретательский уровень», так как оно для специалиста явным образом не следует из уровня развития техники.
Техническое решение может быть использовано в геоинформационных системах, наземных комплексах приема, обработки и распространения данных ДЗЗ, обеспечивающих данными широкий круг потребителей, при организации процессов фотограмметрической обработки космических изображений местности.
Таким образом, изобретение соответствует критерию «промышленная применимость».
На фиг. 1 представлена схема блочного сплайнового трансформирования космических изображений местности.
На фиг. 2 представлена зависимость производительности цифровой фотограмметрической станции (ЦФС) от размера входного изображения при трансформировании на основе полиномов различных типов.
В качестве необходимого условия блочного сплайнового трансформирования космических изображений местности является наличие опорного изображения, покрывающее обрабатываемое изображение и обладающее необходимыми точностными характеристиками.
Под идентификацией опорных точек на выбранной области понимается ручной или автоматический поиск пикселей на опорном и обрабатываемом изображениях, соответствующих одному и тому же участку конкретного объекта местности.
Обработка космического изображения местности с использованием модели тонкостенного сплайна обеспечивает высокую точность трансформирования (при наличии опорного изображения с соответствующими точностными характеристиками) при обработке космического изображения, отображающего местность со сложным типом рельефа, в случае отсутствия цифровой матрицы рельефа с требуемыми характеристиками, параметров ориентирования снимка и модели датчика.
Однако, современные оптико-электронное изображения имеют размеры до 50000 пикселей по ширине и в среднем 50000-60000 пикселей в длину, что требует использования нескольких тысяч опорных точек. Для космического изображения приведенного размера время трансформирования достигает 5 часов, что является неприемлемым.
Суть предлагаемого способа заключается в следующем.
После получения входных данных и идентификации опорных точек, происходит определение размера обрабатываемых фрагментов и величины перекрытия смежных фрагментов. Затем обрабатываемое изображение разбивается на фрагменты; происходит определение параметров тонкостенного сплайна для каждого фрагмента; выполняется трансформирование каждого фрагмента, используя полученную модель, с последующей сшивкой в единое изображение. Причем определение параметров тонкостенного сплайна и трансформирование каждого фрагмента может выполняться в параллельном режиме.
Способ включает следующие операции:
1. Получение опорного и обрабатываемого изображения местности.
Данная операция включает поиск опорного изображения местности с заданными точностными и другими характеристиками, полностью или частично покрывающие обрабатываемое изображение.
2. Определение области идентификации опорных точек.
Данная операция включает определение области совместного покрытия участка местности обрабатываемого и опорного изображения.
3. Идентификация опорных точек на выбранной области.
Может быть выполнена как вручную оператором, так и одним из известных алгоритмов автоматической идентификации опорных точек (например, SURF, FAST, SIFT и др.).
4. Определение размеров фрагментов обрабатываемого изображения.
Размер фрагмента определяется на основе величины плотности опорных точек, задаваемой оператором с учетом типа местности, отображенной на изображении, и требований к точностным характеристикам. Ограничением на максимальную величину размера фрагмента выступают характеристики аппаратной части цифровой фотограмметрической станции. Ограничением на минимальную величину размера фрагмента является минимальное количество опорных точек, необходимых для вычисления параметров трансформирования (1). Так при использовании сплайнового трансформирования 1-ой степени минимальной количество опорных точек равно 3. Рекомендуемый минимальный размер фрагмента - 1024×1024 пикселов. Максимальную величину размера фрагмента определим, исходя из характеристик аппаратной части цифровой фотограмметрической станции, следующим образом. За основу возьмем зависимость производительности ЦФС от размера входного изображения при трансформировании на основе полиномов различных типов [Шуклин И.И., Мосин С.А., Мирошниченко С.Ю. Влияние свойств данных дистанционного зондирования Земли и параметров их трансформирования на время построения результирующего изображения местности // Известия Юго-Западного государственного университета. 2016. №6 (69). С. 16-27.], изображенной на фиг. 2. Из фиг. 2 видно, что трансформирование на основе сплайна существенно проигрывает другим видам трансформирования в части времени выполнения операции. Поэтому наиболее целесообразным требованием по времени выполнения трансформирования изображения является величина, сопоставимая с затратами времени на трансформирование с использованием других методов. В силу того, что вычислительная сложность сплайнового трансформирования выше, чем у методов, показанных на фиг. 2, то примем требуемое время трансформирования (tтpe6) изображения как tтpeб=0.7⋅ts, где ts - время, затрачиваемое на трансформирование изображения с применением методов, указанных на фиг. 2. Отметим, что оценки ts формируются на основе метода измерительных мониторов. Далее необходимо осуществить переход от tтpeб к требуемой асимптотической оценке сложности Отpe6(N). Данный переход также осуществляется на основе метода измерительных мониторов для конкретной ЦФС. При этом изменяемым параметром является N, а оцениваемым tтpeб.
Если Отpe6(N)≥О(N), где O(N) - асимптотическая оценка сложности обрабатываемого изображения с количеством опорных точек N, то изображения не разбивается на фрагменты.
Если Отpe6(N)<O(N), то изображения разбивается на М фрагментов, где М определяется следующим образом: 
где γ - параметр, учитывающий затраты времени на обработку перекрывающихся участков фрагментов и их сшивку. Можно принять γ=0,8.
Размеры фрагментов определяются путем пропорционального деления изображения на количество фрагментов М.
5. Определение величины перекрытия смежных фрагментов. Из практики известно, что при трансформировании фрагментов одного изображения с использованием различных параметров трансформирования в местах стыковки соседних фрагментов могут образовываться разрывы контуров величиной до 10 пикселов. Тогда перекрытие смежных фрагментов должно быть такой величины, чтобы нивелировать величину этого эффекта. Примем величину перекрытия смежных фрагментов равную 100 пикселов.
6. Разбиение изображения на М фрагментов. Осуществляется на основе результатов, полученных в п. 4, 5.
7. Определение параметров тонкостенного сплайна для каждого фрагмента обрабатываемого изображения.
Параметры тонкостенного сплайна для каждого фрагмента обрабатываемого изображения вычисляются с использованием выражения (1) на основе выборки из опорных точек, полученных на этапе идентификации точек. Указанная выборка включает опорные точки, идентифицированные на обрабатываемом фрагменте изображения.
На основе полученных моделей тонкостенного сплайна (для всех фрагментов изображения) рассчитываются размеры результирующего изображения местности. Создание файла результирующего изображения с вычисленными размерами с пустыми растровыми каналами.
8. Трансформирование фрагмента, используя полученную модель. При наличии поддержки техническими средствами параллельных вычислений, может быть организована параллельная обработка в несколько потоков, где в рамках одного потока трансформируется один фрагмент обрабатываемого изображения.
9. Объединение фрагментов в единое изображение.
Запись в файл результирующего изображения трансформированных фрагментов осуществляется по мере завершения их обработки.
Таким образом, при использовании заявляемого способа достигается сокращение времени трансформирования космического изображения местности с использованием модели трансформирования тонкостенного сплайна при сохранении точностных характеристик результирующего изображения по отношению к прототипу.
Способ трансформирования космических изображений местности, включающий получение опорного и обрабатываемого изображения, определение области идентификации опорных точек и их идентификацию, определение параметров модели тонкостенного сплайна и трансформацию обрабатываемого изображения, используя полученную модель, отличающийся тем, что после идентификации опорных точек происходит определение размеров обрабатываемых фрагментов и величины перекрытия смежных фрагментов на основе полученных опорных точек; обрабатываемое изображение разбивается на фрагменты; для каждого фрагмента определяются параметры модели тонкостенного сплайна; выполнение трансформации каждого фрагмента с использованием полученной модели; объединение трансформированных фрагментов в единое изображение.
