Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации - заявка 2016135261 на патент на изобретение в РФ

1. Способ обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера, содержащий:
этап (100) приема изображений низкого разрешения;
этап (102) определения контекста и условий съемки изображений и выбора словаря на основании определенных контекста и условий съемки;
этап (103) вычисления матрицы преобразования изображений низкого разрешения с учетом взаимного смещения, поворота и расфокусировки изображений низкого разрешения;
этап (104) вычисления маски семплирования изображений низкого разрешения, отражающей правило вычисления значений интенсивности в различных каналах цветности изображения высокой четкости;
этап (105) объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения;
этап (106) вычисления значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова;
этап (107) разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения;
этап (108) вычисления разреженной аппроксимации выделенных патчей с помощью выбранного словаря и вычисленной маски семплирования;
этап (109) формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей с перекрытием;
этап (110) обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования;
этап (111) уточнения матрицы преобразования на основании обновленных изображений низкого разрешения,
причем данный способ осуществляет последовательную, итеративную обработку изображений, в которой:
если на этапе (106) вычисленное значение упомянутого критерия останова меньше порогового значения упомянутого критерия останова, то далее выполняют этапы: (107) разбиения изображения высокого разрешения на пересекающиеся патчи, (108) вычисления разреженной аппроксимации выделенных патчей, (109) формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей; (110) обновления изображений низкого разрешения, (111) уточнения матрицы преобразования, (105) объединения обновленных изображений низкого разрешения с использованием матрицы преобразования, уточненной на этапе (111), и маски семплирования, (106) вычисление значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова в таком порядке;
если на этапе (106) вычисленное значение упомянутого критерия останова больше порогового значения или равно пороговому значению упомянутого критерия останова, то выполняют этап (113) вывода изображения высокого разрешения для сохранения и/или визуализации.
2. Способ по п.1, в котором выбор словаря производится посредством анализа семантических признаков изображений низкого разрешения.
3. Способ по п.2, в котором семантические признаки выделяются с помощью глубокой нейронной сети, предварительно обученной на наборе изображений, соответствующих определенным контексту и условиям съемки.
4. Способ по п.1, в котором, если требуется обрабатывать входные Байеровские изображения как цветные изображения, то упомянутый способ дополнительно содержит этап (101) подготовки изображений, на котором выполняют демозаикинг изображений по заданному Байеровскому шаблону для получения цветных изображений.
5. Способ по п.1, в котором этап (107) разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения выполняют с применением метода пересечения доверительных интервалов (ICI).
6. Способ по п.1, в котором этап (108) вычисления разреженной аппроксимации выделенных патчей выполняют посредством разреженного разложения патчей на разреженные коды с использованием выбранного словаря и последующей сборки разреженных кодов с использованием упомянутого словаря.
7. Способ по п.6, дополнительно содержащий этап предварительного обучения словаря с использованием патчей различной формы, выделенных из набора изображений высокого разрешения сходного контекста и условий съемки.
8. Система обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера, содержащая:
приемник входных изображений, выполненный с возможностью приема изображений низкого разрешения;
блок выбора словаря, выполненный с возможностью определения контекста и условий съемки изображений и выбора словаря на основании определенных контекста и условий съемки;
блок вычисления матрицы преобразования, выполненный с возможностью вычисления матрицы преобразования изображений низкого разрешения с учетом взаимного смещения, поворота и расфокусировки изображений низкого разрешения;
блок вычисления маски семплирования изображений низкого разрешения, отражающей правило вычисления значений интенсивности в различных каналах цветности изображения высокого разрешения;
блок объединения изображений, выполненный с возможностью объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения;
блок проверки критерия останова, выполненный с возможностью вычисления значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова;
блок вывода изображения высокого разрешения, выполненный с возможностью сохранения и визуализации полученного изображения высокого разрешения;
блок выделения патчей, выполненный с возможностью разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения;
блок разреженной аппроксимации патчей, выполненный с возможностью вычисления разреженной аппроксимации выделенных патчей с помощью выбранного словаря и вычисленной маски семплирования;
блок формирования разреженной аппроксимации изображения, выполненный с возможностью объединения результатов разреженной аппроксимации патчей с перекрытием для формирования нового изображения высокого разрешения;
блок обновления изображений низкого разрешения, выполненный с возможностью обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования;
причем
блок вычисления матрицы преобразования выполнен с возможностью уточнения матрицы преобразования на основании обновленных изображений низкого разрешения,
причем упомянутая система осуществляет последовательную, итеративную обработку изображений, в которой:
если блок проверки критерия останова определяет, что вычисленное значение упомянутого критерия останова меньше порогового значения упомянутого критерия останова, то блок выделения патчей, блок разреженной аппроксимации патчей, блок формирование разреженной аппроксимации изображения, блок обновления изображений низкого разрешения, блок вычисления матрицы преобразования, блок объединения изображений, блок проверки критерия останова выполняют свои операции в таком порядке;
если блок проверки критерия останова определяет, что определенное значение упомянутого критерия останова больше порогового значения или равно пороговому значению упомянутого критерия останова, то изображение высокого разрешения передается в блок вывода изображения высокого разрешения.
9. Система по п.8, в которой блок выбора словаря выполнен с возможностью выбора словаря посредством анализа семантических признаков изображений низкого разрешения.
10. Система по п.9, в которой блок выбора словаря выполнен с возможностью выделения семантических признаков с помощью глубокой нейронной сети, предварительно обученной на наборе изображений, соответствующих определенным контексту и условиям съемки.
11. Система по п.8, в которой, если требуется обрабатывать входные Байеровские изображения как цветные изображения, упомянутая система дополнительно содержит блок подготовки изображений, выполненный с возможностью демозаикинга изображений по заданному Байеровскому шаблону для получения цветных изображений.
12. Система по п.8, в которой блок выделения патчей выполнен с возможностью разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения с применением метода пересечения доверительных интервалов (ICI).
13. Система по п.8, в которой блок разреженной аппроксимации патчей выполнен с возможностью вычисления разреженной аппроксимации выделенных патчей посредством разреженного разложения патчей на разреженные коды с использованием выбранного словаря и последующей сборки разреженных кодов с использованием упомянутого словаря.
14. Система по п.13, в которой блок разреженной аппроксимации патчей дополнительно выполнен с возможностью предварительного обучения словаря с использованием патчей различной формы, выделенных из набора изображений высокого разрешения сходного контекста и условий съемки.
Наверх