Устройство и способ для обработки изображения и система для обучения нейроной сети



Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети
Устройство и способ для обработки изображения и система для обучения нейроной сети

Владельцы патента RU 2762144:

БОЭ ТЕКНОЛОДЖИ ГРУП КО., ЛТД. (CN)

Изобретение относится к области технологий глубокого обучения. Технический результат заключается в повышении точности формирования изображений сопоставления. Устройство для формирования множества изображений сопоставления может включать в себя блок извлечения признаков, выполненный с возможностью принимать обучающее изображение и извлекать по меньшей мере один или более признаков из обучающего изображения для формирования первого признакового изображения на основе обучающего изображения; нормировщик, выполненный с возможностью нормировать первое признаковое изображение и формировать второе признаковое изображение; и блок сдвигового сопоставления, выполненный с возможностью выполнять множество поступательных сдвигов по второму признаковому изображению для формирования множества сдвинутых изображений, сопоставлять каждое из множества сдвинутых изображений со вторым признаковым изображением для формирования множества изображений сопоставления. 4 н. и 17 з.п. ф-лы, 8 ил.

 

Перекрестные ссылки на родственные заявки

[1] Настоящая заявка притязает на приоритет по дате подачи каждой из патентной заявки Китая № 201811155252.6, поданной 30 сентября 2018 года, патентной заявки Китая № 201811155326.6, поданной 30 сентября 2018 года, патентной заявки Китая № 201811155147.2, поданной 30 сентября 2108 года, и патентной заявки Китая № 201811155930.9, поданной 30 сентября 2018 года, раскрытие каждой из которых, таким образом, содержится в своей полноте по ссылке.

Область техники, к которой относится изобретение

[2] Настоящее изобретение, в целом, относится к области технологий глубокого обучения, а более конкретно, к технологии обработки изображений на основе глубокого обучения, включающей в себя устройство, способ и машиночитаемый носитель для дискриминантной сети обработки изображений.

Уровень техники

[3] Технология глубокого обучения на основе искусственной нейронной сети добилась значительного прогресса в таких областях как обработка изображений. Преимущество технологии глубокого обучения лежит в решении различных технических проблем с помощью структуры общего назначения и относительно похожей системы.

Краткая сущность изобретения

[4] Вариант осуществления настоящего изобретения является устройством для формирования множества изображений сопоставления. Устройство может содержать блок извлечения признаков, выполненный с возможностью принимать обучающее изображение и извлекать по меньшей мере один или более признаков из обучающего изображения, чтобы формировать первое признаковое изображение на основе обучающего изображения; нормировщик, выполненный с возможностью нормировать первое признаковое изображение и формировать второе признаковое изображение; и блок сдвигового сопоставления, выполненный с возможностью выполнять множество поступательных сдвигов по второму признаковому изображению, чтобы формировать множество сдвинутых изображений, сопоставлять каждое из множества сдвинутых изображений со вторым признаковым изображением, чтобы формировать множество изображений сопоставления.

[5] По меньшей мере, в некоторых вариантах осуществления блок сдвигового сопоставления может быть выполнен с возможностью выполнять множество поступательных сдвигов по второму признаковому изображению посредством сдвига количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми правыми или самыми левыми столбцами, соответственно, блока пикселов; и сдвигая количество b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми верхними или самыми нижними строками, соответственно, блока пикселов. По меньшей мере, в некоторых вариантах осуществления, 0≤a≤Y, 0≤b≤X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и a и b являются одинаковыми или различными.

[6] По меньшей мере, в некоторых вариантах осуществления блок сдвигового сопоставления может быть выполнен с возможностью выполнять множество поступательных сдвигов по второму признаковому изображению посредством сдвига количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми правыми или самыми левыми столбцами, соответственно, блока пикселов; и сдвигая количество b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми верхними или самыми нижними строками, соответственно, блока пикселов. По меньшей мере, в некоторых вариантах осуществления, 0≤a≤Y, 0≤b≤X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и a и b являются одинаковыми или различными.

[7] По меньшей мере, в некоторых вариантах осуществления блок сдвигового сопоставления может быть выполнен с возможностью сопоставлять каждое из множества сдвинутых изображений со вторым признаковым изображением, умножая значение пиксела для каждого пиксела в блоке пикселов каждого из множества сдвинутых изображений на значение пиксела для позиционно соответствующего пиксела в блоке пикселов второго признакового изображения. По меньшей мере, в некоторых вариантах осуществления первое признаковое изображение может быть яркостным признаковым изображением. По меньшей мере, в некоторых вариантах осуществления блок извлечения признаков может содержать: детектор яркости, выполненный с возможностью извлекать информацию о яркости из обучающего изображения, чтобы формировать яркостное признаковое изображение.

[8] По меньшей мере, в некоторых вариантах осуществления, чтобы формировать яркостное признаковое изображение, детектор яркости выполнен с возможностью определять значение яркости пиксела в заданной позиции в яркостном признаковом изображении согласно следующей формуле (1):

[9] I=0,299R+0,587G+0,114B (1)

[10] I является значением яркости. R является значением красного компонента позиционно соответствующего пиксела в обучающем изображении. G является значением зеленого компонента позиционно соответствующего пиксела в обучающем изображении. B является значением синего компонента позиционно соответствующего пиксела в обучающем изображении.

[11] По меньшей мере, в некоторых вариантах осуществления нормировщик может быть выполнен с возможностью нормировать яркостное признаковое изображение согласно следующей формуле (2):

[12] (2)

[13] N является первым признаковым изображением. I представляет значение яркости пиксела в заданной позиции в яркостном признаковом изображении. Blur(I) является изображением, полученным посредством применения фильтра Гаусса к яркостному признаковому изображению. Blur(I2) является изображением, полученным возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем применением фильтра Гаусса к изображению.

[14] По меньшей мере, в некоторых вариантах осуществления второе признаковое изображение может содержать блок пикселов, имеющий первый размер. Каждое из множества сдвинутых изображений и каждое из множества изображений сопоставления могут содержать блок пикселов, имеющий первый размер. В каждом из множества сдвинутых изображений пиксел, имеющий ненулевое значение пиксела, может иметь соответствующий пиксел с таким же ненулевым значением пиксела во втором признаковом изображении.

[15] Другой вариант осуществления настоящего изобретения является способом формирования множества изображений сопоставления. Способ может содержать: формирование первого признакового изображения на основе обучающего изображения; нормировку первого признакового изображения и формирование второго признакового изображения; выполнение множества поступательных сдвигов по второму признаковому изображению, чтобы сформировать множество сдвинутых изображений; и сопоставление каждого из сдвинутых изображений со вторым признаковым изображением, чтобы формировать множество изображений сопоставления.

[16] По меньшей мере, в некоторых вариантах осуществления сопоставление каждого из множества сдвинутых изображений со вторым признаковым изображением может содержать умножение значения пиксела для каждого пиксела в блоке пикселов каждого из множества сдвинутых изображений на значение пиксела для позиционно соответствующего пиксела в блоке пикселов второго признакового изображения.

[17] По меньшей мере, в некоторых вариантах осуществления выполнение множества поступательных сдвигов может содержать: сдвиг количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми правыми или самыми левыми столбцами, соответственно, блока пикселов; и сдвиг количества b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали самыми верхними или самыми нижними строками, соответственно, блока пикселов. По меньшей мере, в некоторых вариантах осуществления, 0≤a≤Y, 0≤b≤X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и a и b являются одинаковыми или различными. По меньшей мере, в некоторых вариантах осуществления по меньшей мере одно из a и b может изменяться по меньшей мере однократно во время выполнения множества поступательных сдвигов.

[18] По меньшей мере, в некоторых вариантах осуществления выполнение множества поступательных сдвигов может содержать: удаление количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения и добавление количества a столбцов пикселов в самой правой или самой левой позиции, соответственно, блока пикселов; и удаление количества b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения и добавление количества b строк в самой верхней или самой нижней позиции, соответственно, блока пикселов. По меньшей мере, в некоторых вариантах осуществления, 0≤a≤Y, 0≤b≤X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения. По меньшей мере, в некоторых вариантах осуществления каждый из добавленных пикселов может иметь значение пиксела, равное 0. По меньшей мере, в некоторых вариантах осуществления по меньшей мере одно из a и b может изменяться по меньшей мере однократно во время выполнения множества поступательных сдвигов.

[19] По меньшей мере, в некоторых вариантах осуществления способ может дополнительно содержать выполнение X*Y поступательных сдвигов, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, а X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения.

[20] По меньшей мере, в некоторых вариантах осуществления способ может дополнительно содержать, перед формированием первого признакового изображения, прием обучающего изображения. По меньшей мере, в некоторых вариантах осуществления формирование первого признакового изображения может содержать формирование яркостного признакового изображения на основе информации о яркости обучающего изображения.

[21] По меньшей мере, в некоторых вариантах осуществления способ может дополнительно содержать определение значения яркости пиксела в данной позиции в яркостном признаковом изображении согласно следующей формуле (1):

[22] I=0,299R+0,587G+0,114B (1)

[23] I является значением яркости. R является значением красного компонента позиционно соответствующего пиксела в обучающем изображении. G является значением зеленого компонента позиционно соответствующего пиксела в обучающем изображении. B является значением синего компонента позиционно соответствующего пиксела в обучающем изображении.

[24] По меньшей мере, в некоторых вариантах осуществления способ может дополнительно содержать нормировку яркостного признакового изображения согласно следующей формуле (2):

[25] (2)

[26] N является первым признаковым изображением. I представляет яркостное признаковое изображение. Blur(I) является изображением, полученным посредством применения фильтра Гаусса к яркостному признаковому изображению. Blur(I2) является изображением, полученным возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем применением фильтра Гаусса к изображению.

[27] По меньшей мере, в некоторых вариантах осуществления первое признаковое изображение может содержать блок пикселов, имеющий первый размер. По меньшей мере, в некоторых вариантах осуществления каждое из множества сдвинутых изображений и каждое из множества изображений сопоставления может содержать блок пикселов, имеющий первый размер. По меньшей мере, в некоторых вариантах осуществления, в каждом из множества сдвинутых изображений, пиксел, имеющий ненулевое значение пиксела, может иметь соответствующий пиксел с таким же ненулевым значением пиксела в первом признаковом изображении.

[28] Другой вариант осуществления настоящего изобретения является долговременным машиночитаемым носителем, хранящим инструкции, которые предписывают компьютеру исполнять способ формирования множества изображений сопоставления. Способ может быть таким, как описан выше.

[29] Другой вариант осуществления настоящего изобретения является системой для обучения генеративно-состязательной сети. Система может содержать процессор генеративно-состязательной сети, содержащий микропроцессор генеративной сети, который выполнен с возможностью обучаться посредством микропроцессора дискриминантной сети, и микропроцессор дискриминантной сети, который соединяется с генеративной сетью.

[30] По меньшей мере, в некоторых вариантах осуществления микропроцессор дискриминантной сети может содержать: множество входных выводов, соединенных с множеством устройств для формирования множества изображений сопоставления. Каждое из множества устройств может быть таким, как описано выше; множество модулей анализа, каждый из множества модулей анализа соединяется с одной из множества входных выводов; множество модулей объединения в пул, соединенных в каскад, каждая ступень каскада содержит модуль объединения в пул, соединенный с одним из множества модулей анализа и с модулем объединения в пул на предыдущей ступени каскада; и сеть дискриминатора, соединенную с модулем объединения в пул на последней ступени каскада.

Краткое описание чертежей

[31] Предмет изучения, который рассматривается как изобретение, в частности, указывается и отчетливо заявляется в формуле изобретения в заключении спецификации. Вышеупомянутые и другие цели, признаки и преимущества настоящего изобретения становятся очевидными из последующего подробного описания, выполненного вместе с сопровождающими чертежами, на которых:

[32] Фиг. 1 показывает блок-схему устройства для обработки изображений, согласно варианту осуществления настоящего изобретения;

[33] Фиг. 2 показывает схематичный чертеж блока пикселов 3*3 в первом признаковом изображении согласно варианту осуществления настоящего изобретения;

[34] Фиг. 3 показывает блок пикселов 3*3 в каждом из девяти (9) сдвинутых изображений, полученных посредством сдвига первого признакового изображения, иллюстрированного на фиг. 2, согласно варианту осуществления настоящего изобретения;

[35] Фиг. 4 показывает блок пикселов 3*3 в каждом из девяти (9) сдвинутых изображений, полученных посредством сдвига первого признакового изображения, иллюстрированного на фиг. 2, согласно другому варианту осуществления настоящего изобретения;

[36] Фиг. 5 показывает дискриминантную сеть согласно варианту осуществления настоящего изобретения, причем эта дискриминантная сеть может быть соединена с устройством для обработки изображений согласно настоящему изобретению;

[37] Фиг. 6 показывает блок-схему последовательности операций способа для обработки изображений согласно варианту осуществления настоящего изобретения;

[38] Фиг. 7 показывает блок-схему последовательности операций способа для обработки изображений согласно другому варианту осуществления настоящего изобретения; и

[39] Фиг. 8 показывает блок-схему системы согласно варианту осуществления настоящего изобретения для обучения нейронной сети.

[40] Различные признаки чертежей не начерчены по масштабу, поскольку иллюстрации существуют для ясности в содействии специалисту в области техники в понимании изобретения вместе с подробным описанием.

Подробное описание изобретения

[41] Далее варианты осуществления настоящего изобретения будут описаны ясно и конкретно вместе с сопровождающими чертежами, которые описаны вкратце выше. Предмет настоящего изобретения описывается с конкретикой, чтобы удовлетворять установленным требованиям. Однако само описание не предназначено, чтобы ограничивать объем этого изобретения. Скорее авторы предполагают, что заявленное изобретение может также быть осуществлено другими способами, чтобы включать в себя разные этапы или элементы, аналогичные описанным в этом документе, вместе с другими настоящими или будущими технологиями.

[42] В то время как настоящая технология была описана в сочетании с вариантами осуществления различных чертежей, следует понимать, что другие аналогичные варианты осуществления могут быть использованы, или модификации и дополнения могут быть сделаны описанных вариантах осуществления для выполнения той же функции настоящей технологии без отклонения от нее. Следовательно, настоящая технология не должна быть ограничена каким-либо одним вариантом осуществления, а вместо этого должна рассматриваться в объеме и рамках в соответствии с прилагаемой формулой изобретения. Кроме того, все другие варианты осуществления, полученные обычным специалистом на основе вариантов осуществления, описанных в данном документе, считаются находящимися в пределах объема этого изобретения.

[43] Технология глубокого обучения на основе искусственной нейронной сети добилась значительного прогресса в таких областях как обработка изображений. Глубокое обучение является способом обучения на основе характеризования данных среди способов машинного обучения. Наблюдаемые значения (такие как изображение) могут быть представлены различными способами как вектор значений интенсивности различных пикселов, или более абстрактно, как последовательность краев, область, имеющая конкретную форму, и т.д. Преимущество технологии глубокого обучения лежит в решении различных технических проблем с помощью структуры общего назначения и относительно похожей системы. Преимуществом глубокого обучения является замена ручного получения признаков с помощью эффективных неконтролируемых или полуконтролируемых алгоритмов для изучения признаков и иерархического извлечения признаков.

[44] Изображения природного мира могут быть легко различимы от изображений, созданных синтетически людьми или случайным образом компьютером. Естественные изображения являются особенными, по меньшей мере, поскольку они содержат индивидуальную структуру и являются в высшей степени неслучайными. Например, изображения, сформированные синтетически и случайным образом посредством компьютера, редко содержат натуралистичную сцену или объект.

[45] Системы обработки изображений, такие как алгоритмы сжатия, аналоговые носители хранения и даже собственные визуальные системы человека работают с изображениями реального мира. Генеративно-состязательные сети (GAN) являются одним решением для формирования реалистичных образцов естественных изображений. GAN могут быть подходом к генеративному моделированию, когда две модели обучаются одновременно или перекрестно обучаются.

[46] Системы обучения могут быть выполнены с возможностью регулировать параметры на основе конкретной цели, представленной посредством функции потерь. В GAN функция потерь заменяется другой системой машинного обучения, которая может независимо обучаться трудной задаче. GAN, как правило, включает в себя генеративную сеть, которая противопоставляется дискриминантной сети. Генеративная сеть принимает ввод информационного изображения низкого разрешения, повышает качество информационного изображения низкого разрешения и предоставляет изображение повышенного качества в дискриминантную сеть. Дискриминантной сети ставится задача классифицировать то, являются ли ее входные данные выходными данными генеративной сети (т.е. "фальшивым" информационным изображением повышенного качества) или фактическим изображением (т.е. оригинальным информационным изображением высокого разрешения). Дискриминантная сеть выводит оценку между "0" и "1", которая измеряет вероятность того, что ее входные данные являются изображением повышенного качества и оригинальным изображением. Если дискриминантная сеть выводит оценку "0" или приблизительно "0", тогда дискриминантная сеть определяет, что изображение является выходными данными генеративной сети. Если дискриминантная сеть выводит число, равное "1" или приближающееся к "1", тогда дискриминантная сеть определяет, что изображение является оригинальным изображением. Этот способ противопоставления генеративной сети с дискриминантной сетью - следовательно, "состязательный" - использует соревнование между двумя сетями, чтобы побуждать две сети улучшать их способы до тех пор, пока изображения, сформированные посредством генеративной сети, не будут неотличимыми от оригиналов.

[47] Дискриминантная сеть может быть обучена оценивать входные данные как "реальные" или "фальшивые" с помощью данных, имеющих предварительно определенные оценки. "Фальшивые" данные могут быть изображением высокого разрешения, сформированным посредством генеративной сети, а "реальные" данные могут быть предварительно определенным эталонным изображением. Чтобы обучать дискриминантную сеть, параметр дискриминантной сети регулируется до тех пор, пока дискриминантная сеть не выведет оценку, приближающуюся к "1", всякий раз, когда она принимает "реальные" данные, и оценку, приближающуюся к "0", всякий раз, когда она принимает "фальшивые" данные. Чтобы обучать генеративную сеть, параметр генеративной сети регулируется до тех пор, пока выходные данные генеративной сети не примут оценку, близкую к "1", насколько возможно, из дискриминантной сети.

[48] Общей аналогией для GAN является аналогия с фальшивомонетчиком и полицией. Генеративная сеть может быть сравнима с фальшивомонетчиком, пытающимся создать фальшивые деньги и использовать их без обнаружения, тогда как дискриминантная сеть может быть сравнима с полицией, пытающейся обнаружить фальшивые деньги. Соперничество между фальшивомонетчиком и полицией будет подстрекать обе стороны улучшать их методы до тех пор, пока подделки не будут неотличимыми от подлинных.

[49] И генеративные, и дискриминантные сети пытаются оптимизировать различную и противоположную целевую функцию, т.е. функцию потерь, в игре с нулевой суммой. Посредством "перекрестного обучения", чтобы максимизировать выходные данные дискриминантной сети, генеративная сеть улучшает изображения, которые она формирует, а дискриминантная сеть улучшает точность в своем различении между оригинальным изображением высокого разрешения и изображением, сформированным посредством генеративной сети. Генеративная сеть и дискриминантная сеть состязаются, чтобы формировать более хорошие изображения и улучшать критерии оценки изображений.

[50] Остается необходимость увеличивать точность дискриминантной сети в различении между оригинальным изображением высокого разрешения и изображением, сформированным посредством генеративной сети, для того, чтобы обучать генеративную сеть, чтобы улучшать конкретный параметр. Например, существует интерес в задаче формирования изображений, которые воспринимаются как реальные и неискаженные. Это может быть применено к проблемам, таким как устранение размытости, устранение шума, демозаика, удаление сжатия, улучшение контрастности, сверхвысокое разрешение изображения и т.д. В таких проблемах искаженное изображение является визуально поврежденным, и система машинного обучения может быть предназначена, чтобы исправлять это. Однако, цель восстановления оригинального изображения часто является непрактичной и ведет к изображениям, которые не выглядят реальными. GAN предназначаются, чтобы формировать "реальные" изображения. Типичная конфигурация берет цветное выходное изображение и использует систему машинного обучения (например, сверточную сеть), чтобы выводить одно число, которое измеряет, насколько реальным является изображение. Эта система может улучшать качество восприятия, но сегодня выходные данные состязательной системы остаются недостаточно воспринимаемыми как естественные изображения зрителем-человеком.

[51] Фиг. 1 показывает блок-схему устройства для обработки изображений, согласно варианту осуществления настоящего изобретения.

[52] [53] Блок-схема на фиг. 1 не предназначается, чтобы указывать, что устройство 100 включает в себя только компоненты, показанные на фиг. 1. Скорее, устройство 100 может включать в себя любое количество дополнительных вспомогательных устройств и/или компонентов, известных обычному специалисту в области техники, но которые не показаны на фиг. 1, в зависимости от деталей конкретных реализаций.

[54] Как показано на фиг. 1, устройство 100 содержит блок 110 извлечения признаков и блок 120 сдвигового сопоставления.

[55] Блок 110 извлечения признаков выполнен с возможностью извлекать один или более признаков из обучающего изображения, которое вводится в или принимается посредством устройства 100, и формировать признаковое изображение на основе извлеченного признака(ов). Признаковое изображение представляет один или более признаков обучающего изображения. Обучающее изображение может быть изображением, сформированным посредством генеративной сети, или предварительно определенным эталонным изображением.

[56] В некоторых вариантах осуществления, как показано на фиг. 1, блок 110 извлечения признаков может содержать детектор 111 яркости.

[57] Детектор 111 яркости выполнен с возможностью формировать первое признаковое изображение, например, для обучающего изображения, посредством извлечения из обучающего изображения информации, относящейся к яркости в обучающем изображении. Первое признаковое изображение может, следовательно, называться яркостным признаковым изображением.

[58] В некоторых вариантах осуществления, как показано на фиг. 1, блок 110 извлечения признаков может содержать нормировщик 112.

[59] Нормировщик 112 выполнен с возможностью формировать второе признаковое изображение посредством нормировки первого признакового изображения. В вариантах осуществления, где первое признаковое изображение является яркостным признаковым изображением, нормировщик 112 выполнен с возможностью нормировать яркостное признаковое изображение. Нормировка приводит пиксельные значения изображения в меньший диапазон значений, который может устранять посторонние значения пикселов, которые являются слишком высокими или слишком низкими. Это может, в свою очередь, облегчать вычисления сопоставлений, которые должны обсуждаться ниже.

[60] Устройство 100 для обработки изображений согласно настоящему изобретению может быть реализовано на вычислительном устройстве в форме компьютера общего назначения, микропроцессора, в цифровой электронной схеме, интегральной схеме, специально предназначенных ASIC (специализированных интегральных схемах), компьютерных аппаратных средствах, микропрограммном обеспечении, программном обеспечении и/или их сочетаниях.

[61] Второе признаковое изображение, сформированное блоком 110 извлечения признаков, выводится в блок 120 сдвигового сопоставления для дополнительной обработки. Блок 120 сдвигового сопоставления выполнен с возможностью выполнять множество поступательных сдвигов второго признакового изображения, чтобы формировать множество сдвинутых изображений. Блок 120 сдвигового сопоставления дополнительно выполнен с возможностью формировать множество изображений сопоставления на основе набора сопоставлений между вторым признаковым изображением и каждым из множества сдвинутых изображений. Блок 120 сдвигового сопоставления дополнительно выполнен с возможностью передавать множество изображений сопоставления в сеть глубокого обучения для обучения сети. Например, в некоторых вариантах осуществления, множество изображений сопоставления могут быть переданы в дискриминантную сеть в генеративно-состязательной сети, чтобы обучать дискриминантную сеть итеративно с помощью генеративной сети в генеративно-состязательной сети.

[62] Второе признаковое изображение имеет пиксельный блок первого размера, определенный посредством первого количества строк пикселов и первого количества столбцов пикселов. Второе признаковое изображение занимает первую область, соответствующую первому размеру, перед множеством поступательных сдвигов. Поступательный сдвиг может совершаться множеством способов. В некоторых вариантах осуществления поступательный сдвиг перемещает пикселы во втором признаковом изображении в направлении строки (или горизонтальном) или направлении столбца (или вертикальном) от первоначальной области. В некоторых вариантах осуществления поступательный сдвиг может содержать удаление строк и/или столбцов пикселов, которые сдвигаются из первой области, и назначение значения "0" пикселам в пространстве, освобожденном сдвинутыми пикселами. В некоторых вариантах осуществления поступательный сдвиг может содержать переупорядочивание или повторное размещение строк и/или столбцов пикселов.

[63] Каждое из множества сдвинутых изображений имеет блок пикселов того же размера, что и первый размер блока пикселов во втором признаковом изображении. Каждое из множества сдвинутых изображений имеет то же количество строк пикселов и то же количество столбцов пикселов, что и во втором признаковом изображении.

[64] Каждый пиксел, имеющий ненулевое значение в каждом сдвинутом изображении, имеет соответствующий пиксел с тем же ненулевым значением во втором признаковом изображении. По меньшей мере, в некоторых вариантах осуществления пикселам, которые не имеют соответствующего пиксела во втором признаковом изображении, назначается значение "0". В качестве иллюстративного примера, значения пикселов в первых двух строках сдвинутого изображения могут быть идентичны значениям, соответственно соответствующих пикселов в последних двух строках первого признакового изображения, а всем другим пикселам в сдвинутом изображении назначается значение "0". Каждый пиксел в сдвинутом изображении, который имеет соответствующий пиксел во втором признаковом изображении, имеет то же значение пиксела, что и соответствующий пиксел.

[65] В настоящем изобретении "соответствующие пикселы" не ограничиваются пикселами, которые соответствуют по позиции, но могут также включать в себя пикселы, которые занимают другие позиции. "Соответствующие пикселы" ссылаются на пикселы, которые имеют те же значения пикселов.

[66] В настоящем изобретении изображения обрабатываются как блоки пикселов. Значение пиксела в блоке представляет значение пиксела в изображении, который соответствует по позиции пикселу в блоке.

[67] Сопоставление между двумя изображениями может быть вычислено посредством попиксельного умножения блоков пикселов двух изображений. Например, значение пиксела в i-ой строке и j-ом столбце (i, j) изображения сопоставления может быть определено посредством умножения значения пиксела в (i, j) позиции во втором признаковом изображении на значение пиксела в (i, j) позиции в соответствующем сдвинутом изображении.

[68] Как показано на фиг. 1, в некоторых вариантах осуществления, блок 110 извлечения признаков содержит детектор 111 яркости и нормировщик 112.

[69] Детектор 111 яркости выполнен с возможностью формировать первое признаковое изображение посредством извлечения, например, из обучающего изображения, принятого посредством блока 110 извлечения признаков, информации, относящейся к яркости в обучающем изображении, и формировать яркостное признаковое изображение на основе извлеченной информации о яркости. Первое признаковое изображение может, следовательно, называться яркостным признаковым изображением. Глаза человека имеют склонность быть более чувствительными к яркости изображения, чем к другим признакам. Извлекая информацию о яркости, устройство настоящего изобретения устраняет ненужную информацию из обучающего изображения, что может уменьшать нагрузку обработки.

[70] Количества строк и столбцов пикселов в яркостном признаковом изображении являются такими же, что и в обучающем изображении. Значение I яркости пиксела в i-ой строке и j-ом столбце (i, j) яркостного признакового изображения может быть вычислено согласно следующей формуле (1):

[71] I=0,299R+0,587G+0,114B (1)

[72] В формуле (1) R представляет значение красного компонента для пиксела (i, j) в обучающем изображении. G представляет значение зеленого компонента. B представляет значение синего компонента. i и j являются целыми числами. Значение для i равно 1≤i≤X. Значение для j равно 1≤j≤Y. X является суммарным количеством строк в обучающем изображении, а Y является суммарным количеством столбцов в обучающем изображении.

[73] В некоторых вариантах осуществления обучающее изображение является цветным изображением. В некоторых вариантах осуществления обучающее изображение имеет R-компонент, G-компонент и B-компонент, и устройство настоящего изобретения может быть выполнено с возможностью обрабатывать обучающее изображение таким образом, что R-компонент, G-компонент и B-компонент вводятся в детектор яркости, преобразуются в Y-компонент, U-компонент и V-компонент, соответственно, в нем, и затем соответственно вводятся в Y-канал, U-канал и V-канал, соответственно. Y-компонент, U-компонент и V-компонент являются компонентами обучающего изображения в YUV-пространстве. Y-канал, U-канал и V-канал обозначают, что выходные данные этих каналов являются выходным Y-компонентом, выходным U-компонентом и выходным V-компонентом, соответственно. В вариантах осуществления, где RGB-компоненты обучающего изображения преобразуются в YUV-компоненты, значение I яркости соответствует значению Y-компонента.

[74] В некоторых вариантах осуществления обучающее изображение имеет Y-компонент, U-компонент и V-компонент. В этом случае устройство настоящего изобретения может быть выполнено с возможностью обрабатывать Y-компонент обучающего изображения через Y-канал детектора яркости; U-компонент обучающего изображения через U-канал детектора яркости; и V-компонент обучающего изображения через V-канал детектора яркости.

[75] В некоторых вариантах осуществления использование YUV-пространства выполняет дискретизацию сигнала цветности по обучающему изображению. Y-компонент обучающего изображения поступает в Y-канал. U-компонент обучающего изображения поступает в U-канал. V-компонент обучающего изображения поступает в V-канал. Посредством разделения входного сигнала обучающего изображения на три группы соответствующий канал, обрабатывающий сигнал в компоненте из группы из Y-компонента, U-компонента и V-компонента, может уменьшать вычислительную нагрузку и улучшать скорость обработки. U-компонент и V-компонент имеют относительно низкое влияние на эффект отображения изображения, таким образом, обработка различных компонентов в различных каналах не будет иметь значительного эффекта на отображение изображения.

[76] Нормировщик 112 выполнен с возможностью формировать второе признаковое изображение посредством нормировки первого признакового изображения. В вариантах осуществления, где блок 110 извлечения признаков содержит детектор 111 яркости, и первое признаковое изображение является яркостным признаковым изображением, нормировщик 112 выполнен с возможностью нормировать яркостное признаковое изображение. Нормировка приводит пиксельные значения изображения в меньший диапазон значений, который может устранять посторонние значения пикселов, которые являются слишком высокими или слишком низкими. Это может, в свою очередь, облегчать вычисления сопоставлений.

[77] Более конкретно, нормировщик 112 выполнен с возможностью выполнять нормировку согласно следующей формуле (2), чтобы получать второе признаковое изображение:

[78] (2)

[79] В формуле (2) N представляет второе признаковое изображение. I представляет яркостное признаковое изображение, полученное из обучающего изображения. Blur представляет гауссову размытость. Blur(I) представляет фильтр гауссовой размытости, реализованный на яркостном признаковом изображении. Blru(I2) представляет изображение, полученное возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем реализации фильтра гауссовой размытости на изображении. μ представляет выходное изображение, полученное с помощью фильтра гауссовой размытости. σ2 представляет нормированное изображение локальной дисперсии.

[80] В некоторых вариантах осуществления настоящего изобретения поступательный сдвиг второго признакового изображения содержит сдвиг последних a столбцов пикселов во втором признаковом изображении вперед оставшихся столбцов пикселов, чтобы получать промежуточное изображение. Последние b строк пикселов в промежуточном изображении затем сдвигаются вперед оставшихся строк пикселов, чтобы получать сдвинутое изображение. Значение a равно 0≤a≤Y. Значение b равно 0≤b≤X. a и b являются целыми числами. X представляет суммарное количество строк пикселов во втором признаковом изображении. Y представляет суммарное количество столбцов пикселов во втором признаковом изображении. Значения a и b могут быть одинаковыми или различными. Когда a и b, оба равны нулю, сдвинутое изображение является вторым признаковым изображением. В некоторых вариантах осуществления, в любых предоставленных двух процессах сдвига изображения, значение по меньшей мере одного из a и b изменяется. Понятно, что порядок, в котором сдвиги выполняются, особенно не ограничивается. Например, в некоторых вариантах осуществления, строки пикселов могут быть сдвинуты, чтобы получать промежуточное изображение, а затем столбцы пикселов могут быть сдвинуты, чтобы получать сдвинутое изображение.

[81] Значение каждого пиксела в сдвинутом изображении соответствует значению пиксела во втором признаковом изображении. Значение пиксела (i, j) в каждом из множества сдвинутых изображений происходит из другого пиксела в другой позиции во втором признаковом изображении.

[82] В некоторых вариантах осуществления поступательный сдвиг первого признакового изображения содержит сдвиг последних b строк пикселов во втором признаковом изображении вперед оставшихся строк пикселов, чтобы получать промежуточное изображение. Последние a строк пикселов в промежуточном изображении затем сдвигаются вперед оставшихся строк пикселов, чтобы получать сдвинутое изображение.

[83] В некоторых вариантах осуществления X*Y количество поступательных сдвигов выполняется по второму признаковому изображению, чтобы получать X*Y количество изображений сопоставления. Даже когда a и b, оба равны нулю, это считается одним поступательным сдвигом.

[84] Блок-схема на фиг. 1 не предназначается, чтобы указывать, что устройство 100 включает в себя только компоненты, показанные на фиг. 1. Скорее, устройство 100 может включать в себя любое количество дополнительных вспомогательных устройств и/или компонентов, известных обычному специалисту в области техники, но которые не показаны на фиг. 1, в зависимости от деталей конкретных реализаций.

[85] Фиг. 2 показывает схематичный чертеж блока пикселов 3*3 во втором признаковом изображении согласно варианту осуществления настоящего изобретения. На фиг. 2 каждый из "p1" … "p9" представляет значение одного из девяти (9) пикселов. Фиг. 3 показывает блок пикселов 3*3 в каждом из девяти (9) сдвинутых изображений, полученных посредством сдвига второго признакового изображения, иллюстрированного на фиг. 2, согласно варианту осуществления настоящего изобретения.

[86] В вариантах осуществления настоящего изобретения второе признаковое изображение содержит блок-пикселов, имеющий первый размер. Каждое из множества сдвинутых изображений и каждое из множества изображений сопоставления содержит блок пикселов, имеющий первый размер.

[87] В целях настоящего изобретения, самая верхняя строка пикселов в блоке, иллюстрированном на фиг. 2, является первой строкой, а самый левый столбец пикселов в блоке, иллюстрированном на фиг. 2, является первым столбцом. Если a=1 и b=1, тогда, чтобы получать сдвинутое изображение, показанное в середине второй строки на фиг. 3, последний столбец (т.е. самый правый столбец) пикселов во втором признаковом изображении перемещается вперед первого столбца (т.е. самого левого столбца) пикселов, а последняя строка (т.е. нижняя строка) пикселов перемещается вперед первой строки (т.е. верхней строки) пикселов.

[88] В вариантах осуществления, иллюстрированных на фиг. 2 и 3, пиксел может занимать одну из девяти (9) позиций в блоке, и вероятность того, что каждый пиксел появляется в каждой из девяти (9) позиций, отражается в девяти (9) сдвинутых изображениях. Следовательно, девять (9) изображений сопоставления содержат информацию не только о сопоставлении каждого пиксела не только с самим собой, но также о сопоставлении каждого пиксела с другими пикселами в изображении. В иллюстративном примере генеративно-состязательной сети, если генеративная сеть формирует изображение, в котором значение одного пиксела отличается от оригинального ("реального") изображения высокого разрешения, тогда каждое изображение сопоставления, полученное на основе синтетически сформированного изображения, будет показывать различие с изображением сопоставления оригинального изображения высокого разрешения. Это различие будет побуждать дискриминантную сеть оценивать синтетически сформированное изображение ближе к "0" (т.е. классификация как "фальшивое"), что будет побуждать генеративную сеть обновлять и улучшать формирование выходного изображения, которое является более реалистичным и перцепционно более убедительным.

[89] Понятно, что настоящее изобретение не ограничивает поступательные сдвиги, которые могут быть применены к изображению. Фиг. 4 показывает блок пикселов 3*3 в каждом из девяти (9) сдвинутых изображений, полученных после сдвига второго признакового изображения, иллюстрированного на фиг. 2, согласно другому варианту осуществления настоящего изобретения.

[90] На фиг. 2 и 4 последние a столбцов пикселов во втором признаковом изображении удаляются, и a столбцов пикселов добавляются перед оставшимися столбцами пикселов, чтобы получать промежуточное изображение. Каждый пиксел в добавленных a столбцах имеет значение "0". Далее, в промежуточном изображении, последние b строк пикселов удаляются, и b строк пикселов добавляются перед оставшимися строками пикселов, чтобы получать сдвинутое изображение. Каждый пиксел в добавленных b строках имеет значение "0". Более конкретно, 0≤a≤Y, 0≤b≤X, a и b, оба являются целыми числами. X представляет суммарное количество строк пикселов во втором признаковом изображении. Y представляет суммарное количество столбцов пикселов во втором признаковом изображении. Значения a и b могут быть одинаковыми или различными. В некоторых вариантах осуществления, в любых данных двух процессах сдвига изображения, значение по меньшей мере одного из a и b изменяется.

[91] Блок 120 сдвигового сопоставления выполнен с возможностью формировать изображение сопоставления посредством умножения значений пикселов в соответствующих позициях в двух изображениях. В изображении сопоставления значение пиксела в (i, j) позиции получается посредством умножения значения пиксела (i, j) во втором признаковом изображении на значение пиксела (i, j) в сдвинутом изображении. Значение для i равно 1≤i≤X. Значение для j равно 1≤j≤Y. i и j являются целыми числами. X представляет суммарное количество строк пикселов во втором признаковом изображении. Y представляет суммарное количество столбцов пикселов во втором признаковом изображении.

[92] Устройство 100 для обработки изображений согласно настоящему изобретению может быть реализовано на вычислительном устройстве в форме компьютера общего назначения, микропроцессора, в цифровой электронной схеме, интегральной схеме, специально предназначенных ASIC (специализированных интегральных схемах), компьютерных аппаратных средствах, микропрограммном обеспечении, программном обеспечении и/или их сочетаниях. Эти различные реализации могут включать в себя реализацию в одной или более компьютерных программах, которые являются исполняемыми и/или интерпретируемыми на программируемой системе, включающей в себя по меньшей мере один программируемый процессор, который может быть специального или общего назначения, соединенный, чтобы принимать данные и инструкции от, и передавать данные и инструкции в, системы хранения по меньшей мере одного устройства ввода и по меньшей мере одного устройства вывода.

[93] Эти компьютерные программы (также известные как программы, программное обеспечение, приложения системы программного обеспечения или код) включают в себя машинные инструкции для программируемого процессора и могут быть реализованы на процедурном и/или объектно-ориентированном языке программирования высокого уровня и/или на языке ассемблера/машины. Когда используются в данном документе, выражения "машиночитаемый носитель", "машиночитаемый носитель" ссылаются на любой компьютерный программный продукт, аппаратное средство и/или устройство (например, магнитные диски, оптические диски, память, программируемые логические устройства (PLD)), используемое для предоставления машинных инструкций и/или данных программируемому процессору, включающие в себя машиночитаемый носитель, который принимает машинные инструкции в качестве машиночитаемого сигнала. Выражение "машиночитаемый сигнал" ссылается на любой сигнал, используемый, чтобы предоставлять машинные инструкции и/или данные программируемому процессору.

[94] Чтобы обеспечивать взаимодействие с пользователем, устройства, системы, процессы, функциональные возможности и методы, описанные здесь, могут быть реализованы на компьютере, имеющем устройство отображения (например, CRT (катодно-лучевая трубка) или LCD (жидкокристаллический дисплей) монитор), для отображения информации пользователю и клавиатуру и указывающее устройство (например, мышь или трекбол), посредством которых пользователь может предоставлять входные данные компьютеру. Другие виды вспомогательного оборудования и/или устройств могут быть использованы для обеспечения взаимодействия с пользователем также, включающие в себя, например, обратная связь, предоставляемая пользователю, может быть любой формой чувствительной обратной связи (например, визуальной обратной связью, акустической обратной связью или тактильной обратной связью). Входные данные от пользователя могут быть приняты в любой форме, включающей в себя звуковой, речевой или тактильный ввод.

[95] Устройства, системы, процессы, функциональные возможности и методы, описанные выше, могут быть реализованы в вычислительной системе, которая включает в себя внутренний компонент (например, в качестве сервера данных), или которая включает в себя промежуточный компонент (например, сервер приложений), или которая включает в себя компонент первичной обработки данных (например, клиентский компьютер, имеющий графический пользовательский интерфейс или веб-браузер, посредством которого пользователь может взаимодействовать с реализацией устройств, систем, процессов, функциональных возможностей и методов, описанных здесь), или любую комбинацию таких внутренних, промежуточных или компонентов первичной обработки данных. Компоненты системы могут быть взаимосвязаны посредством любой формы или носителя для обмена цифровыми данными (например, сети связи). Примеры сетей связи включают в себя локальную вычислительную сеть ("LAN"), глобальную вычислительную сеть ("WAN") и Интернет.

[96] Вычислительная система может включать в себя клиентов и серверы. Клиент и сервер, как правило, удалены друг от друга и типично взаимодействуют через сеть связи. Отношение клиента и сервера возникает посредством компьютерных программ, работающих на соответствующих компьютерах и имеющих отношение клиент-сервер друг с другом.

[97] Устройство согласно настоящему изобретению для обработки изображения может быть соединено с нейронными сетями и может быть выполнено с возможностью обучать нейронные сети. В некоторых вариантах осуществления устройство согласно настоящему изобретению выполнено с возможностью обучать генеративно-состязательную сеть (GAN). GAN может содержать генеративную сеть и дискриминантную сеть.

[98] Дискриминантная сеть может быть сконструирована и сконфигурирована любым подходящим образом, известным обычному специалисту в области техники, пока дискриминантная сеть является приспособленной для классификации степени совпадения между изображением, которое она принимает в качестве входных данных, и предварительно определенным эталонным изображением, имеющим то же разрешение, что и входное изображение. Фиг. 5 показывает дискриминантную сеть 200 согласно варианту осуществления настоящего изобретения. Дискриминантная сеть 200 может содержать множество входных выводов In1, In2, In3, множество модулей 210 анализа, множество модулей 220 объединения в пул и модуль 230 дискриминатора.

[99] Каждый из множества модулей 210 анализа соединяется с соответствующей одной из множества входных выводов In1, In2, In3. Модули 210 анализа принимают, через входные выводы In1, In2, In3, множество изображений сопоставления, сформированных посредством устройства согласно настоящему изобретению. Модули 210 анализа выполнены с возможностью формировать, на основе множества изображений сопоставления, соответствующее множество третьих признаковых изображений. Каждое из третьих признаковых изображений является многоканальным изображением, которое представляет различные измерения соответствующего изображения сопоставления. Каждое из множества третьих признаковых изображений имеет большее количество каналов по сравнению с соответствующим изображением сопоставления. Например, входное изображение сопоставления может иметь 3 канала, а выходное третье признаковое изображение может иметь 64 канала, 128 каналов или некоторое другое произвольное количество каналов. Каждое из множества третьих признаковых изображений формируется с тем же разрешением, что и соответствующее изображение сопоставления.

[100] Каждый из множества модулей 210 анализа соединяется с одним из множества модулей 220 объединения в пул. Множество модулей 220 объединения в пул соединяются в каскад. Модули 220 объединения в пул выполнены с возможностью принимать множество входных изображений, формировать составное изображение, соединяя множество входных изображений, и уменьшать разрешение составного изображения, чтобы формировать составное изображение более низкого качества. Более конкретно, множество входных изображений включает в себя третье признаковое изображение, принятое от соответствующего модуля 210 анализа, и эталонное изображение. Как показано на фиг. 5, на первой ступени каскада, третье признаковое изображение из модуля 210 анализа дублируется в качестве эталонного изображения для соответствующего модуля 220 объединения в пул. На последующих ступенях каскада эталонное изображение является составным изображением более низкого качества, сформированным посредством модуля 220 объединения в пул на предыдущей ступени каскада.

[101] Модуль 230 дискриминатора выполнен с возможностью принимать составное изображение более низкого качества от модуля 220 объединения в пул на последней ступени каскада, классифицировать принятое составное изображение более низкого качества посредством формирования оценки, которая представляет степень совпадения между принятым изображением и предварительно определенным эталонным изображением, имеющим то же разрешение, что и принятое изображение.

[102] Генеративная сеть может быть сконструирована и сконфигурирована любым подходящим образом, известным обычному специалисту в области техники, пока генеративная сеть является приспособленной для повышения качества и формирования изображения.

[103] Устройство 100 может быть соединено с дискриминантной сетью через входной вывод дискриминантной сети. Дискриминантная сеть может не принимать непосредственно выходное изображение от генеративной сети, или оригинальное образцовое изображение высокого разрешения. Скорее, дискриминантная сеть может быть выполнена с возможностью принимать, классифицировать и оценивать выходное изображение из генеративной сети, или оригинальное образцовое изображение высокого разрешения, после того как оно было предварительно обработано посредством устройства 100. Другими словами, дискриминантная сеть может быть выполнена с возможностью принимать, классифицировать и оценивать выходные данные от устройства 100.

[104] Традиционные способы обучения GAN предоставляют выходное изображение из генеративной сети или оригинальное образцовое изображение непосредственно в дискриминантную сеть для классификации. В результате, с целью классификации дискриминантная сеть ограничивается опорой на информацию, которая существует в выходном изображении или оригинальном образцовом изображении.

[105] В устройстве согласно настоящему изобретению для обработки изображения блок сдвигового сопоставления обрабатывает выходное изображение из генеративной сети и/или оригинальное изображение высокого разрешения, чтобы формировать множество изображений сопоставления. Например, блок сдвигового сопоставления выполнен с возможностью формировать множество изображений сопоставления, которые содержат не только информацию, присущую выходному изображению и/или оригинальному образцовому изображению, но также информацию, относящуюся к сопоставлениям между такими изображениями и сдвинутыми или иначе преобразованными изображениями. По сравнению с традиционными способами дискриминантная сеть в системе настоящего изобретения снабжается дополнительной информацией, с помощью которой должна выполнять классификацию, например, сравнивая множество сопоставлений между выходным значением из генеративной сети и преобразованными изображениями с множеством сопоставлений между оригинальным образцовым изображением и преобразованными изображениями. Дополнительно, из оценки качества неэталонного изображения модуля оценки качества естественности изображения (NIQE) предполагается, что сопоставления между выходным изображением (или оригинальным образцовым изображением) и преобразованными изображениями влияют на качество восприятия.

[106] По сравнению с традиционными способами, классификация на основе выходных данных от устройства настоящего изобретения для обработки изображения увеличивает четкость классификации, улучшает точность результата классификации и обучает параметры генеративной сети в сторону создания решений, которые являются очень похожими на реальные изображения и, таким образом, трудно классифицируемыми посредством дискриминантной сети. Это способствует перцепционно превосходным решениям.

[107] Настоящее изобретение также предоставляет способ для обработки изображений. Фиг. 6 показывает блок-схему последовательности операций способа для обработки изображений согласно варианту осуществления настоящего изобретения.

[108] Этап S1 содержит получение первого признакового изображения, например, посредством формирования яркостного признакового изображения на основе извлеченной информации о яркости обучающего изображения.

[109] Этап S2 содержит нормировку первого признакового изображения, чтобы получать второе признаковое изображение.

[110] Этап S3 содержит выполнение поступательных сдвигов по второму признаковому изображению, чтобы получать множество сдвинутых изображений. Каждое сдвинутое изображение имеет такое же количество строк и столбцов пикселов, что и во втором признаковом изображении. Каждый пиксел, имеющий ненулевое значение в каждом сдвинутом изображении, имеет соответствующий пиксел с тем же ненулевым значением во втором признаковом изображении. Пикселам, которые не имеют соответствующего пиксела во втором признаковом изображении, может быть назначено значение "0". Другими словами, каждый пиксел, имеющий ненулевое значение в сдвинутом изображении, имеет соответствующий пиксел во втором признаковом изображении.

[111] Этап S4 содержит формирование множества изображений сопоставления на основе сопоставлений между вторым признаковым изображением и множеством сдвинутых изображений. Каждое изображение сопоставления имеет такое же количество строк и столбцов пикселов, что и второе признаковое изображение.

[112] Этап S5 содержит передачу множества изображений сопоставления в нейронную сеть, например, дискриминантную сеть генеративно-состязательной сети.

[113] Способ согласно настоящему изобретению может быть выполнен с возможностью обучать нейронные сети. В некоторых вариантах осуществления способ согласно настоящему изобретению адаптирован обучать генеративно-состязательную сеть (GAN). GAN может содержать генеративную сеть и дискриминантную сеть. Традиционные способы обучения GAN предоставляют выходное изображение из генеративной сети или оригинальное образцовое изображение непосредственно в дискриминантную сеть для классификации. В результате, с целью классификации дискриминантная сеть ограничивается опорой на информацию, которая существует в выходном изображении или оригинальном образцовом изображении.

[114] По сравнению с традиционными методами, способ настоящего изобретения не передает выходное изображение из генеративной сети или оригинальное изображение высокого разрешения непосредственно в дискриминантную сеть. Скорее, изображения обрабатываются посредством устройства, описанного выше, которое включает в себя блок извлечения признаков и блок сдвигового сопоставления, перед подачей в дискриминантную сеть для классификации. Блок сдвигового сопоставления формирует множество преобразованных изображений. Например, блок сдвигового сопоставления выполнен с возможностью формировать множество изображений сопоставления, которые содержат не только информацию, присущую выходному изображению и оригинальному образцовому изображению, но также информацию, относящуюся к сопоставлениям между такими изображениями и преобразованными изображениями. Эта дополнительная информация предоставляет возможность дискриминантной сети выполнять классификацию на основе сходства между двумя наборами сопоставлений, а именно, набором сопоставлений между выходным изображением из генеративной сети и преобразованными изображениями и другим набором сопоставлений между оригинальным образцовым изображением и преобразованными изображениями. Дополнительно, из оценки качества неэталонного изображения модуля оценки качества естественности изображения (NIQE) предполагается, что сопоставления между выходным изображением (или оригинальным образцовым изображением) и преобразованными изображениями влияют на качество восприятия.

[115] Классификация на основе выходных данных от устройства настоящего изобретения увеличивает четкость классификации, улучшает точность результата классификации и обучает параметры генеративной сети в направлении создания решений, которые являются очень похожими на реальные изображения и, таким образом, трудно классифицируемыми посредством дискриминантной сети. Это способствует перцепционно превосходным решениям.

[116] Фиг. 7 показывает блок-схему последовательности операций способа для обработки изображений согласно другому варианту осуществления настоящего изобретения.

[117] Этап S1 содержит получение первого признакового изображения. Первое признаковое изображение может быть яркостным признаковым изображением, полученным посредством извлечения информации о яркости обучающего изображения.

[118] Получение первого признакового изображения может, следовательно, содержать этап S11, который содержит получение яркостного признакового изображения на основе информации о яркости в обучающем изображении.

[119] Яркостное признаковое изображение имеет те же количества строк и столбцов пикселов, что и в обучающем изображении. Значение I яркости пиксела в i-ой строке и j-ом столбце (i, j) яркостного признакового изображения может быть вычислено согласно следующей формуле (1):

[120] I=0,299R+0,587G+0,114B (1)

[121] В формуле (1) R представляет значение красного компонента для пиксела (i, j) в обучающем изображении. G представляет значение зеленого компонента. B представляет значение синего компонента. i и j являются целыми числами. Значение для i равно 1≤i≤X. Значение для j равно 1≤j≤Y. X является суммарным количеством строк в обучающем изображении, а Y является суммарным количеством столбцов в обучающем изображении.

[122] На этапе S12 яркостное признаковое изображение нормируется, чтобы получать второе признаковое изображение. Нормировка приводит пиксельные значения изображения в меньший диапазон значений, который может устранять посторонние значения пикселов, которые являются слишком высокими или слишком низкими. Это может, в свою очередь, облегчать вычисления сопоставлений.

[123] Более конкретно, на этапе S12, нормировка выполняется согласно следующей формуле (2):

[124] (2)

[125] В формуле (2) N представляет второе признаковое изображение. I представляет значение яркости пиксела в данной позиции в яркостном признаковом изображении, полученном из обучающего изображения. Blur представляет гауссову размытость. Blur(I) представляет фильтр гауссовой размытости, реализованный на яркостном признаковом изображении. Blru(I2) представляет изображение, полученное возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем реализации фильтра гауссовой размытости на изображении. μ представляет выходное изображение, полученное с помощью фильтра гауссовой размытости. σ2 представляет изображение локальной дисперсии.

[126] Этап S2 содержит выполнение множества поступательных сдвигов по второму признаковому изображению, чтобы получать множество сдвинутых изображений. Каждое сдвинутое изображение имеет такое же количество строк и столбцов пикселов, что и во втором признаковом изображении.

[127] В некоторых вариантах осуществления настоящего изобретения выполнение множества поступательных сдвигов содержит сдвиг последних a столбцов пикселов во втором признаковом изображении вперед оставшихся столбцов пикселов, чтобы получать промежуточное изображение, и затем сдвиг последних b строк пикселов в промежуточном изображении вперед оставшихся строк пикселов, чтобы получать сдвинутое изображение.

[128] В других вариантах осуществления настоящего изобретения выполнение множества поступательных сдвигов содержит сдвиг последних b строк пикселов во втором признаковом изображении вперед оставшихся строк пикселов, чтобы получать промежуточное изображение, и затем сдвиг последних a строк пикселов в промежуточном изображении вперед оставшихся строк пикселов, чтобы получать сдвинутое изображение.

[129] Значение a равно 0≤a≤Y. Значение b равно 0≤b≤X. a и b являются целыми числами. X представляет суммарное количество строк пикселов во втором признаковом изображении. Y представляет суммарное количество столбцов пикселов во втором признаковом изображении. В некоторых вариантах осуществления, в любых предоставленных двух процессах сдвига изображения, значение по меньшей мере одного из a и b изменяется.

[130] Каждый пиксел, имеющий ненулевое значение в каждом сдвинутом изображении, имеет соответствующий пиксел с тем же ненулевым значением во втором признаковом изображении. Пикселам, которые не имеют соответствующего пиксела во втором признаковом изображении, может быть назначено значение "0". Другими словами, каждый пиксел, имеющий ненулевое значение в сдвинутом изображении, имеет соответствующий пиксел во втором признаковом изображении.

[131] Этап S3 содержит формирование множества изображений сопоставления на основе сопоставлений между вторым признаковым изображением и множеством сдвинутых изображений. Каждое изображение сопоставления имеет такое же количество строк и столбцов пикселов, что и второе признаковое изображение.

[132] Формирование множества изображений сопоставления содержит умножение значения каждого пиксела во втором признаковом изображении на значение позиционно соответствующего пиксела в сдвинутом изображении. Другими словами, значение пиксела (i, j) во втором признаковом изображении умножается на значение пиксела (i, j) в сдвинутом изображении, чтобы формировать значение пиксела в (i, j) позиции в изображении сопоставления. Значение для i равно 1≤i≤X. Значение для j равно 1≤j≤Y. i и j являются целыми числами. X представляет суммарное количество строк пикселов во втором признаковом изображении. Y представляет суммарное количество столбцов пикселов во втором признаковом изображении.

[133] Этап S4 содержит передачу множества изображений сопоставления в нейронную сеть, например, дискриминантную сеть генеративно-состязательной сети.

[134] Способ для обработки изображений согласно настоящему изобретению может быть реализован на вычислительном устройстве в форме компьютера общего назначения, микропроцессора, в цифровой электронной схеме, интегральной схеме, специально предназначенных ASIC (специализированных интегральных схемах), компьютерных аппаратных средствах, микропрограммном обеспечении, программном обеспечении и/или их сочетаниях. Эти различные реализации могут включать в себя реализацию в одной или более компьютерных программах, которые являются исполняемыми и/или интерпретируемыми на программируемой системе, включающей в себя по меньшей мере один программируемый процессор, который может быть специального или общего назначения, соединенный, чтобы принимать данные и инструкции от, и передавать данные и инструкции в, системы хранения по меньшей мере одного устройства ввода и по меньшей мере одного устройства вывода.

[135] Эти компьютерные программы (также известные как программы, программное обеспечение, приложения системы программного обеспечения или код) включают в себя машинные инструкции для программируемого процессора и могут быть реализованы на процедурном и/или объектно-ориентированном языке программирования высокого уровня и/или на языке ассемблера/машины. Когда используются в данном документе, выражения "машиночитаемый носитель", "машиночитаемый носитель" ссылаются на любой компьютерный программный продукт, аппаратное средство и/или устройство (например, магнитные диски, оптические диски, память, программируемые логические устройства (PLD)), используемое для предоставления машинных инструкций и/или данных программируемому процессору, включающие в себя машиночитаемый носитель, который принимает машинные инструкции в качестве машиночитаемого сигнала. Выражение "машиночитаемый сигнал" ссылается на любой сигнал, используемый, чтобы предоставлять машинные инструкции и/или данные программируемому процессору.

[136] Фиг. 8 показывает блок-схему системы согласно варианту осуществления настоящего изобретения для обучения нейронной сети.

[137] Как показано на фиг. 8, устройство 100, описанное выше, может быть соединено с дискриминантной сетью 200 через входной вывод In. Структура и конфигурация дискриминантной сети 200 особенно не ограничиваются. Дискриминантная сеть 200 может быть сконструирована и сконфигурирована как описано выше, или может быть сконструирована и сконфигурирована любым подходящим образом, известным обычному специалисту в области техники, пока дискриминантная сеть является приспособленной для классификации степени совпадения между изображением, которое она принимает в качестве входных данных, и предварительно определенным эталонным изображением, имеющим то же разрешение, что и входное изображение.

[138] Варианты осуществления настоящего изобретения не передают выходное изображение из генеративной сети и/или оригинальное изображение высокого разрешения непосредственно в дискриминантную сеть. Скорее, изображения обрабатываются, например, посредством устройства, описанного выше, содержащего блок извлечения признаков и блок сдвигового сопоставления, перед подачей в дискриминантную сеть для классификации. Блок сдвигового сопоставления выполнен с возможностью обрабатывать выходное изображение из генеративной сети и/или оригинальное изображение высокого разрешения, чтобы формировать множество преобразованных изображений. Например, блок сдвигового сопоставления выполнен с возможностью формировать множество изображений сопоставления, которые содержат не только информацию, присущую выходному изображению и оригинальному образцовому изображению, но также информацию, относящуюся к сопоставлениям между такими изображениями и преобразованными изображениями. Эта дополнительная информация предоставляет возможность дискриминантной сети выполнять классификацию на основе сходства между двумя наборами сопоставлений, а именно, набором сопоставлений между выходным изображением из генеративной сети и преобразованными изображениями и другим набором сопоставлений между оригинальным образцовым изображением и преобразованными изображениями. Дополнительно, из оценки качества неэталонного изображения модуля оценки качества естественности изображения (NIQE) предполагается, что сопоставления между выходным изображением (или оригинальным образцовым изображением) и преобразованными изображениями влияют на качество восприятия.

[139] Классификация на основе выходных данных от устройства настоящего изобретения увеличивает четкость классификации, улучшает точность результата классификации и обучает параметры генеративной сети в направлении создания решений, которые являются очень похожими на реальные изображения и, таким образом, трудно классифицируемыми посредством дискриминантной сети. Это способствует перцепционно превосходным решениям.

[140] В некоторых вариантах осуществления устройство согласно настоящему изобретению может быть выполнено с возможностью обучать генеративно-состязательную сеть, например, как показано на фиг. 8. Фиг. 8 показывает систему для обучения генеративно-состязательной сети согласно варианту осуществления настоящего изобретения, которая содержит одно устройство 100, соединенное с дискриминантной сетью 200 через один входной вывод In. Однако, настоящее изобретение не ограничивается вариантом осуществления, показанным на фиг. 8. Дискриминантная сеть может содержать множество входных выводов In, каждая соединена с устройством 100, например, в вариантах осуществления, где генеративная сеть формирует множество изображений, имеющих различные разрешения. Каждое изображение из генеративной сети передается одному из множества устройств 100 для обработки изображений. Каждое устройство 100 формирует множество изображений сопоставления на основе принятого изображения и передает множество изображений сопоставления в дискриминантную сеть 200. Множество изображений сопоставления от одного устройства 100 могут представлять признаковое изображение для изображения, которое должно быть классифицировано для конкретного канала. Дискриминантная сеть 200 выполнена с возможностью принимать изображения сопоставления от множества устройств 100 через множество входных выводов, и устанавливает изображение из генеративной сети с наивысшим разрешением в качестве изображения, которое должно быть классифицировано, дискриминантная сеть 200 затем выполнена с возможностью оценивать степень совпадения между изображением, которое должно быть классифицировано, и предварительно определенным эталонным изображением, имеющим то же разрешение.

[141] Блок-схема на фиг. 8 не ограничивается указанием того, что дискриминантная сеть включает в себя только компоненты, показанные на фиг. 8. Дискриминантная сеть согласно настоящему изобретению может включать в себя любое количество дополнительных вспомогательных устройств и/или компонентов, известных обычному специалисту в области техники, но не показанных на фиг. 8, в зависимости от деталей конкретной реализации.

[142] Настоящее изобретение также предоставляет машиночитаемый носитель, который хранит инструкции для выполнения способа предварительной обработки изображения для обучения генеративно-состязательной сети, как описано выше.

[143] Когда используются в данном документе, выражение "машиночитаемый носитель" ссылается на любой компьютерный программный продукт, аппаратное средство и/или устройство (например, магнитные диски, оптические диски, память, программируемые логические устройства (PLD)), используемое для предоставления машинных инструкций и/или данных программируемому процессору, включающие в себя машиночитаемый носитель, который принимает машинные инструкции в качестве машиночитаемого сигнала. Выражение "машиночитаемый сигнал" ссылается на любой сигнал, используемый, чтобы предоставлять машинные инструкции и/или данные программируемому процессору. Машиночитаемый носитель согласно настоящему изобретению включает в себя, но не только, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), энергонезависимое оперативное запоминающее устройство (NVRAM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электрически стираемое PROM (EEPROM), флэш-память, магнитное или оптическое хранилище данных, регистры, диск или ленту, такие как оптические носители хранения на компакт-диске (CD) или DVD (цифровой универсальный диск) и другие долговременные носители.

[144] В описании спецификации ссылки, выполненные на выражение "некоторый вариант осуществления", "некоторые варианты осуществления" и "примерные варианты осуществления", "пример" и "конкретный пример" или "некоторые примеры" и т.п., предназначаются, чтобы ссылаться на такие конкретные отличительные признаки и структуры, материалы или характеристики, описанные в соединении с вариантом осуществления или примером, которые включены, по меньшей мере, в некоторые варианты осуществления или пример настоящего изобретения. Схематичное выражение терминов необязательно ссылается на один и тот же вариант осуществления или пример. Кроме того, описанные конкретные признаки, структуры, материалы или характеристики могут быть включены любым подходящим образом в какой-либо один или более вариантов осуществления или примеров. Кроме того, для обычного специалиста в области техники, описание относится к рамкам настоящего изобретения, и техническая схема не ограничивается конкретным сочетанием технических признаков, а также должна охватывать другие технические схемы, которые формируются посредством объединения технических признаков или эквивалентных признаков для технических признаков без отступления от идеи изобретения. Кроме того, термины "первый" и "второй" существуют только в иллюстративных целях и не рассматриваются как указывающие или подразумевающие относительную важность или подразумеваемую ссылку на количество указанных технических признаков. Таким образом, признаки, определенные посредством терминов "первый" и "второй", могут явно или неявно включать в себя один или более признаков. В описании настоящего изобретения значением для "многочисленного" является два или более, пока иное специально и конкретно не определено.

[145] Принцип и вариант осуществления настоящего изобретения излагаются в спецификации. Описание вариантов осуществления настоящего изобретения используется, только чтобы помогать пониманию способа настоящего изобретения и его основной идеи. Между тем, для обычного специалиста в области техники, описание относится к рамкам изобретения, и техническая схема не ограничивается конкретным сочетанием технических признаков, а также должна охватывать другие технические схемы, которые формируются посредством объединения технических признаков или эквивалентных признаков для технических признаков без отступления от идеи изобретения. Например, техническая схема может быть получена посредством замены признаков, описанных выше, как описано в этом описании (но не только), аналогичными признаками.

1. Компьютерное устройство для формирования множества изображений сопоставления, содержащее:

блок извлечения признаков, выполненный с возможностью принимать обучающее изображение и извлекать из обучающего изображения, по меньшей мере, один или более из признаков для формирования первого признакового изображения на основе обучающего изображения;

нормировщик, выполненный с возможностью нормировать первое признаковое изображение и формировать второе признаковое изображение; и

блок сдвигового сопоставления, выполненный с возможностью выполнять множество поступательных сдвигов в отношении второго признакового изображения для формирования множества сдвинутых изображений, сопоставлять каждое из множества сдвинутых изображений со вторым признаковым изображением для формирования множества изображений сопоставления.

2. Устройство по п.1,

при этом блок сдвигового сопоставления выполнен с возможностью выполнять множество поступательных сдвигов в отношении второго признакового изображения посредством сдвигания количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они стали, соответственно, самыми правыми или самыми левыми столбцами блока пикселов, и сдвигания количества b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали, соответственно, самыми верхними или самыми нижними строками блока пикселов,

при этом 0≤a<Y, 0≤b<X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и

при этом a и b могут быть одинаковыми или разными.

3. Устройство по п.1 или 2,

при этом блок сдвигового сопоставления выполнен с возможностью выполнять множество поступательных сдвигов в отношении второго признакового изображения посредством сдвигания количества a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они стали, соответственно, самыми правыми или самыми левыми столбцами блока пикселов, и сдвигания количества b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали, соответственно, самыми верхними или самыми нижними строками блока пикселов,

при этом 0≤a<Y, 0≤b<X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и

при этом a и b могут быть одинаковыми или разными.

4. Устройство по любому из пп.1-3, в котором блок сдвигового сопоставления выполнен с возможностью сопоставлять каждое из множества сдвинутых изображений со вторым признаковым изображением посредством умножения значения пиксела каждого пиксела в блоке пикселов каждого из множества сдвинутых изображений на значение пиксела позиционно соответствующего пиксела в блоке пикселов второго признакового изображения.

5. Устройство по любому из пп.1-4,

при этом первое признаковое изображение является яркостным признаковым изображением, и

при этом блок извлечения признаков содержит: детектор яркости, выполненный с возможностью извлекать информацию о яркости из обучающего изображения для формирования яркостного признакового изображения.

6. Устройство по п.5, в котором для формирования яркостного признакового изображения детектор яркости выполнен с возможностью определять значение яркости пиксела в заданной позиции в яркостном признаковом изображении согласно следующей формуле (1):

I=0,299R+0,587G+0,114B (1)

при этом:

I является значением яркости,

R является значением красного компонента позиционно соответствующего пиксела в обучающем изображении,

G является значением зеленого компонента позиционно соответствующего пиксела в обучающем изображении, и

B является значением синего компонента позиционно соответствующего пиксела в обучающем изображении.

7. Устройство по п.5 или 6, в котором нормировщик выполнен с возможностью нормировать яркостное признаковое изображение согласно следующей формуле (2):

(2)

при этом:

N является первым признаковым изображением,

I представляет значение яркости пиксела в заданной позиции в яркостном признаковом изображении,

Blur(I) является изображением, полученным посредством применения фильтра Гаусса к яркостному признаковому изображению, и

Blur(I2) является изображением, полученным возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем применением фильтра Гаусса к изображению.

8. Устройство по любому из пп.1-7,

при этом второе признаковое изображение содержит блок пикселов, имеющий первый размер,

при этом каждое из множества сдвинутых изображений и каждое из множества изображений сопоставления содержит блок пикселов, имеющий первый размер, и

при этом в каждом из множества сдвинутых изображений пиксел, имеющий ненулевое значение пиксела, имеет соответствующий пиксел с таким же ненулевым значением пиксела во втором признаковом изображении.

9. Компьютерно-реализуемый способ формирования множества изображений сопоставления, содержащий этапы, на которых:

формируют первое признаковое изображение на основе обучающего изображения;

нормируют первое признаковое изображение и формируют второе признаковое изображение;

выполняют множество поступательных сдвигов в отношении второго признакового изображения для формирования множества сдвинутых изображений; и

сопоставляют каждое из множества сдвинутых изображений со вторым признаковым изображением для формирования множества изображений сопоставления.

10. Способ по п.9, в котором упомянутое сопоставление каждого из множества сдвинутых изображений со вторым признаковым изображением содержит этап, на котором умножают значение пиксела каждого пиксела в блоке пикселов каждого из множества сдвинутых изображений на значение пиксела позиционно соответствующего пиксела в блоке пикселов второго признакового изображения.

11. Способ по п.9 или 10, в котором выполнение множества поступательных сдвигов содержит этапы, на которых:

сдвигают количество a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения, чтобы они были, соответственно, самыми правыми или самым левыми столбцами блока пикселов; и

сдвигают количество b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения, чтобы они стали, соответственно, самыми верхними или самыми нижними строками блока пикселов,

при этом 0≤a<Y, 0≤b<X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и

при этом a и b могут быть одинаковыми или разными.

12. Способ по п.11, в котором по меньшей мере одно из a и b изменяется по меньшей мере один раз во время выполнения множества поступательных сдвигов.

13. Способ по п.9 или 10, в котором выполнение множества поступательных сдвигов содержит этапы, на которых:

удаляют количество a самых левых или самых правых столбцов пикселов в блоке пикселов второго признакового изображения и добавляют количество a столбцов пикселов в самой правой или самой левой позиции блока пикселов, соответственно; и

удаляют количество b самых нижних или самых верхних строк пикселов в блоке пикселов второго признакового изображения и добавляют количество b строк в самой верхней или самой нижней позиции блока пикселов, соответственно,

при этом 0≤a<Y, 0≤b<X, каждое из a и b является целым числом, Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, а X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения, и

при этом каждый из добавленных пикселов имеет значение пиксела, равное 0.

14. Способ по п.13, в котором по меньшей мере одно из a и b изменяется по меньшей мере один раз во время выполнения множества поступательных сдвигов.

15. Способ по любому из пп.9-14, дополнительно содержащий этап, на котором выполняют X*Y поступательных сдвигов, при этом Y является суммарным количеством столбцов пикселов в блоке пикселов второго признакового изображения, а X является суммарным количеством строк пикселов в блоке пикселов второго признакового изображения.

16. Способ по любому из пп.9-15, дополнительно содержащий, перед формированием первого признакового изображения, этап, на котором принимают обучающее изображение, при этом формирование первого признакового изображения содержит этап, на котором формируют яркостное признаковое изображение на основе информации о яркости обучающего изображения.

17. Способ по п.16, дополнительно содержащий этап, на котором определяют значение яркости пиксела в заданной позиции в яркостном признаковом изображении согласно следующей формуле (1):

I=0,299R+0,587G+0,114B (1)

при этом:

I является значением яркости,

R является значением красного компонента позиционно соответствующего пиксела в обучающем изображении,

G является значением зеленого компонента позиционно соответствующего пиксела в обучающем изображении, и

B является значением синего компонента позиционно соответствующего пиксела в обучающем изображении.

18. Способ по п.16 или 17, дополнительно содержащий этап, на котором нормируют яркостное признаковое изображение согласно следующей формуле (2):

(2)

при этом:

N является первым признаковым изображением,

I представляет яркостное признаковое изображение,

Blur(I) является изображением, полученным посредством применения фильтра Гаусса к яркостному признаковому изображению, и

Blur(I2) является изображением, полученным возведением в квадрат каждого значения пиксела в яркостном признаковом изображении и затем применением фильтра Гаусса к изображению.

19. Способ по любому из пп.9-18,

при этом первое признаковое изображение содержит блок пикселов, имеющий первый размер,

при этом каждое из множества сдвинутых изображений и каждое из множества изображений сопоставления содержит блок пикселов, имеющий первый размер, и

при этом в каждом из множества сдвинутых изображений пиксел, имеющий ненулевое значение пиксела, имеет соответствующий пиксел с таким же ненулевым значением пиксела в первом признаковом изображении.

20. Долговременный машиночитаемый носитель, хранящий инструкции, которые предписывают компьютеру исполнять способ по любому из пп.9-19.

21. Система для обучения генеративно-состязательной сети, содержащая:

процессор генеративно-состязательной сети, содержащий микропроцессор генеративной сети, который выполнен с возможностью обучаться посредством микропроцессора дискриминантной сети, и микропроцессор дискриминантной сети, который соединен с генеративной сетью,

при этом микропроцессор дискриминантной сети содержит:

множество входных выводов, соединенных с множеством устройств по любому из пп.1-8;

множество модулей анализа, при этом каждый из множества модулей анализа соединен с одним из множества входных выводов;

множество модулей объединения в пул, соединенных в каскад, причем каждая ступень каскада содержит модуль объединения в пул, соединенный с одним из множества модулей анализа и с модулем объединения в пул на предыдущей ступени каскада; и

сеть дискриминатора, соединенную с модулем объединения в пул на последней ступени каскада.



 

Похожие патенты:

Изобретение относится к области повышения чувствительности и частоты кадров видеокамер. Техническим результатом является повышение чувствительности и частоты кадров видеокамер при достижении повышенного пространственного разрешения.

Изобретение относится к области дистанционного зондирования Земли из космоса, а именно к средствам обработки данных дистанционного зондирования Земли для формирования геопространственных продуктов, обладающих потребительскими свойствами и пригодных для прикладного использования настольными и мобильными приложениями.

Изобретение относится к области дистанционного зондирования Земли из космоса, а именно к средствам обработки данных дистанционного зондирования Земли для формирования геопространственных продуктов, обладающих потребительскими свойствами и пригодных для прикладного использования настольными и мобильными приложениями.

Группа изобретений относится к системе и способу мониторинга рабочего участка. Система содержит компонент связи с устройством формирования изображения беспилотного летательного аппарата, контроллер, содержащий модуль сцены, модуль объектов и модуль карты.

Изобретение относится к областям компьютерного зрения и компьютерной графики с использованием нейронных сетей, машинного обучения для интерактивной сегментации объектов на изображениях, и в частности к способу интерактивной сегментации объекта на изображении и электронному вычислительному устройству для реализации данного способа.

Изобретение относится к вычислительной технике и может быть использовано для сегментации изображений зданий и сооружений. Техническим результатом является повышение быстродействия обработки цифровых данных при снижении количества вычислительных ресурсов.

Изобретение относится к вычислительной технике и может быть использовано для сегментации изображений участков недропользования открытого типа. Техническим результатом является повышение быстродействия обработки цифровых данных при снижении количества вычислительных ресурсов.

Изобретение относится к обработке видео и формированию выходного видеосигнала из множества входных видеосигналов. Техническим результатом является формирование видеосигналов из множества входных видеосигналов в реальном времени и возможность использования входных сигналов с высоким разрешением без сопутствующего накопления задержек или без использования значительной вычислительной мощности.

Изобретение относится к обработке видео и формированию выходного видеосигнала из множества входных видеосигналов. Техническим результатом является формирование видеосигналов из множества входных видеосигналов в реальном времени и возможность использования входных сигналов с высоким разрешением без сопутствующего накопления задержек или без использования значительной вычислительной мощности.

Изобретение относится к кодированию информации. Технический результат заключается в расширении арсенала средств.

Изобретение относится к области вычислительной техники для обработки биометрических данных. Технический результат заключается в повышении точности локализации ключевой точки лица.
© Патентный поиск, поиск патентов на изобретения - FindPatent.RU 2012-2024
Политика конфиденциальности 2018-09-30 2021-12-16T08:40:47
Наверх