Способ и устройство выделения характеристики
Группа изобретений относится к области обработки изображений. Устройство реализует способ выделения характеристик, содержащий этапы, на которых: сегментируют изображение на множество блоков, при этом каждый блок включает в себя множество ячеек, преобразуют каждую ячейку из пространственной области в область частот и выделяют характеристику гистограммы ориентированного градиента (HOG) изображения в области частот. При этом этап выделения характеристики гистограммы ориентированного градиента (HOG) изображения в области частоты содержит подэтапы, на которых: вычисляют магнитуду градиента и направление градиента каждой ячейки в области частот для получения дескриптора каждой ячейки, подсчитывают соответствующий дескриптор каждого блока в области частоты для получения характеристики HOG каждого блока и подсчитывают характеристику HOG каждого блока изображения в области частот для получения характеристики HOG изображения. Этап подсчета характеристики HOG каждого блока изображения для получения характеристики HOG изображения содержит подэтапы, на которых корректируют характеристику HOG каждого блока в изображении с исходного L*1-мерного вектора до матрицы M*N, при этом каждый блок включает в себя M*N пикселей, и L=M*N и получают характеристику HOG изображения на основе скорректированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении. Технический результат заключается в обеспечении возможности повышения частоты и точности обнаружения при распознавании структур. 3 н. и 8 з.п. ф-лы, 11 ил., 1 табл.
Область техники, к которой относится изобретение
Настоящее раскрытие, в общем, относится к обработке изображений и более конкретно к способу и устройству выделения характеристик.
Уровень техники
Обнаружение и идентификация изображения являются важной областью исследования в компьютерном видении. Наиболее распространенный способ в технологии обнаружения и идентификации изображения состоит в выделении некоторого свойства изображения для обнаружения и идентификации изображения.
В предшествующем уровне техники изображение обнаруживают и идентифицируют путем выделения характеристики гистограммы ориентированного градиента (HOG) изображения. Способ выделения характеристики HOG состоит в следующем: вычисляют градиент каждого пикселя в изображении; сегментируют изображение на множество ячеек, в котором каждая ячейка включает в себя множество пикселей, и каждая из соседних n ячеек составляет блок; рассчитывают гистограмму градиента всех пикселей в каждой ячейке и получают характеристику HOG каждого блока на основе гистограммы градиента всех ячеек в блоке; и рассчитывают характеристику HOG всех блоков в изображении для получения характеристики HOG изображения.
Раскрытие изобретения
С учетом предшествующего уровня техники, в раскрытии предусмотрены способ и устройство выделения характеристик.
Способ состоит в следующем.
В соответствии с первым аспектом настоящего раскрытия обеспечивается способ выделения характеристик. Способ включает в себя этапы, на которых: сегментируют изображение на множество блоков, при этом каждый блок включает в себя множество ячеек; преобразуют каждую ячейку из пространственной области в область частоты; и выделяют характеристику гистограммы ориентированного градиента (HOG) изображения в области частоты.
В альтернативном варианте осуществления этап преобразования каждой ячейки из пространственной области в область частоты включает в себя подэтап, на котором выполняют дискретное косинусное преобразование (DCT) каждой ячейки.
В альтернативном варианте осуществления этап преобразования каждой ячейки из пространственной области в область частот включает в себя подэтап, на котором выполняют дискретное преобразование Фурье (DFT) каждой ячейки.
В альтернативном варианте этап осуществления выделение характеристики гистограммы ориентированного градиента (HOG) изображения в области частоты включает в себя подэтапы, на которых: рассчитывают магнитуду градиента и направление градиента каждой ячейки в области частоты для получения дескриптора каждой ячейки; подсчитывают соответствующий дескриптор каждого блока в области частоты для получения характеристики HOG каждого блока; и подсчитывают характеристику HOGA каждого блока изображения в области частоты для получения характеристики HOG изображения.
В альтернативном варианте осуществления этап вычисления характеристики HOG каждого блока изображения для получения характеристики HOG изображения включает в себя подэтап, на котором каскадируют характеристику HOG каждого блока в изображении в виде матрицы для получения характеристики HOG изображения, где каждый столбец матрицы представляет собой характеристику HOG одного из блоков.
В альтернативном варианте осуществления этап вычисления характеристики HOG каждого блока изображения для получения характеристики HOG изображения включает в себя подэтапы, на которых: корректируют характеристику HOG каждого блока в изображении с исходного L*1-мерного вектора до матрицы M*N, в котором каждый блок включает в себя M*N пикселей, L=M*N; и получают характеристику HOG изображения на основе скорректированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении.
В альтернативном варианте осуществления способ дополнительно включает в себя этап, на котором нормализуют изображения для получения изображения, имеющего заданную магнитуду.
В соответствии со вторым аспектом настоящего раскрытия, обеспечивается устройство выделения характеристики. Устройство включает в себя: модуль сегментирования, выполненный с возможностью сегментирования изображения на множество блоков, при этом каждый блок включает в себя множество ячеек; модуль преобразования, выполненный с возможностью преобразования каждой ячейки из пространственной области в область частоты; и модуль выделения, выполненный с возможностью выделения характеристики гистограммы ориентированного градиента (HOG) изображения в области частоты.
В альтернативном варианте осуществления модуль преобразования выполнен с возможностью выполнения дискретного косинусного преобразования (DCT) каждой ячейки.
В альтернативном варианте осуществления модуль преобразования выполнен с возможностью выполнения дискретного преобразования Фурье (DFT) для каждой ячейки.
В альтернативном варианте осуществления модуль выделения включает в себя: подмодуль расчета, выполненный с возможностью расчета магнитуды градиента и направления градиента каждой ячейки в области частоты для получения дескриптора каждой ячейки; первый подмодуль отсчета, выполненный с возможностью отсчета соответствующего дескриптора каждого блока в области частоты, для получения характеристики HOG каждого блока; и второй подмодуль отсчета, выполненный с возможностью расчета характеристики HOG каждого блока изображения в области частоты для получения характеристики HOG изображения.
В альтернативном варианте осуществления второй подмодуль отсчета выполнен с возможностью каскадирования характеристики HOG каждого блока в изображении в виде матрицы для получения характеристики HOG изображения, в котором каждый столбец матрицы представляет собой характеристику HOG одного из блоков.
В альтернативном варианте осуществления второй подмодуль отсчета включает в себя: подмодуль коррекции, выполненный с возможностью коррекции характеристики HOG каждого блока в изображении от исходного L*1-мерного вектора до M*N матрицы, в котором каждый блок включает в себя M*N пикселей, L=M*N; и подмодуль выделения характеристики, выполненный с возможностью получения характеристики HOG изображения на основе отрегулированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении.
В альтернативном варианте осуществления устройство дополнительно включает в себя: модуль обработки, выполненный с возможностью нормализации изображения для получения изображения, имеющего заданную магнитуду.
В соответствии с третьим аспектом раскрытия предусмотрено устройство выделения характеристики. Устройство включает в себя: процессор; запоминающее устройство для хранения инструкций, выполняемых процессором; причем процессор выполнен с возможностью: сегментирования изображения на множество блоков, причем каждый блок включает в себя множество ячеек; преобразования каждой ячейки из пространственной области в область частоты; и выделения характеристики гистограммы ориентированного градиента (HOG) изображения в области частоты.
Варианты осуществления раскрытия могут обеспечивать, по меньшей мере, некоторые из следующих предпочтительных эффектов: в результате сегментирования изображения на множество блоков каждый блок включает в себя множество ячеек; каждую ячейку преобразуют из пространственной области в область частоты; и выделяют характеристику гистограммы ориентированного градиента (HOG) изображения в области частоты; решаются задачи предшествующего уровня техники относительно низкой частоты и точности обнаружения при распознавании структуры из-за непосредственного расчета пространственной области изображения при процедуре выделения характеристик HOG; и это позволяет достичь эффектов улучшения отношения и точности обнаружения при распознавании структур путем выделения характеристик HOG в области частоты.
Следует понимать, что как представленное выше общее описание, так и следующее подробное описание изобретения представляют собой только примеры и не являются ограничительными для настоящего раскрытия.
Краткое описание чертежей
На приложенных чертежах, которые представлены здесь и составляют часть данного описания, иллюстрируются варианты осуществления, соответствующие раскрытию и, вместе с описанием, используются для пояснения принципов раскрытия.
На фиг. 1 показана блок-схема последовательности операций, поясняющая способ выделения характеристик в соответствии с примерным вариантом выполнения.
На фиг. 2А показана блок-схема последовательности операций, поясняющая способ выделения характеристик в соответствии с другим примерным вариантом выполнения.
На фиг. 2В показана блок-схема, поясняющая способ для сегментирования изображения в соответствии с примерным вариантом выполнения.
На фиг. 2С показана блок-схема, поясняющая сегментирование изображения в соответствии с другим примерным вариантом выполнения.
На фиг. 2D показана блок-схема, поясняющая подсчитанные характеристики HOG в блоке в соответствии с примерным вариантом выполнения.
На фиг. 3А показана блок-схема последовательности операций, поясняющая способ выделения характеристик в соответствии с примерным вариантом выполнения.
На фиг. 3В показана блок-схема, поясняющая подсчитанные характеристики HOG изображения в соответствии с примерным вариантом выполнения.
На фиг. 4 показана блок-схема, поясняющая устройство выделения характеристик в соответствии с примерным вариантом выполнения.
На фиг. 5 показана блок-схема, поясняющая устройство выделения характеристик в соответствии с другим примерным вариантом выполнения.
На фиг. 6 показана блок-схема, поясняющая подмодули устройства выделения характеристик в соответствии с примерным вариантом выполнения.
На фиг. 7 показана блок-схема, поясняющая устройство выделения характеристик в соответствии с другим примерным вариантом выполнения.
Осуществление изобретения
Далее будет сделана подробная ссылка на примерные варианты выполнения, примеры которых представлены на приложенных чертежах. Следующее описание относится к приложенным чертежам, на которых одинаковые номера на разных чертежах представляют одинаковые или аналогичные элементы, если только не будет описано другое. Варианты осуществления, представленные в следующем описании примерных вариантов осуществления, не представляют все варианты осуществления, соответствующие раскрытию. Вместо этого, они представляют собой просто примеры устройств и способов, соответствующих аспектам, относящимся к раскрытию, как указано в приложенной формуле изобретения.
На фиг. 1 показана блок-схема последовательности операций, иллюстрирующая способ выделения характеристик, в соответствии с примерным вариантом осуществления. Как показано на фиг. 1, вариант осуществления, в качестве примера, направлен на способ, используемый в аппаратных средствах распознавания структуры, и этот способ может включать в себя следующие этапы.
На этапе 102 изображение сегментируют на множество блоков, в которых каждый блок включает в себя множество ячеек.
На этапе 104 каждую ячейку преобразуют из пространственной области в область частоты.
Каждую ячейку преобразуют таким образом, что изображение преобразуют из пространственной области в область частоты.
На этапе 106 выделяют характеристику гистограммы ориентированного градиента (HOG) изображения в области частоты.
Выделяют характеристику HOG изображения в области частоты.
В общем, в способе выделения характеристик, в соответствии с вариантом осуществления раскрытия, путем сегментирования изображения на множество блоков, каждый блок при этом включает в себя множество ячеек; каждую ячейку преобразуют из пространственной области в область частоты; и выделяют характеристику гистограммы ориентированного градиента (HOG) изображения в области частоты; это позволяет решать задачи предшествующего уровня техники, связанные с относительно низким отношением и точностью обнаружения при распознавании структуры, из-за непосредственного расчета в пространственной области изображения в процедуре выделения характеристики HOG; и позволяет достичь эффектов улучшения частоты и точности обнаружения при распознавании структуры, путем выделения характеристики HOG в области частоты.
На фиг. 2А показана блок-схема последовательности операций, иллюстрирующая способ выделения характеристик, в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 2А, вариант осуществления направлен на способ, в качестве примера, используемый в аппаратных средствах распознавания структуры, и способ может включать в себя следующие этапы.
На этапе 201, изображение нормализуют для получения изображения, имеющего заданную магнитуду.
При распознавании структуры обычно используют выделение характеристик из множества изображений. Перед выделением характеристики из изображения, терминал вначале нормализует изображение так, чтобы изображения, имеющие разные магнитуды, можно было преобразовать в изображения, имеющие заданную магнитуду, с целью равномерной обработки изображений.
На этапе 202 изображение сегментируют на множество блоков, в котором каждый блок включает в себя множество ячеек.
В качестве альтернативы, сегментирование терминалом нормализованного изображения может включать в себя: сегментируют изображения на множество блоков, и затем сегментируют каждый блок на множество ячеек.
В качестве альтернативы, сегментирование терминалом нормализованного изображения может включать в себя: сегментируют изображение на множество ячеек, и затем составляют блок из соседних ячеек, в котором каждый блок включает в себя множество ячеек, например блок может быть составлен из четырех парных соседних ячеек, сформированных в виде формы блока 21, как показано на фиг. 2В.
В процедуре сегментирования изображения в варианте осуществления порядок сегментирования изображения в блоки и сегментирование изображения в ячейки не ограничен чем-либо специальным. Изображение может быть вначале сегментировано на блоки и затем блоки могут быть сегментированы на ячейки или изображение может быть вначале сегментировано на ячейки и затем из ячеек можно составить соответствующий блок.
В варианте осуществления, в частности, не ограничено, присутствует ли наложение между сегментированными блоками изображения. При этом возможно наложение между блоками или наложение между блоками может отсутствовать.
Например, изображение 20 размером 128 пикселей * 128 пикселей вначале может быть сегментировано на блоки 21 из 16 пикселей * 16 пикселей, в котором блоки не накладываются друг на друга, и затем каждый из блоков 21 16 пикселей * 16 пикселей сегментируют на ячейки 22 на 8 пикселей * 8 пикселей таким образом, что изображение включает в себя 8*8=64 блока 21, не имеющих наложение, и каждый блок включает в себя 2*2=4 ячейки, как показано на фиг. 2В.
Например, изображение с размером 128 пикселей * 128 пикселей может быть вначале сегментировано на блоки 23 16 пикселей * 16 пикселей, в котором блоки имеют наложение, и затем каждый из блоков 23 16 пикселей * 16 пикселей сегментируют в ячейки 24 8 пикселей * 8 пикселей, таким образом, изображение включает в себя 16*16=256 блоков 23 имеющих перекрытия, и каждый блок включает в себя 2*2=4 ячейки, как показано на фиг. 2С.
На этапе 203 выполняют дискретное косинусное преобразование (DCT) для каждой ячейки.
Для каждой ячейки изображения, если матрица А, составленная из пикселей каждой ячейки, имеет магнитуду М пикселей * N пикселей, коэффициент дискретного косинусного преобразования (DCT) матрицы А выражается следующей формулой:
в которой 
представляет собой коэффициент DCT матрицы А, р=0, 1, 2 …, М-1, m=0, 1, 2 …, М-1, q=0, 1, 2 …, N-1, n=0, 1, 2 …, N-1.
DCT выполняется для каждой ячейки изображения таким образом, что изображение преобразуют из пространственной области в область частоты.
В качестве альтернативы, терминал выполняет дискретное преобразование Фурье (DFT) для каждой ячейки.
Для каждой ячейки изображения, если каждая ячейка имеет магнитуду М пикселей * N пикселей, функция пикселей (х, y) представляет собой f (х, y), коэффициент F (u, v) дискретного косинусного преобразования (DFT) функции f (х, y) определяется следующей формулой:
в которой u=0, 1, 2 …, М-1, v=0, 1, 2 …, N-1.
Терминал выполняет DFT для каждой ячейки изображения таким образом, что изображение преобразуют из пространственной области в область частоты.
На этапе 204 магнитуду градиента и направление градиента каждой ячейки в области частоты рассчитывают для получения дескриптора каждой ячейки.
Терминал рассчитывает поперечный градиент и продольный градиент каждого пикселя в каждой ячейке, для которых выполняется DCT или DFT, используя оператор градиента. Например, обычно используемые операторы градиента представлены в следующей таблице 1:
В варианте осуществления, когда рассчитывают магнитуду градиента пикселя в каждой ячейке, может быть выбран любой оператор градиента в Таблице 1 или также может быть выбран другой оператор градиента. Выбор оператора градиента в варианте осуществления не ограничен чем-либо конкретным.
Исходя из того, что поперечный градиент пикселя (х, y) представляет собой Н (х, y), и продольный градиент пикселя (х, y) представляет собой V (х, y), направление градиента и магнитуду градиента каждого пикселя можно рассчитать по формулам (1) и (2) следующим образом:
в которых θ (х, y) представляет собой направление градиента пикселя (х, y) и m (х, y) представляет собой магнитуду градиента пикселя (х, y).
Направление градиента θ (х, y) принадлежит диапазону от -90 градусов до 90 градусов. Направление градиента θ (х, y) разделяют равномерно на z участков, и все пиксели в каждой ячейке подсчитывают на основе веса m (х, y) на соответствующем разделенном участке для получения, в конечном итоге, z-мерного вектора для каждой ячейки, то есть получают дескриптор, соответствующий каждой ячейке.
Например, направление градиента θ (х, y) разделяют равномерно на 9 участков, и угол, соответствующий каждому участку, представляет собой 20 градусов; и все пиксели в каждой ячейке рассчитывают на основе веса m (х, y) на соответствующих 20 градусах для получения, в конечном итоге, 9-мерного вектора для каждой ячейки.
В варианте осуществления, количество участков, на которое разделено направление градиента, не ограничено чем-либо конкретным.
На этапе 205, все дескрипторы в каждом блоке подсчитывают для получения характеристики HOG каждого блока.
Терминал подсчитывает дескрипторы, полученные из соответствующих ячеек, содержавшихся в каждом блоке, для получения характеристики HOG каждого блока.
При подсчете всех дескрипторов, полученных из соответствующих ячеек, терминал может каскадировать дескрипторы, соответствующие соответствующим ячейкам таким образом, что характеристика HOG каждого блока представляет собой вектор, в котором размерность вектора составляет к размерностей дескриптора, соответствующего ячейкам, содержавшимся в блоке.
Например, дескриптор в соответствующей ячейке представляет собой 9-мерный вектор, и каждый блок включает в себя 4 соты. 9-Мерные дескрипторы в 4 сотах каскадируют так, чтобы сформировать 36-мерный вектор, который используется как характеристика HOG соответствующего блока.
На этапе 206, характеристики HOG соответствующих блоков в области частоты подсчитывают для получения характеристики HOG изображения.
Терминал подсчитывает характеристики HOG соответствующих блоков для получения характеристики HOG изображения. Характеристики HOG соответствующих блоков в изображении каскадируют для формирования матрицы для получения характеристики HOG изображения, в которой каждый столбец матрицы представляет характеристику HOG одного из блоков.
Например, изображение включает в себя K блоков, и характеристика HOG каждого блока составляет Ki, и характеристику HOG Ki каскадируют для формирования матрицы 250, в которой K1 размещают в первом столбце 26 каскадированной матрицы, и K2 размещают во втором столбце 27 каскадированной матрицы, и так далее, как показано на фиг. 2D.
В общем, в способе выделения характеристик, в соответствии с вариантом осуществления раскрытия, путем сегментирования изображения на множество блоков, каждый блок включает в себя множество ячеек; выполняют DCT или DFT каждой ячейки; рассчитывают магнитуду градиента и направления градиента каждой ячейки в области частоты для получения дескриптора каждой ячейки; рассчитывают соответствующий дескриптор каждого блока в области частоты для получения характеристики HOG каждого блока; это позволяет решить проблемы предшествующего уровня техники относительно низкой частоты и точности обнаружения при распознавании структуры, из-за непосредственного расчета пространственной области изображения в процедуре выделения характеристики HOG; и это позволяет достичь эффектов улучшения частоты и точности обнаружения при распознавании структуры, путем выделения характеристик HOG в области частоты.
В альтернативном варианте осуществления, показанном на фиг. 2А, в процедуре подсчета характеристик HOG каждого из блоков в изображении для получения характеристики HOG изображения они могут быть размещены в форме соответствующих положений в изображении. Этап 206 может, в качестве альтернативы, быть воплощен как этап 206а и 206b, как показано на фиг. 3А.
На этапе 206а, характеристику HOG каждого блока в изображении корректируют от исходного L*1-мерного вектора до M*N матрицы, в которой каждый блок включает в себя M*N пикселей, и L=M*N.
Характеристика HOG каждого блока представляет собой L*1-мерный вектор, полученный путем каскадирования дескрипторов, соответствующих каждой из ячеек, и L*1-мерный вектор корректируют так, чтобы он представлял матрицу M*N, то есть терминал корректирует L*1-мерный вектор каждого блока так, чтобы он составлял соответствующую матрицу на основе включенных ячеек, в которой каждый столбец соответствующей матрицы представляет дескриптор одной ячейки; и затем регулирует дескрипторы каждой из ячеек на основе соответствующих пикселей, в котором каждый столбец отрегулированной матрицы представляет собой характеристику HOG, соответствующую пикселям соответствующих столбцов в соответствующем блоке.
На этапе 206b, характеристику HOG изображения получают на основе отрегулированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении.
Характеристику HOG соответствующего положения пикселя в изображении получают на основе отрегулированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении.
Например, изображение включает в себя K блоков, и характеристика HOG каждого блока представляет собой Ki, и характеристики HOG Ki корректируют так, чтобы сформировать M*N матрицу, в которой скорректированная матрица 31 K1 размещена в положении в изображении, соответствующем первому блоку 32, и скорректированная матрица 33 K2 размещена в положении в изображении, соответствующем второму блоку 34, и так далее, последняя матрица MN размещена в положении в изображении, соответствующем последнему блоку MN, как представлено на фиг. 3В.
В общем, в способе выделения характеристик в соответствии с вариантом осуществления раскрытия, путем регулирования характеристики HOG каждого блока в изображении из исходного L*1-мерного вектора до M*N матрицы, каждый блок включает в себя M*N пикселей, и L=M*N; получения характеристики HOG изображения на основе отрегулированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении для получения характеристики HOG изображения; и разрешения выделенной характеристики HOG изображения, соответствующего соответствующему положению каждого блока в изображении, можно лучше выделять характеристику каждого блока в изображении.
Далее представлены варианты осуществления устройства раскрытия, которые могут использоваться для выполнения вариантов осуществления способа раскрытия. Детали, которые не раскрыты в вариантах осуществления устройства, можно найти в вариантах осуществления способа в данном раскрытии.
На фиг. 4 показана блок-схема, иллюстрирующая устройство выделения характеристик в соответствии с примерным вариантом осуществления. Как показано на фиг. 4, устройство выделения характеристик включает в себя, но не ограничено этим, следующие модули.
Модуль 420 сегментирования выполнен с возможностью сегментирования изображения на множество блоков, в котором каждый блок включает в себя множество ячеек.
Модуль 440 преобразования выполнен с возможностью преобразования каждой ячейки из пространственной области в область частоты; и модуль 440 преобразования выполнен с возможностью преобразования каждой ячейки таким образом, что изображение преобразуют из пространственной области в область частоты.
Модуль 460 выделения выполнен с возможностью выделения характеристики гистограммы ориентированного градиента (HOG) изображения в области частоты.
В общем, в устройстве выделения характеристик, в соответствии с вариантом осуществления раскрытия, путем сегментирования изображения на множество блоков, каждый блок включает в себя множество ячеек; преобразования каждой ячейки из пространственной области в область частоты; и выделения характеристики гистограммы ориентированного градиента (HOG) изображения в области частоты; можно решить проблемы предшествующего уровня техники относительно низких отношений и точности обнаружения при распознавании структуры в результате непосредственного расчета пространственной области изображения в процедуре выделения характеристики HOG; и можно достичь эффектов улучшения частоты обнаружения и точности при распознавании структуры, путем выделения характеристик HOG в области частоты.
На фиг. 5 показана блок-схема, иллюстрирующая устройство выделения характеристик в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 5, устройство выделения характеристик включает в себя, но не ограничено этим, следующие модули.
Модуль 410 обработки выполнен с возможностью нормализации изображения для получения изображения, имеющего заданную магнитуду.
При распознавании структуры это, в общем, подразумевает выделение характеристик из множества изображений. Перед выделением характеристики из изображения, модуль 410 обработки вначале нормализует изображение так, чтобы изображения, имеющие разные магнитуды, можно было преобразовать в изображения, имеющие заданную магнитуду, с целью однородной обработки изображений.
Модуль 420 сегментирования выполнен с возможностью сегментирования изображения на множество блоков, в котором каждый блок включает в себя множество ячеек.
В качестве альтернативы, модуль 420 сегментирования может сегментировать изображение на множество блоков и затем сегментировать каждый блок на множество ячеек.
В качестве альтернативы, модуль 420 сегментирования может сегментировать изображение на множество ячеек и затем составлять блок из соседних ячеек, в котором каждый блок включает в себя множество ячеек, например блок может быть составлен из четырех парных соседних ячеек, сформированных в форме блока 21, как показано на фиг. 2В.
В процедуре модуля 420 сегментирования, состоящей в сегментировании изображения, в варианте осуществления порядок сегментирования изображения на блоки и сегментирование изображения на ячейки не ограничены чем-либо конкретным. Изображение может быть вначале сегментировано на блоки и затем блоки могут быть сегментированы на ячейки или изображение может быть вначале сегментировано на ячейки и затем ячейки составляют соответствующий блок.
В варианте осуществления не ограничено конкретно, присутствует ли наложение между блоками изображения, сегментированного модулем 420 сегментирования. Здесь может присутствовать наложение между блоками или наложение между блоками может отсутствовать.
Модуль 440 преобразования выполнен с возможностью выполнения дискретного косинусного преобразования (DCT) каждой ячейки.
Для каждой ячейки изображения, если матрица А, состоящая из пикселей каждой ячейки, имеет магнитуду пикселей М*N пикселей, коэффициент дискретного косинусного преобразования (DCT) матрицы А рассчитывают по следующей формуле:
в которой 
представляет собой коэффициент DCT матрицы А, р=0, 1, 2 …, М-1, m=0, 1, 2 …, М-1, q=0, 1, 2 …, N-1, n=0, 1, 2 …, N-1.
Модуль 440 преобразования может выполнять DCT для каждой ячейки изображения таким образом, что изображение преобразуют из пространственной области в область частоты.
В качестве альтернативы, модуль 440 преобразования выполнен с возможностью выполнения дискретного преобразования Фурье (DFT) для каждой ячейки.
Для каждой ячейки изображения, если каждая ячейка имеет магнитуду М пикселей * N пикселей, функция пикселей (х, у) представляет собой f (х, у), коэффициент F (u, v) дискретного косинусного преобразования (DFT), функции f (x, у) выражается следующей формулой:
в которой u=0, 1, 2 …, М-1, v=0, 1, 2 …, N-1.
Модуль 440 преобразования может выполнять DFT для каждой ячейки изображения таким образом, что изображение преобразуют из пространственной области в область частоты.
Модуль 460 выделения выполнен с возможностью выделения характеристики гистограммы ориентированного градиента (HOG) изображения в области частоты.
В примерном варианте осуществления модуль 460 выделения может включать в себя следующие подмодули.
Подмодуль 461 расчетов выполнен с возможностью расчета магнитуды градиента и направления градиента каждой ячейки в области частот для получения дескриптора каждой ячейки.
Подмодуль 461 расчетов рассчитывает поперечный градиент и продольный градиент каждого пикселя в каждой ячейке, для которых выполняют DCT или DFT, используя оператор градиента. Выбор оператора градиента в варианте осуществления не ограничен чем-либо конкретным.
Учитывая, что поперечный градиент пикселя (х, у) представляет собой Н (х, у) и продольный градиент пикселя (х, у) представляет собой V (х, у), направление градиента и магнитуда градиента каждого пикселя могут быть рассчитаны по формулам (1) и (2) следующим образом:
в которых θ (х,у) представляет собой направление градиента пикселя (х, у) и m (х, у) представляет собой магнитуду градиента пикселя (х, у).
Направление θ (х,у) градиента принадлежит диапазону от -90 градусов до 90 градусов. Направление θ (х,у) градиента равномерно разделено на z участков, и все пиксели в каждой ячейке подсчитаны на основе веса m (х, у) на соответствующем разделенном участке для получения, в конечном итоге, z-мерного вектора каждой ячейки, то есть получают дескриптор, соответствующий каждой ячейке.
В варианте осуществления, количество участков, на которое разделено направление градиента, не ограничено чем-либо конкретным.
Первый подмодуль 462 подсчета выполнен с возможностью подсчета соответствующих дескрипторов каждого блока в области частоты для получения характеристики HOG каждого блока.
Первый подмодуль 462 подсчета рассчитывает дескрипторы, полученные из соответствующих ячеек, содержащихся в каждом блоке, для получения характеристики HOG каждого блока.
При расчете всех дескрипторов, полученных из соответствующих ячеек, первый подмодуль 462 подсчета может каскадировать дескрипторы, соответствующие соответствующим ячейкам, для того, чтобы характеристика HOG каждого блока представляла собой вектор, в котором размер вектора в к раз больше, чем размер дескриптора, соответствующего ячейкам, содержащимся в блоке.
Второй подмодуль 463 подсчета выполнен с возможностью расчета характеристики HOG каждого блока изображения в области частоты для получения характеристики HOG изображения.
Второй подмодуль 463 подсчета выполнен с возможностью расчета характеристики HOG соответствующих блоков для получения характеристики HOG изображения.
В качестве альтернативы, второй подмодуль 463 подсчета выполнен с возможностью каскадирования характеристик HOG соответствующих блоков в изображении для формирования матрицы для получения характеристики HOG изображения, в котором каждый столбец матрицы представляет характеристику HOG одного из блоков.
В общем, в устройстве выделения характеристик, в соответствии с вариантом осуществления раскрытия, путем сегментирования изображения на множество блоков, каждый блок включает в себя множество ячеек; выполнения DCT или DFT для каждой ячейки; расчета магнитуды градиента и направления градиента каждой ячейки в области частоты для получения дескриптора каждой ячейки; расчета соответствующего дескриптора каждого блока в области частоты для получения характеристики HOG каждого блока; можно решить проблемы предшествующего уровня техники, состоящие в относительно низких отношении и точности обнаружения при распознавании структуры, из-за непосредственного расчета пространственной области изображения в процедуре выделения характеристики HOG; и возможно достичь эффектов улучшения частоты и точности обнаружения при распознавании структуры путем выделения характеристик HOG в области частоты.
В альтернативном варианте осуществления, показанном на фиг. 5, второй подмодуль 463 расчета может включать в себя следующие подмодули, как показано на фиг. 6.
Подмодуль 610 коррекции выполнен с возможностью корректировать характеристику HOG каждого блока в изображении от исходного L*1-мерного вектора до матрицы M*N, в котором каждый блок включает в себя M*N пикселей, и L=M*N.
Характеристика HOG каждого блока представляет собой L*1-мерный вектор, полученный путем каскадирования дескрипторов, соответствующих каждой из ячеек, и подмодуль 610 коррекции регулирует L*1-мерный вектор до M*N матрицы, то есть подмодуль 610 коррекции корректирует L*1-мерный вектор каждого блока до соответствующей матрицы на основе включенных ячеек, в котором каждый столбец соответствующей матрицы представляет дескриптор одной ячейки; и затем регулирует дескрипторы каждой из ячеек на основе соответствующих пикселей, в котором каждый столбец скорректированной матрицы представляет характеристику HOG, соответствующую пикселям соответствующего столбца в соответствующем блоке.
Подмодуль 620 выделения характеристики выполнен с возможностью получения характеристики HOG изображения на основе отрегулированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении.
Подмодуль 620 выделения характеристики выполнен с возможностью получения характеристики HOG соответствующего положения пикселя в изображении на основе отрегулированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении.
В общем, в устройстве выделения характеристик, в соответствии с вариантом осуществления раскрытия, путем регулирования характеристики HOG каждого блока в изображении из исходного L*1-мерного вектора до M*N матрицы, каждый блок включает в себя M*N пикселей, и L=M*N; получения характеристики HOG изображения на основе отрегулированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении для получения характеристики HOG изображения; и включения выделенной характеристики HOG изображения, соответствующего соответствующему положению каждого блока в изображении, можно лучше выделять характеристику каждого блока в изображении.
В отношении устройства в представленных выше вариантах осуществления конкретные подходы, в соответствии с которыми соответствующие модули выполняют операции, были описаны подробно в вариантах осуществления, относящихся к соответствующим способам, и не будут повторяться здесь.
В примерном варианте осуществления раскрытия предусмотрено устройство выделения характеристик, которое может воплощать способ выделения характеристик, предусмотренных в раскрытии, устройство выделения характеристик может включать в себя: процессор; запоминающее устройство для сохранения инструкций, выполняемых процессором; в котором процессор выполнен с возможностью: сегментировать изображение на множество блоков, каждый блок включает в себя множество ячеек; преобразовывать каждую ячейку из пространственной области в область частоты; и выделять характеристику гистограммы ориентированного градиента (HOG) изображения в области частоты.
На фиг. 7 показана блок-схема устройства 700 выделения характеристик в соответствии с примерным вариантом осуществления. Например, устройство 700 может представлять собой мобильный телефон, компьютер, цифровой терминал широковещательной передачи, устройство передачи сообщений, игровую консоль, планшетный компьютер, медицинское устройство, тренажерное оборудование, персональный карманный компьютер и т.п.
На фиг. 7 показано устройство 700, которое может включать в себя один или больше из следующих компонентов: компонент 702 обработки, запоминающее устройство 704, компонент 706 питания, мультимедийный компонент 708, аудиокомпонент 710, интерфейс 712 ввода/вывода (I/O), компонент 714 датчика и компонент 716 обмена данными.
Компонент обработки 702 обычно управляет общими операциями устройства 700, такими как операции, ассоциированные с отображением, телефонными звонками, передачей данных, операциями камеры и операциями записи. Компонент 702 обработки может включать в себя один или больше процессоров 718 для выполнения инструкций для выполнения всех или части этапов в описанных выше способах. Кроме того, компонент 702 обработки может включать в себя один или больше модулей, которые способствуют взаимодействию между компонентом 702 обработки и другими компонентами. Например, компонент 702 обработки может включать в себя мультимедийный модуль для того, чтобы способствовать взаимодействию между мультимедийным компонентом 708 и компонентом 702 обработки.
Запоминающее устройство 704 выполнено с возможностью сохранения различных типов данных для поддержания операции устройства 700. Примеры таких данных включают в себя инструкции для любых приложений или способов, работающих в устройстве 700, контактные данные, данные телефонной книги, сообщения, изображения, видеоданные и т.д. Запоминающее устройство 704 может быть воплощено используя любой тип из энергозависимых или энергонезависимых запоминающих устройств или их комбинацию, таких как статическое оперативное запоминающее устройство (SRAM), электрически стираемое программируемое постоянное запоминающее устройство (EEPROM), стираемое программируемое постоянное запоминающее устройство (EPROM), программируемое постоянное запоминающее устройство (PROM), постоянное запоминающее устройство (ROM), магнитное запоминающее устройство, запоминающее устройство флэш, магнитный или оптический диск.
Компонент 706 питания обеспечивает питание для различных компонентов устройства 700. Компонент 706 питания может включать в себя систему администрирования питанием один или больше источников питания и любые другие компоненты, ассоциированные с генерированием, управлением и распределением питания для устройства 700.
Мультимедийный компонент 708 включает в себя экран, предоставляющий выходной интерфейс между устройством 700 и пользователем. В некоторых вариантах осуществления экран может включать в себя жидкокристаллический дисплей (LCD) и сенсорную панель (TP). Если экран включает в себя сенсорную панель, экран может быть воплощен как сенсорный экран для приема входных сигналов от пользователя. Сенсорная панель включает в себя один или больше датчиков прикосновения для определения прикосновений, перемещений и жестов на сенсорной панели. Датчики прикосновения могут не только определять границу прикосновения или действия перемещения, но также могут определять период времени и давление, ассоциированные с прикосновением или действием перемещения. В некоторых вариантах осуществления мультимедийный компонент 708 включает в себя переднюю камеру и/или заднюю камеру. Передняя камера и задняя камера могут принимать внешние мультимедийные данные, в то время как устройство 700 находится в рабочем режиме, таком как режим фотографирования или видеорежим. Каждая из передней камеры и задней камеры может представлять собой систему с фиксированным оптическим объективом или иметь возможность оптического фокусирования и изменения масштаба изображения.
Аудиокомпонент 710 выполнен с возможностью вывода и/или ввода аудиосигналов. Например, аудиокомпонент 710 включает в себя микрофон ("MIC"), выполненный с возможностью принимать внешний аудиосигнал, когда устройство 700 находится в режиме работы, таком как режим вызова, режим записи и режим распознавания голоса. Принимаемый аудиосигнал может быть дополнительно сохранен в запоминающем устройстве 704 или может быть передан через компонент 716 обмена данными. В некоторых вариантах осуществления аудиокомпонент 710 дополнительно включает в себя громкоговоритель для вывода аудиосигналов.
Интерфейс 712 I/O обеспечивает интерфейс между компонентом 702 обработки и периферийными модулями интерфейса, периферийные модули интерфейса представляют собой, например, клавиатуру, круговой переключатель, кнопки и т.п. Кнопки могут включать в себя, но не ограничены этим, кнопку возвращения к исходной странице, кнопку громкости, кнопку запуска и кнопку фиксации.
Компонент 714 датчика включает в себя один или больше датчиков для обеспечения оценок состояния различных аспектов устройства 700. Например, компонент 714 датчика может детектировать открытое/закрытое состояние устройства 700, относительное положение компонентов (например, дисплея и клавиатуры устройства 700), изменение положения устройства 700 или компонента устройства 700, присутствие или отсутствие контакта пользователя с устройством 700, ориентацию или ускорение/замедление устройства 700, и изменение температуры устройства 700. Компонент 714 датчика может включать в себя бесконтактный датчик, выполненный с возможностью обнаружения присутствия рядом объекта, без какого-либо физического контакта. Компонент 714 датчика также может включать в себя датчик света, такой как датчик изображения CMOS или CCD, предназначенный для использования в приложениях формирования изображения. В некоторых вариантах осуществления компонент 714 датчика может также включать в себя датчик акселерометра, гироскопический датчик, магнитный дчатчик, датчик давления или датчик температуры.
Компонент 716 обмена данными выполнен с возможностью способствовать обмену данными по проводам или по беспроводному каналу, между устройством 700 и другими устройствами. Устройство 700 может получать доступ к беспроводной сети на основе стандарта обмена данными, такого как WiFi, 2G или 3G, или используя их комбинацию. В примерном варианте осуществления компонент 716 обмена данными принимает сигнал широковещательной передачи или информацию, ассоциированную с широковещательной передачей, из внешней системы администрирования широковещательной передачей, через канал широковещательной передачи. В примерном варианте осуществления компонент 716 обмена данными дополлнительно включает в себя модуль обмена данными в ближнем поле (NFC), который способствует обмену данными на коротком расстоянии. Например, модуль NFC может быть воплощен на основе технологии радиочастотной идентификации (RFID), технологии ассоциации посредством передачи данных в инфракрасном диапазоне (IrDA), технологии ультраширокой полосы (UWB), технологии Bluetooth (ВТ) и других технологий.
В примерных вариантах осуществления устройство 700 может быть воплощено в виде одной или больше специализированных интегральных микросхем (ASIC), цифровых сигнальных процессоров (DSP), цифровых сигнальных устройств обработки (DSPD), программируемых логических устройств (PLD), программируемой пользователем вентильной матрицы (FPGA), контроллеров, микроконтроллеров, микропроцессоров или другими электронными компонентами для выполнения описанных выше способов выделения характеристики.
В примерных вариантах осуществления также предусмотрен непереходный считываемый компьютером носитель информации, включающий в себя инструкции, такие как включенные в запоминающем устройстве 704, выполняемые процессором 718 в устройстве 700 для выполнения описанных выше способов выделения характеристики. Например, энергонезависимый считываемый компьютером носитель информации может представлять собой ROM, RAM, CD-ROM, магнитную ленту, гибкий диск, оптическое устройство накопитель и т.п.
Другие варианты осуществления изобретения будут понятны для специалистов в данной области техники при рассмотрении описания и при выполнении на практике представленных здесь раскрытий. Данная заявка предназначена для охвата любых вариаций, вариантов использования или адаптации раскрытия в соответствии с его общими принципами и включающих в себя такие выходы за пределы настоящего раскрытия, которые попадают в пределы известной или обычной практики в данной области техники. Предполагается, что спецификации и примеры будут рассматриваться только как примерные, а истинный объем и сущность изобретения будут обозначены следующей формулой изобретения.
Следует понимать, что изобретательная концепция не ограничена точной конструкцией, которая была описана выше и иллюстрируется на приложенных чертежах, и что различные модификации и изменения могут быть выполнены без выхода за пределы его объема. Предполагается, что объем изобретения ограничен только приложенной формулой изобретения.
1. Способ выделения характеристик, содержащий этапы, на которых:
сегментируют изображение на множество блоков, при этом каждый блок включает в себя множество ячеек;
преобразуют каждую ячейку из пространственной области в область частот; и
выделяют характеристику гистограммы ориентированного градиента (HOG) изображения в области частот; при этом
этап выделения характеристики гистограммы ориентированного градиента (HOG) изображения в области частоты содержит подэтапы, на которых:
вычисляют магнитуду градиента и направление градиента каждой ячейки в области частот для получения дескриптора каждой ячейки;
подсчитывают соответствующий дескриптор каждого блока в области частоты для получения характеристики HOG каждого блока; и
подсчитывают характеристику HOG каждого блока изображения в области частот для получения характеристики HOG изображения; а
этап подсчета характеристики HOG каждого блока изображения для получения характеристики HOG изображения содержит подэтапы, на которых:
корректируют характеристику HOG каждого блока в изображении с исходного L*1-мерного вектора до матрицы M*N, при этом каждый блок включает в себя M*N пикселей, и L=M*N; и
получают характеристику HOG изображения на основе скорректированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении.
2. Способ по п. 1, в котором этап преобразования каждой ячейки из пространственной области в область частот содержит подэтап, на котором выполняют дискретное косинусное преобразование (DCT) каждой ячейки.
3. Способ по п. 1, в котором этап преобразования каждой ячейки из пространственной области в область частот содержит подэтап, на котором выполняют дискретное преобразование Фурье (DFT) каждой ячейки.
4. Способ по п. 1, в котором этап подсчета характеристики HOG каждого блока изображения для получения характеристики HOG изображения содержит подэтап, на котором:
каскадируют характеристику HOG каждого блока в изображении в виде матрицы для получения характеристики HOG изображения, где каждый столбец матрицы представляет собой характеристику HOG одного из блоков.
5. Способ по любому из пп. 1-4, дополнительно содержащий этап, на котором:
нормализуют изображение для получения изображения, имеющего заданную магнитуду.
6. Устройство выделения характеристики, содержащее:
модуль сегментирования, выполненный с возможностью сегментирования изображения на множество блоков, причем каждый блок включает в себя множество ячеек;
модуль преобразования, выполненный с возможностью преобразования каждой ячейки из пространственной области в область частот; и
модуль выделения, выполненный с возможностью выделения характеристики гистограммы ориентированного градиента (HOG) изображения в области частот; при этом
подмодуль вычисления, выполненный с возможностью вычисления магнитуды градиента и направления градиента каждой ячейки в области частот для получения дескриптора каждой ячейки;
первый подмодуль подсчета, выполненный с возможностью подсчета соответствующего дескриптора каждого блока в области частот, для получения характеристики HOG каждого блока; и
второй подмодуль подсчета, выполненный с возможностью подсчета характеристики HOG каждого блока изображения в области частот для получения характеристики HOG изображения; а
второй подмодуль подсчета содержит:
подмодуль коррекции, выполненный с возможностью коррекции характеристики HOG каждого блока в изображении от исходного L*1-мерного вектора до M*N матрицы, причем каждый блок включает в себя M*N пикселей, L=M*N; и
подмодуль выделения характеристики, выполненный с возможностью получения характеристики HOG изображения на основе отрегулированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении.
7. Устройство по п. 6, в котором модуль преобразования выполнен с возможностью осуществления дискретного косинусного преобразования (DCT) каждой ячейки.
8. Устройство по п. 6, в котором модуль преобразования выполнен с возможностью осуществления дискретного преобразования Фурье (DFT) для каждой ячейки.
9. Устройство по п. 6, в котором второй подмодуль подсчета выполнен с возможностью каскадирования характеристики HOG каждого блока в изображении в виде матрицы для получения характеристики HOG изображения, при этом каждый столбец матрицы представляет собой характеристику HOG одного из блоков.
10. Устройство по любому из пп. 6-9, дополнительно содержащее:
модуль обработки, выполненный с возможностью нормализации изображения для получения изображения, имеющего заданную магнитуду.
11. Устройство выделения характеристики, содержащее:
процессор;
запоминающее устройство для хранения инструкций, выполняемых процессором; при этом
процессор выполнен с возможностью:
сегментирования изображения на множество блоков, причем каждый блок включает в себя множество ячеек;
преобразования каждой ячейки из пространственной области в область частот; и
выделения характеристики гистограммы ориентированного градиента (HOG) изображения в области частот; при этом
этап выделения характеристики гистограммы ориентированного градиента (HOG) изображения в области частоты содержит подэтапы, на которых:
вычисляют магнитуду градиента и направление градиента каждой ячейки в области частот для получения дескриптора каждой ячейки;
подсчитывают соответствующий дескриптор каждого блока в области частоты для получения характеристики HOG каждого блока; и
подсчитывают характеристику HOG каждого блока изображения в области частот для получения характеристики HOG изображения; а
этап подсчета характеристики HOG каждого блока изображения для получения характеристики HOG изображения содержит подэтапы, на которых:
корректируют характеристику HOG каждого блока в изображении с исходного L*1-мерного вектора до матрицы M*N, при этом каждый блок включает в себя M*N пикселей, и L=M*N; и
получают характеристику HOG изображения на основе скорректированной характеристики HOG каждого блока и соответствующего положения каждого блока в изображении.
