Модуль камеры, способ и устройство обработки, электронное устройство и носитель информации

Изобретение относится к модулю камеры, способу и устройству обработки, электронному устройству и носителю информации. Техническим результатом является уменьшение размеров устройства формирования 3D информации на основе захватываемого изображения. Результат достигается тем, что модуль камеры содержит датчик изображения; дифракционную структуру, частично покрывающую светочувствительные пиксели на датчике изображения и используемую для рассеивания падающих лучей, облучающих покрытые светочувствительные пиксели, в дифракционные лучи с различными фазами, падающие на один или более светочувствительных пикселей; и структуру для обработки сигналов, получающую первый считываемый сигнал, соответствующий светочувствительному пикселю, который не принимает дифракционные лучи, для формирования 2D изображения, и получающего второй считываемый сигнал, соответствующий дифракционным лучам, для формирования 3D информации. 5 н. и 10 з.п. ф-лы, 11 ил.

 

Область, к которой относится изобретение

[0001] Настоящее изобретение относится к области технологий терминалов, и, более конкретно, к модулю камеры, способу и устройству обработки, электронному устройству и носителю информации.

Предпосылки создания изобретения

[0002] Двумерное (2D) изображение можно собирать и формировать с помощью модуля камеры в электронном устройстве. С развитием технологий трехмерного (3D) распознавания лиц и технологий дополненной реальности также существует потребность в сборе 3D информации с помощью электронного устройства.

[0003] В предшествующем уровне техники функция сбора 3D информации, основанная на структурированном освещении или времяпролетной технологии (Time-of-Flight, TOF), могла быть реализована посредством добавления компонента для сбора 3D информации в электронное устройство, но он занимает дополнительное пространство в электронном устройстве.

Сущность изобретения

[0004] Настоящее изобретение предлагает модуль камеры, способ и устройство обработки, электронное устройство и носитель данных для устранения недостатков предшествующего уровня техники.

[0005] В соответствии с первым аспектом форм осуществления настоящего изобретения, предлагается модуль камеры, содержащий:

[0006] датчик изображения;

[0007] дифракционную структуру, покрывающую часть светочувствительные пикселей на датчике изображения и выполненную с возможностью рассеивать падающие лучи, облучающие покрытые светочувствительные пиксели, в дифракционные лучи с различными фазами, падающие на один или более светочувствительных пикселей; и

[0008] структуру для обработки сигналов, сконфигурированную для получения первого считываемого сигнала, соответствующего светочувствительному пикселю, который не принимает дифракционные лучи, для формирования 2D изображения, и получения второго считываемого сигнала, соответствующего дифракционным лучам, для формирования 3D информации.

[0009] Опционально, дифракционная структура содержит множество дифракционных областей, и каждая дифракционная областей покрывает один или более светочувствительных пикселей.

[0010] Опционально, дифракционные области отделены друг от друга, так что один и тот же светочувствительный пиксель принимает только дифракционные лучи, формируемые в одной дифракционной области.

[0011] Опционально, светочувствительные пиксели на датчике изображения составляют матрицу светочувствительных пикселей, и множество дифракционных областей равномерно распределено над матрицей светочувствительных пикселей.

[0012] Опционально, светочувствительные пиксели на датчике изображения составляют матрицу светочувствительных пикселей, и плотность распределения дифракционных областей в центральной области матрицы светочувствительных пикселей выше, чем в краевой области.

[0013] Опционально, дифракционная структура включает в себя дифракционную линзу или дифракционную пленку.

[0014] Опционально, модуль камеры дополнительно содержит цветной фильтр, покрывающий светочувствительный пиксель датчика изображения;

[0015] при этом дифракционная структура расположена между светочувствительным пикселем и цветным фильтром, или дифракционная структура расположена со стороны цветного фильтра, удаленной от светочувствительного пикселя.

[0016] Согласно второму аспекту форм осуществления настоящего изобретения, предлагается электронное устройство, содержащее: модуль камеры, описанный в любой из вышеупомянутых форм осуществления.

[0017] Опционально, по меньшей мере одна из фронтальной камеры и задней камеры электронного устройства содержит модуль камеры.

[0018] Опционально, устройство дополнительно содержит:

[0019] процессор, который соответственно получает первый считываемый сигнал и второй считываемый сигнал, подаваемые на выход модулем камеры, чтобы формировать 2D изображение в соответствии с первым считываемым сигналом и формировать 3D информацию в соответствии со вторым считываемым сигналом.

[0020] Согласно третьему аспекту форм осуществления настоящего изобретения, предлагается способ обработки, применяемый к электронному устройству, описанному в любой из вышеупомянутых форм осуществления, включающий в себя:

получение первого считываемого сигнала и второго считываемого сигнала, выводимых модулем камеры;

[0022] формирование 2D изображения в соответствии с первым считываемым сигналом; и

[0023] формирование 3D информации в соответствии со вторым считываемым сигналом.

[0024] Опционально, формирование 2D изображения в соответствии с первым считываемым сигналом включает в себя:

[0025] обработку первого считываемого сигнала и второго считываемого сигнала для формирования 2D изображения;

[0026] или проведение компенсации сигнала для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом, и обработку сигнала, полученного посредством компенсации сигнала, и первого считываемого сигнала для формирования 2D изображения.

[0027] Опционально, 3D информация в соответствующей позиции любого светочувствительного пикселя формируется с помощью второго считываемого сигнала, который воспринимается по меньшей мере одним светочувствительным пикселем, близким к этому любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от этого любого светочувствительного пикселя.

[0028] В соответствии с четвертым аспектом форм осуществления настоящего изобретения предлагается устройство обработки, применяемое в электронном устройстве, описанном в любой из приведенных выше форм осуществления, содержащее:

[0029] блок сбора данных для получения первого считываемого сигнала и второго считываемого сигнала, выводимого модулем камеры;

[0030] блок формирования изображения для формирования 2D изображения в соответствии с первым считываемым сигналом; и

[0031] блок формирования информации для формирования 3D информации в соответствии со вторым считываемым сигналом.

[0032] Опционально, модуль формирования изображения содержит субблок обработки или субблок компенсации;

[0033] субблок обработки сконфигурирован для обработки первого считываемого сигнала и второго считываемого сигнала для формирования 2D изображения; и

[0034] субблок компенсации сконфигурирован для проведения компенсации сигнала для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом, и обработки полученного с помощью компенсации сигнала и первого считываемого сигнала для формирования 2D изображения.

[0035] Опционально, 3D информация в соответствующей позиции любого светочувствительного пикселя формируется с помощью второго считываемого сигнала, который воспринимается по меньшей мере одним светочувствительным пикселем, близким к этому любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от этого любого светочувствительного пикселя.

[0036] Согласно пятому аспекту форм осуществления настоящего изобретения, предлагается электронное устройство, содержащее:

[0037] процессор; и

[0038] память для хранения команд, исполняемых процессором;

[0039] при этом процессор реализует способ, описанный в любой из вышеприведенных форм осуществления, посредством выполнения исполняемых команд.

[0040] В соответствии с шестым аспектом форм осуществления настоящего изобретения предлагается машиночитаемый носитель данных, на котором хранятся машинные команды, причем команды исполняются процессором для реализации этапов способа, описанного в любой из вышеприведенных форм осуществления изобретения.

[0041] Следует понимать, что приведенное выше общее описание и последующее подробное описание являются только иллюстративными и пояснительными и не могут ограничивать настоящее изобретение.

Краткое описание чертежей

[0042] Прилагаемые чертежи, которые включены в настоящее описание и составляют его часть, иллюстрируют формы осуществления в соответствии с изобретением и вместе с описанием служат для объяснения принципов изобретения.

[0043] Фиг. 1 является схемой, иллюстрирующей модуль камеры в соответствии с примером осуществления изобретения.

[0044] Фиг. 2 представляет собой вид в разрезе модуля камеры, показанный в соответствии с примером осуществления изобретения.

[0045] Фиг. 3 представляет собой вид в разрезе другого модуля камеры, показанный в соответствии с примером осуществления изобретения.

[0046] Фиг. 4 является схемой, иллюстрирующей равномерное распределение дифракционных областей согласно примеру осуществления изобретения.

[0047] Фиг. 5 представляет собой схему, иллюстрирующую другое равномерное распределение дифракционных областей в соответствии с примером осуществления изобретения.

[0048] Фиг. 6 является схемой, иллюстрирующей случайное распределение дифракционных областей согласно примеру осуществления изобретения.

[0049] Фиг. 7 является схемой, иллюстрирующей упорядоченное распределение дифракционных областей в соответствии с примером осуществления изобретения.

[0050] Фиг. 8 является блок-схемой, иллюстрирующей способ обработки согласно примеру осуществления изобретения.

[0051] На фиг. 9 показана блок-схема, иллюстрирующая устройство обработки в соответствии с примером осуществления изобретения.

[0052] На фиг. 10 показана блок-схема, иллюстрирующая другое устройство обработки в соответствии с примером осуществления изобретения.

[0053] На фиг. 11 показана блок-схема, иллюстрирующая устройство обработки в соответствии с примером осуществления изобретения.

Подробное описание

[0054] Ссылки теперь будут делаться формы осуществления изобретения, примеры которых проиллюстрированы на прилагаемых чертежах. Когда нижеследующее описание относится к чертежам, одинаковые номера позиций на разных чертежах обозначают одинаковые или подобные элементы, если не указано иное. Способы реализации, описанные в следующих примерах осуществления изобретения, не представляют все способы реализации в соответствии с настоящей заявкой. Напротив, они являются просто примерами устройств и способов в соответствии с некоторыми аспектами настоящей заявки, описанными в прилагаемой формуле изобретения.

[0055] Термины, используемые в настоящей заявке, предназначены только для описания конкретных форм осуществления изобретения и не предназначены для ограничения настоящей заявки. Используемые в настоящей заявке и прилагаемой формуле изобретения формы единственного числа также предназначены для включения форм множественного числа, если контекст явно не указывает другое. Также следует понимать, что термин "и/или", используемый в данном документе, относится к любым и всем возможным комбинациям одного или нескольких связанных перечисленных элементов и охватывает их.

[0056] Следует понимать, что хотя термины первый, второй, третий и т.д. могут быть использованы в настоящей заявке для описания различной информации, такая информации не должна ограничиваться этими терминами. Эти термины используются только для того, чтобы отличать информацию одинакового вида одну от другой. Например, не отступая от объема настоящей заявки, первая информация также может упоминаться как вторая информация, и аналогично, вторая информация также может упоминаться как первая информация. В зависимости от контекста слово "если", используемое в данном документе, может интерпретироваться как "в момент…", или "когда", или "в ответ на определение".

[0057] Фиг. 1 является схемой, иллюстрирующей модуль камеры согласно примеру осуществления изобретения. Как показано на фиг. 1, модуль камеры содержит датчик 1 изображения, дифракционную структуру 2 и структуру 3 обработки сигналов. Датчик 1 изображения содержит множество светочувствительных пикселей, и эти светочувствительные пиксели образуют светочувствительные пиксельные матрицы R (красный), G (зеленый) и В (синий), как показано на фиг. 1, для восприятия лучей, облучающих датчик 1 изображения. Дифракционная структура 2 может покрывать частично светочувствительные пиксели на датчике 1 изображения. Например, пиксельная матрица на фиг. 1 содержит 64 светочувствительных пикселя, при этом дифракционная структура 2 покрывает 16 светочувствительных пикселей, и может рассеивать падающие лучи, облучающие покрытые светочувствительные пиксели, в дифракционные лучи с различными фазами, падающие на один или более светочувствительных пикселей (то есть один светочувствительный пиксель может принимать дифракционные лучи одной или более фаз). Структура 3 обработки сигналов может получать первый считываемый сигнал, соответствующий светочувствительному пикселю, который не принимает дифракционные лучи, для формирования 2D изображения, и структура 3 обработки сигналов может получать второй считываемый сигнал, соответствующий дифракционным лучам, для формирования 3D информации.

[0058] Таким образом, электронное устройство может иметь функции сбора 2D изображения и 3D информации путем выполнения модуля камеры на основе настоящего изобретения в электронном устройстве без дополнительной установки отдельного компонента для сбора 3D информации, избегая занятия дополнительного пространства для электронного устройства. Поскольку дифракционная структура 2 покрывает только часть светочувствительных пикселей датчика 1 изображения, влияние на формирование 2D изображения можно максимально уменьшить на основе обеспечения сбора 3D информации так, чтобы избежать уменьшения качества 2D изображения.

[0059] В одной из форм осуществления изобретения дифракционная структура 2 может быть изготовлена из любого материала, способного реализовать функцию дифракции, и не ограничивается настоящим изобретением. Например, дифракционная структура 2 может представлять собой дифракционную линзу; для другого примера, дифракционная структура 2 может представлять собой дифракционную пленку и тому подобное.

[0060] В одной из форм осуществления изобретения в датчике 1 изображения для расположения RBG светочувствительных пикселей используется матрица Байера, как показано на фиг. 1, но настоящее изобретение также применимо к любым другим видам способов расположения пикселей в предшествующем уровне техники, таких как расположение пикселей RGBW, расположение пикселей X-Trans и т.д., что не ограничивается настоящим изобретением.

[0061] В технических решениях настоящего изобретения необходимо только обеспечить, чтобы дифракционная структура 2 могла преломлять лучи, облучающие датчик 1 изображения (лучи, облучающие светочувствительные пиксели, покрытые дифракционной структурой 2), то есть, дифракционная структура 2 может быть расположена перед датчиком 1 изображения независимо от соотношения положений между дифракционной структурой 2 и другими структурами в модуле камеры. Например, фиг. 2 - вид в разрезе модуля камеры, проиллюстрированного в соответствии с примером осуществления изобретения. Как показано на фиг. 2, модуль камеры может дополнительно содержать цветной фильтр 4 в дополнение к датчику 1 изображения и дифракционной структуре 2. Дифракционная структура 2 может быть расположена на стороне цветного фильтра 4, удаленной от датчика изображения 1 (или светочувствительного пикселя), то есть дифракционная структура 2, цветной фильтр 4 и датчик 1 изображения последовательно уложены друг на друга. Для другого примера фиг. 3 представляет собой вид в разрезе другого модуля камеры, проиллюстрированного в соответствии с примером осуществления изобретения. Как показано на фиг. 3, дифракционная структура 2 может быть расположена между датчиком 1 изображения (или светочувствительным пикселем) и цветным фильтром 4.

[0062] В технических решениях настоящего изобретения дифракционная структура 2 может содержать множество дифракционных областей 20, например, четыре дифракционные области 20 в форме осуществления изобретения, как показано на фиг. 1, в то время как другие формы осуществления могут содержать другое число (одну или более) дифракционных областей 20, что не ограничивается настоящим изобретением. Каждая дифракционная область 20 может иметь любую форму, такую как окружность или эллипс, прямоугольник и тому подобное, как показано на фиг. 1, что не ограничено настоящим изобретением.

[0063] Со ссылкой на формы осуществления, показанные на фиг. 2 и 3, множество дифракционных областей 20, содержащихся в дифракционной структуре 2, часто располагаются в одном слое, расстояние между каждой дифракционной областью 20 и датчиком 1 изображения одинаково, и эти дифракционные области 20 могут быть отделены друг от друга или могут быть соединены в единое целое с помощью прозрачного материала, что не ограничено настоящим изобретением.

[0064] Фиг. 4 является схемой, иллюстрирующей равномерное распределение дифракционных областей согласно примеру осуществления изобретения. Как показано на фиг. 4, дифракционная структура 2 может включать в себя четыре дифракционные области 20, и эти дифракционные области 20 могут быть равномерно распределены над матрицей пикселей, сформированной датчиком 1 изображения, так что воздействие дифракционной структуры 2 на 2D изображение также равномерно распределяется по различным позициям, что позволяет избежать значительного локального воздействия на 2D изображение. Аналогично, фиг. 5 представляет собой схематическое изображение, иллюстрирующее другое равномерное распределение дифракционных областей в соответствии с примером осуществления изобретения. Как показано на фиг. 5, дифракционная структура 2 может содержать пять дифракционных областей 20, которые могут быть равномерно распределены над матрицей пикселей, сформированной датчиком 1 изображения.

[0065] В дополнение к различным количествам дифракционных областей 20, количества светочувствительных пикселей, покрываемых каждой дифракционной областью 20 в формах осуществления изобретения, как показано на фиг. 4 и 5, тоже разные. Например, каждая дифракционная область 20 на фиг. 4 может покрывать четыре светочувствительные области, и каждая дифракционная область 20 на фиг. 5 может покрывать девять или более светочувствительных областей. Каждая дифракционная область 20 в технических решениях настоящего изобретения может покрывать один или более светочувствительных пикселей, и настоящее изобретение не ограничивает число покрываемых светочувствительных пикселей.

[0066] Фиг. 6 является схемой, иллюстрирующей случайное распределение дифракционных областей согласно примеру осуществления изобретения. Как показано на фиг. 6, когда дифракционная структура 2 содержит множество дифракционных областей 20, эти дифракционные области 20 могут быть случайным образом распределены выше матрицы пикселей, образованной датчиком 1 изображения, лишь бы соответствующая функция дифракции могла быть реализована, и 2D изображение и 3D информация могли быть сформированы.

[0067] Фиг. 7 является схемой, иллюстрирующей упорядоченное распределение областей дифракции в соответствии с примером осуществления изобретения. В матрице светочувствительных пикселей, состоящей из светочувствительных пикселей на датчике 1 изображения, плотность распределения множества дифракционных областей 20 в центральной области матрицы светочувствительных пикселей может быть выше, чем в краевой области. Например, в форме осуществления изобретения, показанной на фиг. 7, семь дифракционных областей 20 распределены в центральной области, и только четыре дифракционных области 20 расположены в краевой области, так что больше 3D информации может быть получено в более важной центральной области, что способствует повышению точности распознавания в таких сценариях как 3D распознавание лиц.

[0068] Следует отметить, что, когда дифракционная структура 2 содержит множество дифракционных областей 20, эти дифракционные области 20 могут быть отделены друг от друга, так что один и тот же светочувствительный пиксель может получать только дифракционные лучи, сформированные одной дифракционной областью 20, чтобы избежать облучения одного и того же светочувствительного пикселя дифракционными лучами, сформированными множеством дифракционных областей 20, таким образом гарантируя, что окончательно полученная 3D информация имеет достаточную точность.

[0069] В технических решениях настоящего изобретения модуль камеры на основе любой одной из описанных выше форм осуществления изобретения может быть применен в электронном устройстве, например, модуль камеры может быть использован в качестве фронтальной камеры или задней камеры электронного устройства или может одновременно использоваться как фронтальная камера, так и задняя камера (одна и та же камера может использоваться как фронтальная и задняя; или часть нескольких камер используется в качестве фронтальных камер, а остальные используются в качестве задних камер), так что модуль камеры может не только использоваться для захвата 2D изображения, но также может использоваться для формирования 3D информации. Электронное устройство может быть мобильным телефоном, планшетным компьютером, ноутбуком, носимым устройством и т.п., что не ограничено настоящим изобретением.

[0070] В одной из форм осуществления изобретения процессор электронного устройства может получать первый считываемый сигнал и второй считываемый сигнал, выводимые модулем камеры, для формирования 2D изображения в соответствии с первым считываемым сигналом и формирования 3D информации в соответствии со вторым считываемым сигналом. Логика обработки процессором подробно описана ниже со ссылкой на фиг. 8.

[0071] Фиг. 8 является блок-схемой, иллюстрирующей способ обработки в соответствии с примером осуществления изобретения. Как показано на фиг. 8, способ применяется к вышеупомянутому электронному устройству и может включать в себя следующие этапы.

[0072] На этапе 802 получают первый считываемый сигнал и второй считываемый сигнал, выводимые модулем камеры.

[0073] В одной из форм осуществления изобретения модуль камеры имеет возможность выводить первый считываемый сигнал и второй считываемый сигнал одновременно. В одной из форм осуществления изобретения модуль камеры может выводить за один раз только первый считываемый сигнал или второй считываемый сигнал, или может выводить первый считываемый сигнал и второй считываемый сигнал одновременно, что зависит от требований процессора в электронном устройстве.

[0074] В одной из форм осуществления изобретения модуль камеры может выводить первый считываемый сигнал и второй считываемый сигнал одновременно, в то время как процессор может, в соответствии с фактическими потребностями, выбирать формирование 2D изображения в соответствии с первым считываемым сигналом или формирование 3D информации в соответствии со вторым считываемым сигналом, или формирование 2D изображения и 3D информации одновременно.

[0075] На этапе 804А 2D изображение формируется в соответствии с первым считываемым сигналом.

[0076] В одной из форм осуществления изобретения процессор может непосредственно обрабатывать первый считываемый сигнал и второй считываемый сигнал для формирования 2D изображения.

[0077] В одной из форм осуществления, поскольку второй считываемый сигнал содержит 3D информацию, которая может неблагоприятно влиять на 2D изображение, компенсация сигнала может выполняться для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом, и полученный скомпенсированный сигнал и первый считываемый сигнал обрабатывается для формирования 2D изображения. Вышеуказанный процесс компенсации может состоять в том, чтобы корректировать второй считываемый сигнал на основе первого считываемого сигнала или полностью отбрасывать второй считываемый сигнал и интерполировать и восстанавливать светочувствительные пиксели, принимающие дифракционные лучи, основываясь только на первом считываемом сигнале.

[0078] На этапе 804В 3D информация формируется в соответствии со вторым считываемым сигналом.

[0079] В одной из форм осуществления изобретения 3D информация в соответствующей позиции любого светочувствительного пикселя формируется с помощью второго считываемого сигнала, который воспринимается по меньшей мере одним из светочувствительных пикселей, близким к любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от любого светочувствительного пикселя. Например, когда формируется 3D информация в определенной позиции, делается опора на второй считываемый сигнал, воспринимаемый светочувствительным пикселем, удаленным от этой позиции, что способствует улучшению базы между полученными пикселями 3D информации и повышению точности формируемой 3D информации.

[0080] В одной из форм осуществления изобретения могут быть использованы решения, применяемые для формирования 3D информации в предшествующем уровне техники, чтобы позволить процессору формировать 3D информацию на основе второго считываемого сигнала, соответствующего дифракционным лучам. Настоящее изобретение не ограничивает решений по формированию 3D информации. Например, принцип формирования 3D информации может включать в себя: разделение светочувствительных пикселей на множество групп, где одна группа светочувствительных пикселей содержит по меньшей мере один пиксель, одна сторона которого покрыта дифракционной структурой 2, как показано на фиг. 1, и по меньшей мере один из других пикселей, покрытый дифракционной структурой 2 с другой стороны, так что вторые считываемые сигналы, воспринимаемые этими пикселями, могут быть объединены в одну группу для имитации ситуации приема луча, соответствующей бинокулярной камере, таким образом вычисляя соответствующую 3D информацию (такую как глубина снимаемого объекта).

[0081] В соответствии с вышеописанными формами осуществления способа обработки, настоящее изобретение дополнительно предлагает формы осуществления устройства обработки.

[0082] На фиг. 9 представлена блок-схема, иллюстрирующая устройство обработки в соответствии с примером осуществления изобретения. Как показано на фиг. 9, устройство содержит:

[0083] блок 91 сбора информации для получения первого считываемого сигнала и второго считываемого сигнала, выдаваемого модулем камеры;

[0084] блок 92 формирования изображения для формирования 2D изображения в соответствии с первым считываемым сигналом; и

[0085] блок 93 формирования информации для формирования 3D информации в соответствии со вторым считываемым сигналом.

[0086] В одной из форм осуществления изобретения, 3D информация в соответствующей позиции любого светочувствительного пикселя формируется с помощью второго считываемого сигнала, который воспринимается по меньшей мере одним из светочувствительных пикселей, близким к этому любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от этого любого светочувствительного пикселя.

[0087] Фиг. 10 - это блок-схема, иллюстрирующая другое устройство обработки согласно примеру осуществления изобретения. Эта форма осуществления основана на предыдущей форме осуществления изобретения, как показано на фиг. 9, и блок 92 формирования изображения дополнительно содержит субблок 921 обработки или субблок 922 компенсации.

[0088] Субблок 921 обработки сконфигурирован для обработки первого считываемого сигнала и второго считываемого сигнала для формирования 2D изображения; и

[0089] субблок 922 компенсации сконфигурирован для выполнения компенсации сигнала для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом, и обработки полученного скомпенсированного сигнала и первого считываемого сигнала для формирования 2D изображения.

[0090] Что касается устройств в вышеупомянутых формах осуществления, конкретные способы выполнения операций для отдельных модулей были подробно описаны в формах осуществления, касающихся способов, и здесь не будут подробно описываться.

[0091] Поскольку формы осуществления устройства в основном соответствуют формам осуществления способа, за подробностями можно обратиться к формам осуществления способа. Формы осуществления устройства, описанные выше, являются только примерами, в которых блоки, показанные как отдельные части, могут быть или не быть физически разделены, и могут быть или не быть физическими блоками, то есть могут быть расположены в одном месте или могут быть распределены по сети. Некоторые или все блоки могут быть выбраны в соответствии с фактическими потребностями для достижения целей решений настоящего изобретения. Специалисты в данной области техники могут понять и реализовать их без каких-либо творческих усилий.

[0092] Настоящее изобретение дополнительно относится к устройству обработки, содержащему: процессор и память для хранения команд, исполняемых процессором; где процессор сконфигурирован для реализации любого одного из способов обработки в вышеописанных формах осуществления посредством управления исполняемыми командами.

[0093] Настоящее изобретение дополнительно предлагает терминал, содержащий память и одну или более программ, при этом одна или более программ хранятся в памяти и сконфигурированы для выполнения одним или более процессорами для выполнения следующих операций: получения первого считываемого сигнала и второго считываемого сигнала, подаваемых на выход модулем камеры; формирования 2D изображения в соответствии с первым считываемым сигналом; и формирования 3D информации в соответствии со вторым считываемым сигналом.

[0094] В одной из форм осуществления изобретения формирование 2D изображения в соответствии с первым считываемым сигналом включает в себя:

[0095] обработку первого считываемого сигнала и второго считываемого сигнала для формирования 2D изображения;

[0096] или выполнение компенсации сигнала для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом и обработку полученного компенсированного сигнала и первого считываемого сигнала для формирования 2D изображения.

[0097] В одной из форм осуществления изобретения 3D информация в соответствующей позиции любого светочувствительного пикселя формируется с помощью второго считываемого сигнала, который воспринимается по меньшей мере одним из светочувствительных пикселей, близким к этому любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от этого любого светочувствительного пикселя.

[0098] Фиг. 11 является схемой, иллюстрирующей устройство 1100 обработки согласно примеру осуществления изобретения. Например, устройство 1100 может быть мобильным телефоном, компьютером, цифровым широковещательным терминалом, устройством обмена сообщениями, игровой приставкой, планшетным компьютером, медицинским устройством, гаджетом для фитнеса, персональным цифровым помощником и т.п.

[0099] Как показано на фиг. 11, устройство 1100 может содержать один или более из следующих компонентов: компонент 1102 обработки, память 1104, компонент 1106 питания, мультимедийный компонент 1108, аудиокомпонент 1110, интерфейс 1112 ввода/вывода (Input/Output, I/O), компонент 1114 датчиков и компонент 1116 связи.

[00100] Компонент 1102 обработки обычно управляет общими операциями устройства 1100, такими как операциями, связанными с отображением данных, телефонными разговорами, передачей данных, операциями камеры и операциями записи. Компонент 1102 обработки может содержать один или более процессоров 1120, чтобы выполнять команды для выполнения всех или части этапов в вышеописанных способах. Кроме того, компонент 1102 обработки может включать в себя один или более модулей, которые обеспечивают взаимодействие между компонентом 1102 обработки и другими компонентами. Например, компонент 1102 обработки может содержать мультимедийный модуль для обеспечения взаимодействия между мультимедийным компонентом 1108 и компонентом 1102 обработки.

[00101] Память 1104 сконфигурирована для хранения данных различных видов для поддержки работы устройства 1100. Примеры таких данных включают в себя команды для некоторых приложений или способов, используемых в устройстве 1100, контактные данные, данные телефонной книги, сообщения, изображения, видео и т.д. Память 1104 может быть реализована с использованием энергозависимых или энергонезависимых запоминающих устройств любого типа, таких как статическое запоминающее устройство с произвольной выборкой (Static Random Access Memory, SRAM), электрически-стираемое программируемое постоянное запоминающее устройство (Electrically Erasable Programmable Read-Only Memory, EEPROM), стираемое программируемое постоянное запоминающее устройство (Erasable Programmable Read-Only Memory, EPROM), программируемое постоянное запоминающее устройство (Programmable Read-Only Memory, PROM), постоянное запоминающее устройство (Read-Only Memory, ROM), магнитная память, флэш-память, магнитный или оптический диск, или их комбинации.

[00102] Компонент 1106 питания обеспечивает питание для различных компонентов устройства 1100. Компонент 1106 питания может содержать систему управления мощностью, один или более источников питания и другие компоненты, связанные с генерацией, управлением и распределением энергии в устройстве 1100.

[00103] Мультимедийный компонент 1108 содержит экран, который обеспечивает выходной интерфейс между устройством 1100 и пользователем. В некоторых формах осуществления экран может содержать дисплей на жидких кристаллах (Liquid Crystal Display, LCD) и сенсорную панель (Touch Panel, TP). Если на экране есть сенсорная панель, он может быть реализован как сенсорный экран для приема входных сигналов от пользователя. Сенсорная панель содержит один или более датчиков касания для восприятия касаний, скольжений и жестов на сенсорной панели. Датчики касания могут воспринимать не только порог действия касания или скольжения, но также и воспринимать длительность и давление, связанные с действием касания или скольжения. В некоторых формах осуществления мультимедийный компонент 1108 содержит фронтальную камеру и/или заднюю камеру. Фронтальная камера и/или задняя камера могут принимать внешние мультимедийные данные, когда устройство 1100 находится в рабочем режиме, таком как режим фотографирования или режим видео. Каждая из фронтальной камеры и задней камеры может иметь фиксированную систему оптического объектива или иметь возможности фокусировки и оптического изменения масштаба изображения. Модуль камеры, основанный на технических решениях настоящего изобретения, может быть применен в качестве фронтальной камеры и/или задней камеры, и модуль камеры имеет функции сбора 2D изображений и 3D информации и может выбирать 2D изображения и/или 3D информацию в соответствии с актуальными потребностями.

[00104] Аудиокомпонент 1110 сконфигурирован для вывода и/или ввода звуковых сигналов. Например, аудиокомпонент 1110 содержит микрофон (MIC), сконфигурированный для приема внешнего звукового сигнала, когда устройство 1100 находится в рабочем режиме, таком как режим разговора, режим записи и режим распознавания речи. Принятый звуковой сигнал далее может записываться в память 1104 или передаваться через компонент 1116 связи. В некоторых формах осуществления изобретения аудиокомпонент 1110 может дополнительно содержать громкоговоритель для вывода звуковых сигналов.

[00105] Интерфейс 1112 ввода/вывода обеспечивает интерфейс между компонентом 1102 обработки и периферийными интерфейсными модулями, такими как клавиатура, сенсорный круг Click Wheel, кнопки и тому подобное. Кнопки могут включать в себя, но не ограничиваются ими, кнопку начального положения, кнопку громкости, кнопку пуска и кнопку блокировки.

[00106] Компонент 1114 датчиков содержит один или более датчиков для оценки состояния различных аспектов устройства 1100. Например, компонент 1114 датчиков может обнаруживать открытое/закрытое состояние устройства 1100, относительное расположение компонентов, например, дисплея и клавиатуры устройства 1100, изменение в положении устройства 1100 или компонента устройства 1100, наличие или отсутствие контакта пользователя с устройством 1100, ориентацию или ускорение/замедление устройства 1100 и изменение температуры устройства 1100. Компонент 1114 датчиков может включать в себя датчик присутствия, сконфигурированный для обнаружения присутствия близлежащих объектов без какого-либо физического контакта. Компонент 1114 датчиков может содержать также фотоприемник, такой как формирователь изображения на комплементарной структуре металл-оксид-полупроводник (Complementary Metal-Oxide-Semiconductor, CMOS) или приборе с зарядовой связью (Charge Coupled Device, CCD) для использования в приложениях обработки изображений. В некоторых формах осуществления изобретения компонент 1114 датчиков может содержать также датчик ускорения, гироскопический датчик, магнитный датчик, датчик давления или датчик температуры.

[00107] Компонент 1116 связи сконфигурирован для обеспечения проводной или беспроводной связи между устройством 1100 и другими устройствами. Устройство 1100 может получать доступ к беспроводной сети на основе стандарта связи, такого как WiFi, системы подвижной связи второго поколения (2G) или третьего поколения (3G), или их комбинации. В одном примере осуществления изобретения компонент 1116 связи принимает широковещательный сигнал или связанную с вещанием информацию от внешней широковещательной системы управления через широковещательный канал. В одном примере осуществления изобретения компонент 1116 связи дополнительно содержит модуль радиосвязи ближнего действия (Near Field Communication, NFC) для осуществления ближней связи. Например, модуль NFC может быть реализован на основе технологии радиочастотной идентификации (Radio Frequency Identification, RFID), технологии Ассоциации по передаче данных в инфракрасном диапазоне (Infrared Data Association, IrDA), сверхширокополосной технологии (Ultra-Wideband, UWB), технологии Bluetooth (ВТ) и других технологий.

[00108] В примерах форм осуществления устройство 1100 может быть реализовано одной или более специализированными интегральными схемами (Application Specific Integrated Circuit, ASIC), процессорами цифровой обработки сигналов (Digital Signal Processors, DSP), устройствами для цифровой обработки сигналов (Digital Signal Processing Device, DSPD), программируемыми логическими устройствами (Programmable Logic Device, PLD), программируемыми пользователем вентильными матрицами (Field Programmable Gate Array, FPGA), контроллерами, микроконтроллерами, микропроцессорами или другими электронными компонентами для выполнения описанных выше способов.

[00109] В примерах осуществления изобретения предлагается также машиночитаемый носитель информации, содержащий команды, такие как включенные в память 1104, исполняемые процессором 1120 в устройстве 1100, для выполнения вышеописанных способов. Например, машиночитаемый носитель информации может быть постоянным запоминающим устройством (Read Only Memory, ROM), запоминающим устройством с произвольной выборкой (Random Access Memory, RAM), запоминающим устройством на компакт диске (Compact Disk-Read Only Memory, CD ROM), магнитной лентой, гибким диском, оптическим запоминающим устройством и тому подобным.

[00110] Другие формы осуществления настоящего изобретения будут очевидны для специалистов в данной области техники после рассмотрения описания и применения на практике изобретения, раскрытого здесь. Данная заявка предназначена для охвата любых вариантов, применений или адаптаций настоящего изобретения в соответствии с его общими принципами и включает такие отступления от настоящего описания, которые соответствуют известной или обычной практике в данной области техники. Предполагается, что описание и примеры приведены только в качестве примеров, с истинным объемом и сущностью изобретения, указанными в следующей формуле изобретения.

[00111] Понятно, что настоящее изобретение не ограничено точной конструкцией, которая была описана выше и проиллюстрирована на прилагаемых чертежах, и что различные модификации и изменения могут быть сделаны без отступления от его объема. Объем настоящего изобретения ограничивается только прилагаемой формулой изобретения.

1. Модуль камеры, содержащий:

датчик изображения, содержащий множество светочувствительных пикселей;

дифракционную структуру, покрывающую часть множества светочувствительных пикселей и выполненную с возможностью рассеивать падающие лучи, облучающие упомянутую часть множества светочувствительных пикселей, в дифракционные лучи с различными фазами, падающие на один или более светочувствительных пикселей упомянутой части множества светочувствительных пикселей; и

процессор обработки сигналов, сконфигурированный для получения первого считываемого сигнала, соответствующего светочувствительному пикселю, который не принимает дифракционные лучи, для формирования 2D изображения, и получения второго считываемого сигнала, соответствующего дифракционным лучам, для формирования 3D информации.

2. Модуль камеры по п. 1, в котором дифракционная структура содержит множество дифракционных областей, и каждая дифракционная область покрывает один или более светочувствительных пикселей.

3. Модуль камеры по п. 2, в котором дифракционные области отделены друг от друга, так что любой из упомянутых одного или более светочувствительных пикселей принимает только дифракционные лучи, формируемые в одной дифракционной области.

4. Модуль камеры по п. 2, в котором светочувствительные пиксели составляют матрицу светочувствительных пикселей, и множество дифракционных областей равномерно распределены над матрицей светочувствительных пикселей.

5. Модуль камеры по п. 2, в котором светочувствительные пиксели составляют матрицу светочувствительных пикселей, и центральная область матрицы светочувствительных пикселей имеет более высокую плотность распределения дифракционных областей, чем краевая область матрицы светочувствительных пикселей.

6. Модуль камеры по п. 1, в котором дифракционная структура представляет собой дифракционную линзу или дифракционную пленку.

7. Модуль камеры по п. 1, который дополнительно содержит цветной фильтр, покрывающий по меньшей мере некоторые из множества светочувствительных пикселей;

при этом дифракционная структура расположена между светочувствительными пикселями и цветным фильтром, или дифракционная структура расположена со стороны цветного фильтра, удаленной от светочувствительных пикселей.

8. Электронное устройство, содержащее модуль камеры по любому из пп. 1-7.

9. Электронное устройство по п. 8, в котором фронтальная камера и/или задняя камера электронного устройства содержит упомянутый модуль камеры.

10. Электронное устройство по п. 8, дополнительно содержащее:

процессор, сконфигурированный для получения первого считываемого сигнала и второго считываемого сигнала, выводимых модулем камеры, для формирования 2D изображения в соответствии с первым считываемым сигналом и формирования 3D информации в соответствии со вторым считываемым сигналом.

11. Способ обработки, применяемый к электронному устройству по любому из пп. 8-10, включающий:

получение первого считываемого сигнала и второго считываемого сигнала, выводимых модулем камеры;

формирование 2D изображения в соответствии с первым считываемым сигналом; и

формирование 3D информации в соответствии со вторым считываемым сигналом.

12. Способ по п. 11, в котором формирование 2D изображения в соответствии с первым считываемым сигналом включает в себя:

обработку первого считываемого сигнала и второго считываемого сигнала для формирования 2D изображения;

или выполнение компенсации сигнала для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом, и обработку сигнала, полученного посредством компенсации сигнала, и первого считываемого сигнала для формирования 2D изображения.

13. Способ по п. 11, в котором формирование 3D информации в соответствии со вторым считываемым сигналом содержит:

формирование 3D информации в соответствующей позиции любого светочувствительного пикселя согласно второму считываемому сигналу, который воспринят по меньшей мере одним светочувствительным пикселем, близким к упомянутому любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от упомянутого любого светочувствительного пикселя.

14. Устройство обработки, применяемое в электронном устройстве по любому из пп. 8-10, содержащее:

блок сбора данных для получения первого считываемого сигнала и второго считываемого сигнала, выводимого модулем камеры;

блок формирования изображения для формирования 2D изображения в соответствии с первым считываемым сигналом; и

блок формирования информации для формирования 3D информации в соответствии со вторым считываемым сигналом.

15. Электронное устройство, содержащее:

процессор; и

память для хранения команд, исполняемых процессором;

причем процессор осуществляет способ по любому из пп. 11-13 путем выполнения этих исполняемых команд.