Фотокамера для электронного устройства
Изобретение относится к средствам захвата и обработки изображения. Техническим результатом является устранение геометрических искажений, обусловленных положением средства захвата изображения относительно объекта, изображение которого снимается. Результат достигается тем, что цифровая фотокамера содержит опорную конструкцию, объектив, удерживаемый опорной конструкцией и имеющий оптическую ось, чувствительный элемент, удерживаемый опорной конструкцией под объективом и содержащий некоторое количество смежных строк пикселей, где каждая строка пикселей содержит некоторое количество пикселей, и каждый пиксель включает в себя датчик изображения, а процессор сигнала изображения, подключенный к чувствительному элементу, включает в себя устройство масштабирования изображения, сконфигурированное для масштабирования каждой строки пикселей согласно коэффициенту масштабирования, который отличается от смежной строки пикселей. Устройство масштабирования изображения конфигурируется для корректирования косого угла между чувствительным элементом фотокамеры и объектом, изображение которого снимается. 3 н. и 22 з.п. ф-лы, 16 ил.
РОДСТВЕННАЯ ЗАЯВКА
По данной заявке испрашивается приоритет предварительной патентной заявки США с серийным номером 60/760,899, озаглавленной "Фотокамера для электронного устройства", поданной 20 января 2006 г., раскрытие которой настоящим включается в данный документ посредством ссылки, как если бы оно было изложено полностью.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к камере для использования в устройстве связи, например камере, являющейся частью терминала радиосвязи, для использования в видеотелефонии. Конкретнее, изобретение относится к решению для регулировки направления наблюдения камеры в устройстве связи, имеющем дисплей.
ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
Производство сотовых телефонов в мире за последние десятилетия получило грандиозное развитие. От исходных аналоговых систем, например, определенных стандартами AMPS (Усовершенствованная система мобильных телефонов) и NMT (Мобильный телефон северных стран), развитие в течение последних лет почти исключительно направлено на стандарты для цифровых решений для сотовых систем радиосети, таких как D-AMPS (например, как указано в EIA/TIA-IS-54-B и IS-136) и GSM (Глобальная система мобильной связи). В настоящее время технология сотовой связи вступает в так называемое 3-е поколение (3G) посредством систем связи, таких как WCDMA, предоставляющих несколько преимуществ над указанными выше цифровыми системами 2-го поколения.
Большое количество усовершенствований в технологии мобильных телефонов относится к функциональным характеристикам, таким как лучшие дисплеи, более эффективные и имеющие более продолжительный срок службы батареи, и к средствам для формирования полифонических сигналов вызова. Одной функциональной характеристикой, которая становится все более и более общепринятой, является встроенная камера. В некоторых мобильных телефонах в настоящее время имеются камеры с функциональностью видеокамеры. С наступлением услуг с высокой скоростью передачи данных, таких как EDGE (развитие стандарта GSM с увеличенной скоростью передачи данных) и 3G, будут возрастать доступность и потребительские свойства для услуг передачи видео. В частности, в последнее время мобильная видеотелефония с одновременной передачей звука и движущихся изображений стала коммерчески доступной.
Для стационарного использования системы видеоконференций обычно включают в себя камеру, установленную на или рядом с терминалом связи, например персональным компьютером (PC), либо встроенную в телефон, работающий по Интернет-протоколу (IP). Использование такой системы может быть достаточно простым, так как пользователь располагается перед терминалом с направленной на пользователя камерой. Однако мобильная видеоконференция является более затруднительной. Терминал может располагаться на подставке на рабочем столе, с которой камера в устройстве направляется на объект, подлежащий изучению, который нужно снимать, обычно на пользователя. Более простым способом использования мобильного телефона для видеоконференции с передачей "лицом к лицу" является его удержание таким образом, что встроенная камера вручную направляется на пользователя. При общении через мобильный карманный терминал пользователь, следовательно, может держать терминал постоянно перед лицом так, что принимающая сторона может видеть лицо пользователя, т.е. передающую сторону.
Проблема, относящаяся к видеоконференции с помощью радиотерминала, обусловлена тем фактом, что встроенная камера обычно размещается рядом или параллельно дисплею, т.е. оптическая ось камеры перпендикулярна поверхности дисплея. Поэтому терминал следует направлять под углом более или менее 90° к лицу, чтобы получить надлежащее изображение пользователя. Однако многие пользователи находят этот способ удерживания терминала некомфортным. Кроме того, для большинства конструкций мобильных телефонов может быть трудным использовать терминал, размещенный на рабочем столе, без дополнительного средства закрепления, поскольку это может требовать, чтобы лицо пользователя находилось над терминалом. Сопутствующей проблемой является то, что терминал также может включать в себя небольшой фонарик, направленный параллельно с камерой, для освещения объекта съемки. Когда камера и фонарик направлены на лицо пользователя под углом 90°, существует риск того, что отражения лица пользователя в поверхности дисплея будут искажать изображения, представленные на дисплее.
Даже в случае, когда камера сконфигурирована таким образом, что ее можно держать под углом к снимаемому объекту, например лицу пользователя камеры, возникает проблема искажения перспективы изображения. Это может приводить к проблемам, когда истинное представление размеров объекта является решающим. В случае видеотелефонии снятое изображение лица пользователя будет иметь склонность к более широкой нижней части по сравнению с верхней частью лица, если камера удерживается под скошенным углом к лицу.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Основная цель изобретения - предоставить решение для формирования цифровых изображений, где камера может удерживаться под скошенным углом к объекту, для захвата его изображения, что обычно приводит к искаженному изображению.
Согласно первому аспекту, заявленная цель выполняется с помощью цифровой камеры, содержащей опорную конструкцию, объектив, удерживаемый опорной конструкцией и имеющий оптическую ось, чувствительный элемент, удерживаемый опорной конструкцией под объективом и содержащий некоторое количество смежных строк пикселей, где каждая строка пикселей содержит некоторое количество пикселей, и каждый пиксель включает в себя датчик изображения, и блок процессора сигнала изображения, подключенный к чувствительному элементу, включающий в себя устройство масштабирования изображения, сконфигурированное для масштабирования каждой строки пикселей согласно коэффициенту масштабирования, который отличается от смежной строки пикселей.
В варианте осуществления устройство масштабирования изображения конфигурируется для масштабирования каждой строки пикселей согласно коэффициенту масштабирования, имеющему величину, пропорциональную положению строки между начальной строкой и конечной строкой.
В варианте осуществления устройство масштабирования изображения конфигурируется реагирующим на ввод коэффициента масштабирования начальной строки и коэффициента масштабирования конечной строки и содержит функцию вычисления, сконфигурированную для вычисления коэффициентов масштабирования для каждой строки между начальной строкой и конечной строкой.
В варианте осуществления устройство масштабирования изображения конфигурируется для вычисления входной длины строки для строки пикселей как соотношения между нужной выходной длиной строки, общей для всех строк пикселей, и коэффициента масштабирования для этой строки; и
конфигурируется для масштабирования сигналов изображения, обнаруженных пикселями этой строки и которые находятся в пределах входной длины строки пикселей, до нужной выходной длины строки.
В варианте осуществления устройство масштабирования изображения конфигурируется для создания выходного изображения с центрированными строками.
В варианте осуществления устройство масштабирования изображения конфигурируется для вычисления центральной начальной точки для каждой входной строки от чувствительного элемента, используя формулу:
,
где startn - первый пиксель для обработки в строке n; l - количество пикселей во всей строке; и ln - количество пикселей для обработки в строке n.
В варианте осуществления модуль камеры образован опорной конструкцией, где процессор сигналов изображения включен в модуль камеры.
В варианте осуществления устройство масштабирования изображения конфигурируется для определения положения в предварительно установленном формате изображения выходного пикселя некоторой строки пикселей, для определения соответствующего положения в обнаруженном изображении путем обратного масштабирования с использованием коэффициента масштабирования для упомянутой некоторой строки, и для определения значения яркости для выходного пикселя путем интерполирования значений яркости, которые обнаружены пикселями, смежными с упомянутым соответствующим положением в обнаруженном изображении.
В варианте осуществления устройство масштабирования изображения конфигурируется для вычисления коэффициентов масштабирования, зависящих от заданного предполагаемого косого угла между плоскостью изображения чувствительного элемента и объектом, изображение которого необходимо снять (захватить).
В варианте осуществления поле зрения камеры определяется рабочей областью поверхности чувствительного элемента, которая смещена относительно центра относительно оптической оси объектива.
В варианте осуществления устройство масштабирования изображения конфигурируется для вычисления коэффициентов масштабирования Sn для каждой строки n посредством функции Sn=m+n*k, где m и k - константы.
Согласно второму аспекту, заявленная цель выполняется посредством устройства связи, содержащего корпус; и модуля цифровой камеры, включающего в себя опорную конструкцию, объектив, удерживаемый опорной конструкцией и имеющий оптическую ось, чувствительный элемент, удерживаемый опорной конструкцией под объективом, содержащий некоторое количество смежных строк пикселей, где каждая строка пикселей содержит некоторое количество пикселей, и каждый пиксель включает в себя датчик изображения, и блок процессора сигнала изображения, подключенный к чувствительному элементу, включающий в себя устройство масштабирования изображения, сконфигурированное для масштабирования каждой строки пикселей согласно коэффициенту масштабирования, который отличается от смежной строки пикселей.
В одном варианте осуществления устройство связи содержит приемопередатчик радиосигнала и блок управления, сконфигурированный для предоставления приемопередатчику радиосигнала масштабированного видеосигнала от модуля цифровой камеры.
В одном варианте осуществления устройство связи содержит дисплей, сконфигурированный для представления масштабированного изображения, которое предоставлено модулем цифровой камеры.
Согласно третьему аспекту, заявленная цель выполняется посредством способа для захвата изображения с использованием цифровой камеры, содержащего этапы:
направления камеры на объект;
обнаружения сигналов изображения в чувствительном элементе, содержащем некоторое количество смежных строк пикселей, где каждая строка пикселей содержит некоторое количество пикселей, и каждый пиксель включает в себя датчик изображения;
обработки обнаруженных сигналов изображения путем масштабирования каждой строки пикселей согласно коэффициенту масштабирования, который отличается от смежной строки пикселей, для обеспечения масштабированного изображения; и
вывода масштабированного изображения.
В одном варианте осуществления способ содержит этап:
масштабирования каждой строки пикселей согласно коэффициенту масштабирования, имеющему величину, пропорциональную положению строки между начальной строкой и конечной строкой.
В одном варианте осуществления способ содержит этапы:
задания коэффициента масштабирования начальной строки и коэффициента масштабирования конечной строки; и
вычисления коэффициентов масштабирования для каждой строки между начальной строкой и конечной строкой.
В одном варианте осуществления способ содержит этапы:
вычисления входной длины строки для строки пикселей как соотношения между нужной выходной длиной строки, общей для всех строк пикселей, и коэффициента масштабирования для этой строки;
и
масштабирования сигналов изображения, обнаруженных пикселями этой строки, и которые находятся в пределах входной длины строки пикселей, до нужной выходной длины строки.
В одном варианте осуществления способ содержит этап:
предоставления масштабированного изображения с центрированными строками.
В одном варианте осуществления способ содержит этап:
вычисления центральной начальной точки для каждой входной строки из чувствительного элемента, используя формулу:
,
где startn - первый пиксель для обработки в строке n; l - количество пикселей во всей строке; и ln - количество пикселей для обработки в строке n.
В одном варианте осуществления способ содержит этап:
обработки обнаруженного изображения посредством процессора сигналов изображения, выполненного как единое целое с цифровой камерой в модуле камеры устройства связи.
В одном варианте осуществления способ содержит этап:
передачи масштабированного изображения удаленному приемнику, используя приемопередатчик радиосигнала в терминале радиосвязи.
В одном варианте осуществления способ содержит этап:
представления масштабированного изображения на дисплее.
В одном варианте осуществления способ содержит этапы:
задания формата изображения;
определения положения выходного пикселя в некоторой строке пикселей в формате изображения;
определения соответствующего положения в обнаруженном изображении путем обратного масштабирования с использованием коэффициента масштабирования для упомянутой некоторой строки; и
определения значения яркости для выходного пикселя путем интерполирования значений яркости, которые обнаружены пикселями, смежными с упомянутым, соответствующим положением в обнаруженном изображении.
В одном варианте осуществления способ содержит этап:
вычисления коэффициентов масштабирования, зависящих от предварительно заданного предполагаемого косого угла между плоскостью изображения чувствительного элемента и объектом, изображение которого необходимо снять (захватить).
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Признаки и преимущества настоящего изобретения станут более очевидными из последующего описания предпочтительных вариантов осуществления со ссылкой на прилагаемые чертежи, на которых:
фиг.1А и 1В схематически иллюстрируют карманный терминал радиосвязи, включающий в себя цифровую камеру и дисплей, согласно некоторым вариантам осуществления изобретения;
фиг.2 иллюстрирует терминал с фиг.1 при использовании для видеоконференции, согласно некоторым вариантам осуществления изобретения;
фиг.3 схематически иллюстрирует, как камера терминала удерживается под углом к лицу пользователя;
фиг.4 схематически иллюстрирует модуль цифровой камеры, согласно некоторым вариантам осуществления изобретения;
фиг.5 схематически иллюстрирует традиционный телефон с камерой;
фиг.6 схематически иллюстрирует некоторые аспекты телефона с камерой, согласно некоторым вариантам осуществления изобретения;
фиг.7 схематически иллюстрирует некоторые аспекты телефона с камерой, согласно дополнительным вариантам осуществления изобретения;
фиг.8 и 9 схематически иллюстрируют модуль цифровой камеры, согласно некоторым вариантам осуществления изобретения;
фиг.10 и 11 схематически иллюстрируют модуль цифровой камеры, согласно дополнительным вариантам осуществления изобретения;
фиг.12 схематически иллюстрирует искаженное изображение, вызванное тем, что камера удерживается под углом к прямоугольному объекту;
фиг.13 и 14 схематически иллюстрируют искаженное изображение и исправленное изображение, согласно варианту осуществления изобретения;
фиг.15 схематически иллюстрирует изображение, полученное от прямоугольного объекта, удерживаемого под скошенным углом к поверхности чувствительного элемента камеры.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Ниже варианты осуществления настоящего изобретения будут описаны подробнее со ссылкой на прилагаемые чертежи, на которых показаны варианты осуществления изобретения. Это изобретение, тем не менее, может быть реализовано во многих различных формах и не должно интерпретироваться как ограниченное вариантами осуществления, изложенными в данном документе. Точнее, эти варианты осуществления предоставляются для того, чтобы это раскрытие изобретения было всесторонним и полным и полностью передавало объем изобретения специалистам в данной области техники. По всему тексту одинаковые цифры ссылаются на одинаковые элементы.
Несмотря на то, что термины "первый", "второй" и т.д. могут использоваться в этом документе для описания различных элементов, нужно понимать, что эти элементы не должны ограничиваться этими терминами. Эти термины используются только для проведения различия одного элемента от другого. Например, первый элемент мог бы называться вторым элементом, и аналогично, второй элемент мог бы называться первым элементом, без отклонения от объема настоящего изобретения. При использовании в данном документе термин "и/или" включает в себя любые и все комбинации одного или нескольких ассоциированных перечисленных терминов.
Используемая в этом документе терминология предназначена только для целей описания отдельных вариантов осуществления и не предназначена для ограничения изобретения. При использовании в данном документе формы единственного числа предназначены также для включения в себя форм множественного числа, пока контекст явно не покажет иное. Дополнительно будет подразумеваться, что термины "содержит", "содержащий", "включает в себя" и/или "включающий в себя" при использовании в этом документе устанавливают наличие заявленных признаков, чисел, этапов, действий, элементов и/или компонентов, но не препятствуют наличию либо дополнению одного или нескольких признаков, чисел, этапов, действий, элементов, компонентов и/или их групп.
Пока не оговорено иное, все термины (включая технические и научные термины), использованные в этом документе, имеют тот же смысл, который в большинстве случаев понимается обычным специалистом в области техники, к которой относится изобретение. Дополнительно будет подразумеваться, что используемые в этом документе термины следует интерпретировать как имеющие значение, которое согласуется с их значением в контексте этого описания и в соответствующей области техники, и не должны интерпретироваться в идеализированном или слишком формальном значении, пока так не будет явно определено в этом документе.
Настоящее описание относится к области электронных устройств, а именно устройств связи, включающих в себя камеру и дисплей для показа фотографий, снятых камерой, которые выполнены с такой возможностью, что пользователь может смотреть на дисплей, пока камера направлена на этого же пользователя. Некоторые варианты осуществления изобретения относятся к терминалу связи, сконфигурированному для видеотелефонии. Такой терминал связи может быть, например, телефоном DECT (Европейский цифровой беспроводной телефон), подключаемым проводом к сетевой розетке PSTN (Коммутируемая телефонная сеть общего пользования), либо IP-телефоном с корпусом, включающим в себя дисплей и камеру. В некоторых вариантах осуществления терминал связи является терминалом радиосвязи, например мобильным телефоном, работающим для обмена информацией посредством базовой радиостанции и/или напрямую к другому радиотерминалу.
Сейчас будут описываться варианты осуществления со ссылкой на прилагаемые чертежи.
Фиг.1А иллюстрирует электронное устройство в виде переносного терминала 10 связи, например мобильного телефона, согласно некоторым вариантам осуществления изобретения. Терминал 10 включает в себя опорную конструкцию 11, включающую корпус, и интерфейс пользователя, включающий клавишную панель или клавиатуру 12 и дисплей 13. Терминал 10 может также включать в себя аудиоинтерфейс, включающий микрофон и динамик, схему радиоприемопередатчика, антенну, батарею и микропроцессорную систему, включающую соответствующее программное обеспечение и память для хранения данных для радиосвязи, все удерживаемое опорной конструкцией 11 и заключенное в корпус. Дополнительно к этим элементам терминал 10 также включает в себя цифровую камеру 14, апертура которой указывается на фиг.1А.
Как показано на фиг.1А, апертура камеры 14 и дисплей 13 могут быть размещены так, что оба являются видимыми из обычного положения просмотра. Например, апертура камеры 14 и дисплей 13 могут размещаться на одной стороне корпуса 11. Таким образом, камера 14 может направляться на пользователя, пока пользователь смотрит на дисплей 13. Соответственно, терминал 10 связи может использоваться для видеотелефонии.
Варианты осуществления настоящего изобретения могут быть дополнительно описаны со ссылкой на схематический чертеж терминала 10 связи, показанного на Фиг.1В. Ссылаясь на фиг.1В, типовой терминал 10 связи в соответствии с некоторыми вариантами осуществления настоящего изобретения включает в себя клавишную панель 12, дисплей 13, приемопередатчик 26, запоминающее устройство 16, микрофон 15, динамик 19 и камеру 14, которые взаимодействуют с блоком управления или процессором 20. Приемопередатчик 26 обычно включает в себя схему 27 передатчика, схему 28 приемника и модем 29, которые взаимодействуют для передачи и приема радиочастотных сигналов к удаленным приемопередатчикам посредством антенны 25. Радиочастотные сигналы, переданные между терминалом 10 связи и удаленными приемопередатчиками, могут содержать сигналы трафика и управляющие сигналы (например, сигналы персонального вызова/сообщения для входящих вызовов), которые используются для установления и поддержания связи с другой стороной или пунктом назначения.
Запоминающее устройство 16 может быть запоминающим устройством общего назначения, которое используется как для хранения команд управления программой для процессора 20, так и данных, например звуковых данных, видеоданных, конфигурационных данных и/или других данных, к которым процессор 20 может обращаться и/или использовать. Запоминающее устройство 16 может включать в себя энергонезависимое запоминающее устройство с оперативной записью и считыванием, постоянное запоминающее устройство и/или энергозависимое запоминающее устройство.
Ссылаясь на фиг.2, иллюстрируется использование терминала 10 связи для видеотелефонии. Обычно в сеансе видеотелефонии изображение 21 удаленного участника передается терминалу 10 и показывается на дисплее 13 в назначенном окне 22. В то же время уменьшенное изображение 23 пользователя терминала 10, снятое фотокамерой 14, может также показываться на дисплее 13 в окне 24. Окно 24 может отображаться в отдельном окне/дисплее терминала 10 и/или в субокне дисплея 13 как "картинка-в-картинке". Таким образом, пользователь может получать визуальную обратную связь о том, как направлена камера 14, и может управлять терминалом 10 для правильного наведения.
Уже описана проблема, относящаяся к видеотелефонии, а именно та, что может быть комфортнее держать терминал 10 под некоторым углом к пользователю 30, обозначенным θ на фиг.3, а не параллельно лицу пользователя. Расположение терминала 10 под косым углом к объекту, который нужно изобразить, обычно лицу пользователя, может также облегчить использование терминала 10 для видеотелефонии путем помещения терминала на опору, например рабочую поверхность. Однако отклонение традиционного терминала может привести к эффекту смещения захваченного изображения, так как фотокамера может быть неправильно направлена. Смещение захваченного изображения в назначенном окне изображения будет видимым на дисплее и, конечно, для удаленного участника, принимающего захваченные изображения. С увеличением угла θ лицо пользователя может пропасть в окне. В некоторой точке лицо выпадет из поля зрения камеры, что обычно бывает в диапазоне 50-70° полного угла. Ссылаясь на фиг.1-14, сейчас будут описываться различные варианты осуществления камеры и устройства связи в виде терминала, включающего в себя камеру, которые сконфигурированы для съемки изображения под скошенным углом, как указано на фиг.3. Точнее говоря, сначала будет описываться камера, сконфигурированная для съемки (захвата) изображения с основной линии визирования, которая наклонена относительно оптической оси камеры. Кроме того, будут описываться камера и способ для исправления или корректировки перспективы захваченного изображения, которое искажено вследствие отклонения угла.
Фиг.4 схематически иллюстрирует модуль 14 цифровой камеры для использования в электронном устройстве, например терминале 10, согласно некоторым вариантам осуществления изобретения. Модуль 14 камеры включает в себя объектив 41, включающий в себя одну или более отдельных линз, выполненных, например, из пластика или стекла и имеющих оптическую ось 45, указанную штрихпунктирной линией. Чувствительный элемент 42 с верхней поверхностью 43 чувствительного элемента располагается на расстоянии и параллельно объективу 41 посредством опорного элемента 44, который может включать в себя герметичный пластиковый корпус. Модуль камеры может также включать в себя процессор 46 сигналов изображения (ISP), который может быть подключен к тыльной стороне чувствительного элемента 42. В качестве альтернативы ISP 46 может быть подключен к чувствительному элементу 42 проводом, например гибким кабелем. Геометрия модуля 14 камеры, включающая фокусное расстояние и апертуру объектива 41 и размер плоскости изображения, определенный поверхностью 43 чувствительного элемента и его положением относительно объектива 41, определяет поле зрения модуля 14 камеры. С целью ясного описания изобретения термин "главная линия визирования" будет использоваться для обозначения главного луча через объектив 41 к центру используемой области изображения. Обычно поверхность 43 чувствительного элемента размещается центрально под объективом 41, и главная линия визирования камеры 14, следовательно, совпадает с оптической осью 45. Поверхность 43 чувствительного элемента, как правило, может быть прямоугольной или даже квадратной и может быть симметрична относительно оптической оси 45.
Фиг.5 иллюстрирует обычный терминал 10, включающий камеру 14 и дисплей 13. На фиг.5 ось 51 указывает направление нормали дисплея 13, т.е. ось, перпендикулярную поверхности дисплея 13. Кроме того, оптическая ось 45, которая представляет главную линию визирования для камеры 14, указывается как параллельная направлению 51 нормали.
Фиг.6-7 иллюстрируют терминалы 10А, 10В в соответствии с некоторыми вариантами осуществления изобретения в упрощенной боковой проекции, на которой иллюстрируются только дисплей 23 и камера 14. Фиг.6 иллюстрирует терминал 10А, в котором камера 14 наклонена таким образом, что ее оптическая ось и главная линия 45 визирования наклонена относительно направления 51 нормали на острый угол φ. В некоторых вариантах осуществления камера 14 может быть наклонена на угол φ, который соответствует заданному рабочему углу θ, который указан на фиг.3. Таким образом, терминал 10А может использоваться для видеотелефонии, когда его удерживают под углом к пользователю без смещения захваченного изображения. Тем не менее, в этих вариантах осуществления, поскольку камера 14 может наклоняться, она может занимать больше места в терминале 10А. Кроме того, закрепление камеры 14, например, на РСВ (печатной плате) в наклонной ориентации в терминале 10А может потребовать дополнительного установочного устройства, такого как промежуточный клиновидный элемент.
Фиг.7 иллюстрирует терминал 10В, согласно дополнительным вариантам осуществления изобретения, на котором позиция 51 указывает направление нормали дисплея 13, т.е. оси, перпендикулярной поверхности дисплея 13. Кроме того, оптическая ось 45 камеры 71 указывается как параллельная направлению 51 нормали. Камера 71 может быть закреплена внутри терминала 10В параллельно дисплею 13, например, посредством пайки или другого типа соединения и подключения к общей РСВ. Однако поле зрения камеры 71, имеющей главную линию 72 визирования, задается рабочей областью поверхности 43 чувствительного элемента, которая может быть смещена относительно центра по отношению к оптической оси 45 объектива (см. фиг.4). Рабочая область может быть всей областью поверхности 43 чувствительного элемента, где вся поверхность чувствительного элемента смещена относительно центра. В качестве альтернативы рабочая область может быть смещенной от центра частью иным образом центрированной поверхности 43 чувствительного элемента, в этом случае камера 71 может быть в основном похожа на камеру 14 на основе показанных элементов. Различие состоит в том, какие пиксели поверхности чувствительного элемента используются для считывания изображения.
Фиг.8 и 9 схематически иллюстрируют некоторые аспекты камеры 71, согласно некоторым вариантам осуществления изобретения. Использованные на фиг.4 ссылочные позиции также используются на фиг.8 и 9 для соответствующих элементов. ISP 46 исключается из фиг.8 и 9, поскольку его не нужно механически присоединять непосредственно к модулю 71 камеры. Фиг.8 - боковая проекция камеры 71, а фиг.9 - вид в перспективе камеры 71, на которой для упрощения исключен опорный элемент 44 (опорная конструкция).
Чувствительный элемент 42 может включать в себя датчик изображения, обладающий полноразмерной поверхностью 43 чувствительного элемента в пределах области, заданной длиной А и шириной С, и может включать в себя некоторое количество пикселей, например, 400×400, 640×480 или любую другую компоновку матрицы. В этом варианте осуществления все-таки задается рабочая область 91 поверхности 43 чувствительного элемента, которая включает в себя только подмножество общего количества пикселей. В проиллюстрированном примере область 91 (заштрихованная область) является прямоугольной и имеет длину В<А и ширину D<=C. Кроме того, рабочая область 91 может быть смещена относительно центра по отношению к поверхности 43 чувствительного элемента, где оптическая ось 45 объектива 41 пересекается с поверхностью 43 чувствительного элемента. Возможно задать область 91 как смещенную относительно центра вдоль осей х и y, указанных на фиг.9. Тем не менее, в проиллюстрированном варианте осуществления область 91 смещена относительно центра только вдоль оси х и центрирована по оси y. Рабочая область 91 может быть смещена относительно центра к правой боковой грани вдоль оси х и может занимать все пиксели за правой боковой гранью, но не все пиксели по направлению к левой боковой грани поверхности 43 чувствительного элемента. В качестве альтернативы рабочая область может быть менее смещенной относительно центра и может не включать в себя самые крайние пиксели на правой стороне поверхности 43 чувствительного элемента. Вдоль оси у рабочая область 91 может быть уже D, чем вся ширина С поверхности 43 чувствительного элемента, как проиллюстрировано на чертеже.
Центр рабочей области 91 может быть центром считывания плоскости изображения, и главная линия 72 визирования может быть задана от центра рабочей области 91 и оптического центра объектива 41. Эта главная линия визирования может проходить под острым углом φ к оптической оси 45, где величина φ может зависеть от расстояния между центром рабочей области 91 и оптической осью 45. Являясь острым, угол φ по определению больше 0° и меньше 90°. Тем не менее, для практических целей угол может быть в диапазоне 5-20° или даже 5-10°.
В качестве примера поверхность 43 чувствительного элемента может включать в себя матрицу 400×400 пикселей из датчиков изображений. Тем не менее, для цели видеоконференции это может быть избыточным количеством пикселей. QCIF (Четверть общего промежуточного формата) является форматом видеоконференции, который предписывает скорости передачи данных в 30 кадров в секунду (fps), причем каждый кадр содержит 144 строки и 176 пикселей на строке. Это одна четверть разрешения полного CIF, который определяет 355×288 пикселей. Поддержка QCIF требуется стандартом видеоконференции ITU H.261, и по существу требуется только матрица 176×144 пикселей. Это меньше половины доступного количества пикселей в каждом направлении. С целью повышения качества изображения возможно использование вдвое большего количества строк с вдвое большим количеством пикселей на строку, то есть CIF, который подходит к матрице 400×400.
В некоторых вариантах осуществления рабочая область 91, включающая в себя 355×288 пикселей, задается на поверхности 43 чувствительного элемента, включающей в себя 400×400 пикселей, распространяясь внутри от одной боковой грани центрированной поверхности 43 чувствительного элемента, и центрирована вдоль этой боковой грани, как показано на фиг.9. Чувствительный элемент 42 размером 3,2×3,2 мм с плотностью пикселей 3,6 микрометров обладает поверхностью (А×С) чувствительного элемента, примерно, 1,44×1,44 мм, и рабочая область будет иметь длину В, равную 288/400×1,44=1,037 мм. Центр рабочей области тогда может располагаться 1,44/2-1,037/2=0,2 мм от центра поверхности 43 чувствительного элемента. Допуская, что объектив 41 располагается на высоте 1,5 мм от поверхности 43 чувствительного элемента, главная линия 72 визирования тогда будет иметь угол, примерно, φ=arctan (0,2/1,5), приблизительно, 7,6° к оптической оси 45. Используя только матрицу QCIF, соответствующий угол был бы arctan(1,44*(1-144/400)/(2*1,5)), или, приблизительно, 17,1°. Тем не менее, даже если необходимо использовать изображение QCIF, возможно использовать плоскость изображения полного CIF для повышения качества изображения.
Также возможно задавать рабочую область посредством обратного вычисления. Например, допустим что фотокамера будет использоваться под некоторым углом θ, например 10°, и необходимо применять матрицу QCIF. Необходимое смещение Δ центра рабочей области 91, когда расстояние до объектива составляет 1,5 мм, тогда равно Δ=1,5tan(10°), или, приблизительно, 0,26 мм. Для подобной конфигурации рабочая область 91 не будет все время выходить к краю поверхности 43 чувствительного элемента; скорее будет около 55 неиспользованных строк пикселей в верхней части поверхности 43 чувствительного элемента.
Следует понимать, что представленные выше значения даны только как возможные примеры, тогда как предоставление смещенной относительно центра рабочей области поверхности чувствительного элемента для получения поля зрения с главной линией визирования, которая наклонена по отношению к оптической оси объектива камеры, может применяться к любой геометрии камеры, как схематически проиллюстрировано на фиг.4. Чувствительный элемент 42 может быть, например, чувствительным элементом CMOS или чувствительным элементом CCD, и может быть черно-белым, серых тонов или цветным приемником изображения. Кроме того, рабочая область 91 может быть указана в оборудовании или микропрограммном обеспечении для ISP камеры в качестве смещенной относительно центра интересующей области или окна, подлежащего рассмотрению. В некоторых вариантах осуществления размер и положение рабочей области 91 могут быть заданы в качестве значения по умолчанию и, таким образом, всегда используются, пока не даются команды пользователя на изменение этой установки, например, посредством интерфейса 12 ввода.
Фиг.10 иллюстрирует варианты осуществления, которые могут предоставляться в качестве альтернативы вариантам осуществления, описанным со ссылкой на фиг.8 и 9, или которые могут объединяться с вариантами осуществления из фиг.8 и 9. Аналогично фотокамере 14, проиллюстрированной на фиг.4, камера 101 с фиг.10 включает в себя объектив 41 и чувствительный элемент 42 с поверхностью 43 чувствительного элемента, подвешенный параллельно и разнесенный с объективом 41 с помощью опорного элемента 44, и потенциально присоединенный ISP (не показан). Для объектива 41 задается оптическая ось 45. Поверхность 43 чувствительного элемента имеет длину А. Однако в этом случае чувствительный элемент 42 может не располагаться по центру под объективом 41. Вместо этого чувствительный элемент 42 смещен в сторону относительно объектива 41, так что оптическая ось 45 объектива 41 смещается относительно центра по отношению к поверхности 43 чувствительного элемента. На фиг.10 это иллюстрируется чувствительным элементом 42, смещенным в сторону в опорном элементе 44. В качестве альтернативы объектив 41 может быть смещен в сторону в опорном элементе 44.
При помощи этой особенности главная линия 102 визирования поля зрения для камеры 101, проходящая от центра поверхности 43 чувствительного элемента, может продолжаться под острым углом φ от оптической оси 45, где величина угла φ пропорциональна arctan(ΔА/h), где ΔА - относительное поперечное смещение и h - расстояние между объективом 41 и поверхностью 43 чувствительного элемента. В качестве примера, если поперечное смещение ΔА чувствительного элемента 42 равно 0,2 мм, как указано на фиг.10, и расстояние между объективом 41 и поверхностью 43 чувствительного элемента равно 1,5 мм, то главная линия визирования будет иметь угол φ, примерно, 7,6°.
Как указано, можно объединять варианты осуществления фиг.8 и 9 с вариантами осуществления фиг.10, тем самым, рабочая область задается в правой части чувствительного элемента 42, и где чувствительный элемент 42 также поперечно смещается вправо относительно объектива 41. В качестве примера рассмотрим пример, представленный для варианта осуществления фиг.9 с поверхностью 43 чувствительного элемента 400×400 пикселей с шагом пикселей 3,6 микрометра, размещенной на 1,5 мм ниже объектива 41, и к тому же применяется поперечное смещение ΔА чувствительного элемента 42, равное 0,2 мм, как показано на фиг.10.
Для варианта осуществления с CIF рабочая область 91 может продолжаться на 288 строк внутри от боковой грани поверхности 43 чувствительного элемента, которая наиболее удалена от оптической оси 45. Тогда центр рабочей области располагается 1,44/2-1,037/2+0,2=0,4 мм от оптической оси, что означает угол к оптической оси 45 около α=arctan(0,4/1,5), или, приблизительно, 15°. Для матрицы QCIF можно иметь даже больший угол, либо в качестве альтернативы использовать изображение CIF и масштабировать его до QCIF.
Для вариантов осуществления, в которых поверхность 43 чувствительного элемента смещена в сторону относительно оптической оси 45, может применяться усовершенствованная фотокамера путем адаптирования каждого пикселя к этой смещенной относительно центра оптической геометрии. Фиг.11 схематически иллюстрирует некоторые элементы камеры 110, согласно некоторым вариантам осуществления изобретения. Фиг.11 иллюстрирует объектив 41 камеры и три пикселя 110, 120, 130 чувствительного элемента 42. Вертикальная пунктирная линия 114 показана между пикселями 110 и 120, указывая центр поверхности 43 чувствительного элемента у чувствительного элемента 42, тогда как оптическая ось 45 пересекает центр объектива 41. Обычно центр поверхности 43 чувствительного элемента и оптическая ось 45 могут совпадать, но согласно вариантам осуществления, описанным со ссылкой на фиг.10, они могут располагаться на расстоянии ΔА.
Для направления входящего излучения правильно к воспринимающим элементам чувствительного элемента 42, каждый пиксель может включать в себя датчик, включающий в себя светочувствительный элемент 111, 121, 131, например фотодиод, и микроконденсорные линзы 112, 122, 132. Использование микролинз как части датчика изображения является общепринятой технологией для улучшения рабочей характеристики датчика, как показано, например, в патенте США №5,251,038. Соответственно, каждый пиксель чувствительного элемента 42 может включать в себя микроконденсорные линзы на поверхности воспринимающего элемента, чтобы направлять световые лучи на воспринимающий элемент.
Конструкция и расположение микролинз может зависеть от угла главного луча в пучке света, падающего на датчик. Угол может варьироваться с высотой изображения, т.е. расстоянием от центра оптической оси 45 объектива 41 камеры. Обычно, чем дальше располагается датчик от оптической оси 45, тем короче должно быть фокусное расстояние у конденсорных линз. В типовой конфигурации фокусное расстояние микролинз увеличивается при удалении от центра поверхности 43 чувствительного элемента, и для линз 122 фокусное расстояние может тригонометрически зависеть от расстояния F до центра 114 поверхности 43 чувствительного элемента. Тем не менее, в случае вариантов осуществления согласно фиг.10 со смещением ΔА, микролинзы могут быть адаптированы к оптическому центру, который еще определяется оптической осью 45, которая больше не является центром поверхности 43 чувствительного элемента. Поэтому в некоторых вариантах осуществления изобретения для поверхности 43 чувствительного элемента определяется предполагаемый оптический центр 45, который может не совпадать с физическим центром 114 поверхности 43 чувствительного элемента и который будет действительным оптическим центром при объединении с объективом 41.
Микролинзы каждого пикселя поверхности 43 чувствительного элемента могут быть тщательно спроектированы относительно заданного оптического центра, обычно с увеличивающимся фокусным расстоянием как функции увеличивающегося расстояния до оптического центра. Фокусное расстояние для линз 122 может тригонометрически зависеть от расстояния Е=(F+ΔА) до оптического центра, то есть оптической оси 45. Конкретные соотношения зависят от общей конфигурации фотокамеры и положения, которые нужно учитывать, хорошо известны специалисту в данной области техники.
Как проиллюстрировано на фиг.3, использование, например, мобильного телефона для видеоконференции часто происходит под небольшим углом к лицу пользователя. Тем не менее, искаженная перспектива получится в результате скошенного угла между лицом пользователя и оптической осью камеры. Более того, этот недостаток применим, даже когда камера конфигурируется для съемки изображения в поле зрения, имеющем главную линию визирования, которая находится под углом к оптической оси фотокамеры, например, в вариантах осуществления, описанных со ссылкой на фиг.7-11. Так как камера не удерживается параллельно лицу пользователя, лицо в нижней области изображается шире, чем в верхней области. Изображение на фиг.12 ясно иллюстрирует этот эффект, когда пользователь держит прямоугольный лист бумаги перед лицом, пока снимают изображение с использованием камеры, сконфигурированной согласно варианту осуществления фиг.7-9 со смещенной относительно центра областью изображения. Это часто называется "трапецеидальным искажением".
В традиционной профессиональной фотографии этого трапецеидального искажения можно избежать путем использования специальной оптики, например объективов со смещением и наклоном, т.е. с контролем перспективы, либо специально разработанных камер с возможностями контроля перспективы. В области цифровой обработки изображений корректировка перспективы является обычной возможностью. Инструментальные средства, такие как Adobe® Photoshop, предоставляют такую возможность. Такие возможности могут также использоваться в электронных устройствах для видеоконференции, например мобильных телефонах со встроенными камерами, для постобработки изображений. Однако эта корректировка перспективы очень зависит от вычислительных возможностей. Особенно это является проблемой с движущимися изображениями, т.е. видео, с множеством кадров в секунду для обработки. Постобработка, следовательно, неприменима для реализации в системе, где центральный процессор 20 мобильного телефона используется одновременно для кодирования видео и других задач.
Также желательно обрабатывать изображение с бóльшим разрешением и углом съемки, чем итоговое изображение, с целью повышения качества изображения. Это вызывает необходимость передавать от камеры к хост-системе изображение большего размера, то есть больше данных. Хост-система также должна обрабатывать нестандартный размер изображения и преобразовывать его в заданный формат.
Один вариант осуществления содержит возможность оперирования с исправлением перспективы с помощью конвейера изображений и процессора сигналов изображения (ISP) камеры. Есть несколько преимуществ с этим исполнением, которые будут объяснены далее. Также желательно использовать датчик изображения и оптику, которые предусматривают несколько больший угол обзора, чем ожидаемый от итогового изображения.
Как видно из фиг.12, изображение выглядит слишком широким в нижней части по сравнению с верхней частью. Чтобы исправить это, реализуется принцип корректировки перспективы, где сжимаются нижние строки пикселей. Как мы считаем, к каждой строке пикселей применяется небольшое сжатие, по мере того как мы перемещаемся вверх в изображении. В результате верхняя строка сжимается в наименьшей степени, либо вообще не сжимается. Созданное изображение в нижней части будет уже, чем в верхней части. Для избежания этого необходимо обрезать изображение, либо в качестве альтернативы для начала использовать изображение завышенного размера. Во втором случае процесс корректировки перспективы работает на более длинной строке данных изображения в нижней части, чем в верхней части. Результатом является выходное изображение из ISP с прямыми углами.
Предпочтительная реализация механизма исправления перспективы определяется в оборудовании или микропрограммном обеспечении камеры. Типовой модуль цифровой камеры для мобильной камеры, имеющей встроенный ISP, обладает функцией масштабирования. Функция масштабирования может быть реализована как цифровой аппаратный блок или как компьютерный код, исполняемый процессором, либо как сочетание аппаратных средств и компьютерного кода. Однако, как упоминалось ранее, не является необходимым, чтобы модуль ISP был интегрированным, он вполне может подключаться кабелем к опорной конструкции или корпусу модуля камеры. В этом смысле цифровая камера включает в себя модуль ISP, который содержит процессор и ассоциированное программное обеспечение ISP. Может быть установлено обычное масштабирующее устройство для горизонтального и вертикального масштабирования изображения. Оно может быть сконфигурировано для независимого масштабирования двух измерений. Таким образом, изображение может быть сжато только по одному измерению, оставляя другое нетронутым. Масштабирующее устройство также может быть сконфигурировано для масштабирования изображения с коэффициентом n, где n - число с плавающей запятой, например, 1:1,2 и т.д. В предпочтительном варианте осуществления отдельные строки масштабируются с использованием алгоритма интерполяции, например линейной интерполяции, для определения величины сигнала для вывода для некоторого пикселя, используя величины сигналов, обнаруженные в двух соседних пикселях рассматриваемой строки.
Согласно предпочтительному варианту осуществления, каждая строка изображения масштабируется на коэффициент масштабирования, отличный от предыдущей и следующей строки. Предпочтительно, чтобы ISP вычислял коэффициенты масштабирования для каждой строки из входного значения начальных и конечных коэффициентов масштабирования, например коэффициентов масштабирования первой и последней строки. Коэффициенты масштабирования могут выражаться соотношением, заданным входной длиной строки и заданной выходной длиной строки, выраженных в количестве пикселей.
В предпочтительном варианте осуществления используются фиксированные значения коэффициентов масштабирования, так как вариант использования видеотелефонии достаточно четко определен, и угол θ между лицом пользователя и телефоном может быть оценен с достаточной точностью. Поскольку пользователь смотрит на дисплей, на котором показывается его или ее изображение, снятое камерой электронного устройства, то пользователь будет автоматически держать электронное устройство таким образом, что изображение лица центрировано на дисплее практически вертикально.
Другим важным свойством масштабирующего устройства, которое нужно представить, является центрирование строк. Изображение поэтому масштабируется, предпочтительно, таким образом, что центральная вертикальная линия через все входное изображение сохраняется в выходном изображении. Это может достигаться путем вычисления начальной точки для каждой входной строки. Пиксели перед начальной точкой каждой строки отбрасываются как замыкающие пиксели. В одном варианте осуществления начальная точка каждой строки вычисляется из следующего уравнения:
,
где startn - первый пиксель для обработки в строке n; l - количество пикселей во всей строке; и ln - количество пикселей для обработки в строке n.
Масштабирующее устройство, которое спроектировано для масштабирования вертикального измерения, зависит от блока хранения информации, хранящего две или более строк данных изображения. Масштабирующему устройству, которое спроектировано только для масштабирования горизонтального измерения, будет нужен только блок хранения информации, хранящей небольшое количество пикселей или, на крайний случай, всю строку данных изображения. Таким образом, чтобы сделать экономичный образец, не нужно полное масштабирующее устройство для обоих измерений, если вертикальное масштабирование не нужно для других целей.
Для достижения хорошего качества изображения датчик может быть спроектирован, по меньшей мере, с четырехкратным разрешением, чем требуемое в выходном изображении, т.е., по меньшей мере, с удвоенным количеством пикселей в обоих измерениях х и у. Примером является использование ранее упомянутого чувствительного элемента 400×400 для выходного изображения формата QCIF. В этом случае вертикальное масштабирующее устройство может быть упрощено, так как ему нужно только две строки из данных изображения для вертикального масштабирования.
Фиг.13 иллюстрирует изображение пользователя, захваченное пользователем с косым углом θ между оптической осью фотокамеры и лицом пользователя, соответствующим фиг.3. Даже не зная человека, можно отметить, что подбородок пользователя кажется шире, чем в реальности, по сравнению со лбом, так как все изображение наклонено.
Однако же на изображении фиг.14 эффект искажения от наклонения угла обзора исправлен в соответствии с изобретением путем масштабирования последовательно каждой строки или линии пикселей до уровня, соответствующего косому углу θ. Тем самым, перспектива является верной, даже если изображение фиг.14 наклонено.
В варианте осуществления изобретения изображение прямоугольного объекта известных пропорций, удерживаемого под скошенным углом к чувствительному элементу камеры, может использоваться для вычисления и настройки коэффициентов масштабирования. Такая установка коэффициентов масштабирования может быть выполнена на производстве и затем использоваться в качестве настройки по умолчанию. В качестве альтернативы пользователь может иметь возможность запустить алгоритм установки посредством использования клавишной панели 12 в устройстве 10, на основе которой прямоугольный объект удерживается перед и параллельно лицу пользователя. Предпочтительно, чтобы алгоритм установки запрашивал пользователя удерживать объект известных пропорций, например, лист формата А4 или letter ("письмо"), и подтвердить посредством клавишной панели 12, какой тип объекта используется. Камера затем переключается на съемку изображения объекта, и процессором 20 запускается программное приложение определения контура для идентификации изображения объекта, как показано на фиг.15. Независимо от того, выполняется вычисление и настройка коэффициентов масштабирования на производстве или после продажи пользователем, нужны дополнительные вычисления после того, как определен контур изображения, как описывается далее со ссылкой на фиг.15.
Фиг.15 иллюстрирует изображение листа бумаги формата А4. В этом типовом варианте осуществления чувствительный элемент фотокамеры имеет 400×400 пикселей, что означает, что есть пространство для изображения CIF из 355×288 пикселей. Тем не менее, выходным изображением, которое нужно создать, является QCIF из 176×144 пикселей, но вместо использования только части поверхности чувствительного элемента размера QCIF, считывается изображение CIF и уменьшается в масштабе на коэффициент 2 по высоте и ширине до QCIF, для получения лучшего качества изображения. Лист А4 имеет высоту, которая равна квадратному корню двукратной ширины листа. На фиг.15 показано изображение листа А4 высотой в b строк пикселей, начиная со строк d выше начальной строки для изображения CIF. Кроме того, изображение занимает с пикселей по нижнему краю и а пикселей по верхнему краю. Для вычисления коэффициентов масштабирования сначала должна быть определена пара констант:
;
;
;
m=j-kd.
Для строки n коэффициент Sn масштабирования тогда будет равен:
Sn=m+nk.
В предпочтительном варианте осуществления считываются и масштабируются только пиксели, которые будут участвовать в изображении QCIF, для минимизирования вычисления, что особенно выгодно для получения видеоизображений. В таком варианте осуществления заданная выходная длина каждой строки равна 176 пикселям. Это означает, что длина Ln строки n, которую нужно масштабировать, равна:
.
В качестве примера допустим, что следующие значения были обнаружены в изображении фиг.15, вычислены в количестве строк для b и d и количестве пикселей на строку для а и с:
а=150;
b=255;
с=200;
d=5.
Используя вышеприведенные формулы, получаем следующий результат:
S0=0,448;
S287=0,616;
L0=393;
L287=285.
Для проверки мы можем вычислить масштабированную ширину а' верхнего края листа и масштабированную ширину с' нижнего края листа, которые будут равны:
а'=а*S260=90;
c'=c*S5=90;
следовательно - прямоугольное изображение. Итак, коэффициенты масштабирования для каждой строки n, тем самым, вычислены и установлены, а также определено количество пикселей для обработки до масштабированного изображения для каждой строки для сценария получения изображения, где используется косой угол θ, как на фиг.15. Предпочтительно, чтобы косой угол не измерялся или обнаруживался, когда используется устройство, вместо этого некоторый косой угол θ задается в качестве ожидаемого косого угла для использования, когда пользователь работает с устройством. Обычно косой угол может быть меньше 20°, например 10°.
Для любого последующего изображения, захваченного камерой 14, каждая строка n должна быть масштабирована до 176 целевых пикселей, что есть 2×88 пикселей симметрично относительно вертикальной центральной оси. Для строки n первый целевой пиксель находится на 88 пикселей от центральной оси, и соответствующее положение в обнаруженном изображении, следовательно, равно 88/Sn. Это положение может не являться абсолютно одним отдельным пикселем поверхности чувствительного элемента, из которого может быть извлечено значение сигнала изображения. Вместо этого значение сигнала изображения для этого положения, предпочтительно, интерполируется из соседних пикселей по любой известной схеме. Предпочтительно, чтобы значения уровня яркости и коды цветов интерполировались отдельно. Полученное значение(я) сигнала изображения затем присваивается первому целевому пикселю в выходном изображении. Следующим целевым пикселем, которому необходимо присвоить значение сигнала изображения, является 87/Sn, и так далее, пока не достигнута вертикальная центральная ось. Другая сторона центральной оси обрабатывается соответствующим образом, поскольку изображение симметрично масштабируется относительно этой оси. Процесс масштабирования затем повторяется построчно, пока не будут обработаны все 288 строк целевого изображения.
Путем выполнения этих этапов, используя процессор сигналов изображения в фотокамере, мощность вычислений сохраняется, и цифровой процессор 20 сигналов в устройстве 10 может, по существу, использоваться для других целей. Настоящий вариант осуществления изобретения, адаптированный для исправления искажений перспективы изображения, отличается от ранее предложенных решений, которые основываются на постобработке изображений, в том, что это предложенное решение предлагает включить обработку в конвейер изображений камеры/ISP. Описанный образец будет корректировать перспективу немедленно, без затрагивания процессора хост-системы, который работает в многозадачном режиме. Это делает изобретение особенно подходящим для карманных устройств, например мобильных телефонов со встроенной камерой, где малый вес и компактный размер являются существенными требованиями рынка. Предпочтительные варианты осуществления предложенного образца дополнительно отличаются от распространенных решений масштабирующих устройств тем, что каждая строка данных элемента изображения может масштабироваться с иным коэффициентом, чем другие строки в массиве изображения. Они также могут быть спроектированы без какого-либо или очень небольшого дополнительного оборудования, например логических схем, но в особенности без дорогостоящих буферов на строку.
Образец также специфичен тем, что масштабирующее устройство может центрировать изображение автоматически, что является предпочтительным в приложениях для видеоконференции. Предложенное решение, предпочтительно, использует фиксированную настройку для исправления перспективы, так как вариант использования видеотелефонии хорошо определен.
На чертежах и в описании изобретения раскрыты типовые варианты осуществления изобретения, и несмотря на то, что применяются специфические термины, они используются только в общем и описательном значении, а не с целью ограничения объема изобретения, излагаемого в нижеследующей формуле изобретения.
1. Цифровая камера, содержащая:
опорную конструкцию (44);
объектив (41), удерживаемый опорной конструкцией (44) и имеющий оптическую ось (45);
чувствительный элемент (42), удерживаемый опорной конструкцией (44) под объективом (41), содержащий некоторое количество смежных строк пикселей, где каждая строка пикселей содержит некоторое количество пикселей, и каждый пиксель включает в себя датчик изображения; и
блок (46) процессора сигналов изображения, непосредственно подключенный к чувствительному элементу (42), включающий в себя устройство масштабирования изображения, сконфигурированное для масштабирования каждой строки пикселей согласно коэффициенту масштабирования, который отличается от смежной строки пикселей, так что изображение обрабатывается в конвейере изображений камеры.
2. Цифровая камера по п.1, в которой:
устройство масштабирования изображения конфигурируется для масштабирования каждой строки пикселей согласно коэффициенту масштабирования, имеющему величину, пропорциональную положению строки между начальной строкой и конечной строкой.
3. Цифровая камера по п.1, в которой:
устройство масштабирования изображения конфигурируется реагирующим на ввод коэффициента масштабирования начальной строки и коэффициента масштабирования конечной строки и содержит функцию вычисления, сконфигурированную для вычисления коэффициентов масштабирования для каждой строки между начальной строкой и конечной строкой.
4. Цифровая камера по п.1, в которой:
устройство масштабирования изображения конфигурируется для вычисления входной длины строки для строки пикселей как соотношения между нужной выходной длиной строки, общей для всех строк пикселей, и коэффициента масштабирования для этой строки; и
конфигурируется для масштабирования сигналов изображения, обнаруженных пикселями этой строки, и которые находятся в пределах входной длины строки пикселей, до нужной выходной длины строки.
5. Цифровая камера по п.1, в которой:
устройство масштабирования изображения конфигурируется для создания выходного изображения с центрированными строками.
6. Цифровая камера по п.5, в которой:
устройство масштабирования изображения конфигурируется для вычисления центральной начальной точки для каждой входной строки от чувствительного элемента, используя формулу:
,
где startn - первый пиксель для обработки в строке n; l - количество пикселей во всей строке; и ln - количество пикселей для обработки в строке n.
7. Цифровая камера по п.1, в которой:
модуль камеры образован опорной конструкцией, и где процессор сигналов изображения включен в модуль камеры.
8. Цифровая камера по п.1, в которой:
устройство масштабирования изображения конфигурируется для определения положения в заранее установленном формате изображения выходного пикселя некоторой строки пикселей, для определения соответствующего положения в обнаруженном изображении путем обратного масштабирования с использованием коэффициента масштабирования для упомянутой некоторой строки, и для определения значения яркости для выходного пикселя путем интерполирования значений яркости, которые обнаружены пикселями, смежными с упомянутым соответствующим положением в обнаруженном изображении.
9. Цифровая камера по п.1, в которой устройство масштабирования изображения конфигурируется для вычисления коэффициентов масштабирования, зависящих от заданного предполагаемого косого угла между плоскостью изображения чувствительного элемента и объектом, изображение которого необходимо снять.
10. Цифровая камера по п.1, в которой поле зрения камеры определяется рабочей областью поверхности чувствительного элемента, которая смещена относительно центра относительно оптической оси объектива.
11. Цифровая камера по п.1, в которой устройство масштабирования изображения конфигурируется для вычисления коэффициентов Sn масштабирования для каждой строки n посредством функции Sn=m+n·k, где m и k - константы.
12. Устройство связи, содержащее:
корпус;
модуль цифровой камеры согласно любому из пп.1-11; и центральный процессор (20), выполненный с возможностью обмена информацией с указанной камерой.
13. Устройство связи по п.12, дополнительно содержащее:
приемопередатчик радиосигнала; и
центральный процессор, сконфигурированный для предоставления приемопередатчику радиосигнала масштабированного видеосигнала от модуля цифровой камеры.
14. Устройство связи по п.12, дополнительно содержащее:
дисплей, сконфигурированный для показа масштабированного изображения, которое предоставлено модулем цифровой камеры.
15. Способ для съемки изображения с использованием цифровой камеры электротехнического устройства, содержащий этапы, на которых:
направляют камеру на объект;
обнаруживают сигналы изображения в чувствительном элементе, содержащем некоторое количество смежных строк пикселей, где каждая строка пикселей содержит некоторое количество пикселей, и каждый пиксель включает в себя датчик изображения;
обрабатывают обнаруженные сигналы изображения в конвейере изображений камеры путем масштабирования каждой сроки пикселей согласно коэффициенту масштабирования, который отличается от смежной строки пикселей, чтобы предоставить масштабированное изображение, используя процессор сигналов изображения, подключенный непосредственно к чувствительному элементу; и
выводят масштабированное изображение с помощью центрального процессора.
16. Способ по п.15, дополнительно содержащий этап, на котором:
масштабируют каждую строку пикселей согласно коэффициенту масштабирования, имеющему величину, пропорциональную положению строки между начальной строкой и конечной строкой.
17. Способ по п.15, содержащий этапы, на которых:
задают коэффициент масштабирования начальной строки и коэффициент масштабирования конечной строки; и
вычисляют коэффициенты масштабирования для каждой строки между начальной строкой и конечной строкой.
18. Способ по п.15, содержащий этапы, на которых:
вычисляют входную длину строки для строки пикселей как
соотношение между нужной выходной длиной строки, общей для всех строк пикселей, и коэффициента масштабирования для этой строки; и
масштабируют сигналы изображения, обнаруженные пикселями этой строки, и которые находятся в пределах входной длины строки пикселей, до нужной выходной длины строки.
19. Способ по п.15, содержащий этап, на котором:
предоставляют масштабированное изображение с центрированными строками.
20. Способ по п.15, содержащий этап, на котором:
вычисляют центральную начальную точку для каждой входной строки от чувствительного элемента, используя формулу:
,
где startn - первый пиксель для обработки в строке n; l - количество пикселей во всей строке; и ln - количество пикселей для обработки в строке n.
21. Способ по п.15, содержащий этап, на котором:
обрабатывают обнаруженное изображение посредством процессора сигналов изображения, выполненного как единое целое с цифровой камерой в модуле камеры устройства связи.
22. Способ по п.15, содержащий этап, на котором:
передают масштабированное изображение удаленному приемнику, используя приемопередатчик радиосигнала в терминале радиосвязи.
23. Способ по п.15, содержащий этап, на котором:
представляют масштабированное изображение на дисплее.
24. Способ по п.15, содержащий этапы, на которых:
задают формат изображения;
определяют положение выходного пикселя в некоторой строке пикселей в формате изображения;
определяют соответствующее положение в обнаруженном изображении путем обратного масштабирования с использованием коэффициента масштабирования для упомянутой некоторой строки; и
определяют значение яркости для выходного пикселя путем интерполирования значений яркости, которые обнаружены пикселями, смежными с упомянутым соответствующим положением в обнаруженном изображении.
25. Способ по п.15, содержащий этап, на котором:
вычисляют коэффициенты масштабирования, зависящие от предварительно заданного предполагаемого косого угла между плоскостью изображения чувствительного элемента и объектом, изображение которого необходимо снять.
