Устройство снятия изображения, устройство отображения и снятия изображения и электронное устройство

Изобретение относится к устройству снятия изображения и к устройству отображения изображения (сенсорная панель). Техническим результатом является повышение точности обнаружения положения объекта независимо от условий использования. Результат достигается тем, что в области отображения панели ввода/вывода отображения обеспечено множество главных датчиков, каждый из которых включает в качестве области длин волн светочувствительности область Δλ23 длин волн зондирующего света для использования с целью обнаружения близкого объекта, и множество вспомогательных датчиков, светочувствительность которых в области длин волн зондирующего света ниже светочувствительности главных датчиков в этой области. Таким образом, при помощи составного изображения F, созданного на основе разностного изображения МС, полученного главными датчиками, и разностного изображения НС, полученного вспомогательными датчиками, можно выделить информацию о близком объекте. Соответственно, даже при перемещении близкого объекта в области отображения панели ввода/вывода отображения, например, удается не допустить генерацию ложного сигнала в составном изображении F. 3 н. и 17 з.п. ф-лы, 38 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству снятия изображения и к устройству отображения изображения, используемому для получения информации о положении или других параметрах любого объекта, касающегося панели или находящегося рядом с ней, и к электронному устройству с таким устройством отображения и снятия изображения.

Предпосылки к созданию изобретения

Известна технология определения положения или других параметров любого объекта, касающегося поверхности дисплея устройства отображения или находящегося рядом с такой поверхностью. Эта технология обычно включает в себя общераспространенную технологию, относящуюся к устройству отображения с сенсорной панелью.

Сенсорные панели также бывают различных типов. Наиболее популярный тип панели использует измерение емкости. Панель этого типа выполнена с возможностью определять положение или другие параметры любого объекта путем восприятия изменений поверхностного заряда сенсорной панели, вызванных касанием панели пальцем. Соответственно, использование панели такого типа позволяет пользователю работать интуитивно.

Например, в патентном документе 1 и патентном документе 2 заявитель настоящей заявки предлагает устройство отображения, содержащее блок отображения (панель отображения и снятия изображения), имеющий функцию отображения для отображения изображения и функцию снятия изображения (функция обнаружения) для снятия изображения объекта (обнаружение).

Список литературы

Патентная литература

PTL 1: Публикация нерассмотренной заявки на патент Японии No. 2004-127272

PTL 2: Публикация нерассмотренной заявки на патент Японии No. 2006-276223

Сущность изобретения

При использовании устройства отображения, описанного в патентном документе 1, когда объект, такой как палец, касается, например, или приближается к панели отображения и снятия изображения, отраженный свет, представляющий собой свет, излучаемый панелью отображения и снятия изображения и отраженный объектом, может быть использован для определения положения или других параметров объекта на основе какого-либо захваченного изображения. Соответственно, при использовании такого устройства отображения нет необходимости в каких-либо дополнительных компонентах типа сенсорной панели в панели отображения и снятия изображения, так что можно определить положение или другие параметры любого объекта в такой простой конфигурации.

Однако при использовании отраженного от объекта света, как описано выше, иногда возникают проблемы из-за колебаний характеристик или других параметров внешнего света и фотоэлементов. Более конкретно, интенсивность света, который должен быть принят фотоэлементами, изменяется в зависимости от яркости внешнего света, что иногда затрудняет определение положения или других параметров объекта на основе захваченного изображения. Более того, колебания характеристик или других параметров фотоэлементов приводят к появлению постоянных шумов, что также создает затруднения при определении положения или других параметров объекта на основе принятого изображения.

С учетом этого в патентном документе 2 предпринята попытка устранить такое влияние внешнего света и постоянных шумов путем определения разности между изображением, получаемым в состоянии излучения света (изображения, полученного с использованием результата отражения излучаемого света), и изображением, получаемым в отсутствие излучения света. Эта попытка предпринята для определения положения или других параметров объекта в отсутствие влияния внешнего света и фиксированных шумов.

В реальных условиях, однако, имеет место разница во времени между описанным выше изображением, полученным в состоянии излучения света, и изображением, полученным в состоянии без излучения света. Поэтому, если, например, объект перемещается по панели отображения и снятия изображения с высокой скоростью, эта разница во времени приводит к смещению положения изображения, измеренного в состоянии излучения света, относительно положения изображения, измеренного в состоянии без излучения света. При таком смещении положения при определении разности между рассматриваемыми двумя изображениями в дополнение к изначально ожидаемому сигналу, соответствующему положению объекта, будет генерирован ложный сигнал в другом положении. В такой ситуации из-за присутствия ложного сигнала устойчивое определение положения объекта оказывается затруднительным. Заметим, что при большой скорости перемещения объекта наблюдается тенденция увеличения области генерации ложного сигнала, а при повышении яркости внешнего света наблюдается тенденция усиления ложного сигнала.

Вследствие этого, существующим известным технологиям присущи сложности в обнаружении с хорошей стабильностью любого объекта, касающегося или находящегося близко к панели, независимо от условий работы, что оставляет поле для усовершенствований.

Настоящее изобретение разработано с учетом описанных выше проблем, а целью его является создание устройства снятия изображения, устройства отображения и снятия изображения и способа определения положения объекта, позволяющего определять положение объекта с хорошей стабильностью независимо от условий использования, и электронного устройства с таким устройством отображения и снятия изображения.

Устройство снятия изображения согласно одному из вариантов настоящего изобретения включает: панель снятия изображения со множеством первых фотоэлементов, множеством вторых фотоэлементов и излучающим источником света, излучающим зондирующий свет для обнаружения близкого объекта, причем длины волн зондирующего света лежат в заданном диапазоне длин волн; и блок обработки изображения для выполнения обработки изображения над сигналами, захваченными панелью снятия изображения в процессе снятия изображения близкого объекта, и получения тем самым информации об объекте, включающей один или несколько параметров из положения, формы или размеров близкого объекта. В этом устройстве область длин волн светочувствительности первых фотоэлементов включает в себя область длин волн зондирующего света. Более того, светочувствительность вторых фотоэлементов в области длин волн зондирующего света ниже светочувствительности первых фотоэлементов в этой области. Таким образом, процессор изображения получает информацию об объекте путем обработки сигналов, приходящих от первых и вторых фотоэлементов.

Устройство отображения и снятия изображения согласно одному из вариантов настоящего изобретения включает: панель отображения и снятия изображения, имеющую множество элементов отображения, множество первых фотоэлементов и множество вторых фотоэлементов и излучающую свет, включающий зондирующий свет для обнаружения близкого объекта, причем длины волн зондирующего света лежат в заданной области длин волн; и процессор изображения для выполнения обработки изображения над сигналами, захваченными панелью отображения и снятия изображения в процессе приема изображения близкого объекта, и получения тем самым информации об объекте, включающей один или несколько параметров из положения, формы или размеров близкого объекта. В этом устройстве область длин волн светочувствительности первых фотоэлементов включает в себя область длин волн зондирующего света. Более того, светочувствительность вторых фотоэлементов в области длин волн зондирующего света ниже светочувствительности первых фотоэлементов в этой области. Таким образом, процессор изображения получает информацию об объекте путем обработки сигналов, приходящих от первых и вторых фотоэлементов.

Электронное устройство согласно одному из вариантов настоящего изобретения включает описанное выше устройство отображения и снятия изображения, имеющее функцию отображения изображения и функцию снятия изображения.

В устройстве снятия изображения, устройстве отображения и снятия изображения и электронном устройстве согласно одному из вариантов настоящего изобретения сигналы, захваченные панелью снятия изображения (панелью отображения и снятия изображения) в процессе снятия изображения близкого объекта, обрабатывают для получения информации о близком объекте. Более конкретно, информацию об объекте получают с использованием составного изображения, построенного, например, на основе изображения, захваченного первым фотоэлементом, и изображения, захваченного вторым фотоэлементом. В этом примере, поскольку для каждого из первых фотоэлементов область длин волн зондирующего света, описанная выше, попадает в диапазон длин волн светочувствительности, при перемещении близкого объекта по панели снятия изображения (или по панели отображения и снятия изображения) изображение, захваченное первыми фотоэлементами, может породить в них ложный сигнал в дополнение к сигналу обнаружения близкого объекта. С другой стороны, поскольку светочувствительность вторых фотоэлементов ниже светочувствительности первых фотоэлементов в области длин волн зондирующего света, изображение, считываемое вторыми фотоэлементами, также может породить в них ложный сигнал аналогично случаю первых фотоэлементов, но сигнал обнаружения близкого объекта не вырабатывается. Соответственно, даже при перемещении близкого объекта по панели снятия изображения (или по панели отображения и снятия изображения) получение информации об объекте с использованием составного изображения, построенного на основе изображения, считываемого первым фотоэлементом, и изображения, считываемого вторым фотоэлементом, может успешно помешать выработке ложного сигнала в составном изображении.

В устройстве снятия изображения, устройстве отображения и снятия изображения и электронном устройстве согласно одному из вариантов настоящего изобретения панель снятия изображения (панель отображения и снятия изображения) содержит множество первых фотоэлементов, для каждого из которых область длин волн зондирующего света для обнаружения близкого объекта попадает в диапазон длин волн светочувствительности, и множество вторых фотоэлементов, светочувствительность которых в области длин волн зондирующего света ниже светочувствительности первых фотоэлементов, а информацию о близком объекте получают посредством обработки сигналов, поступающих от этих первых и вторых фотоэлементов. Это позволяет не допустить выработку ложных сигналов, даже когда близкий объект, например, перемещается по панели снятия изображения (панели отображения и снятия изображения). Соответственно можно обнаруживать объект с хорошей стабильностью независимо от условий использования устройства.

Краткое описание чертежей

Фиг.1 представляет блок-схему, показывающую конфигурацию устройства отображения и снятия изображения согласно одному из вариантов настоящего изобретения.

Фиг.2 представляет блок-схему, показывающую пример конфигурации панели отображения ввода/вывода, приведенной на фиг.1.

Фиг.3 представляет схематический вид, показывающий пример расположения пикселов в области отображения (области датчиков) согласно фиг.2.

Фиг.4 представляет схематический вид, показывающий примеры топологии главных датчиков и вспомогательных датчиков в области отображения (области датчиков) согласно фиг.2.

Фиг.5 представляет схематический вид, показывающий примеры топологии главных датчиков и вспомогательных датчиков в области отображения (области датчиков) согласно фиг.2.

Фиг.6 представляет графики характеристик, показывающие пример соотношений между областью длин волн излучения источника света, используемого для обнаружения объекта, и областями обнаруживаемых длин волн, используемыми соответственно главными датчиками и вспомогательными датчиками.

Фиг.7 представляет временную диаграмму для иллюстрации соотношения с точки зрения подсветки между состояниями «Вкл.»/«Выкл.» (ON/OFF) и состоянием отображения.

Фиг.8 представляет блок-схему процесса выделения разностного изображения кончиков пальцев.

Фиг.9 представляет временную диаграмму процесса выделения разностного изображения согласно фиг.8.

Фиг.10 представляет фотографии для иллюстрации процесса выделения разностного изображения кончиков пальцев.

Фиг.11 представляет схему, иллюстрирующую процесс выделения разностного изображения кончиков пальцев в условиях яркого внешнего света.

Фиг.12 представляет схему, иллюстрирующую процесс выделения разностного изображения кончиков пальцев в условиях слабого внешнего света.

Фиг.13 представляет схему, иллюстрирующую динамический диапазон сигнала фотоэлемента в результате процесса выделения разностного изображения кончиков пальцев.

Фиг.14 представляет фотографии для иллюстрации процесса выделения разностного изображения кончиков пальцев, когда кончик пальца, являющийся целью обнаружения, присутствует в виде нескольких одновременных следов.

Фиг.15 представляет график для иллюстрации процесса выделения разностного изображения в примере для сравнения.

Фиг.16 представляет схематичное изображение для иллюстрации процесса выделения разностного изображения в примере для сравнения.

Фиг.17 представляет график для иллюстрации разностного изображения в главных датчиках рассматриваемого варианта.

Фиг.18 представляет схематичное изображение для иллюстрации разностного изображения в главных датчиках рассматриваемого варианта.

Фиг.19 представляет график для иллюстрации разностного изображения во вспомогательных датчиках рассматриваемого варианта.

Фиг.20 представляет схематичное изображение для иллюстрации разностного изображения во вспомогательных датчиках рассматриваемого варианта.

Фиг.21 представляет схематичное изображение для иллюстрации процесса синтеза разностного изображения в главных датчиках рассматриваемого варианта и разностного изображения во вспомогательных датчиках рассматриваемого варианта.

Фиг.22 представляет график для иллюстрации процесса выделения разностного изображения в первом модифицированном примере настоящего изобретения.

Фиг.23 представляет схематичное изображение для иллюстрации процесса выделения разностного изображения кончиков пальцев в первом модифицированном примере настоящего изобретения.

Фиг.24 представляет схематичное изображение для иллюстрации процесса выделения разностного изображения кончиков пальцев во втором модифицированном примере настоящего изобретения.

Фиг.25 представляет схематичное изображение для иллюстрации процесса выделения разностного изображения кончиков пальцев в третьем модифицированном примере настоящего изобретения.

Фиг.26 представляет изображение для иллюстрации примера применения, использующего результат процесса выделения кончиков пальцев.

Фиг.27 представляет изображение для иллюстрации примера применения, использующего результат процесса выделения кончиков пальцев.

Фиг.28 представляет изображение для иллюстрации примера применения, использующего результат процесса выделения кончиков пальцев.

Фиг.29 представляет изображение для иллюстрации примера применения, использующего результат процесса выделения кончиков пальцев.

Фиг.30 представляет вид в перспективе устройства отображения и снятия изображения в каждом из указанных выше вариантов, показывающий внешний вид устройства в первом примере применения.

Фиг.31(А) представляет вид в перспективе второго примера применения, показывающий внешний вид устройства спереди, и (В) вид в перспективе этого примера применения, показывающий внешний вид устройства сзади.

Фиг.32 представляет вид в перспективе третьего примера применения, показывающий внешний вид устройства.

Фиг.33 представляет вид в перспективе четвертого примера применения, показывающий внешний вид устройства.

Фиг.34(А) представляет вид спереди пятого примера применения в раскрытом состоянии, (В) представляет вид сбоку, (С) представляет вид спереди в закрытом состоянии, (D) представляет вид слева, (Е) представляет вид справа, (F) представляет вид сверху и (G) представляет вид снизу.

Фиг.35 представляет схему, показывающую другой пример соотношения между областью длин волн излучения источника света, служащего для обнаружения объекта, и областями зондирующих длин волн, используемых соответственно главными датчиками и вспомогательными датчиками.

Фиг.36 представляет блок-схему, показывающую конфигурацию устройства отображения и снятия изображения согласно другому модифицированному примеру настоящего изобретения.

Фиг.37 представляет принципиальную схему, показывающую пример конфигурации каждого пиксела в устройстве отображения и снятия изображения, приведенного на фиг.36.

Фиг.38 представляет схему для иллюстрации процесса выделения разностного изображения кончиков пальцев в устройстве отображения и снятия изображения согласно фиг.36 и 37.

Наилучшие способы осуществления изобретения

Ниже подробно описан вариант осуществления изобретения со ссылками на чертежи.

Пример полной конфигурации устройства отображения и снятия изображения

Фиг.1 представляет блок-схему, показывающую полную конфигурацию устройства отображения и снятия изображения согласно одному из вариантов настоящего изобретения. Это устройство отображения и снятия изображения включает панель 20 ввода/вывода отображения, источник 15 подсветки, схему 12 управления дисплеем, схему 13 управления фотоэлементами, процессор 14 и блок 11 выполнения прикладных программ.

Панель 20 ввода/вывода отображения выполнена в виде жидкокристаллической панели (LCD; жидкокристаллический дисплей), на которой в виде матрицы расположено множество пикселов. Эта панель 20 ввода/вывода отображения имеет не только функцию отображения изображений (функцию отображения) графических изображений, текста и т.д., заданных на основе данных отображения, но также функцию (функцию снятия изображения) снятия изображения любого объекта (близкого объекта), касающегося или находящегося рядом с панелью 20 ввода/вывода отображения, как будет описано позднее. Далее источник 15 подсветки выполнен, например, в виде совокупности множества светодиодов и служит источником света и для отображения, и для целей обнаружения объектов в панели 20 ввода/вывода отображения. Как будет описано далее, этот источник 15 подсветки выполнен с возможностью включаться/выключаться с высокой скоростью в заданные моменты времени синхронно с работой панели 20 ввода/вывода отображения.

Схема 12 управления дисплеем представляет собой схему, отвечающую за управление панелью 20 ввода/вывода отображения (управление для операции отображения с последовательной разверткой) для отображения изображений на основе данных отображения на панели 20 ввода/вывода отображения (для выполнения операции отображения).

Схема 13 управления фотоэлементами (блок генерации изображения) представляет собой схему, отвечающую за управление панелью 20 ввода/вывода отображения (управление для выполнения операции снятия изображения в режиме последовательной развертки) для получения сигнала световосприятия (сигнал снятия изображения) от каждого из пикселов панели 20 ввода/вывода отображения (для снятия изображения объекта). Далее эта схема 13 управления фотоэлементами выполнена с возможностью генерации составного изображения, что будет описано далее, путем заданной обработки изображения (процесс генерации изображения) на основе сигнала световосприятия от каждого пиксела. Кроме того, данные получаемого составного изображения накапливают на покадровой основе, например, в памяти 13А кадров и затем передают в блок 14 обработки изображения в качестве захваченного изображения. Такой процесс генерации изображения будет подробно описан далее.

Блок 14 обработки изображения отвечает за выполнение заданной обработки изображения (вычислительного процесса) на основе захваченного изображения (составного изображения), предоставленного схемой 13 управления фотоэлементами, и за обнаружение близкого объекта и получение информации об этом близком объекте (включая, например, данные о координатах положения объекта и данные о форме и размерах объекта). Кроме того, процесс обнаружения объекта как таковой будет подробно рассмотрен далее.

Блок 11 выполнения прикладных программ отвечает за выполнение процесса в соответствии с какой-либо заданной прикладной программой на основе результата обнаружения, полученного в блоке 14 обработки изображения. Такой процесс может заключаться, например, в преобразовании координат положения обнаруженного объекта в данные отображения и в отображении положения объекта на панели 20 ввода/вывода отображения. Отметим здесь, что данные отображения, генерируемые блоком 11 выполнения прикладных программ, должны быть переданы схеме 12 управления отображением.

Подробное описание примера конфигурации панели ввода/вывода отображения

Далее со ссылкой на фиг.2 будет рассмотрен подробный пример конфигурации панели 20 ввода/вывода отображения. Эта панель 20 ввода/вывода отображения выполнена включающей в себя область 21 отображения (область датчиков), схему 22 управления горизонтальной разверткой дисплея, схему 23 управления вертикальной разверткой дисплея, схему 25 управления горизонтальной разверткой для считывания датчиков и схему 24 управления вертикальной разверткой для считывания датчиков.

Область 21 отображения представляет собой область, где происходит модуляция света, излучаемого источником 15 подсветки, и снятие изображения любого объекта, оказавшегося рядом с этой областью. В рассматриваемом варианте излучаемый свет содержит излучение дисплея и зондирующий свет (например, инфракрасный свет) от инфракрасного источника света или других источников (не показаны) для обнаружения любого близкого объекта (то же самое применимо ниже). Эта область 21 отображения включает в себя матрицу жидкокристаллических элементов, каждый из которых является светоизлучающим элементом (элементом дисплея), и светочувствительных датчиков (главных датчиков 32 и вспомогательных датчиков 33, как будет описано ниже), каждый из которых является фотоэлементом (элементом снятия изображения).

Схема 22 управления горизонтальной разверткой дисплея отвечает за управление в режиме последовательной развертки жидкокристаллическими элементами в составе пикселов в области 21 отображения вместе со схемой 23 управления вертикальной разверткой дисплея на основе сигнала отображения для целей управления отображением и управляющим тактовым сигналом, генерируемыми схемой 12 управления отображением.

Схема 25 управления горизонтальной разверткой для считывания датчиков отвечает за управление в режиме последовательной развертки фотоэлементами в составе пикселов в области 21 датчиков вместе со схемой 24 управления вертикальной развертки для считывания датчиков и за получение сигналов световосприятия.

Подробное описание примера конфигурации каждого пиксела в области отображения

Далее со ссылками на фиг.3-5 будет подробно описан пример конфигурации каждого пиксела в области 21 отображения.

Прежде всего, как показано в примере на фиг.3, пиксел 31 выполнен в виде пиксела 31 RGB отображения (блок отображения), включающего в себя жидкокристаллический элемент, и пиксела снятия изображения (светочувствительный блок). Пиксел 31 RGB отображения включает в себя пиксел 31R отображения красного (R) цвета, пиксел 31G отображения зеленого (G) цвета и пиксел 31В отображения синего (В) цвета. Далее светочувствительный блок содержит два типа светочувствительных датчиков, а именно главные датчики 32 (первые фотоэлементы) и вспомогательные датчики 33 (вторые фотоэлементы). Отметим, что хотя на фиг.3 показано взаимно однозначное соответствие между пикселами 31 RGB отображения и светочувствительными датчиками, возможны альтернативные варианты, когда несколько пикселов 31 RGB отображения могут соответствовать одному светочувствительному датчику.

Главные датчики 32 и вспомогательные датчики 33 предпочтительно расположены поочередно в пропорции один к одному в области 21 отображения, как показано, например, на фиг.4(А) и (В). В альтернативном варианте, как показано, например, на фиг.5(А) и (В), количество вспомогательных датчиков 33 может быть меньше количества главных датчиков 32. В такой конструкции возникает необходимость выполнения интерполяции сигналов световосприятия от вспомогательных датчиков 33, что усложняет процесс и требует осторожности в вопросе о том, может ли возможная неполнота обнаружения создать проблемы в зависимости от типа сигнала и конкретного приложения. Отметим, что на фиг.4 и 5 для удобства описания пикселы 31RGB отображения не показаны.

Пример конфигурации области длин волн в источнике света и светочувствительном датчике

Далее будет со ссылкой на фиг.6 описан пример конфигурации области длин волн в источнике света и светочувствительном датчике. На фиг.6 показан пример соотношения между областью длин волн излучения источника света, используемого для обнаружения объекта (фиг.6(А)), и областью длин волн зондирующего света, используемого главными датчиками 32 и вспомогательными датчиками 33 (фиг.6(В) и (С)).

Прежде всего, как показывает кривая, обозначенная позицией G21, на фиг.6(В), для каждого из главных датчиков 32 область длин волн светочувствительности располагается на длинноволновой стороне спектра от длины волны λ1. Соответственно, каждый из главных датчиков 32 имеет в качестве области длин волн светочувствительности область Δλ23 длин волн (область длин волн от длины волны λ2 до длины волны λ3) зондирующего света, обозначенную позицией G1 на фиг.6(А), для использования с целью обнаружения какого-либо близкого объекта, и, следовательно, выполнен с возможностью работать в качестве светочувствительного датчика для обнаружения близких объектов. Здесь, в главных датчиках 32 светочувствительность в области Δλ23 длин волн зондирующего света выше светочувствительности в заданной области длин волн (в этом примере области длин волн короче длины волны λ2), отличной от области Δλ23 длин волн.

С другой стороны, как показывает кривая, обозначенная позицией G31 на фиг.6(С), для каждого из вспомогательных датчиков 33 область длин волн светочувствительности располагается на коротковолновой стороне спектра от длины волны λ2. Иными словами каждый из вспомогательных датчиков 33 имеет спектральную характеристику светочувствительности, отличную от характеристики указанных выше главных датчиков 32. Соответственно, у этих вспомогательных датчиков 33 светочувствительность в области Δλ23 длин волн зондирующего света ниже, чем у главных датчиков 32 (в рассматриваемом примере светочувствительность в области Δλ23 длин волн зондирующего света равна нулю (0)). Таким образом, каждый вспомогательный датчик 33 выполнен с возможностью работать в качестве фотоприемного датчика для использования с целью обнаружения ложного сигнала, что будет описано ниже. Более того, вспомогательные датчики 33 в области Δλ23 длин волн зондирующего света имеют светочувствительность ниже, чем в указанной выше заданной области длин волн (области длин волн короче длины волны λ2 в данном примере). Отметим, что в данном примере область Δλ12 длин волн (область длин волн от длины волны λ1 до длины волны λ2) является областью длин волн светочувствительности, используемой и главными датчиками 32, и вспомогательными датчиками 33.

В частности, когда в качестве зондирующего света используют инфракрасный свет, главные датчики 32 могут быть выполнены таким образом, чтобы эта область длин волн инфракрасного света попала в область длин волн светочувствительности, а вспомогательные датчики 33 могут быть выполнены таким образом, чтобы областью длин волн светочувствительности оказалась область видимого или иного света. Однако возможное соотношение между областью длин волн зондирующего света и областями длин волн светочувствительности соответственно главных датчиков 32 и вспомогательных датчиков 33 этим не ограничивается. Например, в качестве зондирующего света можно использовать зеленый свет, а область длин волн светочувствительности вспомогательных датчиков 33 может включать только область длин волн красного света. В этом случае, однако, необходимо быть внимательными, чтобы убедиться, что вспомогательные датчики 33 принимают внешний свет с длиной волны, которую могут принимать главные датчики 32, хотя область длин волн светочувствительности вспомогательных датчиков предпочтительно не включает область длин волн зондирующего света. Это обусловлено тем, что, как будет описано позже, вспомогательные датчики 33 предназначены для обнаружения ложного сигнала, порождаемого внешним светом, попадающим в главные датчики 32. Такое соотношение между областью длин волн зондирующего света и областями длин волн светочувствительности главных датчиков 32 и вспомогательных датчиков 33, соответственно, может быть реализовано посредством сочетания любых существующих цветных светофильтров, построения характеристики спектральной чувствительности фотоприемного датчика или иными способами.

В этом случае область длин волн светочувствительности главных датчиков 32 может быть обозначена позицией G22 на фиг.6(В), и аналогично область длин волн светочувствительности вспомогательных датчиков 33 может быть обозначена позицией G32 на фиг.6(С). В этом случае область Δλ12 длин волн (область длин волн от длины волны λ1 до длины волны λ2) и область Δλ34 длин волн (область длин волн от длины волны λ3 до длины волны λ4) составляют область длин волн светочувствительности и для главных датчиков 32, и для вспомогательных датчиков 33.

Далее описаны преимущества и результаты применения устройства отображения и снятия изображения согласно варианту изобретения.

Пример основной работы устройства отображения и снятия

Сначала опишем основную работу устройства отображения и снятия изображения, т.е. операцию отображения изображения и операции снятия изображения объекта.

В таком устройстве отображения и снятия изображения данные отображения, предоставляемые блоком 11 выполнения прикладных программ, используют в качестве основы для генерирования сигнала управления отображения в схеме 12 управления отображением. Полученный сигнал управления обеспечивает управление панелью 20 ввода/вывода отображения в режиме последовательной развертки для выполнения отображения изображения. Кроме того, источник 15 подсветки в это время тоже получает сигнал управления от схемы 12 управления отображением для его включения/выключения синхронно с панели 20 ввода/вывода отображения.

Теперь со ссылкой на фиг.7 рассмотрим соотношение между состоянием «Вкл.»/«Выкл.» (ON/OFF) источника 15 подсветки и состоянием отображения на панели 20 ввода/вывода отображения. На фиг.7 по горизонтальной оси отложено время, а на вертикальной оси отмечено положение строки, в которой активизируют фотоэлементы для приема света.

Прежде всего, при отображении изображения с периодом следования кадров, например, 1/60 секунды источник 15 подсветки выключен (установлен в состояние «Выкл.» (OFF)) в первом полупериоде (1/120 с) каждого периода следования кадров, так что никакого отображения не выполняется. С другой стороны, во втором полупериоде каждого периода следования кадров источник 15 подсветки включен (установлен в состояние «Вкл.» (ON)), так что происходит отображение изображения для соответствующего периода кадра с подачей сигнала отображения каждому пикселу.

Таким образом, первый полупериод каждого периода кадра является периодом несвечения, в котором от панели 20 ввода/вывода отображения свет не поступает, а второй полупериод каждого периода кадра является периодом свечения, когда от панели 20 ввода/вывода отображения исходит свет.

В данном случае, когда рядом с панелью 20 ввода/вывода отображения находится близкий объект (например, кончик пальца), вследствие управления панелью в режиме последовательной развертки схемой 13 управления световосприятием с целью приема света происходит снятие изображения этого близкого объекта посредством фотоэлемента в каждом пикселе панели 20 ввода/вывода отображения. Сигнал световосприятия от каждого фотоэлемента затем поступает в схему 13 управления световосприятием. В этой схеме 13 управления световосприятием накапливают сигналы световосприятия пикселов в одном кадре и затем выводят их в блок 14 обработки изображения в качестве снятого изображения.

Блок 14 обработки изображения выполняет заданную обработку изображения (вычислительный процесс) на основе принятого изображения, как будет описано далее, и тем самым выделяет информацию об объекте, близком к панели 20 ввода/вывода отображения (например, данные о координатах положения, данные о форме и размерах объекта).

Пример основных операций процесса выделения изображения кончиков пальцев (процесса выделения разностного изображения кончиков пальцев) в устройстве отображения и снятия изображения

Далее со ссылками на фиг.8-14 будут описаны базовые операции процесса выделения объекта (например, кончика пальца), близкого к панели 20 ввода/вывода отображения, посредством блока 14 обработки изображения (процесс выделения кончиков пальцев). Фиг.8 представляет блок-схему процесса выделения кончиков пальцев (процесс выделения разностного изображения кончиков пальцев будет описан далее) в блоке 14 обработки изображения, а фиг.9 представляет временную диаграмму части этого процесса выделения разностного изображения кончиков пальцев.

Прежде всего, в первом полупериоде одного периода кадра отображения, когда источник 15 подсветки выключен (период несвечения), панель 20 ввода/вывода отображения осуществляет снятие изображения близкого объекта. В результате получают изображение А (теневое изображение) (этап S11 на фиг.8 и период времени от момента t1 до момента t2 на фиг.9).

Далее во втором полупериоде периода кадра отображения, когда источник 15 подсветки включен (период свечения), панель 20 ввода/вывода отображения осуществляет снятие изображения близкого объекта. В результате получают изображение В (отраженное изображение с использованием отражения излучаемого света) (этап S12 на фиг.8 и период времени от момента t3 до момента t4 на фиг.9).

Далее с использованием этого изображения В и указанного изображения А (теневое изображение), полученного в результате снятия изображения в период, когда источник 15 подсветки выключен (период несвечения), блок 14 обработки изображения генерирует разностное изображение С (этап S13 на фиг.8 и период времени от момента t3 до момента t4 на фиг.9).

Затем блок 14 обработки изображения использует полученное таким образом разностное изображение С в качестве основы для вычислений с целью определения центра масс (этап S14), идентифицируя тем самым центр касания (близости) (этап S15). После этого результат обнаружения близкого объекта передают из блока 14 обработки изображения в блок 11 выполнения прикладных программ, так что этот момент является окончанием процесса выделения разностного изображения кончиков пальцев в блоке 14 обработки изображения.

Таким образом, в процессе выделения разностного изображения кончиков пальцев такое выделение изображения кончиков пальцев осуществляют на основе разностного изображения С, полученного с использованием изображения В, использующего отражение излучаемого света, и изображения А, использующего не излучаемый свет, а внешний свет (окружающий свет). Соответственно, как, например, на фотографии разностного изображения С на фиг.10, любое влияние яркости внешнего света оказывается устранено, так что обнаружение близкого объекта осуществляется без какого-либо влияния яркости внешнего света. В то же время вместе с таким устранением внешнего света можно исключить любые постоянные шумы, возникающие вследствие вариаций характеристик светоизлучающих элементов или других факторов.

Более конкретно, в примере, показанном на виде в разрезе на фиг.11(А), при ярком падающем внешнем свете выходное напряжение Von1 световосприятия, когда источник 15 подсветки включен, показано на фиг.11(В). А именно, за пределами участка, которого касается палец, напряжение имеет величину Va, соответствующую яркости внешнего света, а на участке, которого касается палец, на поверхности прикоснувшегося таким образом объекта (пальца), напряжение уменьшено до уровня Vb, соответствующего отражению света, приходящего от источника 15 подсветки. С другой стороны, выходное напряжение Voff1 световосприятия при выключенном источнике 15 подсветки сзади точно так же имеет величину Va, соответствующую яркости внешнего света, за пределами участка, которого касается палец, а на участке, которого касается палец, это напряжение имеет величину Vc, значительно более низкую, поскольку внешний свет перекрыт.

Далее, как показано на виде в разрезе на фиг.12(А), в условиях слабого (низкая яркость) падающего внешнего света выходное напряжение Von2 световосприятия при включенном источнике 15 подсветки имеет вид, показанный на фиг.12(В). Это означает, что за пределами участка, которого касается палец, напряжение имеет величину Vc, значительно более низкого уровня, поскольку отсутствует свет извне. С другой стороны, на участке, которого касается палец, на поверхности прикоснувшегося таким образом объекта (пальца), напряжение в это время увеличивается до уровня Vb, соответствующего отражению света, исходящего от источника 15 подсветки. В то же время выходное напряжение Voff2 световосприятия при выключенном источнике 15 подсветки остается на значительно более низком уровне Vc и практически не меняется независимо от того, касается палец рассматриваемого участка или нет.

Таким образом, как очевидно из сравнения фиг.11 и 12, на участке области 21 отображения, которого не касается объект, на панели наблюдается большая разница между величинами фотоприемного выходного напряжения в присутствии падающего внешнего света и в отсутствие такого света. С другой стороны, на участке, которого касается палец, независимо от того, присутствует внешний свет или нет, напряжение Vb при включенном источнике 15 подсветки сзади остается почти тем же самым, равно как и напряжение Vc при выключенном источнике 15 подсветки.

Соответственно, процедура обнаружения ориентирована на поиск разности между напряжением при включенном источнике 15 подсветки и напряжением, когда этот источник 15 выключен, и, подобно разности между величиной напряжения Vb и величиной напряжения Vc, любой участок, демонстрирующий разницу не менее некоторой величины, может быть определен как участок, где происходит касание или приближение объекта к панели. Таким образом, даже при сильном внешнем свете, падающем на панель, или при слабом внешнем свете обнаружение факта касания или приближения объекта может быть выполнено удовлетворительно при соответствующих условиях.

Далее, как показано на фиг.13(А) и (В), динамический диапазон, необходимый для измерения выходного напряжения световосприятия, определяется следующим образом. Здесь на фиг.13(А) показано состояние касания области 21 отображения на панели и в этом состоянии поверхности панели касается палец f, а также на область 21 отображения помещен круглый объект m с коэффициентом отражения почти 100%. В таком состоянии выходное напряжение световосприятия в строке, пересекающей и палец f, и объект m, показано на фиг.13(В). Более того, на фиг.13(В) напряжение Von3 представляет собой выходное напряжение световосприятия при включенном источнике 15 подсветки, а напряжение Voff3 представляет собой выходное напряжение световосприятия при выключенном источнике 15 подсветки.

Как показано на фиг.13(В), на участке, где находится объект m с коэффициентом отражения почти 100%, напряжение, превышающее напряжение Vd, измеряемое при включенном источнике 15 подсветки, находится на ненужном для наблюдений уровне Vy, а диапазон Vx, не превышающий этого уровня, является динамическим диапазоном, необходимым для обнаружения. Это, таким образом, означает, что любые сигналы, имеющие ненужный для наблюдений уровень Vy, можно все рассматривать как имеющие одинаковую интенсивность с переполнением.

Отметим, что в процессе выделения разностного изображения кончиков пальцев, изображения на фиг.14(А)-(D) (изображение с А по С и двоичное изображение С) дают приведенную ниже информацию. А именно, когда, например, в области 21 отображения на панели 20 ввода/вывода отображения расположены множество близких объектов, можно получить информацию о положении, форме или размерах каждого из этих близких объектов.

Пример процесса выделения разностного изображения кончиков пальцев в случае движущегося близкого объекта

Далее со ссылками на фиг.15-21 будет описан один из частных элементов изобретения, а именно процесс выделения разностного изображения кончиков пальцев в ситуации, когда близкий объект движется, или в аналогичной ситуации с использованием примера для сравнения.

Прежде всего, в примере для сравнения на фиг.15 и 16, как показано стрелкой на фиг.15, отмечается следующая проблема, когда близкий объект перемещается по области 21 отображения панели 20 ввода/вывода отображения. А именно, на любом участке, соответствующем близкому объекту, наблюдается позиционное смещение между выходным сигналом Voff (A101) световосприятия на теневом изображении А101 и выходным сигналом Von (В101) световосприятия на изображении В101 в отраженном свете. Кроме того, вследствие такого положения на разностном изображении С101, построенном на основе этих двух изображений А101 и В101

(=В101-А101), и в сигнале V (С101) обнаружения световосприятия для этого изображения

(=Von(B101)-Voff(A101)), помимо изначально ожидаемого сигнала, соответствующего положению объекта, генерируется ложный сигнал F101 в другом, отличном от истинного, положении. В результате, присутствие такого ложного сигнала F101 создает сложности для обнаружения близкого объекта с хорошей стабильностью.

Таким образом, в рассматриваемом варианте блок 14 обработки изображения получает информацию о близком объекте с использованием составного изображения, построенного на основе захваченного изображения, полученного главными датчиками 32, и захваченного изображения, полученного вспомогательными датчиками 33. Более конкретно, схема 13 управления световосприятием генерирует разностное изображение С (=В-А) на основе изображения В в отраженном свете и теневого изображения А специально для каждого вида главных датчиков 32 и вспомогательных датчиков 33. Затем блок 14 обработки изображения получает информацию об объекте с использованием составного изображения F на основе разностного изображения МС, построенного из изображения MB в отраженном свете и теневого изображения МА, полученных главными датчиками 32, (=MB-МА; первое разностное изображение), и разностного изображения НС, построенного из изображения НВ в отраженном свете и теневого изображения НА, полученных вспомогательными датчиками 33 (=НВ-НА; второе разностное изображение).

Более конкретно, в случае захваченного изображения, полученного главными датчиками 32, разностное изображение МС генерируют, как показано, например, на фиг.17 и 18. Это означает, что поскольку область Δλ23 длин волн зондирующего света включена в область длин волн светочувствительности главных датчиков 32, то при движении близкого объекта по области 21 отображения, например, панели 20 ввода/вывода отображения на разностном изображении МС происходит генерация ложного сигнала F101 в дополнение к сигналу обнаружения близкого объекта аналогично указанному примеру для сравнения. Другими словами, на разностном изображении МС на основе изображений МА и MB (=MB-МА) и в сигнале V(MC) обнаружения световосприятия для этого изображения (=Von(MB)-Voff(MA)) помимо изначально ожидаемого сигнала, соответствующего истинному положению объекта, генерируется ложный сигнал F101 в другом, отличном от истинного, положении.

С другой стороны, в случае захваченного изображения, полученного вспомогательными датчиками 33, разностное изображение НС генерируется, как показано, например, на фиг.19 и 20. Это означает, что в каждом вспомогательном датчике 33 светочувствительность в области длин волн зондирующего света ниже светочувствительности первых фотоэлементов (0 в данном примере). Поэтому аналогично случаю главных датчиков 32 на разностном изображении НС происходит генерация ложного сигнала F101, однако можно не допустить генерацию сигнала обнаружения близкого объекта (как в данном примере). Другими словами, хотя на разностном изображении НС на основе изображений НА и НВ (=НВ-НА) и в соответствующем этому изображению сигнале V(HC) обнаружения световосприятия

(=Von(HB)-Voff(HA)) происходит генерация ложного сигнала F101, можно не допустить генерацию изначально ожидаемого сигнала, соответствующего истинному положению объекта (как в данном примере).

Далее, как показано в примере на фиг.21, схема 13 управления фотоэлементами генерирует заданное маскирующее изображение Е на основе разностного изображения НС, полученного посредством вспомогательных датчиков 33. Затем схема 13 управления фотоэлементами выполняет операцию «И» над разностным изображением МС, полученным главными датчиками 32, и сгенерированным маскирующим изображением Е, в результате чего генерируется составное изображение F. Далее блок 14 обработки изображения, используя полученное составное изображение F, выделяет информацию о близком объекте. На этот раз схема 13 управления световосприятием применяет процедуру бинаризации и процедуру обращения изображения, например, к разностному изображению НС, чтобы можно было создать маскирующее изображение Е. Более конкретно, в процессе бинаризации любой сигнал световосприятия некоторой величины (пороговой величины) или большей величины в составе разностного изображения НС может рассматриваться как ложный сигнал и может быть преобразован в изображение, маскирующее часть ложного сигнала.

В данном случае причиной для обработки любого сигнала пороговой или большей величины в качестве ложного сигнала является стремление исключить влияние шумов панели и быть готовым к тому, что на разностном изображении НС на стороне вспомогательных датчиков 33 появится слабый сигнал обнаружения, поскольку некоторые вспомогательные датчики могут иметь недостаточно хорошие параметры работы для полного разделения спектральных характеристик. Поэтому минимизация подобного просачивания сигнала обнаружения во вспомогательные датчики 33 ведет к улучшению параметров работы системы в целом. Более конкретно, ограничение области Δλ23 длин волн зондирующего света позволяет сделать чувствительность вспомогательных датчиков 33 по возможности низкой в области Δλ зондирующего света. В данном случае, поскольку каждый из вспомогательных датчиков 33 отвечает за обнаружение любого ложного сигнала, который может появиться в результате воздействия внешнего света, параметры работы этих датчиков можно улучшить, увеличив их чувствительность к внешнему свету и сделав ее относительно выше чувствительности в области длин волн зондирующего света.

Как альтернативу способу генерации составного изображения F с использованием такого маскирующего изображения Е в качестве составного изображения F можно использовать разностное изображение между разностным изображением МС и разностным изображением НС (=МС-НС).

Таким образом, используя составное изображение F, созданное на основе разностного изображения МС, полученного главными датчиками 32, и разностного изображения НС, полученного вспомогательными датчиками 33, можно выделить информацию об объекте. В результате, даже в случае перемещения близкого объекта по области 21 отображения панели 20 ввода/вывода отображения, например, можно не допустить генерацию ложного сигнала в составном изображении F.

Как описано выше, в рассматриваемом варианте в области 21 отображения панели 20 ввода/вывода отображения обеспечено множество главных датчиков 32, каждый из которых включает в качестве области длин волн светочувствительности область Δλ23 длин волн зондирующего света, используемую для обнаружения близкого объекта. Обеспечено также множество вспомогательных датчиков 33, для каждого из которых светочувствительность в области длин волн зондирующего света ниже светочувствительности главных датчиков 32 в этой области. Далее при помощи составного изображения F, полученного на основе разностного изображения МС, полученного главными датчиками 32, и разностного изображения НС, полученного вспомогательными датчиками 33, можно выделить информацию о близком объекте. Соответственно, даже при перемещении близкого объекта в области 21 отображения панели 20 ввода/вывода отображения, например, удается не допустить генерацию ложного сигнала на составном изображении F, что позволяет обнаружить объект с хорошей стабильностью независимо от условий использования. Более того, такой подход в принципе применим к любой схеме генерации ложного сигнала, что позволяет удовлетворительно работать в любых условиях внешней освещенности.

Ниже будут описаны несколько модифицированных примеров настоящего изобретения. Отметим, что любой компонент, аналогичный какому-либо компоненту из варианта, описанного выше, снабжен той же ссылочной позицией и не будет описан снова, если без этого можно обойтись.

Первый модифицированный пример

На фиг.22 и 23 показан процесс выделения разностного изображения кончиков пальцев согласно первому модифицированному примеру.

В этом модифицированном примере, показанном на фиг.22 и 23, схема 13 управления фотоэлементами получает информацию об объекте на основе разностного изображения МНС, сформированного на основе изображения MB в отраженном свете, полученного главными датчиками 32, и изображения НВ в отраженном свете, полученного вспомогательными датчиками 33 (=MB-НВ).

Это позволяет обнаружить любой объект с хорошей стабильностью независимо от условий эксплуатации аналогично варианту, описанному выше.

Второй модифицированный пример

На фиг.24 показан процесс выделения разностного изображения кончиков пальцев согласно второму модифицированному примеру. В этом модифицированном примере блок 14 обработки изображения выполнен с возможностью выполнения путем последовательной обработки процесса генерации разностного изображения МС и процесса генерации разностного изображения НС, соответственно, для главного датчика 32 и вспомогательного датчика 33.

Более конкретно, в этом модифицированном примере, как показано на фиг.24, в области 21 отображения главные датчики 32 и вспомогательные датчики 33 расположены поочередно в пропорции один к одному. Более того, разностное изображение МС и разностное изображение НС выполнены, соответственно, в виде множества разностных значений пикселов m0, h1, m2, h3, m4, h5 и т.п.

Затем, в случае последовательной обработки, описанной выше, когда разностное значение пиксела, полученное вспомогательным датчиком 33, соседним с главным датчиком 32, равно или больше заданного порогового значения Vth(H), схема 13 управления световосприятием определяет, что главный датчик 32 имеет разностное значение пиксела, равное 0 (нулю) и выводит это значение.

С другой стороны, когда разностное значение пиксела, полученное вспомогательным датчиком 33, соседним с главным датчиком 32, меньше указанного выше заданного порогового значения Vth(H), в качестве разностного значения пиксела выводят фактический результат вычисления разности, выполненный главным датчиком 32. Таким образом, выполняемый процесс становится эквивалентен процессу маскирования, использующему маскирующее изображение Е, описанное в варианте, рассмотренном выше.

Таким образом, в данном модифицированном примере результат обработки может быть получен без необходимости специального привлечения памяти кадров для использования с главными датчиками 32 и вспомогательными датчиками 33 и может быть получен с высокой скоростью.

Третий модифицированный пример

На фиг.25 показан процесс выделения разностного изображения кончиков пальцев согласно третьему модифицированному примеру. В этом примере для фактического получения результата с повышенной точностью выполняют процесс второго модифицированного примера вместе с процессом интерполяции по обе стороны вспомогательных датчиков 33 и главных датчиков 32.

Более конкретно, для последовательной обработки, описанной выше, схема 13 управления фотоэлементами генерирует и интерполирует разностные значения пикселов для каждого из главных датчиков 32, расположенных в позициях, соответствующих вспомогательным датчикам 33. Кроме того, генерируют и интерполируют разностное значение пиксела для каждого из вспомогательных датчиков 33, расположенных в позициях, соответствующих главным датчикам 32. С учетом также разностных значений пикселов, генерируемых и интерполированных таким образом, можно выполнить последовательную обработку в соответствии с результатом сравнения с пороговым значением.

Такой подход соответственно с хорошей точностью устанавливает корреляцию между вспомогательными датчиками и главными датчиками, так что результат обработки может быть идеальным. Кроме того, при применении такого способа нет особой необходимости в использовании памяти кадров, а только достаточно иметь заранее результат обработки одного или двух датчиков. Более того, поскольку обработка осуществляется на основе датчиков, любая задержка, обусловленная обработкой, остается в пределах диапазона, соответствующего всего лишь нескольким датчиков, что позволяет выполнять обработку с исключительно высокой скоростью.

Отметим, что в этом модифицированном примере, как показано в примере на фиг.4(А) и (В), главные датчики 32 и вспомогательные датчики 33 расположены в области 21 отображения предпочтительно поочередно в пропорции один к одному.

Пример выполнения прикладной программы

Далее со ссылками на фиг.26-29 будут описаны несколько примеров выполнения прикладных программ в блоке 11 выполнения прикладных программ с использованием информации о положении или других параметрах объекта, обнаруженных посредством процесса выделения изображения кончиков пальцев, описанного ранее.

Прежде всего, в примере, показанном на фиг.26(A), кончик 61 пальца касается поверхности панели 20 ввода/вывода отображения, а путь перемещения точки касания изображен на этом чертеже линией 611.

Кроме того, пример, иллюстрируемый на фиг.26(В), относится к распознаванию жеста с использованием формы руки. Более конкретно, здесь распознают форму кисти 62 руки, касающейся (или приближающейся) панели 20 ввода/вывода отображения, и распознанную таким образом форму кисти представляют в виде изображения на дисплее. В ответ на операцию 621 перемещения такого объекта отображения может быть выполнен процесс определенного типа.

Кроме того, пример, иллюстрируемый на фиг.27, относится к распознаванию изображения путем изменения состояния кисти руки из сжатой кисти 63А к раскрытой кисти 63В и распознавания изображений кисти в соответствующих состояниях на панели 20 ввода/вывода отображения с точки зрения касания или близости. На основе такого распознавания выполняют процесс. Выполнение процесса на основе такого распознавания позволяет, например, выдать команду увеличения. Более того, возможность выдачи такой команды путем выполнения указанного процесса распознавания изображения позволяет, например, через соединение персонального компьютера с панелью 20 ввода/вывода отображения ввести в компьютер команду изменения режима работы или иную команду более естественным способом.

В альтернативном варианте, как показывает пример на фиг.28, система может использовать несколько панелей 20 ввода/вывода отображения, так что эти несколько панелей 20 ввода/вывода отображения могут быть соединены одна с другой средством передачи некоторого типа. Тогда любое изображение, явившееся результатом обнаружения касания или близости, может быть передано любой другой панели 20 ввода/вывода отображения для отображения на этой панели с целью установления связи между пользователями, работающими с этими панелями. Таким образом, имея две готовые к работе панели 20 ввода/вывода отображения, можно выполнить процесс передачи формы кисти 65 руки после распознавания изображения, выполненного на одной панели, на другую панель для отображения формы этой кисти 642 на другой панели, либо процесс передачи, например, пути 641, отображенного на другой панели путем касания ее кистью 64 руки, на первую панель для отображения на этой панели. Таким образом, создана возможность реализации нового инструмента связи путем передачи движущихся изображений в любом состоянии прорисовки и передачи рукописного текста, графики и других подобных материалов пользователю на другом конце линии связи. Такой пример может включать применение рассматриваемой панели 20 ввода/вывода отображения в качестве, например, панели дисплея мобильного телефона.

Кроме того, в примере, показанном на фиг.29, любой рукописный материал можно ввести с применением ручки с кисточкой путем касания поверхности панели 20 ввода/вывода отображения такой ручкой 66 с кисточкой для записи любого текста на этой панели и отображения участка, к которому прикасается ручка 66 с кисточкой, в виде изображения 661 на панели 20 ввода/вывода отображения. В этом случае могут быть распознаны и показаны детали прикосновения ручки с кисточкой. В известных способах распознавания рукописного текста некоторые специальные типы дискретизаторов используют, например, электрическое поле для обнаружения любого наклона специального пера, однако в рассматриваемого примере обнаруживают точки самой поверхности, к которым прикасается реальное перо с кисточкой, что позволяет сделать ввод информации более реалистичным.

Примеры модулей и применения

Далее со ссылками на фиг.30-34 будут рассмотрены примеры применения устройств отображения и снятия изображений, описываемых выше в варианте изобретения и модифицированных примерах. Устройство отображения и снятия изображения согласно описанному выше и другим вариантам может быть применено в электронных устройствах любого типа, включая телевизоры, цифровые фотоаппараты, портативные персональные компьютеры, мобильные терминалы, например мобильные телефоны, или видеокамеры. Другими словами, устройства отображения и снятия изображениями согласно рассмотренному выше и другим вариантам изобретения могут быть использованы в электронных устройствах самых разных типов, отображают ли они вводимый извне видеосигнал или видеосигнал, генерируемый в самом устройстве, например изображение или видеопрограмму. Представленные далее примеры электронных устройств не являются единственно возможными, а пример применения в составе камеры видеонаблюдения также возможен за счет использования таких признаков настоящего изобретения, как, например, выделение только отраженной составляющей зондирующего света.

Первый пример применения

На фиг.30 показан внешний вид телевизора, в котором применено какое-либо из устройств отображения и снятия изображения согласно описанному выше варианту или другим вариантам настоящего изобретения. Этот телевизор включает в себя блок 510 экрана видеодисплея, включающий, например, переднюю панель 511 и фильтрующее стекло 512, причем этот блок 510 экрана видеодисплея выполнен в виде любого устройства отображения и снятия изображения согласно указанному выше варианту или другим вариантам настоящего изобретения.

Второй пример применения

На фиг.31 показан внешний вид цифрового фотоаппарата, в котором применено любое из устройств отображения и снятия изображения согласно описанному выше варианту или другим вариантам настоящего изобретения. Этот цифровой фотоаппарат включает в себя, например, светоизлучающий блок 521 для использования в качестве лампы-вспышки, блок 522 отображения, переключатель 523 меню и кнопку 524 затвора, и блок 522 отображения выполнен в виде любого из устройств отображения и снятия изображения согласно указанному выше варианту или другим вариантам настоящего изобретения.

Третий пример применения

На фиг.32 показан внешний вид портативного персонального компьютера, в котором применено любое из устройств отображения и снятия изображения согласно описанному выше варианту или другим вариантам настоящего изобретения. Этот портативный персональный компьютер включает в себя, например, главный блок 531, клавиатуру 532 для ввода текста и других команд и блок 533 отображения для отображения изображения, и блок 533 отображения выполнен в виде любого из устройств отображения и снятия изображения согласно указанному выше варианту или другим вариантам настоящего изобретения.

Четвертый вариант применения

На фиг.33 показан внешний вид видеокамеры, в которой применено какое-либо из устройств отображения и снятия изображения согласно описанному выше варианту или другим вариантам настоящего изобретения. Эта видеокамера включает в себя, например, корпус 541, объектив 542, расположенный на передней боковой поверхности корпуса 541, для получения изображения объекта, выключатель 543 старт/стоп для использования во время снятия изображения и блок 544 отображения. Этот блок 544 отображения выполнен в виде любого из устройств отображения и снятия изображения согласно указанному выше варианту или другим вариантам настоящего изобретения.

Пятый вариант применения

На фиг.34 показан внешний вид мобильного телефона, в котором применено какое-либо из устройств отображения и снятия изображения согласно описанному выше варианту или другим вариантам настоящего изобретения. Этот мобильный телефон включает в себя, например, верхнее шасси 710, соединенное с нижним шасси 720 посредством соединительной секции 730 (шарнирная секция), а также дисплей 740, дополнительный дисплей 750, вспышку 760 для съемки и фотокамеру 770. Дисплей 740 или дополнительный дисплей 750 выполнен в виде любого из устройств отображения и снятия изображения согласно указанному выше варианту или другим вариантам настоящего изобретения.

Хотя настоящее изобретение было описано на основе рассмотренного варианта, модифицированных примеров и примеров применения, это изобретение не ограничивается таким вариантом или иными вариантами, так что могут быть предложены многочисленные другие модификации и варианты настоящего изобретения.

Например, в описанном выше варианте и в других вариантах, как показывает пример на фиг.35(А), область Δλ12 длин волн (область длин волн от длины волны λ1 до длины волны λ2) и область Δλ34 длин волн (область длин волн от длины волны λ3 до длины волны λ4) являются областями длин волн светочувствительности и для главных датчиков 32, и для вспомогательных датчиков 33. Это, разумеется, не является единственно возможным вариантом реализации настоящего изобретения. А именно, как показывает пример на фиг.35(В), что длина волны излучения главных датчиков 32 может быть отделена спектральными промежутками от области длин волн светочувствительности вспомогательных датчиков 33, причем такая конфигурация считается предпочтительной. Отметим, что на фиг.35(А) и (В) в области длин волн, не включающей область длин волн светочувствительности главных датчиков 32, обозначенную сплошной стрелкой, каждый из этих главных датчиков имеет светочувствительность, равную 0 (нулю). Аналогично, в области длин волн, не включающей область длин волн светочувствительности вспомогательных датчиков, обозначенную штриховой стрелкой, каждый из этих вспомогательных датчиков 33 имеет светочувствительность, равную 0 (нулю). Это означает, что на фиг.35(В) каждый из вспомогательных датчиков 33 имеет светочувствительность, равную 0 (нулю), в области длин волн светочувствительности главных датчиков 32, а каждый из главных датчиков 32 имеет светочувствительность, равную 0 (нулю), в области длин волн светочувствительности вспомогательных датчиков 33. Таким образом, как описано выше, области длин волн светочувствительности этих двух типов датчиков спектрально отделены одна от другой (не совпадают).

Далее в описываемом выше варианте и других вариантах рассмотрен случай, когда панель 20 ввода/вывода отображения представляет собой жидкокристаллическую панель с источником 15 подсветки. В альтернативных вариантах источник подсветки для отображения может служить также источником зондирующего света, либо может быть применен отдельный источник излучения специально для целей обнаружения. Более того, если имеется такой источник излучения специально для целей обнаружений, предпочтительно использовать источник света в области длин волн вне видимого диапазона (например, источник инфракрасного света).

Кроме того, в описанном выше варианте рассмотрен случай, когда в панели 20 ввода/вывода отображения элементы отображения представляют собой жидкокристаллические элементы, а фотоэлементы выполнены отдельно. Такой вариант, безусловно, не является единственной возможностью реализации настоящего изобретения. Более конкретно, аналогичные устройства отображения и снятия изображения в других модифицированных примерах согласно фиг.36-38, например панель ввода/вывода отображения (панель 60 дисплея ввода/вывода), могут быть выполнены на основе светоизлучающих/фотоприемных элементов (элементы отображения и снятия изображения), таких как органические электролюминесцентные (EL) элементы, которые могут выполнять операцию излучения света и операцию приема света в режиме разделения времени.

На фиг.36 представлена блок-схема, показывающая пример конфигурации устройства отображения и снятия изображения в этом модифицированном примере. Это устройство отображения и снятия изображения включает в себя панель 60 ввода/вывода отображения, схему 82 управления отображением, схему 83 управления световосприятием с памятью 83А кадров, блок 84 обработки изображения и блок 81 выполнения прикладных программ. Из перечисленных здесь компонентов схема 82 управления отображением, схема 83 управления световосприятием с памятью 83А кадров, блок 84 обработки изображения и блок 81 выполнения прикладных программ работают аналогично схеме 12 управления отображением, памяти 13А кадров, схеме 13 управления фотоэлементами, блоку 14 обработки изображения и блоку 11 выполнения прикладных программ соответственно из рассмотренного выше варианта, и потому не будут описаны еще раз.

Как описано выше, панель 60 ввода/вывода отображения выполнена в виде органического электролюминесцентного дисплея с использованием органических электролюминесцентных элементов, где множество пикселов (устройств отображения и снятия изображения) расположены в виде матрицы в области отображения (области датчиков). Далее в этом примере панель отображения включает матрицу или организованную другим образом структуру из пикселов, включающих органические электролюминесцентные элементы, каждый из которых служит светоизлучающим элементом (элементом отображения) и фотоэлементом (элементом снятия изображения: описанный выше главный датчик), и пикселов, включающих в себя органические электролюминесцентные элементы, каждый из которых служит светоизлучающим элементом (элементом отображения) и фотоэлементом (элементом снятия изображения: описанный выше вспомогательный датчик). В такой панели 60 ввода/вывода отображения любой накопленный сигнальный заряд, соответствующий количеству света, принятому за светоприемный период, считывают путем управления со стороны схемы 83 управления световосприятием для приема света.

На фиг.37 представлен пример конфигурации каждого пиксела (пример конфигурации схемы пиксела) в устройстве отображения и снятия изображения, показанном на фиг.36. Эта схема пиксела включает в себя органический электролюминесцентный элемент 91, паразитную емкость 91А этого органического электролюминесцентного элемента 91, ключи SW1-SW3, шину 92 сигнала данных отображения, шину 93 выбора считываемой строки и шину 94 сигнала принимаемых данных. В такой схеме пиксела, когда ключ SW1 замкнут в период отображения (период излучения света), данные отображения для отображения изображения поступают на органический электролюминесцентный элемент 91 из шины 92 сигнала данных отображения через ключ SW1, так что органический электролюминесцентный элемент 91 излучает свет. С другой стороны, органический электролюминесцентный элемент 91 в период, когда излучение света прекращено (светоприемный период), накапливает в своей паразитной емкости 91А электрический заряд, генерируемый в этом органическом электролюминесцентном элементе 91 в соответствии с количеством света, попавшего в область датчика. Накопленный таким образом заряд затем считывают и передают в шину 94 сигнала принимаемых данных через ключ SW2, замкнутый по сигналу управления из шины 93 выбора считываемой строки. Здесь, в начале светоприемного периода необходимо снять заряд, накопившийся в паразитной емкости 91А за время излучения света, путем кратковременного замыкания выключателя SW3 сброса.

Фиг.38 иллюстрирует процесс выделения разностного изображения кончиков пальцев в устройстве отображения и снятия изображения, показанном на фиг.36 и 37. Более конкретно, для описанной выше панели 60 ввода/вывода отображения на основе органических электролюминесцентных элементов рассмотрен случай обнаружения произвольного объекта (пальца f), коснувшегося или приблизившегося к панели 60 ввода/вывода отображения, например, в процессе отображения изображения. В этом примере светоизлучающая область выполнена в виде заданного множества горизонтальных строк на экране. Такая светоизлучающая область перемещается в течение периода кадра в направлении развертки, обозначенном стрелкой на чертеже, так что за счет инерции зрительного восприятия кажется, будто область свечения занимает весь экран.

С другой стороны, при считывании светоприемных сигналов перемещение светоизлучающей области служит командой запуска для последовательного выполнения считывания строки, расположенной в пределах светоизлучающей области, и строки, смещенной по вертикали на некоторое расстояние от этой светоизлучающей области. Более конкретно, при считывании строки, расположенной в светоизлучающей области, результирующаяся операция считывания позволяет обнаружить отраженный свет, являющийся результатом отражения света, исходящего из светоизлучающей области, так что, как показано на фиг.38, считываемые данные будут соответствовать состоянию «самосвечение включено» (изображение В4: соответствует изображению В в отраженном свете). С другой стороны, при считывании строки, смещенной по вертикали на некоторое расстояние от этой светоизлучающей области, излучение света от светоизлучающей области не влияет на результат считывания, так что, как показано на фиг.38, считываемые данные будут соответствовать состоянию «самосвечение выключено» (изображения А41 и А42 (здесь далее именуемые изображениями А4): соответствуют теневому изображению А). Таким образом, в этом модифицированном примере разностное изображение С4, получаемое на основе этих изображений, (=В4-А4) может быть использовано в качестве основы для обнаружения любого близкого объекта (палец f). Кроме того, в рассматриваемой конфигурации можно реализовать эффекты, аналогичные эффектам, достижимым в варианте, рассмотренном выше.

Более того, в этом и других описанных выше вариантах рассмотрено устройство отображения и снятия изображения, имеющее панель отображения и снятия изображения (панель 20 ввода/вывода отображения), включающую множество элементов отображения и множество элементов снятия изображения. Это, безусловно, не является единственно возможным вариантом для применения настоящего изобретения. Более конкретно, изобретение может быть также применено в устройстве снятия изображения без элементов отображения, но с панелью снятия изображения, включающей, например, множество элементов снятия изображения.

1. Устройство снятия изображения, содержащее:
панель снятия изображения с множеством первых фотоэлементов, множеством вторых фотоэлементов и источником света, включающего в себя зондирующий свет для обнаружения близкого объекта, причем длины волн зондирующего света лежат в заданной области длин волн; и
блок обработки изображения для выполнения обработки изображения в отношении сигналов, захваченных панелью снятия изображения в результате снятия изображения близкого объекта, и получения информации об объекте, включающей положение и/или форму и/или размеры близкого объекта, при этом
первые фотоэлементы имеют характеристику светочувствительности, отличную от характеристики светочувствительности вторых фотоэлементов для длин волн в области светочувствительности,
область длин волн светочувствительности первых фотоэлементов включает область длин волн зондирующего света,
светочувствительность вторых фотоэлементов ниже светочувствительности первых фотоэлементов в области длин волн зондирующего света, причем
блок обработки изображения выполнен с возможностью получать указанную информацию об объекте посредством обработки сигналов, поступающих от первых и вторых фотоэлементов.

2. Устройство снятия изображения по п.1, в котором
светочувствительность первых фотоэлементов в первой области длин волн, являющейся областью длин волн зондирующего света, выше светочувствительности первых фотоэлементов во второй области длин волн, отличной от первой области длин волн, и
светочувствительность второго фотоэлемента в первой области длин волн ниже светочувствительности второго фотоэлемента во второй области длин волн.

3. Устройство снятия изображения по п.1, в котором
светочувствительность первых фотоэлементов в первой области длин волн, являющейся областью длин волн зондирующего света, выше светочувствительности первых фотоэлементов во второй области длин волн, расположенной со стороны более коротких волн относительно первой области длин волн, и
светочувствительность второго фотоэлемента в первой области длин волн ниже светочувствительности второго фотоэлемента во второй области длин волн.

4. Устройство снятия изображения по п.1, в котором
блок обработки изображения выполнен с возможностью получать информацию об объекте с использованием составного изображения, созданного на основе изображения, принимаемого первым фотоэлементом, и изображения, принимаемого вторым фотоэлементом.

5. Устройство снятия изображения по п.4, дополнительно содержащее:
блок генерации изображения для генерирования для каждого из первого и второго фотоэлементов разностного изображения в виде разности между изображением в отраженном свете и теневым изображением, причем изображение в отраженном свете формируется панелью снятия изображения посредством снятия изображения близкого объекта с использованием отраженного света, полученного из зондирующего света, а теневое изображение формируется панелью приемника изображения посредством снятия изображения тени близкого объекта, при этом
блок обработки изображения выполнен с возможностью получать информацию об объекте с использованием составного изображения, созданного на основе первого разностного изображения и второго разностного изображения, причем первое разностное изображение соответствует разностному изображению, представляющему собой разность между изображением в отраженном свете, считываемым первыми фотоэлементами, и теневым изображением, считываемым первыми фотоэлементами, а второе разностное изображение соответствует разностному изображению, представляющему собой разность между изображением в отраженном свете, считываемым вторыми фотоэлементами, и теневым изображением, считываемым вторыми фотоэлементами.

6. Устройство снятия изображения по п.5, в котором
блок генерации изображения выполнен с возможностью генерирования заданного маскирующего изображения на основе второго разностного изображения, а
блок обработки изображения выполнен с возможностью получать информацию об объекте с использованием составного изображения, созданного на основе первого разностного изображения и маскирующего изображения.

7. Устройство снятия изображения по п.5, в котором
блок генерации изображения выполнен с возможностью генерирования маскирующего изображения путем применения процесса бинаризации и процесса обращения изображения ко второму разностному изображению.

8. Устройство снятия изображения по п.5, в котором
блок обработки изображения выполнен с возможностью получать информацию об объекте с использованием разностного изображения, представляющего собой разность между первым разностным изображением и вторым разностным изображением.

9. Устройство снятия изображения по п.5, в котором
блок генерации изображения выполнен с возможностью генерирования первого разностного изображения и генерирования второго разностного изображения путем последовательной обработки сигналов для каждого из первых и вторых фотоэлементов.

10. Устройство снятия изображения по п.9, в котором
панель снятия изображения выполнена так, что первые фотоэлементы и вторые фотоэлементы расположены поочередно в соотношении один к одному.

11. Устройство снятия изображения по п.10, в котором
первое разностное изображение выполнено в виде множества первых разностных значений пикселов, а второе разностное изображение выполнено в виде множества вторых разностных значений пикселов,
причем в режиме последовательной обработки,
блок генерации изображения определяет первое разностное значение пиксела, поступающее от первого фотоэлемента из первых фотоэлементов, равным нулю и затем выводит это определенное значение, если второе разностное значение пиксела, полученное вторым фотоэлементом из вторых фотоэлементов, соседним с указанным первым фотоэлементом, больше или равно заданному пороговому значению, и
блок генерации изображения выводит фактический результат разностных вычислений в первом фотоэлементе в качестве первого разностного значения пиксела, если второе разностное значение пиксела, полученное вторым фотоэлементом из вторых фотоэлементов, соседним с указанным первым фотоэлементом, меньше заданного порогового значения.

12. Устройство снятия изображения по п.11, в котором
в режиме последовательной обработки блок генерации изображения выполняет:
генерацию и интерполяцию первого разностного значения пиксела для каждого из положений вторых фотоэлементов в качестве первого интерполированного разностного значения пиксела;
генерацию и интерполяцию второго разностного значения пиксела для каждого из положений первых фотоэлементов в качестве второго интерполированного разностного значения пиксела; и
последовательную обработку сигналов в соответствии с результатом сравнения с пороговой величиной, а также с учетом первого и второго интерполированных разностных значений пикселов.

13. Устройство снятия изображения по п.1, в котором
блок обработки изображения выполнен с возможностью получать информацию об объекте на основе разностного изображения в виде разности между изображением в отраженном свете, получаемым посредством множества первых фотоэлементов путем снятия изображения близкого объекта с использованием отраженного света, полученного из зондирующего света, и изображением в отраженном свете, получаемым посредством множества вторых фотоэлементов путем снятия изображения близкого объекта с использованием отраженного света, полученного из зондирующего света.

14. Устройство снятия изображения по п.1, в котором
светочувствительность вторых фотоэлементов в области длин волн зондирующего света равна 0 (нулю).

15. Устройство снятия изображения по п.14, в котором
область длин волн световосприятия первых фотоэлементов и область длин волн световосприятия вторых фотоэлементов отделены друг от друга.

16. Устройство снятия изображения по п.1, в котором
зондирующий свет представляет собой инфракрасный свет,
область длин волн световосприятия первых фотоэлементов включает область длин волн инфракрасного света, а
область длин волн световосприятия вторых фотоэлементов включает область длин волн видимого света.

17. Устройство отображения и снятия изображения, содержащее:
панель отображения и снятия изображения с множеством элементов отображения, множеством первых фотоэлементов и множеством вторых фотоэлементов, выполненную с возможностью излучения света, включающего в себя зондирующий свет для обнаружения близкого объекта, причем длины волн зондирующего света лежат в заданной области длин волн; и
блок обработки изображения для выполнения обработки изображения в отношении сигналов, захваченных панелью отображения и снятия изображения в результате снятия изображения близкого объекта, и получения информации об объекте, включающей положение, и/или форму, и/или размеры близкого объекта, при этом
первые фотоэлементы имеют характеристику светочувствительности, отличную от характеристики светочувствительности вторых фотоэлементов в области длин волн светочувствительности,
область длин волн светочувствительности первых фотоэлементов включает область длин волн зондирующего света,
светочувствительность вторых фотоэлементов ниже светочувствительности первых фотоэлементов в области длин волн зондирующего света, а
блок обработки изображения выполнен с возможностью получать информацию об объекте посредством обработки сигналов, поступающих от первых и вторых фотоэлементов.

18. Устройство отображения и снятия изображения по п.17, в котором
панель отображения и снятия изображения снабжена источником света, включающего в себя зондирующий свет.

19. Устройство отображения и снятия изображения по п.17, в котором
каждый элемент отображения выполнен с возможностью излучать свет, включающий в себя зондирующий свет.

20. Электронное устройство, содержащее устройство отображения и снятия изображения, имеющее функцию отображения изображения и функцию снятия изображения, причем устройство отображения и снятия изображения включает в себя:
панель отображения и снятия изображения с множеством элементов отображения, множеством первых фотоэлементов и множеством вторых фотоэлементов, выполненную с возможностью излучения света, включающего зондирующий свет для обнаружения близкого объекта, причем длины волн зондирующего света лежат в заданной области длин волн; и
блок обработки изображения для выполнения обработки изображения в отношении сигналов, захваченных панелью отображения и снятия изображения в результате снятия изображения близкого объекта, и получения информации об объекте, включающей положение, и/или форму, и/или размеры близкого объекта, при этом
первые фотоэлементы имеют характеристику светочувствительности, отличную от характеристики светочувствительности вторых фотоэлементов в области длин волн светочувствительности,
область длин волн светочувствительности первых фотоэлементов включает область длин волн зондирующего света,
светочувствительность вторых фотоэлементов ниже светочувствительности первых фотоэлементов в области длин волн зондирующего света, а
процессор изображения выполнен с возможностью получать информацию об объекте посредством обработки сигналов, поступающих от первых и вторых фотоэлементов.