Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого

Изобретение относится к поиску информации на основе отображаемого изображения. Техническим результатом является повышение точности результатов поиска. Способ содержит этапы, на которых: принимают, посредством процессора упомянутого устройства, первый ввод, указывающий выбор множества объектов, включенных в упомянутое изображение; принимают, посредством упомянутого процессора, второй ввод, указывающий поисковое отношение между выбранным множеством объектов на основе каждого положения отображения выбранного множества объектов; определяют, посредством упомянутого процессора, условие поиска для выполнения поиска информации на основе выбранного множества объектов и второго ввода; ищут информацию на основе упомянутого условия поиска; и выводят найденную информацию посредством упомянутого устройства. 2 н. и 13 з.п. ф-лы, 20 ил.

 

Область техники, к которой относится изобретение

Настоящая общая идея изобретения относится к способу и устройству поиска информации и, в частности, к способу и устройству поиска информации на основе отображаемого изображения.

Уровень техники

Поскольку емкость памяти, установленной в устройствах, и объем хранения данных с использованием облачных серверов увеличились, были предложены способы поиска информации для быстрого и точного обеспечения информация, желаемые пользователями.

Сущность изобретения

Техническая задача

Однако стандартные способы поиска информации в общем случае выполняются на основе запросов пользователя, например запросов пользователя, в которых пользователь должен ввести множество ключевых слов и возможно также ввести указание того, как ключевые слова должны быть использованы или скомбинированы при поиске. Таким образом, требуются более простые и более интуитивные способы поиска информации.

Решение задачи

Назначением конкретных вариантов осуществления изобретения является решить, смягчить или избежать по меньшей мере частично по меньшей мере одну из задач и/или недостатков, ассоциированных с предшествующим уровнем техники. Конкретные варианты осуществления направлены на обеспечение по меньшей мере одного из преимуществ, описанных ниже.

Конкретные варианты осуществления настоящего изобретения обеспечивают способ и устройство интуитивного поиска информации на основе отображаемого изображения и компьютерно-читаемый носитель записи для этого.

Конкретные варианты осуществления настоящего изобретения также обеспечивают способ и устройство поиска информации на основе поискового отношения между множеством объектов, выбранных согласно отображаемому изображению, и компьютерно-читаемый носитель записи для этого.

Конкретные варианты осуществления настоящего изобретения также обеспечивают способ и устройство обеспечения услуг на основе отношения между множеством объектов, выбранных согласно отображаемому изображению, и компьютерно-читаемый носитель записи для этого.

Положительные эффекты изобретения

Согласно вышеупомянутым вариантам осуществления существует возможность проще и более интуитивно искать информацию посредством использования изображения, отображаемого на экране устройства.

Краткое описание чертежей

Эти и/или другие признаки и полезные свойства некоторых аспектов и вариантов осуществления настоящего изобретения станут очевидны и с большей готовностью понятны из последующего описания вариантов осуществления, воспринимаемых в сочетании с сопроводительными чертежами, среди которых:

Фиг. 1а изображает структурную схему, иллюстрирующую устройство согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 1b изображает пример программ и/или наборов команд, которые хранятся в блоке хранения устройства с Фиг. 1а и классифицируются согласно модулям;

Фиг. 2 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 3 изображает примеры экрана введения первого ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 4 изображает примеры экрана введения второго ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 5 изображает примеры экрана введения второго ввода в способе поиска информации на основе изображения согласно другому варианту осуществления настоящей общей идеи изобретения;

Фиг. 6 изображает примеры экрана изображений для соответствия примерам экрана второго ввода с Фиг. 5;

Фиг. 7-9 изображают примеры экрана первого ввода, второго ввода и найденной информации;

Фиг. 10 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 11-13 изображают примеры экрана отображения получающейся в результате информации, полученной путем распознавания первого ввода с Фиг. 10;

Фиг. 14 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 15 изображает примеры экрана, отображаемые согласно блок-схеме с Фиг. 14;

Фиг. 16 изображает примеры экрана отображения множества единиц поиска;

Фиг. 17 изображает структурную схему, иллюстрирующую устройство согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 18 изображает структурную схему, иллюстрирующую сеть для соединения устройств с Фиг. 1 и 17; и

Фиг. 19 изображает блок-схему, иллюстрирующую способ обеспечения услуг согласно одному варианту осуществления настоящей общей идеи изобретения.

Предпочтительный вариант осуществления изобретения

Дополнительные признаки и полезные свойства некоторых аспектов и вариантов осуществления настоящего изобретения будут частично изложены в описании, которое следует далее, и частично будут очевидны из описания или могут быть поняты путем применения на практике общей идеи изобретения.

Один аспект настоящего изобретения обеспечивает способ поиска информации на основе изображения, отображаемого на устройстве, причем способ включает в себя распознавание первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, распознавание второго ввода, указывающего поисковое отношение между выбранным множеством объектов, и поиск информации на основе первого ввода и второго ввода; и выведение найденной информации посредством устройства.

Например, в конкретных вариантах осуществления способ дополнительно содержит выбор соответственного поискового термина (содержащего одно или несколько слов) для каждого из выбранных объектов, и поиск основан на выбранных поисковых терминах. Выбор каждого соответственного поискового термина может быть полностью автоматизирован в конкретных вариантах осуществления, но в других вариантах осуществления пользователь может принимать участие, например, путем того, что ему обеспечивается предложение множества предлагаемых поисковых терминов, соответствующих выбранному объекту, из которых пользователь может выбрать термин, который должен быть использован в поиске, например, путем обеспечения дополнительного сенсорного ввода. Второй ввод может быть использован для установления отношения между выбранными поисковыми терминами, например, путем установления того, должны ли поисковые термины быть скомбинированы способом логического И или же логического ИЛИ.

Поисковое отношение между выбранным множеством объектов может включать в себя одно из отношения одного и того же слоя, указывающего, что отношение между множеством объектов имеет один и тот же уровень при поиске информации (иными словами, множество объектов может иметь, ему может быть выдан или выделен один и тот же (т.е. равный) приоритет, вес, важность или ранг в поиске), и отношения разных (например, верхнего и нижнего) слоев, указывающего, что отношение между множеством объектов имеет различный приоритет, вес, важность или ранг (например, верхний и нижний уровень) при поиске информации.

В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, второй ввод может включать в себя один из жеста на основе прикосновения, указывающего сбор выбранного множества объектов, и жеста на основе прикосновения, указывающего перемещение выбранного множества объектов в по меньшей мере одно местоположение помимо местоположения отображения выбранного множества объектов.

В конкретных вариантах осуществления множество отдельных прикосновений на сенсорном экране может быть использовано для выбора множества объектов, на которых поиск должен быть основан. Прикосновения могут, например, осуществляться одновременно или по существу в одно и то же время, например, с использованием множества пальцев одной руки или двух рук. Множество объектов, выбранных таким образом, может иметь равный приоритет, вес и т.д. в поиске. В конкретных вариантах осуществления жест, содержащий или указывающий на перетаскивание выбранных объектов вместе (например, перетаскивание соответственных точек прикосновения вместе), может быть использован в качестве второго ввода для указания, что поиск должен выполняться для единицы, включающей в себя элементы, соответствующие всем из выбранных объектов (иными словами, жест перетаскивания вместе может быть использован интуитивно для указания отношения "И" между поисковыми терминами, соответствующими выбранным объектам). В качестве альтернативы, жест, содержащий или указывающий на перемещение каждого из выбранных объектов из его соответственной исходной позиции, к которой осуществлено прикосновение, в другую соответственную позицию, но без перетаскивания единиц вместе, может быть использован для указания, что поиск должен выполняться так, чтобы искать результаты, содержащие элемент, соответствующий по меньшей мере одному из выбранных объектов. Иными словами, такой ввод может быть использован в качестве второго ввода для указания отношения логического "ИЛИ" между выбранными единицами, или, иными словами, между поисковыми терминами, генерируемыми в соответствии с выбранными единицами.

В случае, когда поисковое отношение между выбранным множеством объектов является отношением разных (например, верхнего и нижнего) слоев, второй ввод может включать в себя один из жеста на основе прикосновения, указывающего перемещение остатка выбранных объектов, исключая один объект из выбранного множества объектов, в местоположение отображения исключенного одного объекта, и жеста на основе прикосновения, указывающего перемещение по меньшей мере одного из выбранного множества объектов в местоположение отображения одного из выбранного множества объектов.

В конкретных вариантах осуществления первый жест, содержащий одновременное прикосновение к двум объектам (первому объекту и второму объекту), может быть использован для выбора этих двух объектов в качестве основы для поиска. Затем второй жест, содержащий перетаскивание, или кажущееся перетаскивание, второго объекта к первому объекту (например, так близко, что объекты накладываются друг на друга или кажутся наложенными друг на друга), может быть использован для указания, что первому объекту должно быть назначено более высокое ранжирование, вес или приоритет в поиске, чем второму объекту. Иными словами, такой жест может быть использован для инструктирования поиска сначала искать единицы, содержащие элементы, соответствующие первому объекту (или первому поисковому термину, выбранному для первого объекта), и затем искать те единицы, которые дополнительно включают в себя элемент, соответствующий второму объекту (или его соответствующему второму поисковому термину).

Жест на основе прикосновения может включать в себя, или может содержать, прикосновение и перетаскивание.

В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, поиск информации может включать в себя поиск информации, включающей в себя все из выбранного множества объектов. В случае, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, поиск информации может включать в себя поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, поиск информации может включать в себя поиск информации, касающейся по меньшей мере один из выбранного множества объектов. В случае, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, поиск информации может включать в себя поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, поиск информации может включать в себя отображение информации, используемой для выбора одной из единицы поиска информации, включающей в себя по меньшей мере один из выбранного множества объектов, и единицы поиска информации, включающей в себя все из выбранного множества объектов, и поиск информации согласно единице поиска информации, выбранной на основе отображаемой информации. В случае, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, поиск информации может включать в себя поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В конкретном варианте осуществления способ может дополнительно содержать обеспечение пользователю средства для выбора либо отношения И, либо отношения ИЛИ между выбранным множеством объектов (или их соответствующими поисковыми терминами).

Первый ввод может включать в себя, или содержать, один из жеста на основе прикосновения, указывающего долгое прикосновение к выбранному множеству объектов или каждому объекту, и жеста на основе прикосновения, указывающего замкнутую область на выбранном множестве объектов или каждом объекте. Иными словами, объект может быть выбран путем прикосновения к нему, или осуществления жеста приблизительно вокруг (по меньшей мере частично вокруг) объекта (например, окружение его или перемещение позиции прикосновения приблизительно вокруг него, например по кругу или по многоугольной форме, чтобы очевидным образом сформировать рамку или очертить периметр вокруг объекта).

Поиск информации может включать в себя: отображение по меньшей мере одной единицы поиска, определенной согласно первому вводу и второму вводу; и поиск информации на основе единицы поиска, выбранной из отображаемой по меньшей мере одной единицы поиска.

Способ может дополнительно включать в себя отображение информации, указывающей распознавание, относящееся к первому вводу, посредством устройства.

Информация, указывающая распознавание, относящееся к первому вводу посредством устройства, может включать в себя одну из информации, указывающей замкнутые области на основе контуров выбранного множества объектов или каждого объекта, информации на основе вырезанного изображения на основе контуров выбранного множества объектов или каждого объекта, и множественного экрана на основе вырезанного изображения.

Способ может дополнительно включать в себя отображение информации, указывающей распознавание, относящееся ко второму вводу, посредством устройства.

Поиск информации может выполняться в отношении по меньшей мере одного из устройства и по меньшей мере одного внешнего устройства, соединенного с устройством.

Найденная информация может включать в себя по меньшей мере одну из информации на основе изображения и информации на основе текста.

Другой аспект изобретения обеспечивает устройство, выполненное с возможностью осуществления способа в соответствии с любым из вышеописанных или нижеописанных аспектов или вариантов осуществления.

Другой аспект изобретения обеспечивает устройство, включающее в себя блок хранения для хранения по меньшей мере одного элемента информации и по меньшей мере одной программы, сенсорный экран для отображения изображения, для приема первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, для приема второго ввода, указывающего поисковое отношение между выбранным множеством объектов, и для отображения информации, поиск которой осуществляется на основе первого ввода и второго ввода, и процессор для обеспечения пользовательского интерфейса на основе сенсорного экрана, для распознавания первого ввода и второго ввода, принятых посредством сенсорного экрана, для поиска информации от блока хранения согласно первому вводу и второму вводу и для вывода найденной информации на сенсорном экране. Конкретные варианты осуществления этого аспекта могут быть выполнены с возможностью осуществления любого из способов, осуществляющих изобретение и описанных в этом техническом описании.

Таким образом, в конкретных вариантах осуществления поисковое отношение между выбранным множеством объектов содержит одно из отношения одного и того же слоя, указывающего, что множество объектов имеет один и тот же уровень при поиске информации, и отношения верхнего и нижнего слоя, указывающего, что множество объектов имеет верхний и нижний уровень при поиске информации.

В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, второй ввод содержит один из жеста на основе прикосновения, указывающего сбор выбранного множества объектов, и жеста на основе прикосновения, указывающего перемещение выбранного множества объектов в по меньшей мере одно местоположение за исключением местоположений отображения выбранного множества объектов.

В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, второй ввод содержит один из жеста на основе прикосновения для перемещения остатка выбранных объектов, исключая один объект из выбранного множества объектов, в местоположение отображения исключенного одного объекта и жеста на основе прикосновения для перемещения по меньшей мере одного из выбранного множества объектов в местоположение отображения одного из выбранного множества объектов.

В конкретных вариантах осуществления жест на основе прикосновения содержит прикосновение и перетаскивание.

В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор выполняет поиск информации, включающей в себя все из выбранного множества объектов; и когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, процессор выполняет поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор выполняет поиск информации, включающей в себя по меньшей мере один из выбранного множества объектов; и когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, процессор выполняет поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор отображает информацию, используемую для выбора единицы поиска информации, содержащей по меньшей мере один из выбранного множества объектов, и единицы поиска информации, содержащей все из выбранного множества объектов, выполняет поиск информации согласно единице поиска информации, выбранной на основе отображаемой информации, и, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, процессор выполняет поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В конкретных вариантах осуществления первый ввод содержит по меньшей мере один из жеста на основе прикосновения, указывающего долгое прикосновение к выбранному множеству объектов или каждому объекту, и жеста на основе прикосновения, указывающего замкнутую область на выбранном множестве объектов или каждом объекте.

В конкретных вариантах осуществления процессор отображает по меньшей мере одну единицу поиска, определенную согласно первому вводу и второму вводу на сенсорном экране, и выполняет поиск информации на основе единицы поиска, выбранной из отображаемой по меньшей мере одной единицы поиска посредством сенсорного экрана.

В конкретных вариантах осуществления процессор отображает информацию, указывающую распознавание, относящееся к первому вводу, посредством устройства.

В конкретных вариантах осуществления информация, указывающая распознавание, относящееся к первому вводу, содержит одну из информации, указывающей замкнутые области на основе контуров выбранного множества объектов или каждого объекта, информации на основе вырезанного изображения на основе контуров выбранного множества объектов или каждого объекта и множественный экран на основе вырезанного изображения.

В конкретных вариантах осуществления процессор отображает информацию, указывающую распознавание, относящееся ко второму вводу на устройстве на сенсорном экране.

В конкретных вариантах осуществления процессор выполняет поиск информации в отношении по меньшей мере одного из блока хранения и по меньшей мере одного внешнего устройства, соединенного с устройством.

В конкретных вариантах осуществления найденная информация содержит по меньшей мере одну из информации на основе изображения и информации на основе текста.

Другой аспект изобретения обеспечивает устройство, включающее в себя сенсорный экран для отображения изображения и для приема ввода пользователя на основе отображаемого изображения, процессор для обеспечения пользовательского интерфейса на основе сенсорного экрана и блок хранения для хранения по меньшей мере одной программы, сконфигурированной для исполнения процессором, и информации, которая может быть доступной для поиска на основе изображения, причем программа включает в себя команды для распознавания первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, для распознавания второго ввода, указывающего поисковое отношение между выбранным множеством объектов, для поиска информации, поиск которой осуществляется на основе первого ввода и второго ввода, и для вывода найденной информация на сенсорном экране. Конкретные варианты осуществления этого аспекта могут быть выполнены с возможностью осуществления любого из способов, осуществляющих изобретение и описанных в этом техническом описании.

Другой аспект изобретения обеспечивает способ обеспечения услуги на основе отображаемого изображения, причем способ включает в себя распознавание первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, распознавание второго ввода, указывающего отношение между выбранным множеством объектов, и отображение по меньшей мере одной единицы услуги, обеспеченной на основе первого ввода и второго ввода, и исполнение услуги согласно единице услуги, выбранной на основе отображения по меньшей мере одной единицы услуги.

В конкретных вариантах осуществления отношение между выбранным множеством объектов содержит одно из отношения одного и того же слоя, указывающего, что множество объектов имеет один и тот же уровень, и отношения верхнего и нижнего слоя, указывающего, что множество объектов имеет верхний и нижний уровень.

В конкретных вариантах осуществления отображение по меньшей мере одной единицы услуги содержит: когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, отображаемая по меньшей мере одна единица услуги содержит единицы услуги, обеспеченные каждому из выбранного множества объектов; и когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, отображаемая по меньшей мере одна единица услуги содержит единицы услуги, обеспеченные согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В конкретных вариантах осуществления первый ввод содержит по меньшей мере один из жеста на основе прикосновения, указывающего долгое прикосновение к выбранному множеству объектов или каждому объекту, и жеста на основе прикосновения, указывающего замкнутую область на выбранном множестве объектов или каждом объекте.

Другой аспект изобретения обеспечивает компьютерно-читаемый носитель записи, хранящий одну или несколько программ, включающих в себя командный язык для исполнения способа поиска информации на основе изображения, отображаемого на устройстве, причем способ поиска информации на основе изображения, отображаемого на устройстве, выполняется тем же самым образом, что и вышеописанный способ поиска информации на основе изображения, отображаемого на устройстве.

Другой аспект изобретения обеспечивает компьютерно-читаемый носитель записи, хранящий одну или несколько программ, включающих в себя командный язык для исполнения способа обеспечения услуги на основе отображаемого изображения, причем способ обеспечения услуги на основе отображаемого изображения выполняется тем же самым образом, что и вышеописанный способ обеспечения услуги на основе отображаемого изображения.

Другой аспект изобретения обеспечивает устройство для выполнения способа поиска информации, причем устройство включает в себя панель отображения для отображения изображения, включающего в себя один или несколько объектов, на ее экране, и процессор, сконфигурированный для управления панелью отображения для приема выбора объектов с изображения на панели отображения в качестве первого ввода, для приема перемещения по меньшей мере одной позиции выбранных объектов относительно другого одного из выбранных объектов в качестве второго ввода и для отображения одного или нескольких изображений, поиск которых осуществляется согласно первому вводу и второму вводу.

Панель отображения может различным образом отображать выбранные объекты и невыбранные объекты согласно существованию ввода пользователя на ней.

Панель отображения может отображать по меньшей мере одну позицию выбранных объектов в другой позиции.

Экран панели отображения может включать в себя первый экран для отображения изображения, включающего в себя объекты, второй экран для отображения выбора объектов, третий экран для отображения указания перемещения и четвертый экран для отображения одного или нескольких изображений, для которых осуществляется поиск.

Панель отображения может отображать второй экран и третий экран согласно взаимодействию пользователя с панелью отображения. Панель отображения может отображать первый экран и четвертый экран согласно операциям процессора без взаимодействия пользователя с панелью отображения.

Второй экран может включать в себя первый экран.

Второй экран может отличаться от первого экрана.

Третий экран может включать в себя первый экран и второй экран.

Третий экран может отличаться от первого экрана и второго экрана.

Другой аспект изобретения обеспечивает способ поиска информации на основе отображаемого изображения, причем способ включает в себя отображение изображения, включающего в себя один или несколько объектов, на экране панели отображения, прием выбора объектов с изображения на панели отображения в качестве первого ввода, прием перемещения по меньшей мере одной позиции выбранных объектов относительно другого одного из выбранных объектов в качестве второго ввода и отображение одного или нескольких изображений, поиск которых осуществляется согласно первому вводу и второму вводу.

Вариант осуществления изобретения

Поскольку настоящее изобретение обеспечивает возможность для различных изменений и множества вариантов осуществления, конкретные варианты осуществления будут проиллюстрированы на чертежах и описаны подробно в текстовом описании. Однако это не предназначено для ограничения настоящей общей идеи изобретения конкретными вариантами применения на практике, и следует понимать, что все изменения, эквиваленты и замены, которые не выходят за рамки сущности и технического объема настоящей общей идеи изобретения, охватываются настоящей общей идеей изобретения. В описании настоящей общей идеи изобретения конкретные подробные объяснения родственной области техники опускаются, когда считается, что они могут излишне затемнить суть общей идеи изобретения.

Ссылка теперь будет сделана подробно на варианты осуществления настоящей общей идеи изобретения, примеры которых иллюстрируются на сопроводительных чертежах, причем подобные ссылочные позиции везде ссылаются на подобные элементы. Варианты осуществления описаны ниже для того, чтобы объяснить настоящую общую идея изобретения, при этом ссылаясь на чертежи.

Такие термины, как "первый" и "второй", используются здесь исключительно для описания множества различных составляющих элементов, но составляющие элементы не ограничиваются этими терминами. Термины используются только в целях различения одного составляющего элемента от другого составляющего элемента.

Большинство терминов, используемых здесь, является общими терминами, которые широко используются в области техники, к которой настоящая общая идея изобретения принадлежит. Однако некоторые из терминов, используемых здесь, могут создаваться для отражения намерений технических специалистов в данной области техники, прецедентов или новых технологий. Кроме того, некоторые из терминов, используемых здесь, могут быть произвольно выбраны настоящим лицом, подающим заявку. В этом случае эти термины подробно определяются ниже. Соответственно, конкретные термины, используемые здесь, должны пониматься на основе их уникальных значений и полного контекста настоящей общей идеи изобретения.

Используемые здесь формы единственного числа подразумеваются как включающие в себя также и формы множественного числа, если только контекст явным образом не указывает другое. Следует дополнительно понимать, что термины "содержит" или "содержащий", когда используются в этом техническом описании, указывают наличие описанных признаков, целых чисел, этапов, операций, элементов, компонентов и/или их групп, но не препятствуют наличию или добавлению одного или нескольких других признаков, целых чисел, этапов, операций, элементов, компонентов и/или их групп.

На протяжении этого технического описания термин "ввод" может быть использован для ссылок на пользовательский ввод, который является вводом на основе прикосновения. Ввод на основе прикосновения может включать в себя запрос пользователя, выбор пользователя (например, выбор множества объектов на изображении) или команду пользователя (например, команду для установления поискового отношения между множеством выбранных объектов), но не ограничивается этим. Ввод на основе прикосновения может зависеть от пользовательского жеста на основе прикосновения. Пользовательский жест на основе прикосновения может включать в себя, например, касание (или прикосновение), долгое касание (или долгое прикосновение), прикосновение и удерживание, прикосновение и перетаскивание, двойное касание, перетаскивание, прокрутку, щелчок, перетаскивание и отпускание, сметание и т. п., но не ограничивается этим.

Ввод не ограничивается вышеописанными пользовательскими жестами на основе прикосновения. Например, ввод может быть определен как ввод на основе движения или ввод на основе вида.

Ввод на основе движения может быть основан на пользовательском жесте на основе движения устройства (например, встряхивания устройства, удара по устройству, и т.д.), выполняемого пользователем. Например, поисковое отношение между выбранными объектами, которое будет описано в вариантах осуществления позже, может быть установлено как отношение верхнего и нижнего слоя или отношение одного и того же слоя согласно схеме или направлению встряхивания устройства. Схема или направление встряхивания устройства, используемые для установления поискового отношение между выбранными объектами в качестве отношения верхнего и нижнего слоя или отношения одного и того же слоя, могут быть установлены заранее. Например, в случае, когда устройство встряхивается вверх и вниз, ввод на основе движения определяется заранее таким образом, что поисковое отношение между выбранными объектами может быть установлено как отношение верхнего и нижнего слоя. Отношение верхнего и нижнего слоя между объектами может называться отношением слоев "родитель-потомок" между объектами.

Ввод на основе вида может основываться на пользовательском жесте, распознанном посредством анализа входного изображения, полученного посредством камеры без контактирования с устройством. Например, поисковое отношение между выбранными объектами, которые будут описаны в вариантах осуществления далее, может быть установлено как независимое отношение или зависимое отношение посредством анализа входного изображения, полученного посредством камеры, причем ввод пользователя включает в себя пользовательский пространственный жест (например, пространственный жест с пальцами вместе), такой как пользовательский жест на основе прикосновения. Пользовательский пространственный жест, используемый для установления поискового отношения между выбранными объектами в качестве независимого отношения или зависимого отношения, может быть установлен заранее.

Настоящая общая идея изобретения будет описана далее более полно со ссылками на сопроводительные чертежи, на которых иллюстрируются примерные варианты осуществления общей идеи изобретения.

Используемый здесь термин "и/или" включает в себя любые и все комбинации одного или нескольких из ассоциированных перечисленных элементов. Такие выражения, как "по меньшей мере один из", когда предшествуют списку элементов, модифицируют весь список элементов и не модифицируют отдельные элементы из списка.

Фиг. 1а изображает структурную схему, иллюстрирующую устройство 100 согласно одному варианту осуществления настоящей общей идеи изобретения. Примеры устройства 100 с Фиг. 1а могут включать в себя интеллектуальный телефон, интеллектуальный телевизор, персональный компьютер (PC), настольный компьютер, интеллектуальную доску, планшетный PC, мобильное устройство, карманное устройство или карманный компьютер, мультимедийный проигрыватель, терминал электронной книги, "электронный помощник" (PDA), цифровую камеру с возможностью введения ввода пользователя на основе прикосновения, устройство цифровой бытовой электроники (CE) (например, устройство, имеющее функцию отображения изображения и введения пользовательского жеста на основе прикосновения) и т.д., но не ограничиваются этим.

Устройство 100 включает в себя блок 101 ввода информации, считывающий блок 102, сенсорный экран 103, камеру 104, блок 105 аудиоввода, блок 106 аудиовывода, блок 107 хранения, блок 108 беспроводной связи, блок 109 проводной связи, процессор 110 и блок 111 мощности. Однако строение устройства 100 не ограничивается иллюстрируемым на Фиг. 1A. То есть устройство 100 может включать в себя больше или меньше элементов, чем количество элементов с Фиг. 1, согласно осуществлению или предпочтению пользователя.

Блок 101 ввода информации может принимать входные данные для управления операцией устройства 100 и информацией, обеспечивающей возможность запрашивать исполнение способа поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения, но не ограничивается этим. Блок 101 ввода информации может включать в себя клавиатуру, купольную клавиатуру, толчковое колесо, толчковый переключатель, аппаратную кнопку, горячую клавишу, сенсорную панель и т.д., но не ограничивается этим.

Считывающий блок 102 может обнаруживать текущее состояние устройства 100, такое как местоположение устройства 100, то, есть ли контакт пользователя с устройством 100, перемещение устройства 100, направление устройства 100, ускорение или замедление устройства 100 и т.д., и генерировать считанный сигнал для управления операцией устройства 100. Считывающий блок 102 может включать в себя датчик близости и датчик движения. Считывающий блок 102 может генерировать сигнал, который распознает пользовательский жест на основе датчика.

Датчик близости является датчиком для обнаружения того, приближается ли объект к ранее установленной поверхности обнаружения, или того, присутствует ли объект поблизости, посредством силы электромагнитного поля или инфракрасного луча без действительного физического прикосновения. Примеры датчика близости включают в себя прозрачный фотоэлектрический датчик, фотоэлектрический датчик прямого отражения, фотоэлектрический датчик зеркального отражения, фотоэлектрический датчик высокочастотных колебаний, емкостный фотоэлектрический датчик, магнитный фотоэлектрический датчик, инфракрасный фотоэлектрический датчик и т.д.

Сенсорный экран 103 может быть сконфигурирован как резистивный (декомпрессионный) сенсорный экран или емкостный сенсорный экран, но не ограничивается этим. Сенсорный экран 103 может включать в себя пользовательский запрос, пользовательский выбор или команду пользователя, которая зависит от вышеописанного пользовательского жеста на основе прикосновения. Пользовательский жест на основе прикосновения может быть определен как различные комбинации частоты прикосновений, схемы прикосновений, зоны прикосновений и интенсивности прикосновений, но не ограничивается этим. Сенсорный экран 103 может включать в себя различные датчики для обнаружения прикосновения или прикосновения близости сенсорного экрана 103. Датчики, включенные в датчик 103 касания, могут генерировать сигналы, которые обнаруживают вышеописанные пользовательские жесты на основе прикосновения или схемы. Датчик близости, используемый с сенсорным экраном 103, может быть тем же самым, что и датчик близости, включенный в считывающий блок 102.

Пример датчика для обнаружения прикосновения сенсорного экрана 103 может включать в себя тактильный датчик. Тактильный датчик может обнаруживать различные типы информации, такие как шероховатость поверхности прикосновения, твердость объекта прикосновения, температура в точке прикосновения и т.д. Датчик близости является датчиком для обнаружения того, приблизился ли объект к ранее установленной обнаруживающей поверхности или находится ли объект поблизости, посредством силы электромагнитного поля или инфракрасного луча без действительного физического прикосновения. Примеры датчика близости включают в себя прозрачный фотоэлектрический датчик, фотоэлектрический датчик прямого отражения, фотоэлектрический датчик зеркального отражения, фотоэлектрический датчик высокочастотных колебаний, емкостный фотоэлектрический датчик, магнитный фотоэлектрический датчик, инфракрасный фотоэлектрический датчик и т.д.

Прикосновение к сенсорному экрану 103 может быть прикосновением к сенсорной панели указателем. Прикосновением близости сенсорного экрана 103 может быть перемещение указателя, то есть не действительное прикосновение к сенсорной панели, а приближение к сенсорной панели в диапазоне предварительно определенного расстояния. Указателем является инструмент, обеспечивающий возможность осуществить прикосновение или прикосновение близости к конкретной части сенсорного экрана 103. Примеры указателя могут включать в себя стилусное перо, палец пользователя и т.д., но не ограничиваются этим.

Сенсорный экран 103 отображает информацию, обработанную устройством 100. Например, сенсорный экран 103 может отображать пользовательские жесты или схемы прикосновений, обнаруженные посредством датчиков, включенных в сенсорный экран 103, управлять данными или входной пользовательской информацией, вводимой через блок 101 ввода информации, или экран, отвечающий на сигнал, обнаруженный посредством считывающего блока 102.

Камера 104 обрабатывает кадр изображения, такой как неподвижное изображение или движущееся изображение, полученный датчиком изображений (или фотодатчиком) в режиме вызова изображения или фотографирующем режиме. Обработанный кадр изображения может отображаться на сенсорном экране 103. Соответственно, способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения может выполняться на основе кадра изображения, включенного в неподвижное изображение или движущееся изображение, полученное камерой 104.

Кадр изображения, обработанный камерой 104, может сохраняться в блоке 107 хранения или передаваться наружу от него посредством блока 108 беспроводной связи или блока 109 проводной связи. Кадром изображения камеры 104 может быть изображение, используемое в процессоре 110 для выполнения способа поиска информации на основе изображения. Количеством камер 104 может быть две или более согласно строению устройства 100. Камера 104 может быть использована в качестве устройства ввода для распознавания пользовательского пространственного жеста.

Блок 105 аудиоввода может принимать ввод внешнего звукового сигнала в режиме вызова, записывающем режиме или режиме распознавания голоса, преобразовывать звуковой сигнал в электрические голосовые данные и передавать электрические голосовые данные процессору 110. Блок 105 аудиоввода может быть сконфигурирован как, например, микрофон. Блок 105 аудиоввода может быть сконфигурирован с возможностью включать в себя различные алгоритмы удаления шума для удаления шума, генерируемого в течение процесса для приема ввода внешнего звукового сигнала.

Звуковой сигнал, введенный посредством блока 105 аудиоввода, может включать в себя входную пользовательскую информацию, обеспечивающую возможность запрашивать исполнение способа поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения. В случае, когда звуковой сигнал является входной пользовательской информацией на естественном языке, звуковой сигнал может называться пользовательским вводом на основе распознавания голоса. Внешний звуковой сигнал, введенный через блок 105 аудиоввода, может сохраняться в блоке 107 хранения посредством процессора 110 или передаваться наружу от него посредством процессора 110 и блока 108 беспроводной связи или посредством процессора 110 и блока 109 проводной связи.

Блок 106 аудиовывода выводит звуковой сигнал или аудиосигнал, который принимается извне него или считывает из блока 107 хранения в режиме вызова или режиме воспроизведения аудио. Блок 106 аудиовывода может быть сконфигурирован как динамик. Если аудиосигнал включен в воспроизводимое содержимое, блок 106 аудиовывода выводит аудиосигнал, включенный в воспроизводимое содержимое. Блок 105 аудиоввода и блок 106 аудиовывода могут быть неотъемлемым образом сформированы внутри единого блока, например гарнитуры.

Блок 107 хранения может включать в себя по меньшей мере одну программу и/или набор команд и ресурс, которые конфигурируются для исполнения в процессоре 110, который будет описан позднее. По меньшей мере одна программа включает в себя по меньшей мере одну программу для исполнения способа поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения, программу операционной системы устройства 100, прикладную программу, относящуюся к различным функциям (или услугам), выполняемым устройством 100, и программу для приведения в действие аппаратных компонентов, включенных в устройство 100, но не ограничивается этим.

Ресурс может включать в себя информацию, которая доступна для поиска на основе первого ввода и второго ввода. Доступная для поиска информация может включать в себя по меньшей мере одну из информации на основе изображения и информации на основе текста. Например, доступная для поиска информация может включать в себя одно или несколько изображений или текстов, включающих в себя все из одного или нескольких из выбранных объектов, причем изображения или тексты включают в себя по меньшей мере один из множества выбранных объектов и текстовую информацию, касающуюся единицы поиска, которая может быть выбрана согласно второму вводу, но не ограничиваются этим.

Текстовая информация, касающаяся единицы поиска, которая может быть выбрана, определяется согласно первому вводу и второму вводу. Пример текстовой информации, касающейся единицы поиска, определенной согласно первому вводу и второму вводу, будет описана более подробно со ссылками на примеры экрана, которые будут описаны позднее.

Ресурс может также включать в себя информацию пользователя устройства 100, информацию, необходимую для оперирования прикладной программой, установленной в устройстве 100, и информацию, необходимую для исполнения программы для приведения в действие вышеописанных аппаратных компонентов, но не ограничивается этим.

Блок 107 хранения может включать в себя по меньшей мере один носитель данных из флэш-памяти, памяти типа жесткого диска, микропамяти типа мультимедийной карты, памяти типа карты (например, SD-памяти, XD-памяти или подобного), оперативной памяти (RAM), статической RAM (SRAM), постоянной памяти (ROM), электрической стираемой программируемой постоянной памяти (EEPROM), программируемой ROM (PROM), магнитной памяти и оптического диска. Однако настоящая общая идея изобретения не ограничивается этим. Блок 107 хранения может включать в себя блок хранения, например энергозависимый блок памяти или энергонезависимый блок памяти.

По меньшей мере одна программа и/или набор команд, которые сохраняются в блоке 107 хранения, могут быть классифицированы как множество модулей согласно соответствующим функциям.

Фиг. 1b изображает пример программ и/или наборов команд, которые хранятся в блоке 107 хранения и классифицируются согласно модулям. Со ссылкой на Фиг. 1b, блок 107 хранения может включать в себя операционную систему 107-1, модуль 107-2 беспроводной связи, модуль 107-3 проводной связи, графический модуль 107-4, модуль 107-5 глобальной системы позиционирования (GPS), модуль 107-6 пользовательского интерфейса (UI), считывающий модуль 107-7, модуль 107-8 контакта и движения, модуль 107-9 питания и модуль 107-10 приложения, но не ограничивается этим.

Модуль 107-10 приложения включает в себя модуль 107-11 воспроизведения изображения, модуль 107-12 поиска информации и модуль 107-13 камеры, но не ограничивается этим. Например, модуль 107-10 приложения может включать в себя различные модули, такие как модуль электронной почты, модуль услуг социальных сетей (SNS), модуль видеоконференций, модуль управления изображениями, модуль обозревания, модуль календаря, модуль виджетов, модуль поиска, модуль подготовки документов Word и т.д.

Операционная система 107-1 управляет и руководит общей функцией устройства 100 и включает в себя программный компонент, чтобы обеспечить возможность связи между аппаратными и программными компонентами, включенными в устройство 100.

Модуль 107-2 беспроводной связи может включать в себя программный компонент, чтобы обеспечить возможность связи с по меньшей мере одним внешним устройством (не изображено) посредством блока 108 беспроводной связи и чтобы обрабатывать данные, принимаемые от и передаваемые к по меньшей мере одному внешнему устройству посредством блока 108 беспроводной связи. По меньшей мере одно внешнее устройство может включать в себя по меньшей мере одно из облачного сервера и устройства, близкого или подключаемого проводным или беспроводным образом к устройству 100.

Модуль 107-2 беспроводной связи согласно одному варианту осуществления настоящей общей идеи изобретения может запрашивать поиск информации от внешнего устройства при поиске информации и принимать найденную информацию от внешнего устройства.

Модуль 107-3 проводной связи включает в себя программный компонент, чтобы обеспечить возможность связи между внешним устройством (не изображено), и блок 109 проводной связи, сконфигурированный как элемент, такой как универсальная последовательная шина (USB), и обрабатывающий данные, принимаемые от и передаваемые к по меньшей мере одному внешнему устройству посредством блока 108 беспроводной связи.

Графический модуль 107-4 включает в себя программный компонент для регулирования яркости и визуализации графики, отображаемой на сенсорном экране 103, и программный компонент для обеспечения виртуальной клавиатуры (или программной клавиатуры) для ввода текста в модуле 107-10 приложения.

GPS-модуль 107-5 включает в себя программный компонент для определения местоположения устройства 100 и для обеспечения определенного местоположения приложению, которое обеспечивает услугу на основе местоположения. UI-модуль 107-6 включает в себя программный компонент для обеспечения UI, необходимого для приложения, которое обеспечивает UI-информацию на основе сенсорного экрана 103.

Считывающий модуль 107-7 включает в себя программный компонент для определения считанной информации считывающего блока 102 в качестве считанной информации на основе считывающего блока и для обеспечения услуги на основе определенной считанной информации модулю 107-10 приложения. Модуль 107-8 контакта и движения включает в себя программный компонент для обнаружения контакта прикосновения к сенсорному экрану 103 в качестве контакта прикосновения на основе сенсорного экрана для отслеживания движения на основе контакта и для обеспечения отслеженного движения модулю 107-10 приложения, требующему отслеженное движение.

Модуль 107-9 питания включает в себя программный компонент для соединения с операционной системой 107-1, для управления источником питания для аппаратных компонентов, включенных в устройство 100, и для управления спящим режимом в отношении мощности, обеспечиваемой сенсорному экрану 103.

Функции модулей, включаемых в модуль 107-10 приложения, могут быть интуитивно поняты пользователем по их названиям, и, таким образом, только модуль 107-10 приложения, относящегося к варианту осуществления настоящей общей идеи изобретения, далее будет описан.

Например, когда модуль 107-11 воспроизведения изображения исполняется для отображения изображения (или одиночного изображения) на сенсорном экране 103, модуль 107-12 поиска информации исполняется для выполнения услуги поиска информации на основе отображаемого изображения. После того как услуга поиска информации на основе отображаемого изображения выполняется, если вышеописанный первый и второй выводы распознаются согласно информации, обнаруженной модулем 107-8 контакта и движения и/или считывающим модулем 107-7, поиск информации осуществляется из по меньшей мере одного из по меньшей мере одного внешнего устройства (не изображено), подключенного через блок 107 хранения, блок 108 беспроводной связи и блок 109 проводной связи, на основе распознанных первого и второго вводов.

Если информация, поиск которой осуществляется, найдена, модуль 107-12 поиска информации выводит найденную информацию на сенсорный экран 103. UI-модуль 107-6 может отображать найденную информацию на сенсорном экране 103, и, когда первый и второй вводы распознаются, выводить распознанную получающуюся в результате информацию на сенсорном экране 103.

Термин "поиска", обработанный на основе первого и второго вводов, может называться взаимодействием между пользователем и устройством 100. То есть распознавание первого ввода может быть определено как взаимодействие между пользователем и устройством 100 в отношении выбора множества объектов, распознавание второго ввода может быть определено как взаимодействие между пользователем и устройством 100 в отношении поискового отношения между множеством объектов, и отображение найденной информации на сенсорном экране 103 может называться взаимодействием поиска. Например, устройство 100 может принимать ввод пользователя от сенсорного экрана 103 и распознавать принятый ввод пользователя как первый ввод, и затем устройство 100 может принимать другой ввод пользователя от сенсорного экрана 103, когда первый ввод распознается, и распознавать принятый другой ввод пользователя как второй ввод.

Возможно, что блок 107 хранения с Фиг. 1а не хранит модули, включаемые в модуль 107-10 приложения из программ и/или наборов команд с Фиг. 1b. Вместо этого блок 107 хранения может хранить только информацию местоположения, такую как унифицированный указатель ресурса (URL) модуля 107-10 приложения или информацию отображения, которая может указывать модуль 107-10 приложения. В случае, когда блок 107 хранения не хранит модули, включаемые в модуль 107-10 приложения, процессор 110 может осуществлять доступ к внешнему устройству через блок 108 беспроводной связи или блок 109 проводной связи и использовать программу и/или набор команд, которые соответствуют модулю приложения 107-10 и хранятся во внешнем устройстве.

В случае, когда блок 107 хранения хранит только информацию местоположения модуля 107-10 приложения или информацию отображения, которая может указывать модуль 107-10 приложения, процессор 110 может искать информацию, сохраненную во внешнем устройстве, посредством блока 108 беспроводной связи или блока 109 проводной связи посредством информации местоположения приложения, соответствующего пользовательскому сигналу выбора, или информации отображения, отображаемой на сенсорном экране 103 для указания модуля 107-10 приложения.

Блок 108 беспроводной связи может передавать и принимать данные к и от внешнего устройства по беспроводной сети, такой как беспроводной Интернет, беспроводной Интранет, беспроводная телефонная сеть, беспроводная локальная сеть (LAN), сеть Wi-Fi, сеть Wi-Fi Direct (WFD), сеть 3G, сеть проекта долгосрочного развития (LTE) 4G, сеть Bluetooth, сеть ассоциации передачи данных в инфракрасном диапазоне (IrDA), сеть радиочастотной идентификации (RFID), сверхширокополосная (UWB) сеть и сеть Zigbee.

Блок 108 беспроводной связи может включать в себя по меньшей мере один из модуля приема широкого вещания, модуля мобильной связи, модуля беспроводного Интернета, модуля проводного Интернета, модуля связи ближнего действия и модуля информации местоположения, но не ограничивается этим.

Блок 109 проводной связи может передавать и принимать данные к и от внешнего устройства через проводную сеть, такую как проводной Интернет. Блок 109 проводной связи может передавать и принимать данные с внешним устройством посредством интерфейса "подключи и работай", такого как UBS-порт (не изображен). Блок 109 проводной связи может не быть элементом устройства 100.

Блок 111 мощности обеспечивает мощность аппаратным компонентам, включенным в устройство 100. Блок 111 мощности включает в себя по меньшей мере один источник питания, такой как аккумулятор и источник питания переменного тока (AC). Устройство 100 может не включать в себя блок 111 мощности и может включать в себя блок соединения (не изображен), который имеет возможность подключения к внешнему блоку источника питания (не изображен).

Процессором 110 может называться один или несколько процессоров, которые управляют общей операцией устройства 100. Процессор 110 может в общем случае управлять блоком 101 ввода информации, считывающим блоком 012, сенсорным экраном 103, камерой 104, блоком 105 аудиоввода, блоком 106 аудиовывода, блоком 107 хранения, блоком 108 беспроводной связи, блоком 109 проводной связи и блоком 111 мощности посредством операционной системы 107-1 и модулей 107-2-107-13, которые хранятся в блоке 107 хранения. Таким образом, процессор 110 может называться средством управления, микропроцессором, процессором цифровых сигналов и т.д.

Процессор 110 может обеспечивать пользовательский интерфейс посредством операционной системы 107-1, UI-модуля 107-6, блока 101 ввода информации, считывающего блока 102, сенсорного экрана 103, камеры 104 и блока 105 аудиоввода.

Процессор 110 может исполнять по меньшей мере одну программу, относящуюся к способу поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения и выполнять способы, иллюстрируемые на блок-схемах с Фиг. 2, 10 и 14, которые будут описаны позже. Процессор 110 может исполнять программу путем считывания программы из блока 107 хранения или скачивания программы с внешнего устройства, подключенного через блок 108 беспроводной связи или блок 109 проводной связи. В этом отношении внешнее устройство может называться сервером обеспечения приложения или сервером рынка приложений. Внешнее устройство может включать в себя облачный сервер или устройство с возможностью связи, близкое к устройству 100. Внешнее устройство может быть другим устройством, подобным или аналогичным устройству 100. Процессор 110 может пониматься как включающий в себя блок функции интерфейса, осуществляющий интерфейс между различными аппаратными компонентами, включенными в устройство 100 и его процессор 110.

Фиг. 2 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения. Способ поиска информации на основе изображения с Фиг. 2 может выполняться процессором 110 с Фиг. 1a.

Со ссылкой на Фиг. 2, процессор 110 распознает первый ввод, указывающий выбор, относящийся к множеству объектов, включенных в изображение, отображаемое на сенсорном экране 103, на операции S201.

Фиг. 3 изображает примеры экрана для ввода первого ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения. Со ссылкой на Фиг. 3, экран 310 является примером, в котором первый ввод вводится путем прикосновения к множеству объектов 310a1 и 310a2, включенных в изображение 310a, отображаемое на сенсорном экране 103. Здесь прикосновение может называться долгим прикосновением в течение более долгого периода времени, чем опорный период времени. Соответственно, процессор 110 распознает выбор объектов 310a1 и 310a2, соответствующих точкам прикосновения на изображении 310a, отображаемом на экране 310. Точки прикосновения могут называться точками более долгого прикосновения, чем опорные точки прикосновения. Пользовательский жест на основе прикосновения, указывающий выбор множества объектов, не ограничивается вышеописанным долгим прикосновением, и выбор множества объектов 310a1 и 310a2 может не осуществляться параллельно. Также возможно, что объекты могут выбираться одновременно. Также возможно, что объекты могут выбираться независимо. Когда выбор осуществляется независимо, второй выбор второго объекта может быть осуществлен в течение опорного периода времени после первого выбора первого объекта. Также возможно, что объекты могут выбираться с различных изображений, отображаемых на соответствующем экране. Процессор 110 может распознавать выбор объектов в качестве первого ввода. На экране 310 первое прикосновение может быть использовано для выбора человека A для последующего поиска, и второе прикосновение может быть использовано для выбора человека B. Прикосновения могут осуществляться по существу одновременно с использованием двух пальцев одной и той же руки. Прикосновение для выбора каждого человека является прикосновением на части экрана, отображающего лицо этого человека в этом примере. Таким образом, ввод пользователя (прикосновения к двум "объектам") интерпретируется устройством как инструкция для выполнения поиска других единиц, включающих в себя элемент, соответствующий человеку A и/или человеку B. Дополнительный ввод может быть обеспечен пользователем для определения, осуществляется ли поиск тех единиц, которые соответствуют и человеку A, и человеку B (т.е. для A и B), или соответствуют по меньшей мере одному из A и B (т.е. A или B). Поиск может, в конкретных вариантах осуществления, осуществляться для единиц в форме исключительно изображений, но в альтернативных вариантах осуществления поиск может осуществляться для любого типа объекта, единицы данных и т.д., ассоциированных с или соответствующих A или B. Следует понимать, что устройство может задействовать программные средства обработки изображений, например программные средства распознавания лиц, для определения людей, выбранных для поиска, и таким образом генерировать соответствующие поисковые термины.

Со ссылкой на Фиг. 3, экран 320 является примером, в котором первый ввод вводится пользовательским жестом для установления круговой замкнутой области каждого из множества объектов 320a1 и 320a2 на изображении 320a, отображаемом на сенсорном экране 103. Пользовательский жест для установления круговой замкнутой области не ограничивается иллюстрируемым на экране 320. То есть пользовательский жест для установления круговой замкнутой области может включать в себя квадратный или треугольный пользовательский жест, который включает в себя объект, который должен быть выбран. Круговая замкнутая область не обязательно должна быть установлена так, чтобы соединить начальную точку и конечную точку, и может включать в себя пользовательский жест, указывающий соединение между начальной точкой и конечной точкой. Пользовательский жест может быть жестом для формирования линии, указывающей объект. Также возможно, что объекты могут выбираться одновременно. Также возможно, что объекты могут выбираться независимо. Когда выбор осуществляется независимо, второй выбор второго объекта может быть осуществлен в течение опорного периода времени после первого выбора первого объекта. Также возможно, что объекты могут выбираться с различных изображений, отображаемых на соответствующем экране. Процессор 110 может распознать выбор объектов, описанных выше или далее, в качестве первого ввода. Иными словами, каждый объект в этом примере выбирается путем выполнения обводящего или окружающего жеста на сенсорном экране, по меньшей мере частично вокруг части отображаемого изображения, отображающего объект. Пятно или отпечаток на одежде человека может быть выбрано (объект 320a1) посредством одного жеста, и чашка или напиток (320a2) может быть выбран посредством второго жеста, устройство может, например, быть выполнено с возможностью выбора поискового термина "пятно" соответствующего первому выбранному объекту, и поискового термина "чай или кофе" для второй единицы. Устройство может затем автоматически выполнять поиск на основе Интернета для единицы, относящейся к "пятну" и "чаю или кофе", и таким образом может представлять пользователю результаты, включающие в себя подсказки или советы о том, как удалить пятна чая или кофе с одежды. Имеет преимущества то, что поиск мог, таким образом, быть выполнен интуитивным образом путем простого прикосновения к частям отображаемого изображения, соответствующим, или относящимся к, поисковым терминам, которые пользователь может желать использовать. Никакой набор текста не был необходим.

Процессор 110 распознает второй ввод, указывающий поисковое отношение между множеством объектов, выбранных на основе изображения, отображаемого на сенсорном экране 103, на операции S202.

Фиг. 4 изображает примеры экрана введения второго ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящего изобретения. На Фиг. 4 второй ввод используется для установления поискового отношения между множеством объектов, выбранных при поиске информации, в качестве отношения одного и того же слоя.

Со ссылкой на Фиг. 4, экран 401 является примером второго ввода путем пользовательского жеста на основе прикосновения для сбора множества выбранных объектов так, чтобы собранные объекты были размещены в одном месте. То есть экран 401 изображает, что первый ввод (например, долгое прикосновение), указывающий выбор пяти объектов, включенных в одно изображение, вводится, и затем второй ввод вводится для установления поискового отношения между выбранными пятью объектами как отношение одного и того же слоя путем перетаскивания точки, в которой первый ввод вводится, в точку на отображаемом изображении. Иными словами, второй ввод может быть использован для определения, что каждому из множества выбранных объектов должен быть выдан тот же самый приоритет, вес, ранг и т.д., что и остальным, в последующем поиске. Таким образом, это перетаскивание вместе множества точек прикосновения может, в конкретных вариантах осуществления, быть использовано для указания общей важности или ранжирования соответствующих поисковых терминов в последующем поиске. В конкретных вариантах осуществления, после определения положения одного и того же уровня для множества выбранных объектов, последующий поиск может основываться на отношении И или отношении ИЛИ между соответствующими поисковыми терминами согласно предварительно определенной стратегии или настройке, или в качестве альтернативы пользователю может быть предложено обеспечить дополнительный ввод, указывающий, требуется ли стратегия И или же ИЛИ. В альтернативных вариантах осуществления жест перетаскивания вместе, описанный выше, может быть использован интуитивно для указания, что поиск должен быть основан на отношении И между выбранными объектами, т.е. это поиск единиц, соответствующих, или включающих в себя элементы, соответствующие, всем из выбранных объектов. Таким образом, жест перетаскивания вместе может быть использован для указания отношения одного и того же уровня и/или логического отношения, которое должно быть использовано между поисковыми терминами в поиске.

В этом отношении, хотя второй ввод может быть определен как непрерывное выполнение вышеописанного перетаскивания, при этом удерживая состояние прикосновения, после того, как первый ввод вводится, второй ввод может быть определен как прикосновение и перетаскивание, при котором прикасаются к точке, в которой первый ввод вводится, и перетаскивают точку в вышеописанную одну точку. В случае, когда к точке, в которой первый ввод вводится, осуществляется повторное прикосновение, ошибка между предыдущими координатами x и y и текущими координатами x и y в отношении точки прикосновения может возникать. Однако, если текущие координаты x и y находятся внутри области отображения того же самого объекта, вышеописанная ошибка может игнорироваться. Как видно по экрану 401, точка на экране 401 может быть определена как точка, в которой пять пальцев, соответствующих пяти объектам, могут встречаться вместе.

Со ссылкой на Фиг. 4, экран 402 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения множества выбранных объектов в местоположения помимо местоположений отображения множества объектов. То есть экран 402 изображает, что первый ввод, указывающий выбор пяти объектов, включенных в одно изображение, вводится, и затем поисковое отношение между пятью объектами, выбранными путем введения второго ввода для перетаскивания точки, в которой первый ввод вводится, ниже точки на предварительно определенное расстояние, устанавливается как отношение одного и того же слоя.

Что касается экрана 402 с Фиг. 4, описанного в отношении экрана 401, хотя второй ввод может быть определен как непрерывное выполнение вышеописанной операции перетаскивания при удержании состояния прикосновения после того, как первый ввод вводится, второй ввод может быть определен как прикосновение и перетаскивание, которое задействует прикосновение к точке, в которой первый ввод вводится, и перетаскивание точки вниз на предварительно определенное расстояние от точки. Этот жест совместного перетаскивания, без перетаскивания вместе, может снова быть интерпретирован, в конкретных вариантах осуществления, как указание, что выбранным объектам должно быть выдано одно и то же ранжирование/вес в поиске. Дополнительно, или в качестве альтернативы, совместное перетаскивание, без перетаскивания вместе, может быть использовано для указания, что поиск должен использовать стратегию ИЛИ, т.е. поиск предназначен для единицы, соответствующей, или включающей в себя элемент, соответствующий, по меньшей мере одному из выбранных объектов.

Со ссылкой на Фиг. 4, экран 403 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения точки прикосновения путем перемещения множества выбранных объектов в местоположения помимо местоположений отображения множества объектов, как описано в отношении экрана 402. Что касается экрана 403, второй ввод вводится путем перетаскивания точки, в которой первый ввод вводится, вверх на предварительно определенное расстояние от точки. Снова это совместное перетаскивание, без перетаскивания вместе, может быть использовано для указания отношения одного и того же уровня и/или того, что поиск должен быть основан на ИЛИ-комбинации поисковых терминов.

Со ссылкой на Фиг. 4, экран 404 является примером второго ввода путем пользовательского жеста на основе прикосновения для сбора выбранных двух объектов так, чтобы собранные объекты были размещены в одной точке. Одна точка на экране 404 может быть определена как точка, в которой пальцы, которые выбирают два объекта, встречаются вместе, или как точка, в которой объекты располагаются с наложением. Второй ввод может не быть таким вводом, при котором объекты действительно располагаются с наложением, но второй ввод может быть пользовательским жестом, подразумевающим наложение объектов. Этот жест перетаскивания вместе может, в конкретных вариантах осуществления, быть использован для указания ранжирования одного и того же уровня соответственных поисковых терминов и/или того, что И-комбинация поисковых терминов должна быть использована.

Со ссылкой на Фиг. 4, экран 405 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения точки прикосновения внутрь путем перемещения двух выбранных объектов от точки, в которой первый ввод вводится. Расстояние перемещения внутрь может быть установлено внутри предварительно определенного расстояния, описанного со ссылками на экраны 402 и 403.

Со ссылкой на Фиг. 4, экран 406 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения точки прикосновения наружу в диапазоне предварительно определенной длины путем перемещения выбранных двух объектов от точки, в которой первый ввод вводится. Жесты, иллюстрируемые на экранах 405 и 406 (одновременное перетаскивание, но не достаточно далеко, чтобы свести объекты вместе), могут, в конкретных вариантах осуществления, быть использованы для определения отношения одного и того же уровня и/или для определения, что ИЛИ-комбинация ключевых слов (или других единиц или терминов поиска) должна быть использована.

Фиг. 4 изображает перемещение объектов для введения второго ввода, и Фиг. 5, которая будет объяснена позже, может задействовать перемещение местоположений отображения множества объектов, отображаемых на изображении. Однако вышеописанное перемещение может не задействовать действительного перемещения местоположения отображения объектов, но может задействовать перемещение точки прикосновения на изображении.

Фиг. 5 изображает примеры экрана введения второго ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения. Второй ввод с Фиг. 5 обеспечивает возможность для установления поискового отношения между множеством объектов, выбранных при поиске информации, в качестве отношения верхнего и нижнего слоя.

Экран 501 с Фиг. 5 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения четырех из пяти выбранных объектов в местоположение отображения одного из пяти выбранных объектов. В этом случае один выбранный объект может зависеть от других четырех выбранных объектов. Этот жест может, таким образом, быть использован для указания, что неперемещаемый объект имеет другое ранжирование (например, более высокий вес или важность) в последующем поиске по сравнению с другими "перемещаемыми" объектами.

Экран 502 с Фиг. 5 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения из местоположения отображения одного из двух выбранных объектов в местоположение отображения другого выбранного объекта. В этом случае другой выбранный объект может зависеть от одного выбранного объекта. Неперемещаемый объект может быть наделен первым приоритетом и перемещаемый объект - вторым, например более низким, приоритетом.

В операции S203 с Фиг. 2 процессор 110 распознает первый ввод и второй ввод на основе изображения, отображаемого на сенсорном экране 103, и выполняет поиск информации на основе первого ввода и второго ввода. То есть процессор 110 обнаруживает объект, выбранный согласно распознанному первому вводу. Выбранный объект обнаруживается путем обнаружения контура объекта на основе точки прикосновения, но не ограничивается этим. Если выбранный объект обнаруживается, процессор 110 определяет поисковое уравнение согласно поисковому отношению между множеством объектов, выбранных согласно второму вводу.

Если выбранные объекты имеют отношение одного и того же слоя, поиск информации, включающей в себя все из выбранных объектов, может осуществляться или поиск информации, включающей в себя по меньшей мере один из выбранных объектов, может осуществляться. Когда выбранные объекты имеют отношение одного и того же слоя, может быть ранее определено, осуществлять ли поиск информации, включающей в себя все из выбранных объектов, или же информации, включающей в себя по меньшей мере один из выбранных объектов.

Таким образом, когда ранее выбранные объекты имеют отношение одного и того же слоя, в случае, когда информация, включающая в себя все из выбранных объектов, определена как та, поиск которой должен быть осуществлен, процессор 110 выполняет поиск информации, включающей в себя все из выбранных объектов, из по меньшей мере одного из блока 107 хранения и вышеописанного внешнего устройства. Таким образом, отношение И между поисковыми терминами может быть предварительно установлено или предварительно определено в конкретных вариантах осуществления.

Когда ранее выбранные объекты имеют отношение одного и того же слоя, в случае, когда информация, включающая в себя по меньшей мере один из выбранных объектов, определена как та, поиск которой должен быть осуществлен, процессор 110 выполняет поиск информации, включающей в себя по меньшей мере один из выбранных объектов, из по меньшей мере одного из блока 107 хранения и вышеописанного внешнего устройства. Таким образом, поисковая стратегия ИЛИ может быть предварительно установлена или предварительно определена.

Когда ранее выбранные объекты имеют отношение одного и того же слоя, в случае, когда информация, включающая в себя все из выбранных объектов, и информация, включающая в себя по меньшей мере один из выбранных объектов, определяются для выборочного поиска, процессор 110 отображает информацию, соответствующую единице поиска информации (например, единице поиска информации, включающей в себя все из выбранных объектов или единице поиска информации, включающей в себя по меньшей мере один из выбранных объектов), на сенсорном экране 103 перед поиском информации. Таким образом, в конкретных вариантах осуществления ни стратегия И, ни стратегия ИЛИ не устанавливается; вместо этого пользователю предлагается осуществить ввод для определения, какая стратегия должна быть использована. Например, пользователю может быть представлен экран, требующий одиночного сенсорного ввода для выбора И или ИЛИ.

Если единица поиска информации, включающая в себя все из выбранных объектов, выбирается на основе информации единицы поиска информации, отображаемой на сенсорном экране 103, процессор 110 выполняет поиск информации, включающей в себя все из выбранных объектов. Однако, если единица поиска информации, включающая в себя по меньшей мере один из выбранных объектов, выбирается на основе информации, соответствующей единице поиска информации, отображаемой на сенсорном экране 103, процессор 110 выполняет поиск информации, включающей в себя по меньшей мере один из выбранных объектов.

Если поисковое отношение между выбранными объектами является отношением верхнего и нижнего слоя, процессор 110 определяет поисковое уравнение согласно отношениям верхнего и нижнего слоя между выбранными объектами и выполняет поиск информации.

Таким образом, как иллюстрируется на экране 610 с Фиг. 6, если выбранный объект является комбинацией, например, сумки 610a1 и лица 610a2 с изображения 610a, и второй ввод для перемещения точки прикосновения от сумки 610a1 к лицу 610a2 распознается, процессор 110 может устанавливать поисковое уравнение как "человек, несущий сумку". Таким образом, процессор 110 может осуществлять поиск информации, касающейся "произвольного человека, несущего ту же самую сумку, что и сумка, которую несет A", из по меньшей мере одного из блока 107 хранения и по меньшей мере одного внешнего устройства.

Как изображено на экране 620 с Фиг. 6, если выбранный объект является комбинацией сумки 610a1 и лица 610a2, и второй ввод для перемещения точки прикосновения от лица 610a2 к сумке 610a1 распознается, процессор 110 может устанавливать поисковое уравнение как "сумка, которая у A". Таким образом, процессор 110 выполняет поиск информации, касающейся "все сумки, которые есть у A", из по меньшей мере одного из блока 107 хранения и внешнего устройства.

Как изображено на экране 630 с Фиг. 6, если выбранный объект является комбинацией сумки 610a1, лица 610a2 и одежды 610a3, и второй ввод для перемещения точки прикосновения от одежды 610a3 к сумке 610a1 и другой второй ввод для перемещения точки прикосновения от сумки 610a1 к лицу 610a2 распознаются, процессор 110 может устанавливать поисковое уравнение как "сумка одежды" и "человек, несущий сумку". Таким образом, процессор 110 может искать информацию, включающую в себя "та же самая одежда и произвольная сумка", и информацию, включающую в себя "произвольный человек, имеющий ту же самую сумку", из по меньшей мере одного из блока 107 хранения и внешнего устройства.

Как изображено на экране 640 с Фиг. 6, если выбранный объект является комбинацией сумки 610a1, лица 610a2 и одежды 610a3, и второй ввод для перемещения точки прикосновения от одежды 610a3 к лицу 610a2 и другой второй ввод для перемещения точки прикосновения от сумки 610a1 к лицу 610a2 распознаются, процессор 110 может устанавливать поисковое уравнение как "человек в одежде" и "человек, несущий сумку". Таким образом, процессор 110 может искать информацию, включающую в себя "произвольный человек в той же самой одежде", и информацию, включающую в себя "произвольный человек, имеющий ту же самую сумку", из по меньшей мере одного из блока 107 хранения и внешнего устройства.

Экран 650 с Фиг. 6 изображает пример введения второго ввода, указывающего поисковое отношение между множеством выбранных объектов как отношение одного и того же слоя. Когда условие, что множество выбранных объектов имеет отношение одного и того же слоя, устанавливается в устройстве 100, в случае, когда поисковое уравнение определено как логическое "И", процессор 110 может искать информацию, включающую в себя и "ту же самую сумку", и "человека A" из по меньшей мере одного из блока 107 хранения и по меньшей мере одного внешнего устройства. В зависимости от программирования устройства, процессор может, в альтернативных вариантах осуществления, осуществлять поиск комбинации "сумки" и "человека A" в таких обстоятельствах.

Найденная информация может включать в себя по меньшей мере одну из информации на основе изображения и информации на основе текста. Пользователь может устанавливать, искать ли информацию из блока 107 хранения, внешнего устройства или же обоих из блока 107 хранения и внешнего устройства. Процессор 110 может отображать информацию диапазона поиска с возможностью выбора на сенсорном экране 103 таким образом, что пользователь может устанавливать вышеописанный диапазон поиска.

Процессор 110 отображает найденную информацию на сенсорном экране 103 на операции S204 с Фиг. 2. Найденная информация может отображаться так, чтобы накладываться или частично покрывать отображаемое изображение, или найденная информация может отображаться в отдельном от изображения месте на экране, на отдельной странице или во всплывающем окне на отображаемом изображении.

Фиг. 7-9 иллюстрируют примеры экрана отношений между вышеописанными первым вводом, вторым вводом и найденной информацией, когда поисковое отношение между множеством выбранных объектов является отношением одного и того же слоя.

Со ссылкой на Фиг. 7, экран 710 является примером введения первого ввода для выбора двух объектов 710a1 и 710a2, включенных в отображаемое изображение 710a, экран 720 является примером введения второго ввода на основе пользовательского жеста сбора местоположений отображения двух выбранных объектов 710a1 и 710a2 в одной точке после введения первого ввода, и экран 730 является примером отображения изображений 730a1, 730a2, 730a3 и 730a4, включающих в себя все выбранные объекты на независимой странице.

Со ссылкой на Фиг. 8, экран 810 является примером введения первого ввода для выбора двух объектов 810a1 и 810a2, включенных в отображаемое изображение 810a, экран 820 является примером введения второго ввода на основе пользовательского жеста для одновременного перемещения местоположений отображения двух выбранных объектов 810a1 и 810a2 в направлении вверх после введения первого ввода, и экран 830 является примером отображения изображений 830a1, 830a2, 830a3, 830a4, 830a5, 830a6 и 830a7, включающих в себя по меньшей мере один из выбранных объектов 810a1 и 810a2 на независимой странице. В этом примере первый ввод (одновременное прикосновение) осуществлен для выбора человека A и человека B для поиска. Второй жест (одновременное или совместное перетаскивание, но не перетаскивание вместе) был использован для указания как того, что два человека имеют один и тот же вес в поиске, так и того, что результаты поиска должны быть отображены на отдельном экране результатов поиска. В этом примере поисковая стратегия ИЛИ была ранее установлена или запрограммирована, так что после того, как первый и второй вводы были сделаны пользователем, экран 830 отображает множество изображений, найденных путем поиска, причем каждое изображение включает в себя по меньшей мере одного из человека A и человека B.

Со ссылкой на Фиг. 9, экран 910 является примером введения первого ввода для выбора двух объектов 910a1 и 910a2, включенных в отображаемое изображение 910a, экран 820 является примером введения второго ввода на основе пользовательского жеста параллельного перемещения местоположений отображения двух выбранных объектов 910a1 и 910a2 в направлении вниз после введения первого ввода, и экран 930 является примером отображения изображений 930a1, 930a2, 930a3, 930a4, 930a5, 930a6 и 930a7, включающих в себя по меньшей мере один из выбранных объектов 910a1 и 910a2, на независимой странице.

На основе описаний, обеспеченных со ссылками на Фиг. 7-9, согласно входной схеме второго ввода, указывающего, что все из выбранных объектов имеют отношение одного и того же слоя, поиск по меньшей мере одного изображения (или информации), включающего в себя все из множества выбранных объектов, или по меньшей мере одного изображения (или информации), включающего в себя по меньшей мере один из выбранных объектов, может осуществляться.

Фиг. 10 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения. Способ поиска информации на основе изображения с Фиг. 10 дополнительно включает в себя функцию отображения распознанной получающейся в результате информации на сенсорном экране 103 после распознавания первого ввода и отображения распознанной получающейся в результате информации на сенсорном экране 103 после распознавания второго ввода, по сравнению со способом поиска информации на основе изображения с Фиг. 2.

Таким образом, на операции S1001 процессор 110 распознает первый ввод, указывающий выбор, относящийся к множеству объектов, включенных в изображение, отображаемое на сенсорном экране, подобно операции 201 с Фиг. 2.

Таким образом, на операции S1002 процессор 110 отображает получающуюся в результате информацию, полученную путем распознавания первого ввода, на сенсорном экране 103. Получающаяся в результате информация может выводиться в форме замкнутой области в качестве области, включающей в себя контур объектов, обнаруженных согласно первому вводу.

Фиг. 11-13 иллюстрируют примеры экрана отображения получающейся в результате информации, полученной путем распознавания первого ввода с Фиг. 10 на сенсорном экране 103. То есть на Фиг. 11, получающаяся в результате информация, полученная путем распознавания множества объектов 1110a1 и 1110a2, выбранных с изображения 1110a согласно долгому прикосновению к выбранным объектам 1110a1 и 1110a2, отображается в квадратных замкнутых областях 1120b1 и 1120b2. Квадратные замкнутые области 1120b1 и 1120b2 могут генерироваться посредством способа обнаружения контура после того, как первый ввод распознается, и отображаться на сенсорном экране 103, как показано на экране 1120.

На Фиг. 12, если квадратные замкнутые области 1220b1 и 1220b2 генерируются путем обнаружения контура выбранных объектов 1210a1 и 1210a2 с изображения 1210a, генерируемые замкнутые области 1220b1 и 1220b2 вырезаются, и вырезанные области 1220b1 и 1220b2 отображаются в многоэкранной форме. Со ссылкой на Фиг. 12, размер отображения вырезанных областей 1220b1 и 1220b2 может быть тем же самым, что и исходный размер отображения. Однако две вырезанные области 1220b1 и 1220b2 могут полностью отображаться путем увеличения размера отображения или могут частично отображаться на экране 1220 путем уменьшения размера отображения. Размеры вырезанных областей 1220b1 и 1220b2 могут отличаться друг от друга согласно поисковому отношению между выбранными объектами.

На операции S1003 процессор 110 распознает второй ввод, указывающий поисковое отношение между множеством объектов, подобно операции S202 с Фиг. 2. Таким образом, на операции S1004 процессор 110 отображает получающуюся в результате информацию, полученную путем распознавания второго ввода на сенсорном экране 103.

Получающаяся в результате информация, полученная путем распознавания второго ввода, может отображаться на сенсорном экране 103 в виде стрелки, указывающей направление перемещения точки прикосновения, показанной для помощи в понимании на Фиг. 4-6, или может отображаться в многоэкранной форме на основе изображения.

Со ссылкой на Фиг. 13, объекты 1310a1 и 1310a2 независимо выбираются с изображения 1310a, отображаемого на сенсорном экране 103 (экраны 1310 и 1320). На экранах 1310 и 1320 результаты распознавания выбранных объектов 1310a1 и 1310a2 выбираются параллельно с отображением выбранных схем (окружностей) на сенсорном экране 103. Однако результаты распознавания выбранных объектов 1310a1 и 1310a2 могут не отображаться на сенсорном экране 103.

На экране 1330 с Фиг. 13, если второй ввод, указывающий поисковое отношение между выбранными объектами 1310a1 и 1310a2 вводится, процессор 110 может отображать множественный экран 1340a на основе изображений 1340a1, 1340a2, вырезанных из выбранных объектов 1310a1 и 1310a2, как иллюстрируется на экране 1340. Однако настоящая общая идея изобретения не ограничивается этим.

На операции S1005 процессор 110 выполняет поиск информации на основе первого ввода и второго ввода подобно операции S203 с Фиг. 2. На операции 1006 процессор 110 выводит найденную информацию на сенсорном экране 103 устройства 100 подобно операции S204 с Фиг. 2.

Способ поиска информации на основе изображения с Фиг. 10 может быть модифицирован для отображения только получающейся в результате информации, полученной путем распознавания первого ввода, или только получающейся в результате информации, полученной путем распознавания второго ввода на сенсорном экране 103.

Фиг. 14 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно другому варианту осуществления настоящей общей идеи изобретения. Способ поиска информации на основе изображения с Фиг. 14 дополнительно включает в себя функцию отображения по меньшей мере одной единицы поиска, определенной согласно первому вводу и второму вводу, и поиск информации на основе единицы поиска, выбранной из отображаемой единицы поиска, по сравнению со способом поиска информации на основе изображения с Фиг. 2. Таким образом, операции S1401, S1402, S1404 и S1405 с Фиг. 14 выполняются тем же самым образом, что и операции S201-S204 с Фиг. 2, и, таким образом, их подробные описания будут здесь опущены.

На операции 1403 процессор 110 отображает единицы поиска, определенные согласно первому вводу и второму вводу. Например, в случае, когда первый ввод и второй ввод вводятся, как показано на экране 610 с Фиг. 6, процессор 110 может искать информацию, касающуюся "произвольного человека, имеющего ту же самую сумку", посредством вышеописанного поискового уравнения и определять и отображать классифицированные единицы поиска на основе поискового уравнения. Например, процессор 110 может определять информацию области в качестве единицы поиска на основе вышеописанного поискового уравнения. То есть процессор 110 может определять и отображать "1. Сеул, 2. Бусан, 3. Кванджу, 4. Корея и 5. США" в качестве единиц поиска.

Фиг. 15 изображает примеры экрана для соответствия операции 1403 с Фиг. 14. То есть в случае, когда первый ввод выбора множества объектов 1510a1 и 1510a2 вводится, как иллюстрируется на изображении 1510a экрана 1510, и второй ввод установления поискового отношения между выбранными объектами 1520b1 и 1520b2 в качестве отношения одного и того же слоя вводится, как иллюстрируется на экране 1520 (например, пользовательский жест сбора выбранных объектов в одну точку), информация единицы поиска, например "Функция 1, Функция 2, Функция 3, Функция 4, Функция 5, Функция 6, Функция 7, Функция 8", может быть определена согласно первому вводу и второму вводу и отображена, как иллюстрируется на изображении 1530a экрана 1530.

Вышеописанная информация единицы поиска с Фиг. 15 может включать в себя, например, поиск информации услуги, используемой двумя выбранными людьми, поиск фотографий и перемещение изображений, включающих в себя двух людей, поиск фотографий и перемещение изображений, обычно рекомендуемых двумя людьми, поиск устройств, в последнее время используемых двумя людьми, поиск устройств, наиболее часто используемых двумя людьми, поиск устройств, обычно рекомендуемых двумя людьми, и т.д., но не ограничивается этим.

Когда информация единицы поиска отображается, как показано на экране 1530, если одна часть из информации единицы поиска выбирается, процессор 110 может искать информацию на основе выбранной информации единицы поиска.

Экран 1530 является примером отображения восьми частей информации единицы поиска, как иллюстрируется на экране 1610 с Фиг. 16. Однако, как иллюстрируется на экране 1620 и 1630 с Фиг. 16, одна или несколько частей информации поиска, например четыре части информации единицы поиска, могут отображаться как единицы поиска, обеспеченные согласно первому вводу и второму вводу. Однако настоящая общая идея изобретения не ограничивается этим. Количество обеспеченных частей информации единицы поиска может быть переменным или ранее установленным.

Фиг. 17 изображает структурную схему, иллюстрирующую устройство 1700 согласно одному варианту осуществления настоящей общей идеи изобретения. Устройство 1700 с Фиг. 17 может отличаться от устройства 100 с Фиг. 1.

Со ссылкой на Фиг. 17, устройство 1700 включает в себя блок 1710 ввода и вывода информации, блок 1720 связи, процессор 1730 и блок 1740 хранения, но настоящая общая идея изобретения не ограничивается этим. То есть устройство 1700 может включать в себя больше или меньше элементов, чем количество элементов с Фиг. 17, подобно устройству 100 с Фиг. 1, согласно осуществлению или предпочтению пользователя.

В случае, когда устройство 1700 включает в себя некоторое количество элементов, меньшее чем количество элементов с Фиг. 17, устройство 1700 может не включать в себя блок 1720 связи или блок 1740 хранения. В случае, когда устройство 1700 не включает в себя блок 1720 связи, поиск информации согласно способу поиска информации на основе изображения касается информации, сохраненной в блоке 1740 хранения, и информация, сохраненная в блоке 1740 хранения, вводится от блока 1710 ввода и вывода информации. В случае, когда устройство 1700 не включает в себя блок 1740 хранения, устройство 1700 выполняет поиск информации из вышеописанного внешнего устройства посредством блока 1720 связи.

Блок 1710 ввода и вывода информации принимает ввод пользователя и выводит выходную информацию устройства 1700. Например, ввод пользователя может включать в себя вышеописанный ввод на основе прикосновения, ввод на основе управления физической кнопкой, ввод на основе пользовательского жеста, ввод на основе распознавания голоса пользователя, ввод на основе распознавания лиц и ввод на основе удаленного средства управления (не изображено), но настоящая общая идея изобретения не ограничивается этим.

Блок 1710 ввода и вывода информации согласно одному варианту осуществления настоящего изобретения может принимать первый ввод и второй ввод, выводить получающуюся в результате информацию, полученную путем приема первого ввода и второго ввода, и выводить информацию, поиск которой осуществлен согласно первому вводу и второму вводу.

Блок 1710 ввода и вывода информации может включать в себя циферблат, переключатель-ползунок, джойстик, колесо для щелчков, сенсорную панель, сенсорный экран, микрофон, динамик, датчики, средство подключения, подсветку дисплея, клавиатуру, устройство отображения, колесо прокрутки и удаленный блок приема управляющего сигнала на основе беспроводной связи, но настоящая общая идея изобретения не ограничивается этим.

Блок 1720 связи может осуществлять связь с внешним устройством по сети. Блок 1720 связи может искать информацию, сохраненную во внешнем устройстве, и обеспечивать услугу связи, такую как услуга доставки сообщений, услуга сообщений, услуга электронной почты, услуга видеоконференции и услуга голосового вызова с внешним устройством по сети, но не ограничивается этим. Блок 1720 связи может быть сконфигурирован с возможностью включать в себя по меньшей мере один из блока 108 беспроводной связи и блока 109 проводной связи.

Процессор 1730 исполняет по меньшей мере одну программу для выполнения способа поиска информации на основе изображения согласно одному варианту осуществления настоящего изобретения, сохраненную в блоке 1740 хранения. То есть процессор 1730 исполняет программу, распознает прием первого ввода и второго ввода на основе изображения, отображаемого на блоке 1710 ввода и вывода информации, выполняет поиск информации в блоке 1740 хранения согласно результатам распознавания, и выводит найденную информацию к блоку 1710 ввода и вывода информации.

Блок 1740 хранения сохраняет вышеописанную по меньшей мере одну программу и по меньшей мере одно приложение связи для связи с устройством 1700, но не ограничивается этим. Блок 1740 хранения может включать в себя по меньшей мере один носитель данных, выбранный из группы, состоящей из флэш-памяти, памяти типа жесткого диска, микропамяти типа мультимедийной карты, памяти типа карты (например, SD-памяти, XD-памяти или подобного), ROM, EEPROM, PROM, магнитной памяти и оптического диска.

Процессор 1730 может выполнять операции на основе способов с Фиг. 2, 10 и 14 подобно процессору 110 с Фиг. 1a.

Фиг. 18 изображает структурную схему, иллюстрирующую сетевую структуру на основе устройств 100 и 1700 с Фиг. 1 и 17. Сетевая структура с Фиг. 18 включает в себя устройства 100 и 1700, множество внешних устройств 1820 и 1830 и сеть 1810.

Множество внешних устройств 1820 и 1830 может включать в себя по меньшей мере одно из сервера и устройств 100 и 1700. Множество внешних устройств 1820 и 1830 с Фиг. 18 включает в себя внешние устройства, упомянутые в вышеописанных вариантах осуществления. Таким образом, когда устройства 100 и 1700 ищут информацию, поиск информации, сохраненной во множестве внешних устройств 1820 и 1830, может осуществляться. Сеть 1810 может быть сконфигурирована как сеть, которая передает и принимает данные посредством по меньшей мере одного из блока 108 беспроводной связи и блока 109 проводной связи с Фиг. 1a.

Множество объектов, упомянутых в вышеописанном способе поиска информации на основе изображения, могут называться множественными объектами. Вышеописанный способ поиска информации на основе изображения может применяться к способу обеспечения услуги на основе изображения.

Фиг. 19 изображает блок-схему, иллюстрирующую способ обеспечения услуги согласно одному варианту осуществления настоящей общей идеи изобретения. Способ обеспечения услуги с Фиг. 19 может выполняться процессором 110 с Фиг. 1a или процессором 1730 с Фиг. 17. Однако в настоящем варианте осуществления способ обеспечения услуги выполняется процессором 110 для удобства описания.

На операции S190, процессор 110 распознает первый ввод, указывающий выбор, относящийся к множеству объектов, включенных в изображение, отображаемое на сенсорном экране 103. Изображение, отображаемое на сенсорном экране 103, может быть неподвижным изображением или фотографией, воспроизведенной в устройстве 100, или временно неподвижным изображением движущегося изображения или входного изображения, полученного камерой 104. Это определение, относящееся к изображению, отображаемому на сенсорном экране 103, может также применяться к вышеописанным вариантам осуществления.

На операции S1902 процессор 110 распознает второй ввод, указывающий отношение между выбранными объектами. Отношение между выбранными объектами включает в себя отношение одного и того же слоя и отношение верхнего и нижнего слоя, упомянутые в вышеописанных вариантах осуществления.

На операции S1903 процессор 110 определяет по меньшей мере одну единицу услуги, обеспеченную посредством первого ввода и второго ввода, и отображает единицу услуги на сенсорном экране 103. Единица услуги может отображаться, как иллюстрируется на экранах 1610, 1620 и 1630 с Фиг. 16.

Однако определенная единица услуги может не отображаться, как иллюстрируется на экранах 1610, 1620 и 1630 с Фиг. 16, и GUI-информация, включающая в себя облака (облако услуг), включающие в себя единственную единицу услуги, может быть обеспечена. Единица услуги может быть подобна единице услуги, описанной со ссылками на Фиг. 15, и может дополнительно включать в себя информацию наиболее часто используемого приложения, информацию приложения рекомендации и т.д. согласно приложению, обеспеченному устройством 100 или внешними устройствами 1820 и 1830, и выбор между выбранными объектами, но не ограничивается этим.

Таким образом, в случае, когда отношение между выбранными объектами является отношением одного и того же слоя, единица услуги может включать в себя единицы услуги, которые могут быть обеспечены для каждого из выбранных объектов, и, в случае, когда отношение между выбранными объектами является отношением верхнего и нижнего слоя, единица услуги может включать в себя единицы услуги, которые могут быть обеспечены согласно отношению верхнего и нижнего слоя между выбранными объектами, но не ограничивается этим.

На операции S1904 процессор 110 исполняет единицу услуги, выбранную из единицы услуги, отображаемой на сенсорном экране 103.

Способ поиска информации на основе изображения или способ обеспечения услуги согласно вариантам осуществления настоящего изобретения может также осуществляться в качестве компьютерно-читаемых кодов на компьютерно-читаемом носителе записи. Компьютерно-читаемым носителем может быть любое устройство записи с возможностью хранения данных, которые считываются компьютерной системой, например, постоянная память (ROM), оперативная память (RAM), ROM на компакт-диске (CD), магнитная лента, гибкий диск, оптическое устройство хранения данных и так далее. Однако настоящая общая идея изобретения не ограничивается этим. Компьютерно-читаемый носитель может быть распределен между компьютерными системами, которые взаимосоединены через сеть, и настоящее изобретение может храниться и осуществляться в качестве компьютерно-читаемого кода в распределенной системе.

Несмотря на то, что лишь несколько вариантов осуществления настоящей общей идеи изобретения было показано и описано, специалистам в данной области техники будет понятно, что изменения могут быть сделаны в этих вариантах осуществления без выхода за пределы принципов и сущности общей идеи изобретения, объем которой определен в пунктах прилагаемой формулы изобретения и их эквивалентах.

1. Способ поиска информации на основе изображения, отображаемого на устройстве, причем способ содержит этапы, на которых:

принимают, посредством процессора упомянутого устройства, первый ввод, указывающий выбор множества объектов, включенных в упомянутое изображение;

принимают, посредством упомянутого процессора, второй ввод, указывающий поисковое отношение между выбранным множеством объектов на основе каждого положения отображения выбранного множества объектов;

определяют, посредством упомянутого процессора, условие поиска для выполнения поиска информации на основе выбранного множества объектов и второго ввода;

ищут информацию на основе упомянутого условия поиска; и

выводят найденную информацию посредством упомянутого устройства.

2. Способ по п.1, в котором поисковое отношение между выбранным множеством объектов содержит одно из отношения одного и того же слоя, указывающего, что отношение между множеством объектов имеет один и тот же уровень при поиске информации, и отношения верхнего и нижнего слоев, указывающего, что отношение между множеством объектов имеет верхний и нижний уровни при поиске информации.

3. Способ по п.2, в котором, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, второй ввод содержит один из жеста на основе прикосновения, указывающего сбор выбранного множества объектов, и жеста на основе прикосновения, указывающего перемещение выбранного множества объектов в по меньшей мере одно местоположение помимо местоположений отображения выбранного множества объектов.

4. Способ по п.2, в котором, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, второй ввод содержит один из жеста на основе прикосновения, указывающего перемещение одного или нескольких выбранных объектов, исключая один объект из выбранного множества объектов, в местоположение отображения исключенного объекта, и жеста на основе прикосновения, указывающего перемещение по меньшей мере одного из выбранного множества объектов в местоположение отображения одного из выбранного множества объектов.

5. Способ по п.2, в котором определение условия поиска содержит этапы, на которых:

когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, определяют условие поиска для поиска информации, включающей в себя все из выбранного множества объектов; и

когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, определяют условие поиска для поиска информации согласно отношению верхнего и нижнего слоев между выбранным множеством объектов.

6. Способ по п.2, в котором определение условия поиска содержит этапы, на которых:

когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, определяют условие поиска для поиска информации, касающейся по меньшей мере одного из выбранного множества объектов; и

когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, определяют условие поиска для поиска информации согласно отношению верхнего и нижнего слоев между выбранным множеством объектов.

7. Способ по п.2, в котором:

когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, определение условия поиска содержит этапы, на которых:

отображают информацию, используемую для выбора одной из единицы поиска информации, содержащей по меньшей мере один из выбранного множества объектов, и единицы поиска информации, содержащей все из выбранного множества объектов, и

поиск информации содержит этапы, на которых:

ищут информацию согласно единице поиска информации, выбранной на основе отображаемой информации; и

когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, поиск информации содержит этап, на котором:

ищут информацию согласно отношению верхнего и нижнего слоев между выбранным множеством объектов.

8. Способ по п.1, в котором определение условия поиска содержит этапы, на которых:

отображают по меньшей мере одну единицу поиска, определенную согласно упомянутому условию поиска; и

выбирают единицу поиска из отображенной по меньшей мере одной единицы поиска, и

поиск информации содержит этапы, на которых:

ищут информацию на основе выбранной единицы поиска.

9. Способ по п.1, дополнительно содержащий этап, на котором:

отображают информацию, указывающую прием первого ввода, посредством устройства.

10. Способ по п.1, дополнительно содержащий этап, на котором:

отображают информацию, указывающую прием второго ввода, посредством устройства.

11. Устройство для поиска информации на основе изображения, отображаемого на упомянутом устройстве, содержащее:

блок хранения для хранения по меньшей мере одной единицы информации и по меньшей мере одной программы;

сенсорный экран для отображения изображения; и

процессор для обеспечения пользовательского интерфейса на основе сенсорного экрана для приема, посредством упомянутого сенсорного экрана, первого ввода, указывающего выбор множества объектов, включенных в упомянутое изображение, приема, посредством упомянутого сенсорного экрана, второго ввода, указывающего поисковое отношение между выбранным множеством объектов на основе каждого положения отображения выбранного множества объектов, определения условия поиска для выполнения поиска информации на основе выбранного множества объектов и второго ввода, поиска информации на основе упомянутого условия поиска и вывода найденной информации на упомянутом сенсорном экране.

12. Устройство по п.11, в котором поисковое отношение между выбранным множеством объектов содержит одно из отношения одного и того же слоя, указывающего, что множество объектов имеет один и тот же уровень при поиске информации, и отношения верхнего и нижнего слоев, указывающего, что множество объектов имеет верхний и нижний уровни при поиске информации.

13. Устройство по п.12, в котором, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, второй ввод содержит один из жеста на основе прикосновения, указывающего сбор выбранного множества объектов, и жеста на основе прикосновения, указывающего перемещение выбранного множества объектов в по меньшей мере одно местоположение помимо местоположений отображения выбранного множества объектов.

14. Устройство по п.12, в котором, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, второй ввод содержит один из жеста на основе прикосновения для перемещения остатка выбранных объектов за исключением одного объекта из выбранного множества объектов в местоположение отображения исключенного одного объекта и жеста на основе прикосновения для перемещения по меньшей мере одного из выбранного множества объектов в местоположение отображения одного из выбранного множества объектов.

15. Устройство по п.12, в котором:

когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор отображает информацию, используемую для выбора единицы поиска информации, содержащей по меньшей мере один из выбранного множества объектов, и единицы поиска информации, содержащей все из выбранного множества объектов, и определяет условие поиска согласно единице поиска информации, выбранной на основе отображаемой информации, и,

когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, процессор определяет условие поиска согласно отношению верхнего и нижнего слоев между выбранным множеством объектов.