Идентификация сенсорных входов, влияющих на нагрузку на рабочую память индивида
Группа изобретений относится к медицине и может быть использована для идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида. Предложен способ, содержащий этапы, на которых: контролируют нагрузку на рабочую память индивида с использованием сенсорного устройства; обнаруживают увеличение контролируемой нагрузки на рабочую память индивида; и идентифицируют, в ответ на обнаруженное увеличение, по меньшей мере один сенсорный вход, влияющий на нагрузку на рабочую память индивида, при этом на этапе идентификации идентифицируют по меньшей мере один сенсорный вход, совпадающий по времени с обнаруженным увеличением нагрузки на рабочую память. Предложен также машиночитаемый носитель, содержащий компьютерную программу, которая содержит исполняемые компьютером инструкции для того, чтобы побудить устройство выполнять этапы способа, когда исполняемые компьютером инструкции выполняются блоком обработки, включенным в состав устройства. Предложено также устройство, причем устройство содержит: сенсорное устройство, выполненное с возможностью контроля нагрузки на рабочую память индивида; и блок обработки, выполненный с возможностью обнаружения увеличения контролируемой нагрузки на рабочую память индивида и идентификации в ответ на обнаружение увеличения по меньшей мере одного сенсорного входа, влияющего на нагрузку на рабочую память индивида, при этом при идентификации идентифицируют по меньшей мере один сенсорный вход, совпадающий по времени с обнаруженным увеличением нагрузки на рабочую память. Группа изобретений обеспечивает повышение эффективности идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида. 3 н. и 20 з.п. ф-лы, 9 ил., 1 табл.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к способу идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, устройству для идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, соответствующей компьютерной программе и соответствующему компьютерному программному продукту.
УРОВЕНЬ ТЕХНИКИ
Концентрация делает людей менее восприимчивыми к отвлечению внимания, но вызывает значительное когнитивное напряжение. Степень, в которой люди могут сосредоточиться на определенной задаче, зависит от истинной сути и сложности этой задачи, а также от модальности (например, визуальной, вербальной) отвлечения внимания по сравнению с задачей.
Рабочая память - это небольшой объем информации в памяти человека, который он может легко использовать. Рабочая память используется для когнитивных задач, таких как мышление и решение проблем. Информация, хранящаяся в рабочей памяти, является временной; она исчезает, если не хранится в долговременной памяти. Кроме того, объем информации, которая может храниться в рабочей памяти, ограничен. Конкурирующие сенсорные входы (т.е. отвлекающие факторы) могут привести к высокой нагрузке на рабочую память, что может ограничить когнитивные возможности. Измерение диаметра зрачка можно использовать для получения информации о потребности в рабочей памяти при различных когнитивных активностях.
Когнитивная нагрузка может быть проиллюстрирована измерением реакции зрачка, когда в человеке совершаются различные умственные процессы. Исследования показывают умственные усилия, необходимые для выполнения расчетов, и то, как эти усилия меняются в процессе выполнения задания.
Например, было проведено исследование, в котором была предпринята попытка соотнести различные измерения зрачка, а именно продолжительность фиксации и размер зрачка, с нагрузкой на память и нагрузкой, связанной с обработкой. Исследование показало, что увеличение продолжительности фиксации с увеличением количества целей как в рамках, так и сверх возможности рабочей памяти предполагает, что при свободном просмотре продолжительность фиксации чувствительна как к фактической нагрузке на память, так и к нагрузке, связанной с обработкой, тогда как размер зрачка указывает только на нагрузку, связанную с обработкой. Таким образом был сделан вывод, что продолжительность фиксации специфична для нагрузки на память относительно целей. Напротив, изменения в размере зрачка слишком медленны для выделения случаев накопления памяти, таких как вычленение цели, в задаче поиска при свободном просмотре. Размер зрачка, скорее всего, отражает общую нагрузку, связанную с обработкой, которая включает в себя несколько когнитивных процессов.
Эффект, который выполнение заданий оказывает на зрачок человека, называется «вызванная заданием зрачковая реакция». В недавней работе, например, «Measuring the Task-Evoked Pupillary Response with a Remote Eye Tracker» Klingner, R. Kumar и P. Hanrahan, в Трудах симпозиума 2008 года по исследованию и применению отслеживания глаз (ETRA '08), стр. 69-72, ACM New York, 2008, было обнаружено, что удаленные видео устройства отслеживания направления взгляда имеют достаточную точность, чтобы использовать их для детальных вызванных заданием зрачковых измерений.
Электроэнцефалограмма (ЭЭГ) - это метод, с помощью которого измеряются электрические сигналы в области кожи головы, лба или ушей для определения активности мозга. В литературе было показано, что измерения ЭЭГ могут быть связаны с когнитивными задачами. Например, измерение сигналов ЭЭГ можно использовать с относительно высокой точностью для классификации умственных задач. В качестве примера, написание письма в уме, в котором испытуемым предписывалось мысленно составить письмо другу без произнесения, можно отличить от задачи умножения в уме двух многозначных чисел, например 49 на 78.
Ряд устройств и связанных с ними способов доступен для сбора информации о том, какие сенсорные входы находятся в окрестности субъекта или пользователя, то есть то, что находится поблизости, что может быть воспринято пользователем. Некоторые примеры приведены ниже.
Датчики изображения можно использовать для идентификации объектов в поле обзора датчиков. Использование датчиков изображения при распознавании объектов стало особенно эффективным благодаря разработке алгоритмов машинного обучения, которые могут с высокой степенью точности идентифицировать объекты на изображениях или видео.
Камеры светового поля способны захватывать данные о световом поле, исходящем от сцены. Таким образом, можно получить больше данных, чем если бы была записана только одна проекция в соответствии со стандартной камерой. То есть такие 3D-изображения можно получить, используя одну камеру с одним объективом.
Датчики на основе ЛИДАР («Световое обнаружение и определение дальности») могут сканировать свое окружающее пространство, чтобы получить трехмерную карту своего окружающего пространства, и, таким образом, предоставлять данные для алгоритма, который может идентифицировать объекты. Недавно были изготовлены опытные образцы «внутрикристальных» реализаций или ЛИДАР, обеспечивающие путь к недорогим реализациям всего за 10 долларов. RADAR («Определение направления и расстояния при помощи радиолуча») также имеет возможность идентифицировать объекты.
Для идентификации различных событий также можно использовать аудиодатчики, то есть микрофоны. Для идентификации событий на основе звуков, которые они производят, были разработаны алгоритмы. В сочетании с направленными микрофонами это позволяет пользователю связать действие (событие) и местоположение с событием.
Были разработаны устройства, которые способны идентифицировать запах (так называемые электронные носы). Хотя они сильно различаются с точки зрения базовой технологии, некоторые чрезвычайно мощные устройства теперь доступны по ценам массового рынка, и фактически были включены в состав устройств, таких как устройства для обнаружения употребления алкоголя или марихуаны.
Имеется ряд устройств и связанных с ними способов, позволяющих скрыть сенсорные входы от пользователя, то есть либо замаскировать, либо переместить сенсорный вход таким образом, чтобы он больше не был заметен для пользователя. Некоторые примеры приведены ниже.
Дополненная реальность (ДР) - это технология, которая позволяет изменять внешний вид физической среды для пользователя путем искусственного добавления сгенерированного компьютером контента, который сливается с окружающей средой. Это может быть визуальный контент, например, с использованием ДР-гарнитур. ДР имеет потенциал в сфере развлечений (медиа, игры), а также в сфере образования и профессионального использования.
Недавно был выпущен на рынок или анонсирован ряд устройств «активного слушания». Примерами являются «Here One» от Doppler Labs и «Pilot» от Waverly Labs. В то время как Pilot демонстрирует способность добавлять интеллект к слуховым устройствам (предположительно он будет переводить пользователям, говорящими на разных языках), Here One изменяет уровень, до которого различные звуки либо слышны, либо не слышны.
Устройства, способные синтезировать аромат, доступны на рынке или были анонсированы, например, «Cyrano». Другие группы работали над экранами, которые могут выпускать запахи, используя вентиляторы, чтобы обнаружить запах в определенной части экрана. Аромат может маскироваться другим ароматом, когда первый запах заменяется более сильным вторым запахом, или он может маскироваться путем использования белого аромата. Ученые обнаружили, что подобно белому свету, когда комбинация многих длин волн дает белый (казалось бы, бесцветный) свет, смеси со многими компонентами запаха могут создавать запах, который трудно различить.
Фильтрация контента - это способ изменения или ограничения цифрового контента, такого как реклама, неподходящий материал или потенциально враждебные приложения. Программное обеспечение для фильтрации контента используется по разным причинам, одной из которых может быть блокировка нежелательных отвлекающих факторов при работе в Интернете. Использование ДР предоставляет возможность блокирования рекламы «реального мира», которая представляет собой, например, блокировку логотипов бренда и рекламных объявлений в физической среде пользователя устройства ДР.
Офисные приложения - это компьютерные программы, которые помогают повысить производительность и улучшить концентрацию и фокусировку, например, фильтруя или блокируя отвлекающий контент, устанавливая таймеры или планируя работу и перерывы с учетом концентрации внимания пользователя.
Однако существующие решения имеют недостатки.
Что касается идентификации и устранения потенциально отвлекающих сенсорных входов:
нагрузка на рабочую память: существующие решения требуют, чтобы пользователь активно думал о том, что его отвлекает, что само по себе оказывает негативное воздействие на рабочую память пользователя;
универсальность: существующие решения предназначены только для определенных типов отвлекающих факторов (например, блокируют рекламу на веб-сайте) или фокусируются только на одном из сенсорных входов пользователя (например, блокируют только аудиовходы).
Что касается обратной связи/управления:
обнаружение фокуса: существующие решения напрямую не измеряют фактическую нагрузку на рабочую память пользователя и, следовательно, содержат меньше информации о необходимости устранения отвлекающих факторов и о том, какие отвлекающие факторы следует устранить;
эффект устранения: существующие решения напрямую не измеряют эффективность устранения отдельных отвлекающих факторов на нагрузку на рабочую память пользователя.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Задача настоящего изобретения состоит в том, чтобы решить или, по меньшей мере, уменьшить проблему в данной области относительно того, как предоставить способ идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида.
Эта цель достигается в первом аспекте изобретения с помощью способа идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида. Способ включает в себя контроль нагрузки на рабочую память индивида с использованием сенсорного устройства, обнаружение увеличения нагрузки на рабочую память индивида и идентификацию, в ответ на обнаруженное увеличение, по меньшей мере, одного сенсорного входа, влияющего на нагрузку на рабочую память индивида.
Эта цель достигается во втором аспекте изобретения с помощью устройства для идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида. Устройство содержит сенсорное устройство, выполненное с возможностью контроля нагрузки на рабочую память индивида, и блок обработки, выполненный с возможностью обнаружения увеличения нагрузки на рабочую память индивида и идентификации, в ответ на обнаружение увеличения, по меньшей мере, одного сенсорного входа, влияющего на нагрузку на рабочую память индивида.
Таким образом, сенсорное устройство используется для контроля нагрузки на рабочую память индивида. В одном из примеров индивид сидит перед своим компьютером, а встроенная камера компьютера используется в качестве сенсорного устройства для контроля нагрузки на рабочую память путем контроля одного или обоих глаз индивида.
Камера из примера может дополнительно использоваться в сочетании с блоком обработки компьютера для обнаружения любого увеличения нагрузки на рабочую память индивида. Например, блок обработки может во время контроля с помощью камеры индивида обнаруживать изменение нагрузки на рабочую память в виде, например, внезапного увеличения размера зрачка одного или обоих глаз индивида. Такое обнаружение указывает на увеличение нагрузки на рабочую память индивида.
После такого обнаружения блок обработки компьютера может идентифицировать, по меньшей мере, один сенсорный вход, влияющий на нагрузку на рабочую память индивида. Например, встроенный микрофон компьютера используется в сочетании с блоком обработки и регистрирует звук, который, вероятно, является сенсорным входом, вызывающим обнаруженное увеличение нагрузки на рабочую память.
Эта идентификация сенсорных входов, влияющих на нагрузку на рабочую память индивида, является весьма полезной и может, как будет обсуждаться в различных вариантах осуществления в дальнейшем, использоваться для многих целей.
В одном из вариантов осуществления изобретения, после идентификации, по меньшей мере, одного сенсорного входа, влияющего на нагрузку на рабочую память индивида, блок обработки выполнен с возможностью уменьшать влияние, которое, по меньшей мере, один идентифицированный сенсорный вход оказывает на нагрузку на рабочую память индивида.
Например, если индивид проживает в «умном доме», где многие функции, такие как отопление, управление освещением и жалюзи, активация кухонного оборудования и т.д., подключены к локальной сети, такой как беспроводная локальная вычислительная сеть (БЛВС), наряду с любыми компьютерами, планшетами, смартфонами и т. д., могут быть инициированы действия, чтобы смягчить негативное влияние, которое сенсорные входы оказывают на нагрузку на рабочую память индивида.
Теперь, если изменение нагрузки на рабочую память отслеживается и обнаруживается камерой и блоком обработки планшета или смартфона, который в настоящее время управляется индивидом, путем наблюдения за увеличением диаметра зрачка, блок обработки планшета индивида может определить - путем измерения температуры окружающей среды или связываясь с системой управления обогревом - что отопление дома установлено на слишком высокую температуру, что отрицательно влияет на нагрузку на рабочую память индивида.
В результате этого блок обработки планшета передает управляющий сигнал через БЛВС в систему управления отоплением дома, то есть источник идентифицированного сенсорного входа, чтобы понизить температуру и тем самым с пользой уменьшить воздействие, которое, по меньшей мере, один идентифицированный сенсорный вход оказывает на нагрузку на рабочую память индивида.
Следует отметить, что в этом примере несколько повышенная температура в помещении обычно вызывает не внезапное изменение нагрузки на рабочую память, а изменение, которое должно отслеживаться в течение продолжительного периода времени.
В другом примере индивид носит пару наушников, снабженных функцией шумоподавления, а камера и блок обработки планшета, на котором работает индивид, обнаруживают увеличение размера зрачка, что указывает на увеличение нагрузки на рабочую память индивида.
Наушники с шумоподавлением дополнительно снабжены микрофоном, действующим в качестве устройства обнаружения сенсорного входа, в сочетании с блоком обработки наушников для регистрации мешающего фонового шума. После приема беспроводного или проводного сигнала от компьютера, указывающего, что обнаружено увеличение нагрузки на рабочую память, блок обработки наушников с шумоподавлением инициирует контрмеры для идентифицированного сенсорного входа, подвергая индивида воздействию сигнала, который является несинфазным представлением фонового шума, тем самым эффективно подавляя фоновый шум.
В другом варианте осуществления изобретения, идентификация сенсорного входа, влияющего на нагрузку на рабочую память индивида, преимущественно выполняется посредством идентификации сенсорного входа, совпадающего во времени с обнаружением увеличением нагрузки на рабочую память, причем идентифицированный, по меньшей мере, один сенсорный вход считается сенсорным входом, влияющим на нагрузку на рабочую память индивида.
Это выгодно, если происходит сенсорный вход, который вызывает довольно внезапное увеличение нагрузки на рабочую память так как, например, когда индивид подвергается воздействию звука или света, оказывающих непосредственное влияние на нагрузку на рабочую память. Однако в случае, если индивид находится под действием менее очевидного сенсорного входа, такого как, например, изменение температуры, которое обычно является гораздо более медленным процессом, блоку обработки, действующему в качестве устройства обнаружения сенсорного входа, может потребоваться оценить события, которые произошли в течение недавнего периода времени, например, в течение последних 10 минут. В качестве примера, устройство обнаружения сенсорного входа может представлять собой датчик температуры, используемый в сочетании с блоком обработки для оценки того, произошло ли повышение температуры за последние 10 минут, или даже датчик газа, оценивающий, присутствует ли конкретное химическое вещество в окружающем воздухе.
В другом варианте осуществления изобретения для каждого идентифицированного сенсорного входа преимущественно определяется количественный показатель, с которым идентифицированный, по меньшей мере, один сенсорный вход влияет на нагрузку на рабочую память индивида. Например, количественный показатель может быть сформирован так, чтобы принимать значение от 10 до 100, где 10 будет означать небольшое влияние, а 100 будет оказывать значительное влияние на нагрузку на рабочую память индивида.
В другом варианте осуществления изобретения количественный показатель, связанный с конкретным сенсорным входом, может быть сохранен в базе данных для последующего использования. На практике, в ситуации, когда индивид находится под действием множества сенсорных входов, может быть трудно оценить, какой конкретный вход(ы) больше всего влияет на индивида.
В одном из вариантов осуществления изобретения, используя базу данных, содержащую количественный показатель, связанный с каждым типом сенсорного входа, блок обработки, выполненный с возможностью уменьшать воздействие сенсорного входа (входов), может сделать вывод, оценивая базу данных, что один или пара различных сенсорных входов обычно влияют на индивида в большей степени, чем другие, и таким образом уменьшают воздействие этих сильно воздействующих сенсорных входов.
Преимущественно, в одном из вариантов осуществления изобретения можно использовать фазу обучения, во время которой индивид преднамеренно находится под воздействием различных сенсорных входов, в то время как отслеживаются изменения нагрузки на рабочую память индивида. Кроме того, количественный показатель, связанный с каждым сенсорным входом, оценивается и сохраняется в базе данных для последующего использования.
В приведенных выше примерах изменение рабочей нагрузки индивида обнаруживается с помощью блока обработки, анализирующего изображения, снятые камерой. Однако предусмотрены и другие сенсорные устройства, такие как сенсоры ЭЭГ, сенсоры электрокардиограммы (ЭКГ), измерители частоты сердечных сокращений и т.д.
Кроме того, как выше обсуждалось со ссылкой на то, что известно в данной области техники, может быть предусмотрен ряд различных устройств обнаружения сенсорного входа.
Кроме того, предлагается компьютерная программа, содержащая исполняемые компьютером инструкции для того, чтобы заставить устройство выполнять этапы способа в соответствии с первым аспектом изобретения, когда исполняемые компьютером инструкции выполняются в блоке обработки, входящем в состав устройства.
Кроме того, предлагается компьютерный программный продукт, содержащий машиночитаемый носитель, причем машиночитаемый носитель содержит компьютерную программу устройства, воплощенную на нем.
В целом, все термины, используемые в формуле изобретения, должны интерпретироваться в соответствии с их обычными значениями, применяемыми в этой области техники, если в описании явно не указано иное. Все ссылки на «один/конкретный элемент, устройство, компонент, средство, этап и т.д.» должны непосредственно интерпретироваться как ссылки, по меньшей мере, на один экземпляр элемента, устройства, компонента, средства, этап и т.д., если явно не указано иное. Этапы любого способа, раскрытого в этом описании, не обязательно должны выполняться в точности в том порядке, который указан при раскрытии, если явно не указано иное.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Теперь в качестве примера изобретение описывается со ссылкой на прилагаемые чертежи, на которых:
На Фиг. 1 показано устройство для идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, согласно одному из вариантов осуществления изобретения;
на Фиг. 2 показан вид сверху устройства, показанного на Фиг.1 с пользователем, сидящим перед устройством;
на Фиг. 3 показана блок-схема последовательности операций способа идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, согласно одному из вариантов осуществления изобретения;
на Фиг. 4 показана блок-схема последовательности операций способа идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, согласно другому варианту осуществления изобретения;
на Фиг. 5 показан вид сверху устройства, показанного на Фиг.1 с пользователем, сидящим перед устройством, снабженном парой наушников с функцией шумоподавления;
на Фиг. 6 показана блок-схема последовательности операций способа идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, согласно еще одному варианту осуществления изобретения;
на Фиг. 7 показана блок-схема последовательности операций способа идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, согласно дополнительному варианту осуществления изобретения;
на Фиг. 8 показана блок-схема последовательности операций способа идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, согласно еще одному варианту осуществления изобретения; и
на Фиг. 9 показано устройство для идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, согласно другому варианту осуществления изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
Далее изобретение будет описано более подробно со ссылкой на прилагаемые чертежи, на которых показаны определенные варианты осуществления изобретения. Это изобретение, однако, может быть реализовано во многих различных формах и не должно быть истолковано в качестве ограничения набора вариантов осуществления, изложенных в данном документе; точнее, эти варианты осуществления изобретения приведены в примерах, для того чтобы раскрытие изобретения было всесторонним и законченным и полностью передавало его объем для специалистов в этой области техники. В этом описании одинаковые цифровые ссылки соответствуют одинаковым элементам.
На Фиг. 1 показано устройство 10 для идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, согласно одному из вариантов осуществления изобретения. Устройство представляет собой и изображается как устройство, приведенное в качестве примера в виде настольного персонального компьютера 10 на виде спереди, имеющее экран 11, камеру 12, микрофон 13 и громкоговоритель 14.
На Фиг. 2 показан вид сверху настольного персонального компьютера 10 с пользователем 20, сидящим перед ним. Как можно видеть, камера 12, микрофон 13 и громкоговоритель 14 функционально связаны с блоком 15 обработки, выполненным в форме одного или нескольких микропроцессоров, выполненных с возможностью исполнения компьютерной программы 16, загруженной на подходящий носитель 17 хранения, связанный с микропроцессором 15, такой как оперативное запоминающее устройство (ОЗУ), флэш-память, накопитель на жестком диске, облачные услуги или другие устройства хранения информации. Блок 15 обработки выполнен с возможностью управления работой настольного персонального компьютера 10, когда соответствующая компьютерная программа 16, содержащая исполняемые компьютером инструкции, загружается на носитель 17 хранения и исполняется блоком 15 обработки. Носитель 17 хранения также может быть компьютерным программным продуктом, содержащим компьютерную программу 16. Альтернативно, компьютерная программа 16 может быть перенесена на носитель хранения с помощью подходящего компьютерного программного продукта, такого как универсальный цифровой диск (DVD) или флеш-накопителя. В качестве дополнительной альтернативы компьютерная программа может быть загружена на носитель 17 хранения по сети. Блок 15 обработки может альтернативно быть реализован в форме цифрового сигнального процессора (DSP), специализированной интегральной микросхемы (ASIC), программируемой логической интегральной схемы (ПЛИС), сложной программируемой логической интегральной схемы (СПЛИС) и т.д.
Как обсуждалось выше, компьютер 10 в одном из вариантов осуществления выполненный с возможностью идентификации событий, которые оказывают нежелательное влияние на фокусировку пользователя, например, пока пользователь выполняет требующую когнитивных усилий задачу.
Как видно на Фиг. 2, пользователь 20 компьютера 10, сидя перед экраном 11, расположен в поле обзора камеры 12. Способ идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, то есть пользователя 20, будет описан ниже со ссылкой на Фиг. 2 и далее на Фиг. 3, иллюстрирующую блок-схему последовательности операций способа.
Сенсорное устройство используется для контроля нагрузки на рабочую память индивида на этапе S101. В этом конкретном иллюстративном варианте осуществления сенсорное устройство реализовано как камера 12, которая отслеживает один или оба глаза пользователя 20. Теперь, если пользователь 20 отвлекается на сенсорный вход, нагрузка на рабочую память будет увеличиваться, что обычно приводит к увеличению зрачков глаз пользователя.
В одном из вариантов осуществления изобретения предусматривается, что, если диаметр зрачка одного из глаз пользователя увеличивается выше порогового значения, например, 0,5 мм, считается, что нагрузка на рабочую память пользователя 20 увеличилась. Кроме того, предполагается, что используются разные пороговые значения; например, увеличение на 0,2 мм представляет первое значение A нагрузки на рабочую память, увеличение на 0,4 мм представляет второе значение B нагрузки на рабочую, увеличение на 0,6 мм представляет третье значение C нагрузки на рабочую память и так далее.
На этапе S102 камера 12 (или блок 15 обработки, анализирующий изображения, снятые камерой 12), обнаруживает увеличение нагрузки на рабочую память пользователя 20, например, заключая, что диаметр зрачков глаз пользователя увеличился выше определенного порогового значения.
В ответ на обнаруженное увеличение нагрузки на рабочую память пользователя, устройство обнаружения сенсорного ввода - в этом конкретном варианте осуществления представленный блоком 15 обработки, принимающим сигналы от микрофона 13 - предпочтительно идентифицирует один или несколько сенсорных входов, влияющих на нагрузку на рабочую память пользователя 20 на этапе S103. В этом примере встроенный микрофон 13 компьютера 20 регистрирует звук, который, вероятно, является сенсорным входом, вызывающим обнаруженное изменение нагрузки на рабочую память пользователя 20.
В одном из вариантов осуществления сенсорный вход, в данном примере являющийся звуком, преимущественно идентифицируется блоком 15 обработки для соотнесения по времени с обнаруженным увеличением нагрузки на рабочую память, тем самым считается, что именно сенсорный вход вызывает увеличение. Таким образом если звук был записан непосредственно перед тем, как было обнаружено увеличение нагрузки на рабочую память, звук считается сенсорным входом, вызывающим увеличение.
В одном из вариантов осуществления после определения сенсорного входа, влияющего на нагрузку на рабочую память пользователя 20, предпринимаются действия, чтобы уменьшить влияние, которое сенсорный вход оказывает на нагрузку на рабочую память, как будет обсуждаться ниже.
В варианте осуществления, показанном на блок-схеме последовательности операций на Фиг. 4, после того, как микрофон 13 записал звук, который считается сенсорным входом, вызывающим увеличение нагрузки на рабочую память на этапе S103, блок 15 обработки компьютера 10 приходит к выводу, что пользователь сам запустил аудиопроигрыватель компьютера 10 и преимущественно понижает уровень звука, который выводится аудиопроигрывателем через громкоговоритель 14 компьютера 10 на этапе S104a, поскольку выбранная громкость звука слишком высока и, таким образом, влияет на нагрузку на рабочую память пользователя 20. Следовательно, в этом конкретном варианте осуществления влияние, которое идентифицированный сенсорный вход оказывает на нагрузку на рабочую память пользователя, уменьшается при использовании блока 15 обработки, управляющего самим источником идентифицированного сенсорного входа, в данном случае являющегося компьютерным громкоговорителем 14.
В другом варианте осуществления, показанном со ссылкой на Фиг.5 и 6, влияние сенсорного входа на нагрузку на рабочую память пользователя влияние сенсорного входа на нагрузку на рабочую память пользователя уменьшается путем инициирования контрмеры для одного идентифицированного сенсорного входа.
Как видно на Фиг. 5, пользователь 20 носит пару наушников 21, которая в этом примере снабжена функцией шумоподавления. Теперь камера 12 компьютера 10 во взаимодействии с блоком 15 обработки отслеживает и обнаруживает увеличение нагрузки на рабочую память пользователя 20 на этапах S101 и S102, как показано на Фиг. 6, а блок обработки и микрофон (не показаны) наушников 21 служат в качестве устройства обнаружения сенсорного входа для регистрации мешающего фонового шума на этапе S103, как показано с идентифицированным звуком 22.
После приема беспроводного или проводного сигнала 23 от компьютера 10, указывающего, что на этапе S102 было обнаружено увеличение нагрузки на рабочую память, блок обработки шумоподавляющих наушников 21 преимущественно инициирует контрмеры против идентифицированного сенсорного входа, воздействуя на индивида посредством сигнала 24, который является синфазным представлением фонового шума 23 на этапе S104b, тем самым эффективно устраняя фоновый шум.
В описанных выше вариантах осуществления камера 12 используется в качестве сенсорного устройства для контроля и обнаружения увеличения нагрузки на рабочую память пользователя 20 во взаимодействии с блоком 15 обработки посредством обнаружения изменений в размере зрачка глаз пользователя. Кроме того, может быть предусмотрено, что камера 12 используется в качестве датчика взгляда, который может отслеживать направление визуального внимания пользователя и его продолжительность.
Как правило, люди склонны смотреть на объект при использовании его для задачи - кто-то, работающий за ноутбуком, будет проводить большую часть времени за работой, глядя на ноутбук. Таким образом, если их взгляд внезапно сместится, это может указывать на то, что они отвлеклись. Когда взгляд смещается на другой объект, который обеспечивает сенсорный вход (например, издает звук, отображает изменяющиеся изображения, и т.д.), это может указывать на то, что этот объект вызывает отвлечения внимания.
Тем не менее, люди могут также перевести взгляд, чтобы сосредоточиться, или для вдохновения, например, глядя в небо.
Отслеживая взгляд пользователя и, в частности, записывая время, когда она переводит взгляд с устройства, которое она использует для своей задачи, и на объект, обеспечивающий сенсорный вход, можно измерить частоту, с которой пользователь, вероятно, отвлекается. Признак «вдохновение» или «концентрация» может быть изучен для данного пользователя и не приниматься в расчет для этого измерения.
Кроме того, предусматривается, что носимое устройство, оборудованное камерой, используется в качестве сенсорного устройства для контроля и обнаружения увеличения нагрузки на рабочую память пользователя во взаимодействии с блоком обработки носимого устройства, такого как гарнитура виртуальной реальности (VR) или очки типа Google Glass.
Кроме того, предусмотрены сенсорные устройства отслеживания активности, которые могут идентифицировать конкретные действия, в которых участвует пользователь, и, возможно, эффективность пользователя в этих действиях.
Подобно взгляду, для оценки вероятности того, что человека отвлекают, можно использовать его движение. Таким образом, если устройство датчика является датчиком отслеживания движения, и, если пользователь часто меняет положение, особенно в ответ на объект, обеспечивающий сенсорный вход (например, телевизор), то выходной сигнал датчика может предоставить индикацию того, что объект отвлекает. Поэтому, отслеживая движение человека и, если возможно, сопоставляя его с объектами в комнате, затем можно определить, отвлекают ли они и чем.
Устройство датчика отслеживания активности также может отслеживать ход выполнения задачи, например, количество слов, записанных в документе, увеличение размера файла чертежа, количество ячеек, скорректированных в файле Excel и т. д.
Могут быть предусмотрены различные сенсорные устройства, отличные от камер, например датчики ЭЭГ, датчики ЭКГ, измерители частоты сердечных сокращений и т.д.
Различные свойства могут дополнительно комбинироваться для обнаружения увеличения нагрузки на рабочую память пользователя, например, через рассмотрение комбинации двух или более размеров зрачка, взгляда, частоты сердечных сокращений, активности, ЭЭГ и т.д.
Кроме того, можно предусмотреть ряд типов устройств для идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида, таких как ноутбуки, планшеты, смартфоны, умные часы (использующие, например, частоту сердечных сокращений в качестве количественного показателя нагрузки на рабочую память), телевизионный приемники и т.д.
В еще одном варианте осуществления пользователь 20 во время фазы обучения устройства 10 преднамеренно находится под воздействием различных сенсорных входов, в то время как отслеживаются изменения нагрузки на рабочую память индивида. Кроме того, количественный показатель, связанный с каждым конкретным сенсорным входом, оценивается и сохраняется в базе данных для последующего использования.
Например, для любого данного пользователя стандартная нагрузка на рабочую память может быть записана, когда пользователь практически не находится под воздействием никаких (мешающих) сенсорных входов в его рабочей среде. Эта самая низкая рабочая нагрузка на рабочую память обозначается как «LoadNOM», и соответствует размеру зрачка, обозначенному «PupilSizeNOM».
Теперь пользователь находится под воздействием различных сенсорных входов, и обнаруживается увеличение размера зрачка глаз пользователя и соответствующее увеличение нагрузки на рабочую память, как будет показано в приведенной ниже Таблице 1.
Таким образом, в одном из вариантов осуществления изобретения представление любого идентифицированного сенсорного входа, и соответствующий количественный показатель, с которым указанный идентифицированный сенсорный вход влияет на нагрузку на рабочую память индивида, вводится в базу данных, как показано в Таблице 1.
Далее делается ссылка на блок-схему на Фиг. 7.
В первом раунде, пользователь 20 подвергается воздействию трех разных уровней громкости музыки, выбранной из одного из его списков воспроизведения (то есть музыки, которую пользователь действительно ценит) и воспроизводит ее через громкоговоритель 14 своего компьютера, в то время как камера 12 отслеживает размер зрачка глаз пользователя на этапе S101 и блок 15 обработки обнаруживает увеличение на 0,1 мм, увеличение на 0,3 мм и увеличение на 0,5 мм соответственно для трех (увеличивающихся) громкостей звука: Громкость звука 1, Громкость звука 2 и Громкость звука 3, на этапе S102, которые рассматриваются на этапе S105 чтобы соотнести с увеличением нагрузки на рабочую память на 10%, 30% и 50% по отношению к LoadNOM. Различные звуки идентифицируются микрофоном 13 и блоком 15 обработки на этапе S103.
Таким образом, для каждого идентифицированного сенсорного входа из множества сенсорных входов, влияющих на нагрузку на рабочую память пользователя 20, количественный показатель, с которым каждый идентифицированный сенсорный вход влияет на нагрузку на рабочую память пользователя 20 определяется и заносится в базу данных. Эта оценка обычно выполняется блоком 15 обработки, но в качестве альтернативы может выполняться самой камерой 12. Три записанных звука и их соответствующее влияние на нагрузку на рабочую память соответствуют пунктам 1, 2 и 3 в Таблице 1.
Во втором раунде, пользователь 20 находится под воздействием освещения, соответствующего внутреннему освещению офиса в течение зимнего дня. Опять же, камера 12 отслеживает размер зрачка глаз пользователя, а блок 15 обработки обнаруживает увеличение на 0,2 мм, что, как считается, соответствует увеличению рабочей памяти на 20% по сравнению с LoadNOM. Это соответствует пункту 4 в Таблице 1.
В третьем раунде пользователь 20 находится под воздействием звука офисной системы кондиционирования воздуха. Камера 12 отслеживает размер зрачка глаз пользователя, а блок 15 обработки обнаруживает увеличение на 0,1 мм, что, как считается, соответствует увеличению рабочей памяти на 10% по сравнению с LoadNOM. Это соответствует пункту 5 в Таблице 1.
| Сенсорный вход | Изменение размера зрачка от стандартного размера | Увеличение нагрузки на рабочую память от стандартной нагрузки |
| Громкость звука 1 аудиопроигрывателя | PupilSizeNOM +0,1 мм | LoadNOM+10% |
| Громкость звука 2 аудиопроигрывателя | PupilSizeNOM +0.3 мм | LoadNOM+30% |
| Громкость звука 3 аудиопроигрывателя | PupilSizeNOM +0.5 мм | LoadNOM+50% |
| Зимнее внутреннее освещение | PupilSizeNOM +0.2 мм | LoadNOM+20% |
| Звук системы кондиционирования | PupilSizeNOM +0.1 мм | LoadNOM+10% |
Таблица 1. Записанные сенсорные входы и увеличение нагрузки на рабочую память.
Таблица приводит пример с пятью различными элементами, в то время как в реальном сценарии могут быть записаны десятки различных сенсорных входов, чтобы охватить множество ситуаций, которые могут возникнуть, и, таким образом, увеличить нагрузку на рабочую память пользователя.
Следует отметить, что база данных, такая как база данных из Таблицы 1, может быть создана при преднамеренном воздействии на пользователя 20 сенсорных входов, но может быть создана, когда пользователь 20 «естественным образом» находится под воздействием сенсорных входов. Кроме того, встречающиеся в природе сенсорные входы могут быть добавлены в базу данных, содержащую сенсорные входы, воздействию которых преднамеренно подвергался пользователь 20.
В дополнительном варианте осуществления, показанном со ссылкой на блок-схему последовательности операций на Фиг. 8, база данных Таблицы 1 используется для выбора того сенсорного входа из ряда сенсорных входов, под воздействием которых находится пользователь 20, который должен быть ослаблен, чтобы эффективно уменьшить нагрузку на рабочую память пользователя 20.
Если обнаружено увеличение нагрузки на рабочую память пользователя 20, некоторые сенсорные входы (то есть звуки, визуальные входы и, возможно, даже ароматы) могут быть устранены или скрыты для уменьшения нагрузки на рабочую память пользователя.
Другими словами - поскольку отвлекающие моменты, имеющие место в пределах местоположения пользователя (т.е., на расстоянии, на котором эти действия могут влиять на чувства пользователя) предоставляют сенсорные входы, которые не способствуют выполнению задачи пользователя, присутствие этих сенсорных входов можно смягчить или даже устранить.
Предположим, что пользователь 20 на Фиг. 2 находится под воздействием множества сенсорных входов, например, тех, что перечислены в Таблице 1, в виде идентифицированных микрофоном 13 в отношении звуковых сенсорных входов и фотометром (не показан), идентифицирующим внутреннее освещение, на этапе S103 после того, как блок 15 обработки обнаружил увеличение нагрузки на этапе S102. В таком сценарии проблема, которая может возникнуть, связана с различением того, какой из сенсорных входов влияет на пользователя 20 больше всего.
Обратимся к базе данных Таблицы 1 на этапе S103a - предположим, что аудиопроигрыватель компьютера 10 выводит музыку с Громкостью звука 2 - блок 15 обработки заключает, что аудиопроигрыватель, воспроизводящий с Громкостью звука 2, влияет на пользователя 20 так же, как освещение в помещении и звук кондиционера влияют совместно.
Таким образом, Блок обработки 15 блок 15 обработки компьютера 10 может определять, что аудиопроигрыватель должен быть выключен на этапе S104a или, по меньшей мере, что выходная громкостью его звука должна быть уменьшена, тем самым эффективно уменьшая нагрузку на рабочую память пользователя 20.
На Фиг. 9 показано устройство для идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида. Устройство 10 содержит средство 30 контроля, выполненное с возможностью отслеживания нагрузки на рабочую память индивида, средство 31 обнаружения, выполненное с возможностью обнаружения увеличения нагрузки на рабочую память индивида, и средство 32 идентификации, выполненное с возможностью идентификации в ответ на обнаружение увеличения, по меньшей мере, одного сенсорного входа, влияющего на нагрузку на рабочую память индивида.
Средство 30 контроля, средство 31 обнаружения и средство 32 идентификации могут содержать коммуникационный интерфейс (ы) для приема и предоставления информации и, кроме того, локальное хранилище для хранения данных, и могут (по аналогии с рассмотренным ранее) быть реализованы процессором, реализованном в форме одного или нескольких микропроцессоров, выполненных с возможностью исполнения компьютерной программы, загруженной на подходящий носитель хранения, связанный с микропроцессором, такой как ОЗУ, флэш-память, накопитель на жестком диске.
Настоящее изобретение было описано выше, в основном, со ссылкой на несколько вариантов осуществления. Однако специалисту в этой области техники несложно оценить отличающиеся от раскрытых выше варианты осуществления, которые в той же мере возможно включить в объем настоящего изобретения, описываемый прилагаемой формулой изобретения.
1. Способ идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида (20), содержащий этапы, на которых:
контролируют (S101) нагрузку на рабочую память индивида (20) с использованием сенсорного устройства (12);
обнаруживают (S102) увеличение контролируемой нагрузки на рабочую память индивида (20); и
идентифицируют (S103), в ответ на обнаруженное увеличение, по меньшей мере один сенсорный вход, влияющий на нагрузку на рабочую память индивида (20), при этом на этапе идентификации (S103) идентифицируют по меньшей мере один сенсорный вход, совпадающий по времени с обнаруженным увеличением нагрузки на рабочую память.
2. Способ по п.1, дополнительно содержащий этап, на котором:
уменьшают (S104a, S104b) влияние, которое по меньшей мере один идентифицированный сенсорный вход оказывает на нагрузку на рабочую память индивида (20).
3. Способ по п.2, в котором этап уменьшения (S104a) влияния содержит:
управление источником (14) по меньшей мере одного идентифицированного сенсорного входа, чтобы уменьшить влияние, которое по меньшей мере один идентифицированный сенсорный вход оказывает на нагрузку на рабочую память индивида (20).
4. Способ по п.2 или 3, в котором этап уменьшения (S104b) влияния содержит:
инициирование контрмеры (24) для идентифицированного по меньшей мере одного сенсорного входа (22), чтобы уменьшить влияние, которое по меньшей мере один идентифицированный сенсорный вход оказывает на нагрузку на рабочую память индивида (20).
5. Способ по любому из пп.1-4, в котором этап идентификации (S103) по меньшей мере одного сенсорного входа, влияющего на нагрузку на рабочую память индивида (20), содержит:
идентификацию множества сенсорных входов, влияющих на нагрузку на рабочую память индивида; и при этом способ также содержит этап, на котором:
определяют (S105) для каждого идентифицированного сенсорного входа из множества сенсорных входов, влияющих на нагрузку на рабочую память индивида (20), количественный показатель, с которым каждый указанный идентифицированный сенсорный вход влияет на нагрузку на рабочую память индивида (20).
6. Способ по п.5, в котором этап идентификации (S103) по меньшей мере одного сенсорного входа, влияющего на нагрузку на рабочую память индивида (20), содержит:
подвергание индивида (20) воздействию множества сенсорных входов.
7. Способ по п.5 или 6, в котором этап определения (S105) количественного показателя, с которым каждый указанный идентифицированный сенсорный вход влияет на нагрузку на рабочую память индивида (20), также содержит:
ввод представления любого идентифицированного сенсорного входа и соответствующего количественного показателя, с которым указанный идентифицированный сенсорный вход влияет на нагрузку на рабочую память индивида (20), в базу данных.
8. Способ по любому из пп.5-7, в котором этап уменьшения (S104a, S104b) влияния, которое по меньшей мере один идентифицированный сенсорный вход оказывает на нагрузку на рабочую память индивида (20), содержит:
оценку (S103a) базы данных для определения того, какой из идентифицированных сенсорных входов оказывает сильное влияние на нагрузку на рабочую память, если идентифицировано множество сенсорных входов; причем
влияние одного или нескольких из определенных сильно воздействующих сенсорных входов на нагрузку на рабочую память индивида (20) уменьшается.
9. Способ по любому из пп.1-8, в котором идентифицированный сенсорный вход включает в себя одно или несколько из: звукового входа, визуального входа, изменений температуры, изменений влажности, ароматов.
10. Способ по любому из пп.1-9, в котором сенсорное устройство (12), выполненное с возможностью контроля нагрузки на рабочую память индивида (20), выбирается из группы, содержащей: датчик изображения, измеритель частоты сердечных сокращений, датчик электроэнцефалограммы (ЭЭГ), датчик электрокардиограммы (ЭКГ).
11. Машиночитаемый носитель (17), содержащий компьютерную программу (16), которая содержит исполняемые компьютером инструкции для того, чтобы побудить устройство (10) выполнять этапы способа, описанные в любом из пп.1-10, когда исполняемые компьютером инструкции выполняются блоком (15) обработки, включенным в состав устройства.
12. Устройство (10) для идентификации сенсорных входов, влияющих на нагрузку на рабочую память индивида (20), причем устройство содержит:
сенсорное устройство (12), выполненное с возможностью контроля нагрузки на рабочую память индивида (20); и
блок (15) обработки, выполненный с возможностью обнаружения увеличения контролируемой нагрузки на рабочую память индивида (20) и идентификации в ответ на обнаружение увеличения по меньшей мере одного сенсорного входа, влияющего на нагрузку на рабочую память индивида (20), при этом при идентификации идентифицируют по меньшей мере один сенсорный вход, совпадающий по времени с обнаруженным увеличением нагрузки на рабочую память.
13. Устройство (10) по п.12, в котором блок (15) обработки выполнен с возможностью при идентификации по меньшей мере одного сенсорного входа, влияющего на нагрузку на рабочую память индивида (20):
идентифицировать по меньшей мере один сенсорный вход, совпадающий по времени с обнаруженным увеличением нагрузки на рабочую память.
14. Устройство (10) по п.12 или 13, в котором блок (15) обработки выполнен с возможностью:
уменьшения (S104a, S104b) влияния, которое по меньшей мере один идентифицированный сенсорный вход оказывает на нагрузку на рабочую память индивида (20).
15. Устройство (10) по п.14, в котором блок (15) обработки выполнен с возможностью:
управления источником (14) по меньшей мере одного идентифицированного сенсорного входа, чтобы уменьшить влияние, которое по меньшей мере один идентифицированный сенсорный вход оказывает на нагрузку на рабочую память индивида (20).
16. Устройство (10) по п.14 или 15, в котором блок обработки выполнен с возможностью:
инициирования контрмеры (24) для идентифицированного по меньшей мере одного сенсорного входа (22), чтобы уменьшить влияние, которое по меньшей мере один идентифицированный сенсорный вход оказывает на нагрузку на рабочую память индивида (20).
17. Устройство (10) по любому из пп.12-16, в котором блок (15) обработки выполнен с возможностью при идентификации по меньшей мере одного сенсорного входа, влияющего на нагрузку на рабочую память индивида (20):
идентификации множества сенсорных входов, влияющих на нагрузку на рабочую память индивида (20); и в котором блок (15) обработки дополнительно выполнен с возможностью:
определения для каждого идентифицированного сенсорного входа из множества сенсорных входов, влияющих на нагрузку на рабочую память индивида (20), количественного показателя, с которым каждый указанный идентифицированный сенсорный вход влияет на нагрузку на рабочую память индивида (20).
18. Устройство (10) по п.17, также выполненное с возможностью:
подвергания индивида (20) воздействию множества сенсорных входов.
19. Устройство (10) по п.17 или 18, в котором блок (15) обработки также выполнен с возможностью при определении количественного показателя, с которым каждый указанный идентифицированный сенсорный вход влияет на нагрузку на рабочую память индивида (20):
ввода представления любого идентифицированного сенсорного входа и соответствующего количественного показателя, с которым указанный идентифицированный сенсорный вход влияет на нагрузку на рабочую память индивида (20), в базу данных.
20. Устройство (10) по любому из пп.17-19, в котором блок обработки (15) также выполнен с возможностью при уменьшении влияния, которое по меньшей мере один идентифицированный сенсорный вход оказывает на нагрузку на рабочую память индивида (20):
оценки базы данных для определения того, какой из идентифицированных сенсорных входов оказывает сильное влияние на нагрузку на рабочую память, если идентифицировано множество сенсорных входов; причем
влияние одного или нескольких из определенных сильно воздействующих сенсорных входов на нагрузку на рабочую память индивида (20) уменьшается.
21. Устройство (10) по любому из пп.12-20, в котором идентифицированный сенсорный вход включает в себя одно или несколько из: звукового входа, визуального входа, изменений температуры, изменений влажности, ароматов.
22. Устройство (10) по любому из пп.12-21, в котором сенсорное устройство (12), выполненное с возможностью контроля нагрузки на рабочую память индивида (20), выбирается из группы, содержащей: датчик изображения, измеритель частоты сердечных сокращений, датчик электроэнцефалограммы (ЭЭГ), датчик электрокардиограммы (ЭКГ).
