Кодированный свет

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении точности получения выборки кодированного светового сигнала. Технический результат достигается за счет приема сигнала от камеры со скользящим затвором, которая захватывает кадры путем экспозиции множества строк каждого кадра последовательно, причем сигнал содержит кодированный световой сигнал; и получения соответственной выборки кодированного светового сигнала из каждой из некоторого количества упомянутых строк, упомянутое количество строк экспонируется в течение длительности и упомянутое количество является существенно меньшим количеством упомянутых строк, чем количество строк, экспонируемых камерой в каждом кадре; при этом кодированный световой сигнал содержит сообщение, имеющее длительность, продолжительнее, чем длительность, в течение которой экспонируют упомянутое количество строк, и сообщение повторяют множество раз с хронированием таким, что другая часть сообщения видна камере в каждом из множества различных упомянутых кадров; и при этом способ дополнительно содержит синхронизацию по времени различных частей сообщения из множества различных кадров и повторную сборку сообщения из синхронизированных по времени частей. 5 н. и 12 з.п. ф-лы, 23 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее раскрытие относится к передаче сигналов кодированного света, встроенных в свет, излучаемый источником света.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Кодированный свет относится к технологии, посредством которой данные модулируют в видимое освещение, излучаемое источником света, например, осветительным устройством на основе светоизлучающих диодов (LED). Таким образом вдобавок к обеспечению освещения (для каковой цели источник света может уже присутствовать в окружающей среде), источник света действует также в качестве передатчика, способного передавать данные на подходящий приемник кодированного света. Модуляция обычно выполняется на достаточно высокой частоте, которая является незаметной зрению человека, то есть, тем самым пользователь воспринимает только полное освещение, а не воздействие данных, модулируемых в это освещение. Таким образом, данные могут считаться встроенными в свет от источника света.

Кодированный свет может использоваться в ряде практических применений. Например, одно применение состоит в том, чтобы предоставлять информацию от осветительного устройства на блок дистанционного управления для управления этим осветительным устройством, например, предоставлять идентификатор, отличающий его среди других таких осветительных устройств, которыми дистанционный блок может управлять, или предоставлять информацию о состоянии осветительного устройства (например, чтобы представлять отчет об ошибках, предупреждениях, температуре, рабочему времени и т.д.). В одном таком примере блок дистанционного управления может содержать мобильный пользовательский терминал, такой как смартфон или планшет, имеющий вмонтированную камеру. С помощью терминала, исполняющего подходящее приложение, пользователь может направить камеру на осветительное устройство и посредством этого детектировать идентификатор, закодированный в свет от этого осветительного устройства. Получив идентификатор осветительного устройства, на которое он «смотрит», терминал затем может управлять этим осветительным устройством путем посылки обратно сигнала обратной связи (например, при посредстве радиочастотной (РЧ, RF)).

Патентный документ US20120281879 A1 раскрывает систему для двумерного (2D) обнаружения локализованных вкладов в свет. В этом документе известного уровня техники вклад в свет включает в себя встроенный код, содержащий повторяющуюся последовательность из N символов. Система обнаружения включает в себя камеру и блок обработки. Камера сконфигурирована для захвата серий изображений сцены с помощью специфических схем открытия/закрытия затвора. Каждое изображение включает в себя множество пикселей, каждый пиксель представляет интенсивность светового выхода источника света в другой физической позиции внутри сцены. Блок обработки сконфигурирован для обработки захваченных серий изображений, чтобы определять, присутствует ли вклад в свет первого источника света в выбранной физической позиции в рамках сцены, например, коррелируя последовательность пикселей захваченных серий, соответствующих выбранной физической позиции, с первой последовательностью N символов.

В другом применении кодированный свет может использоваться, чтобы обеспечивать информацию пользователю, например, предоставлять идентификаторы осветительных устройств для использования в пусконаладочных работах, или давать возможность предоставления относящейся к местоположению информации. Например, каждое осветительное устройство во внутренней и/или наружной среде (например, в помещениях и коридорах офисного комплекса и/или на тротуарах университетского городка) может быть выполнено с возможностью излучать свет, встраиваемый с соответственным идентификатором, идентифицирующим его внутри этой среды. Если у пользователя имеется мобильный терминал, оснащенный камерой, и связанное с этим приложение для обнаружения кодированного света, терминал может детектировать идентификатор осветительного устройства, освещающего его текущее местоположение. Это затем может использоваться для помощи пользователю в передвижении по среде путем поиска текущего местоположения в базе данных местоположений, отображающей идентификаторы на местоположения осветительных устройств. Альтернативно или дополнительно, это может использоваться для поиска информации, связанной с текущим местоположением пользователя, такой как информация о выставках в конкретных помещениях музея. Например, поиск может выполняться через сеть Интернет или докальную сеть, к которой терминал имеет доступ, или из локальной базы данных на пользовательском терминале. Альтернативно информация может быть непосредственно закодирована в свет от одного или нескольких осветительных устройств. Вообще говоря, применимость кодированного света не ограничивается.

Данные модулируют в свет посредством способа, такого как амплитудная манипуляция или частотная манипуляция, посредством чего модулированная характеристика (например, амплитуда частоты) используется для представления символов канала. Модуляция обычно подразумевает схему кодирования, чтобы отображать биты данных (иногда называемые пользовательскими битами) на такие символы канала. Примером является традиционный Манчестерский код, который является двоичным кодом, посредством чего пользовательский бит со значением 0 отображается на символ канала в виде импульса «низкий-высокий», и пользовательский бит со значением 1 отображается на символ канала в виде импульса «высокий-низкий». Другим примером является недавно разработанный троичный Манчестерский код, описанный в публикации международной заявки на патент № WO2012/052935.

Троичный Манчестерский код теперь составляет часть известного уровня техники и таким образом является известным специалисту в данной области техники, но он приводится здесь снова для полноты. В передатчике каждый бит данных, подлежащий передаче, отображается на символ канала в виде соответственного единичного импульса. В соответствии с этой схемой, имеются две возможные единицы, в виде положительных и отрицательных функций "шапочка", как показано на Фиг.5. Импульс, отображенный на бит данных со значением 1, показан на левой стороне Фиг.5, и импульс, отображенный на бит данных со значением 0, показан на правой стороне Фиг.5. Бит данных является битом фактической информации, подлежащей передаче, иногда называемой «пользовательскими данными» (даже если не являются явно созданными пользователем). Интервал бита данных помечен TD на Фиг.5, с границами между интервалами пользовательских битов, показанными вертикальными пунктирными линиями.

Каждый единичный импульс содержит последовательность элементарных интервалов канала длительностью TC во времени, меньшей чем интервал бита данных. Каждый элементарный интервал канала передает только один из элементарных уровней, которые может принимать кодированный сигнал (один символ троичного Манчестерского кода), и в одиночку не является достаточным для передачи данных, не являясь модулируемым в составной символ канала. Следовательно, каждый импульс длительностью TD является наименьшей или самой основной (наиболее фундаментальной) единицей информационного содержимого, которое может передаваться с использованием рассматриваемой схемы кодирования.

В троичном Манчестерском коде каждая единичная функция-шапочка содержит последовательность из трех элементарных интервалов канала длиной TC во времени, каждый - половина длины интервала TD бита данных (TD=2TC). Три элементарных интервала для соответственного бита данных являются непрерывными, причем середина трех расположена в центре соответственного интервала бита данных, так что смежные первый и третий элементарные интервалы канала охватывают начальную и конечную границы интервала бита данных соответственно половиной элементарного интервала TC канала с каждой стороны.

Относительно бита данных со значением 1, это отображается на положительную функцию «шапочка», показанную слева на Фиг.5. Положительная функция «шапочка» содержит: первый элементарный интервал канала высотой -1/2 с центром на начальной (более ранней) границе соответственного интервала бита данных, за которым следует второй (средний) элементарный интервал канала высотой +1 с центром на соответственном интервале бита данных, за которым следует третий элементарный символ канала высотой -1/2 с центром на конечной (более поздней) границе соответственного интервала бита данных. "Высота" на этой стадии может быть представлена в любых подходящих терминах, таких как безразмерное цифровое значение (окончательно подлежащее представлению модулируемой характеристикой сигнала, например, амплитудой или частотой).

Относительно бита данных со значением 0, это отображается на отрицательную функцию «шапочка», показанную справа на Фиг.5. Отрицательная функция «шапочка» содержит: первый элементарный интервал канала высотой +1/2 с центром на начальной (более ранней) границе соответственного интервала бита данных, за которым следует второй (средний) элементарный интервал канала высотой -1 с центром на соответственном интервале бита данных, за которым следует третий элементарный интервал канала высотой +1/2 с центром на конечной (более поздней) границе соответственного интервала бита данных.

Для создания кодированного битового потока, подлежащего передаче, функции «шапочка» смежных пользовательских битов суммируют одну с другой, смещают на времена их соответственных интервалов битов. Поскольку функции «шапочка» имеют перекрытие через границы между интервалами битов данных, функции суммируют в перекрывающихся областях между смежными битами данных. То есть, функции «шапочка» объединяют по границам, так что более ранняя граница An одного интервала бита данных объединяется с более поздней границей An+1 предшествующего смежного интервала бита данных, причем высота сигнала суммируется там, где два смежных импульса перекрываются. Пример результирующей последовательности символов канала во временной области показан на Фиг.6.

Там, где два смежных бита данных имеют значение 1, это означает, что два перекрывающихся элементарных интервала канала высотой - 1/2 суммируются к высоте -1. Там, где два смежных бита данных имеют значение 0, два перекрывающихся элементарных интервала канала высотой +1/2 суммируются к высоте +1. Там, где два смежных бита данных имеют различные значения, два перекрывающихся элементарных интервала канала высотой +1/2 и -1/2 суммируются в 0. Таким образом, в кодированном потоке каждый интервал пользовательского бита (каждый единичный импульс) принимает форму либо положительного импульса прямоугольной волны, когда пользовательский бит со значением 1 располагается между двумя смежными пользовательскими битами со значением 1, либо отрицательного импульса прямоугольной волны, когда пользовательский бит со значением 0 располагается между двумя смежными пользовательскими битами, имеющими значение 0, либо нечетный импульс из одной или четырех возможных конфигураций с прямоугольными фронтами, где по меньшей мере один из смежных пользовательских битов является отличающимся.

В эквивалентном варианте отображение значений 0 и 1 битов данных на положительные и отрицательные функции «шапочка» может быть обратным.

Результирующий сигнал (например, таковой по Фиг.6) затем преобразовывается в изменение модулируемой характеристики сигнала, выводимого передающим источником света (например, представленной ли в терминах амплитуды, или частоты). Например, элементарный символ -1 канала может быть представлен низким уровнем светового выхода, элементарный символ +1 канала может быть представлен высоким уровнем светового выхода, и элементарный символ 0 канала может быть представлен промежуточным уровнем света между высоким и низким.

Троичный Манчестерский код может быть полезным, поскольку он обеспечивает более плавный переход, чем обычный Манчестерский код, когда биты данных изменяют значение, и приводит к спектру в частотной области, который в большей степени подавляется вблизи низких частот, где может иметь место помеха, такая как фон от сети переменного тока. Однако, применимость настоящего раскрытия не ограничивается троичным Манчестерским кодом, и в других вариантах осуществления могут использоваться другие примеры подходящих схем кодирования, например, традиционный (двоичный) Манчестерский код, или другие традиционные двоичные или троичные линейные коды.

Имеется растущий интерес использования кодированного света в применениях, где свет от источника света должен захватываться с использованием камеры со скользящим затвором, такой как дешевые камеры, часто встречающиеся в устройствах мобильных телефонов. Камера со скользящим затвором сканирует строки изображения поодиночке построчно (обычно минимально 18 Кбит строк/с). Поскольку строки записываются во времени последовательно, и коды в свете также могут изменяться во времени последовательно, требуется дополнительная обработка. Обычно выборки на строке "объединяют" или "сжимают" в одно значение на одну строку. Каждая строка таким образом захватывает выборку сигнала в отличающийся момент во времени, давая возможность реконструкции сигнала кодированного света.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Согласно одному аспекту, раскрытому здесь, может быть обеспечено устройство, содержащее: выходдля управления источником света, чтобы встраивать сигнал кодированного света в видимый свет, излучаемый от источника света, и контроллер, сконфигурированный, чтобы генерировать сигнал кодированного света. Свет подлежит приему камерой со скользящим (строковым) затвором, которая захватывает кадры, осуществляя экспозицию множества строк каждого кадра последовательно, камера имеет время выдержки, причем каждая строка является экспонируемой в течение времени выдержки. Контроллер сконфигурирован, чтобы генерировать сигнал кодированного света в соответствии с форматом, посредством чего сигнал кодированного света содержит, по меньшей мере, одно сообщение, и сообщение повторяют многократно с хронированием таким, что когда выборки сигнала кодированного света получают из существенно меньшего количества упомянутых строк, чем экспонировано камерой в каждом кадре, и сообщение является более длинным, чем упомянутое количество строк, другая часть сообщения видна камере в каждом кадре из множества различных упомянутых кадров.

В вариантах осуществления сообщение может повторяться так, что полное сообщение будет видно на протяжении упомянутого множества кадров.

Сообщение может иметь длительность продолжительнее, чем один кадр.

Сообщение может содержать один или несколько пакетов, содержащих различное содержимое данных, причем за каждым из пакетов сообщения может следовать межпакетный холостой интервал, и при этом повторы сообщения могут разделяться холостым интервалом между сообщениями, отличающимся от межпакетного холостого интервала.

Межпакетный холостой интервал может быть большим чем или равным времени выдержки или максимальному ожидаемому значению времени выдержки.

Холостой интервал между сообщениями может выбираться, чтобы получать упомянутое хронирование, посредством чего другая часть сообщения видна камере в каждом кадре из множества различных упомянутых кадров.

Время выдержки может быть меньшим чем или равным (1/30) с, меньшим чем или равным (1/60) с, или меньшим чем или равным (1/120) с.

По меньшей мере одно сообщение может быть сформировано из по меньшей мере трех пакетов на одно сообщение.

Каждый из пакетов может иметь длину меньше чем или равную 17 битам по длине, меньше чем или равную 12 битам по длине, или меньше чем или равную 9 битам по длине.

Длину пакета могут составлять 9 битов, состоящие из байта содержимого и бита синхронизации.

Контроллер может быть сконфигурирован, чтобы кодировать сигнал кодированного света в соответствии со схемой модуляционного кодирования троичным Манчестерским кодом, посредством чего биты данных сигнала являются представленными отображаемыми на символы троичного Манчестерского кода.

Холостой интервал между сообщениями может иметь длительность по меньшей мере в 4 упомянутых символа.

Каждый из пакетов может иметь длину в 19 упомянутых символов, межпакетный холостой интервал может иметь длину в 33 упомянутых символа, и холостой интервал между сообщениями может иметь длину в 5 упомянутых символов.

Контроллер может быть сконфигурирован, чтобы кодировать сигнал кодированного света со скоростью передачи символов для упомянутых символов, являющейся 1 кГц, 2 кГц или 4 кГц.

Контроллер может быть сконфигурирован, чтобы принимать указание времени выдержки от камеры через обратный канал и адаптировать формат сообщения на основании времени выдержки.

Контроллер может быть сконфигурирован, чтобы выполнять упомянутую адаптацию путем выбора одного или большего количества параметров так, что другая часть сообщения видна камере в каждом кадре из множества различных упомянутых кадров, и один или несколько параметров могут содержать: межпакетный холостой интервал, холостой интервал между сообщениями, количество пакетов на одно сообщение и/или скорость передачи символов.

Контроллер может быть сконфигурирован, чтобы адаптировать формат путем выбора между множеством различных предопределенных комбинаций упомянутых параметров.

Упомянутое количество строк может быть меньшим чем или равным 14% от строк каждого кадра.

Согласно дополнительному аспекту, раскрытому здесь, может быть обеспечена система, содержащая устройство, имеющее любой из вышеупомянутых признаков, источник света и камеру; камера позиционируется относительно источника света таким образом, что упомянутые выборки получают из существенно меньшего количества строк, чем экспонировано камерой в каждом кадре, и сообщение является более длинным, чем упомянутое количество строк.

Согласно дополнительному аспекту, раскрытому здесь, может быть обеспечен способ, содержащий: управление источником света, чтобы встраивать сигнал кодированного света в видимый свет, излучаемый от источника света, сигнал кодированного света содержит по меньшей мере одно сообщение; прием света в камере со скользящим затвором, которая захватывает кадры, осуществляя экспозицию множества строк каждого кадра последовательно, камера имеет время выдержки, причем каждая строка является экспонируемой в течение времени выдержки; и получение выборок сигнала кодированного света из существенно меньшего количества упомянутых строк, чем экспонировано камерой в каждом кадре, сообщение является более длинным чем упомянутое количество строк; причем сигнал кодированного света генерируется в соответствии с форматом, посредством чего сообщение повторяют многократно с хронированием таким, что другая часть сообщения видна камере в каждом кадре из множества различных упомянутых кадров.

Согласно дополнительному аспекту, раскрытому здесь, может быть обеспечен компьютерный программный продукт, содержащий код, реализованный на читаемом компьютером носителе данных и сконфигурированный так, что при исполнении выполняются операции: управления источником света, чтобы встраивать сигнал кодированного света в видимый свет, излучаемый от источника света, подлежащий приему камерой со скользящим затвором, которая захватывает кадры, осуществляя экспозицию множества строк каждого кадра последовательно, камера имеет время выдержки, причем каждая строка является экспонируемой в течение времени выдержки; и формирования сигнала кодированного света в соответствии с форматом, посредством чего сигнал кодированного света содержит по меньшей мере одно сообщение, и сообщение повторяют многократно с хронированием таким, что когда выборки сигнала кодированного света получают из существенно меньшего количества строк, чем экспонировано камерой в каждом кадре, и сообщение является более длинным, чем упомянутое количество строк, другая часть сообщения видна камере в каждом кадре из множества различных упомянутых кадров.

Согласно дополнительному аспекту, раскрытому здесь, может быть обеспечен сигнал кодированного света, встроенный в видимый свет, излучаемый от источника света, подлежащий приему камерой со скользящим затвором, которая захватывает кадры, осуществляя экспозицию множества строк каждого кадра последовательно, камера имеет время выдержки, причем каждая строка является экспонируемой в течение времени выдержки; при этом: сигнал кодированного света форматируется в соответствии с форматом, посредством чего сигнал кодированного света содержит по меньшей мере одно сообщение, и сообщение повторяется многократно с хронированием таким, что когда выборки сигнала кодированного света получают из существенно меньшего количества строк, чем экспонировано камерой в каждом кадре, и сообщение является более длинным, чем упомянутое количество строк, другая часть сообщения видна камере в каждом кадре из множества различных упомянутых кадров.

В вариантах осуществления способ, компьютерная программа и/или сигнал могут быть дополнительно сконфигурированы в соответствии с любым из признаков, описанных относительно устройства выше.

Согласно другому аспекту, раскрытому здесь, может быть обеспечено устройство, содержащее: устройство ввода для приема сигнала от камеры со скользящим затвором, которая захватывает кадры заданной длительности с заданной частотой кадров, осуществляя экспозицию множества строк каждого кадра последовательно, сигнал содержит сигнал кодированного света; блок обработки сигнала, соединенный с упомянутым устройством ввода и выполненный с возможностью получения, при посредстве упомянутого устройства ввода, соответственной выборки сигнала кодированного света из каждой из некоторого количества упомянутых строк, упомянутое количество строк является экспонируемым в течение длительности, и упомянутое количество является существенно меньшим количеством упомянутых строк, чем множество строк, экспонированных камерой в каждом кадре; сигнал кодированного света содержит сообщение, имеющее длительность продолжительнее чем длительность, в течение которой экспонируют упомянутое количество строк, и многократные повторения сообщения принимают с хронированием таким, что другая часть сообщения видна камере в каждом кадре из множества различных упомянутых кадров; и блок обработки сигнала сконфигурирован, чтобы синхронизировать по времени различные части сообщения из множества различных кадров и повторно собирать сообщение из синхронизированных по времени частей.

В вариантах осуществления полное сообщение можно видеть на протяжении упомянутого множества кадров.

В вариантах осуществления сообщение может иметь длительность больше чем один кадр.

В вариантах осуществления блок обработки сигнала может быть сконфигурирован, чтобы выполнять упомянутую синхронизацию по времени на основании длительности кадра и длительности сообщения.

В вариантах осуществления блок обработки сигнала может быть сконфигурирован, чтобы выполнять упомянутую синхронизацию по времени путем: определения опорного периода синхронизации, который является целым, кратным длине упомянутого сообщения; и сдвига части сообщения, принятого в каждом последовательном кадре, на длину кадра относительно его предшествующего кадра, но с циклическим переходом к началу упомянутого опорного периода синхронизации за концом упомянутого опорного периода синхронизации.

В вариантах осуществления каждый кадр содержит активные строки и неактивные строки, упомянутое множество строк является активными строками, и блок обработки сигнала может быть сконфигурирован для получения соответственной выборки из каждого множества активных строк каждого кадра, включающего упомянутое количество строк, посредством этого выдавая кадровый сигнал, имеющий упомянутую длительность кадра; и сдвиг выполняют растягиванием каждого кадрового сигнала, чтобы имел длительность опорного периода синхронизации.

Упомянутое растягивание может выполняться путем добавления нулей к сигналу кадра.

Блок обработки сигнала может быть сконфигурирован для отбрасывания одного или нескольких пропущенных кадров.

Блок обработки сигнала может быть сконфигурирован, чтобы генерировать множество повторно собранных версий сообщения, основанных каждая на другом соответственном поднаборе упомянутых частей сообщения, и выполнять синхронизацию между тактовыми сигналами упомянутого устройства и тактированием упомянутого сигнала кодированного света на основании корреляции между упомянутыми версиями сообщения.

Каждая из упомянутых выборок может браться объединением пиксельных значений соответственной строки.

Упомянутое количество строк может быть меньшим чем или равным 14% от строк каждого кадра.

Каждая из упомянутых частей может быть меньшей чем или равной 3% от сообщения.

Количество строк, из которых получают упомянутые выборки, может не включать строки, содержащие один или несколько пикселей, которые являются чрезмерно экспонированными.

Согласно дополнительному аспекту, раскрытому здесь, может быть обеспечен приемник, содержащий устройство, имеющее любой из вышеупомянутых признаков, и камеру.

Согласно дополнительному аспекту, раскрытому здесь, может быть обеспечена система, содержащая приемник и источник света; камера является позиционируемой относительно источника света, так что упомянутые выборки получают из существенно меньшего количества строк, чем экспонировано камерой в каждом кадре, и сообщение является более длинным, чем упомянутое количество строк.

Согласно другому аспекту, раскрытому здесь, может быть обеспечен способ, содержащий: прием сигнала от камеры со скользящим затвором, которая захватывает кадры, осуществляя экспозицию множества строк каждого кадра последовательно, сигнал содержит сигнал кодированного света; и получение соответственной выборки сигнала кодированного света из каждой из некоторого количества упомянутых строк, упомянутое количество строк является экспонируемым в течение длительности, и упомянутое количество является существенно меньшим количеством упомянутых строк, чем множество строк, экспонируемых камерой в каждом кадре; причем сигнал кодированного света содержит сообщение, имеющее длительность продолжительнее чем длительность, в течение которой экспонируют упомянутое количество строк, и сообщение повторяют многократно с хронированием таким, что другая часть сообщения видна камере в каждом кадре из множества различных упомянутых кадров; и при этом способ дополнительно содержит синхронизацию по времени различных частей сообщения из множества различных кадров и повторную сборку сообщения из синхронизированных по времени частей.

Согласно другому аспекту, раскрытому здесь, может быть обеспечен компьютерный программный продукт, реализованный на читаемом компьютером носителе, и сконфигурированный так, что при исполнении выполняет операции: приема сигнала от камеры со скользящим затвором, которая захватывает кадры, осуществляя экспозицию множества строк каждого кадра последовательно, сигнал содержит сигнал кодированного света; и получения соответственной выборки сигнала кодированного света из каждой из некоторого количества упомянутых строк, упомянутое количество строк является экспонируемым в течение длительности, и упомянутое количество является существенно меньшим количеством упомянутых строк, чем множество строк, экспонированных камерой в каждом кадре; причем сигнал кодированного света содержит сообщение, имеющее длительность продолжительнее чем длительность, в течение которой экспонируют упомянутое количество строк, и сообщение повторяют многократно с хронированием таким, что другая часть сообщения видна камере в каждом кадре из множества различных упомянутых кадров; и при этом (программный) код дополнительно сконфигурирован так, чтобы при исполнении синхронизировать по времени различные части сообщения из множества различных кадров и повторно собирать сообщение из синхронизированных по времени частей.

В вариантах осуществления способ и/или компьютерная программа могут быть дополнительно сконфигурированы в соответствии с любым из признаков, описанных относительно устройства выше.

Согласно еще одному аспекту, раскрытому здесь, может быть обеспечен фильтр Винера для коррекции воздействия первого фильтра на входной сигнал, который подвергается первому фильтру и шуму и/или помехе, причем: первый фильтр зависит от, по меньшей мере, одной неизвестной величины; и фильтр Винера сконфигурирован на основании усредненного представления первого фильтра, усредненного по упомянутой по меньшей мере одной неизвестной величине, вместо представления первого фильтра, полагаемого являющимся известным.

В вариантах осуществления, упомянутое усредненное представление может содержать среднее сопряженного первого фильтра.

Упомянутое усредненное представление может содержать среднее: первого фильтра, умноженное на его сопряженное.

Упомянутое усредненное представление может содержать среднее сопряженного первого фильтра и среднее: первого фильтра, умноженного на его сопряженное.

Фильтр Винера может работать в частотной области.

Фильтр Винера может быть сконфигурирован согласно:

где G - фильтр Винера в частотной области, H - первый фильтр в частотной области, S - спектральная плотность входного сигнала, N0 - спектральная плотность шума и/или помехи, θ - неизвестная величина, и E - среднее по отношению к θ.

Среднее можно полагать однородным распределением неизвестной величины в конечных пределах.

Первый фильтр может иметь номинальное значение, и упомянутое усреднение по неизвестной величине может быть вычислено с использованием разложения в ряд Тэйлора первого фильтра вблизи его номинального значения и первого множества моментов неизвестной величины.

Первый фильтр может зависеть от множества неизвестных величин, и фильтр Винера может быть сконфигурирован на основании усредненного представления первого фильтра, усредненного по каждой из упомянутых неизвестных величин.

Первый фильтр может содержать функцию-ящик во временной области и функцию синхронизации в частотной области, функция-ящик имеет ширину во временной области, и упомянутая неизвестная величина может содержать ширину функции-ящика.

Входной сигнал может содержать сигнал кодированного света, захваченный посредством процесса получения изображения построчным сканированием, посредством чего каждая строка кадра экспонируется по очереди в течение времени выдержки, и упомянутый фильтр может быть результатом процесса получения изображения построчным сканированием с выдержкой, являющейся упомянутой неизвестной величиной.

Экспозиция каждой строки может выдавать функцию-ящик, и ее ширина может быть временем выдержки.

Первый фильтр может содержать полосовой фильтр, имеющий центральную частоту и ширину полосы, и упомянутая по меньшей мере одна неизвестная величина может содержать центральную частоту и/или ширину полосы полосового фильтра.

Согласно дополнительному аспекту, раскрытому здесь, может быть обеспечен приемник, содержащий фильтр Винера, имеющий любой из вышеупомянутых признаков, и камеру, которая может быть выполнена с возможностью захвата упомянутого входного сигнала посредством упомянутого процесса получения изображения с построчным сканированием.

Согласно дополнительному аспекту, раскрытому здесь, может быть обеспечен способ определения фильтра Винера для коррекции воздействия первого фильтра на входной сигнал, который подвергается первому фильтру и шуму и/или помехе, способ содержит: идентификацию по меньшей мере одной неизвестной величины, от которой зависит первый фильтр; и в формулировке фильтра Винера, содержащей представление первого фильтра, вместо представления, в котором первый фильтр полагают известным, замену представления усредненным представлением первого фильтра, усредненного по упомянутой по меньшей мере одной неизвестной величине.

Согласно дополнительному аспекту, раскрытому здесь, может быть обеспечен компьютерный программный продукт, реализованный на читаемом компьютером носителе и сконфигурированный так, чтобы при исполнении осуществлять фильтр Винера для коррекции воздействия первого фильтра на входной сигнал, который подвергается первому фильтру и шуму и/или помехе, причем: первый фильтр зависит по меньшей мере от одной неизвестной величины; и фильтр Винера конфигурируется на основании усредненного представления первого фильтра, усредненного по упомянутой по меньшей мере одной неизвестной величине, вместо представления первого фильтра, полагаемого являющимся известным.

В вариантах осуществления способ и/или компьютерная программа могут быть дополнительно сконфигурированы в соответствии с любым из признаков, описанных относительно фильтра Винера выше.

В дополнительных вариантах осуществления какие-либо из признаков устройства стороны-передачи, устройства стороны-приема и/или фильтра Винера, изложенные выше, могут быть объединены; как могут и любые признаки любого устройства, передатчика, приемника, системы, сигнала, способа и/или компьютерной программы, изложенные выше или раскрытые где-либо еще в документе.

Следует заметить, что этот раздел «СУЩНОСТЬ ИЗОБРЕТЕНИЯ» не предназначен ограничивать объем настоящего раскрытия. Объем раскрытия ограничивается только формулой изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Чтобы способствовать пониманию настоящего раскрытия и показать, каким образом варианты исполнения могут быть осуществлены, ссылка делается в качестве примера на сопроводительные чертежи, на которых:

Фиг.1 - схематичная блок-схема системы связи с использованием кодированного света,

Фиг.2 - схематичное представление кадра, захваченного камерой со скользящим затвором,

Фиг.3 - показ примера захваченного кадра,

Фиг.4 - показ примера применимых выборок, полученных из захваченного кадра,

Фиг.5 - схематичная иллюстрация схемы троичного Манчестерского кодирования,

Фиг.6 - схематичная иллюстрация примерного сигнала, кодированного с использованием троичного Манчестерского кода,

Фиг.7 - схематичная иллюстрация формата сообщения,

Фиг.8 - графическое представление некоторого количества кадров, требуемых для повторной сборки сообщения,

Фиг.9 - показ трех повторений циклически повторяемого сообщения,

Фиг.10 - показ сообщения, состоящего из трех пакетов,

Фиг.11 - показ переданных и принятых сигналов во временной области,

Фиг.12 - показ переданного сигнала и межсимвольных помех (ISI) в частотной области,

Фиг.13 - показ сигналов, полученных выборкой каждого из множества кадров,

Фиг.14 - показ расширенных версий сигналов, полученных из выборочных кадров,

Фиг.15 - показ синхронизированных по времени версий сигналов из множества кадров,

Фиг.16 - показ сигналов, реконструированных из множества кадров,

Фиг.17 - показ реконструированного сообщения,

Фиг.18 - показ нескользящей синхронизации сообщений,

Фиг.19 - показ "переключающей" синхронизации сообщений,

Фиг.20 - схематичная блок-схема фильтра Винера, корректирующего фильтр H,

Фиг.21 - схематичная блок-схема фильтра ISI, обусловленного скользящим затвором,

Фиг.22 - схематичная блок-схема, представляющая аддитивный шум, и

Фиг.23 - схематичная блок-схема устойчивого фильтра Винера, корректирующего фильтр H.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Последующее относится к применению кодированного света и обеспечивает формат для осуществления передачи кодированного света, декодер для приема кодированного света и один конкретный полезный компоновочный блок, используемый в декодере (который также может использоваться в других применениях, отличных от кодированного света).

Формат и способы декодирования направлены на обеспечение практического решения для кодированного света, определение формата, который может одинаково работать с существующими камерами со скользящим затвором, а также специализированными, так называемыми камерами с активной зоной (ROI). Раскрытие обеспечивает способ кодирования и декодирования, кодер и декодер, формат сигнала и программное обеспечение для кодирования и декодирования, которые в исполнениях позволяют таким дешевым камерам со скользящим затвором принимать кодированный свет и декодировать сообщения, содержащиеся в нем.

Дешевые камеры со скользящим затвором эффективно сканируют свои изображения так, что строки продвигаются, как и время. Это имеет следствием, что отметка времени верхней строки является намного более ранней, чем отметка времени нижней строки. Теперь если представить, что кодированный свет присутствует в изображении - кодированный свет обычно будет видимым только в малом участке изображения.

Строки, которые фактически изображают свет, являются строками, которые содержат кодированный свет. Каждая строка является "сжатой" в одно значение и это одиночное значение соответствует биту информации или символу; то есть, биту или символу, передаваемому в момент времени, в который строку сканировали. Теперь для камеры со скользящим затвором, чтобы декодировать сообщение, можно удостовериться, что количество строк на один кадр является достаточно высоким (поэтому свет достаточно значительный), и декодировать изображения на основании одиночного кадра. Однако, как будет описано более подробно кратко, это не всегда является возможным.

Фигура Фиг.1 дает схематичное общее представление системы для передачи и приема кодированного света. Система содержит передатчик 2 и приемник 4. Например, передатчик 2 может принимать форму осветительного устройства (например, установленного на потолке или стене комнаты, отдельно стоящей лампы или наружного осветительного столба); и приемник 4 может принимать форму мобильного терминала пользователя, такого как смартфон, планшетный или переносной компьютер. Передатчик 2 содержит источник 10 света и драйвер 8, соединенный с источником 10 света. Передатчик 2 также содержит устройство в виде контроллера 6 и выход на драйвер 8, чтобы управлять источником 10 света, который будет приводиться в действие посредством драйвера 8. Например контроллер 6 может принимать форму программного обеспечения, сохраненного в памяти передатчика 2 и выполненого с возможностью исполнения на процессоре передатчика, или альтернативно не исключается, что некоторая часть или весь контроллер 6 может быть реализован в аппаратных средствах, или конфигурируемой или реконфигурируемой схеме аппаратных средств. Приемник 4 содержит камеру 12 и устройство в виде модуля 14 обработки сигнала и ввод от камеры 12. Модуль 14 обработки сигнала может например принимать форму программного обеспечения, сохраненного в памяти приемника 4, и выполненного с возможностью исполнения на процессоре приемника 4, или альтернативно не исключается, что некоторое или все из модуля 14 обработки сигнала может быть осуществлено в специализированной схеме аппаратных средств, или конфигурируемой или реконфигурируемой схеме аппаратных средств. Контроллер 6 и модуль 14 обработки сигнала сконфигурированы, чтобы выполнять операции стороны-передачи и операции стороны-приема (соответственно) в соответствии с вариантами осуществления, раскрытыми в документе.

Со ссылкой на фигуры Фиг.2 и 3, камера 12 выполнена с возможностью захвата серии кадров 16, каковые, если камера направлена на источник 10 света, будут содержать изображение света от источника 10 света. Камера 12 является камерой со скользящим затвором, что означает, что она захватывает каждый кадр 16 не весь сразу (как в камере с кадровым (глобальным) затвором), а построчно в последовательности строк 18. То есть, каждый кадр 16 разделен на множество строк 18 (общее число строк помечено позицией 20), обычно горизонтальных строк, проходящих каждая через кадр 16 и имеющих толщину в один или несколько пикселей (например, проходящих в ширину кадра 16 и имеющих высоту в один или несколько пикселей в случае горизонтальных строк). Процесс захвата начинается экспозицией одной строки 18, затем следующей (обычно смежной строки), затем следующей, и т.д. Например, процесс захвата может «скользить» сверху вниз кадра 16, начиная экспозицией верхней строки, затем следующей строки сверху, затем следующей строки вниз, и т.д. Альтернативно он может «скользить» снизу вверх (или даже из стороны в сторону вертикальных строк). Следует заметить, что экспозиции каждой строки могут быть исключающими во времени, или альтернативно могут быть перекрывающимися во времени (но так или иначе начинаться в различные моменты времени). Камера 12 имеет некоторое время выдержки Texp, и каждая строка экспонируется по очереди в течение экземпляра того же времени выдержки. Отмечается также, что в случае цифровых камер "экспозиция" понимается не в смысле механического затвора, а предпочтительнее времени, в течение которого пиксели строки захватываются или создается выборка света.

Чтобы захватить выборку с целью обнаружения кодированного света, некоторые или все из отдельных выборок пикселей каждой данной строки 18 объединяют в соответственную объединенную выборку 19 для этой строки (например, только "активные" пиксели, которые полезно вносят вклад в сигнал кодированного света, будут описаны далее со ссылкой на фигуры Фиг.3 и 4). Например, объединение может выполняться интегрированием или усреднением пиксельных значений, или любым другим способом объединения. Альтернативно некоторый пиксель может быть взят в качестве представителя каждой строки.

В имеющейся литературе считается, что источник 10 охватывает в каждом кадре все или почти все. Однако это часто не так. Кроме того излучаемый свет не является обязательно синхронизированным с процессом захвата, каковое может приводить к дополнительным проблемам.

Конкретная проблема в использовании камеры со скользящим затвором для обнаружения кодированного света, следовательно, возникает, поскольку источник 10 света, использующийся в качестве передатчика кодированного света, может фактически охватывать только долю строк 18 каждого кадра 16. Фактически только строки 24 на Фиг.2 содержат пиксели, которые регистрируют изменения интенсивности источника кодированного света, и таким образом ведут к выборкам, содержащим полезную информацию. См. также Фиг.3. Все оставшиеся «строки на один кадр» 22 и их производные выборки не содержат информацию кодированного света, связанную с интересующим источником 10. Если источник 10 является малым, можно получать только короткий временный вид источника 10 кодированного света в каждом кадре 16, и, следовательно, существующие способы допускают только очень короткие сообщения. Однако, может быть желательным иметь также возможность передачи более длинных сообщений. Отмечается также, что могут иметься некоторые строки 26, которые являются "невидимыми" или холостыми, например, благодаря выбранному формату кадра (оставляющему только активные строки 21, осуществляющие вклад в захваченное изображение).

Кроме вышеупомянутого может альтернативно или дополнительно иметься одна или несколько других трудностей. В осуществлениях трудности могут содержать: во-первых, скользящий затвор может приводить к коротким, прерванным во времени видам источника кодированного света; во-вторых, может иметься конфликт интересов между «автоматическим управлением экспозицией» и кодированным светом; в-третьих, технология драйвера в настоящее время позволяет сигнализацию только с низкой частотой, каковое может вызывать мерцание изображения; и/или в-четвертых, эффект фильтрации, порождаемый процессом скользящего затвора, может приводить к межсимвольным помехам (ISI).

Следовательно, существующие способы могут быть недостаточно гибкими и/или предрасположенными к ошибкам или помехам. Последующие варианты осуществления направлены на объединение информации из множества видеокадров в камере со скользящим затвором, такое что сообщения, более длинные, чем их отпечаток в одном видеокадре, могут захватываться и декодироваться. В вариантах осуществления это включает в себя:

(i) использование формата сигнала, посредством чего сообщение циклически повторяется передатчиком; и

(ii) в приемнике, применение сведений о времени повторения сообщения (Tm) и сведений о длительности кадра (Tframe) для реконструкции полного сообщения из частичных моментальных снимков, полученных в каждом кадре. С этой целью раскрытие обеспечивает способ для накопления и повторной сборки данных, накопленных из множества кадров.

Сообщение циклически повторяется, и в приемника сообщение эффективно повторно собирают во времени (например, для некоторых сообщений это может фактически занимать 1 или 2 секунды, например, тем самым 30-60 кадров). Чтобы давать возможность этого, последующее описывает конкретный формат данных для кодирования информации в свете.

Часть декодирования сигнала в свою очередь описывается с использованием способа, именуемого здесь "повторной сборкой". Для содействия декодированию, длительность сообщения и/или Texp камеры подстраивают некоторым образом, который дает возможность дешевой камере со скользящим затвором детектировать полное сообщение достаточно быстро.

Как только сообщение повторно собрано, оно будет скорректировано. "Обычный" подход состоит в том, чтобы взять сообщение и эффективно использовать делитель интервалов, чтобы определить точное хронирование сигнала и затем скорректировать его. Однако, согласно вариантам осуществления из последующего, этого можно добиться разумным образом, используя реализацию устойчивого фильтра Винера, которая является достаточно эффективной (предпочтительно такой, что весь алгоритм декодирования может быть осуществлен на стандартном обычном мобильном телефоне).

Устойчивый фильтр Винера принимает во внимание неопределенность канала и таким образом может снизить межсимвольные помехи (ISI). В последующих вариантах осуществления этот фильтр используется после повторной сборки, но отмечается, что он также может использоваться в других системах (не ограничивается лишь коррекцией эффекта скользящего затвора, ни даже лишь применениями кодированного света).

ФОРМАТ СООБЩЕНИЯ

Последующее описывает формат сообщения, который позволяет надежное объединение информации множественных видеокадров, такое что сообщения, более длинные чем "отпечаток", и даже сообщения, имеющие длительность многих кадров, могут захватываться и декодироваться. Кроме того, формат сигнала позволяет асинхронную (подобную винеровской) коррекцию, чтобы аннулировать ISI, обусловленные камерой в приемнике. Кроме того, частотный спектр сообщений может быть таким, что нет видимого мерцания или стробоскопических эффектов даже для длин сообщений, имеющих частоту повторения, например, в 18 Гц (частота весьма чувствительного мерцания).

Пример такого формата сообщения показан на Фиг.7. Для гарантии, что сообщение может быть захвачено даже при заданном малом отпечатке, сигнал кодированного света передается в соответствии с форматом, посредством чего одно и то же сообщение 28 повторяется многократно подряд, и хронирование этого конфигурируется относительно времени выдержки камеры - или области значений возможных времен выдержки ожидаемых камер - так, что сообщение "скользит" по множеству кадров. То есть, так, что другая часть сообщения видна камере в каждом из множества других кадров, таким образом, который позволяет, что полное сообщение будет построено во времени, если различные части сообщения являются видимыми. Вопросом здесь является, следовательно, способ, которым выбирают длину (длительность) Tm сообщения относительно времени Texp выдержки или ожидаемых времен выдержки, так что в реконструкции камера со скользящим затвором формирует изображение другой части сообщения в каждом кадре (причем части сообщения не обязательно являются последовательными, и фактически для камер со скользящим затвором они часто не будут последовательными). Хронирование сообщения может подстраиваться в ответ на фактическое знание конкретного значения Texp выдержки камеры, подаваемого обратно через подходящий обратный канал, такой как радиочастотный (RF) канал между приемникам 4 и передатчиком 2 («согласованный формат»), или альтернативно хронирование может форматироваться предопределенным образом, чтобы предусмотреть область возможных значений Texp времени выдержки камер, которые формат предназначен вмещать («универсальный формат»).

В вариантах осуществления, кроме длины (длительности) фактического информационного содержимого 30 сообщения (полезной нагрузки), длина Tm сообщения может быть выбрана согласно включению холостого интервала 34 между сообщениями (IMIP) между повторяемыми экземплярами того же сообщения. Этот способ, даже если лишь содержимое сообщения приведет к видимости каждым кадром более или менее той же части сообщения, холостой интервал между сообщениями может использоваться, чтобы прервать такое поведение и вместо этого добиться условия "скольжения", описанного выше. В исполнениях холостой интервал между сообщениями может подстраиваться данной обратной связью Texp («согласованной формат»), или может быть предопределенным, чтобы вмещать область возможных значений Texp («универсальный формат»).

Как упомянуто, условие скольжения связано с временем выдержки (то есть, временем выдержки для строки) Texp камеры со скользящим затвором. Нет одного единственного решения для этого, это в большей степени вопрос избегания комбинаций Tm и Texp, которые не удовлетворяют условию (вкратце описанному более подробно). В случае отыскания универсального формата, изобретатели обнаружили, что может гарантироваться, что достаточные решения будут доступными при условии Texp≤33мс или (1/30)с (приблизительно).

Другой вопрос составляют межсимвольные помехи (ISI), которые являются результатом эффекта фильтрации в экспозиции каждой строки (эффективно фильтра-ящика, применяемого во временной области, если каждая строка экспонируется). Для смягчения этого, в вариантах осуществления, формат сообщения выполнен таким образом, что каждый экземпляр сообщения содержит множество отдельных пакетов 29 (например, по меньшей мере три) и включает межпакетный холостой интервал (IPIP) 32 между каждым пакетом. В вариантах осуществления межпакетный холостой интервал следует за каждым пакетом, с холостым интервалом 34 между сообщениями (IMIP), снабженным меткой на конце после последнего пакета (может быть даже только один пакет, за которым следуют IPIP 32 и потенциально IMIP 34).

Межсимвольные помехи являются тогда функцией от длины пакета и межпакетного холостого интервала. Чем больше символов данных находятся в строке, тем больше межсимвольные помехи (ISI). Следовательно, желательно держать длину пакета малой с хорошо определенными размерами промежутков между ними. Холостые промежутки (нет данных, например, все нули) между пачками данных помогают смягчить межсимвольные помехи, поскольку сохраняют длину пакета короткой. Снова эти характеристики могут быть подстроены в ответ на фактические сведения о времени Texp выдержки конкретной камеры, подаваемые обратно через подходящий обратной канал, такой как RF канал между приемником 4 и передатчиком 2 («согласованной формат»), или альтернативно хронирование может быть сформатировано предопределенным образом, чтобы предусмотреть область возможных значений времени выдержки Texp камер, которые формат предназначен вмещать («универсальный формат»). В вариантах осуществления изобретатели обнаружили, что длина пакета не более чем 9 битов, разделенного межпакетным холостым интервалом, по меньшей мере, в Texp, обеспечивает хорошую рабочую характеристику в терминах смягчения ISI. По удобному совпадению, 9 битов также полезно допускают один байт данных плюс бит синхронизации. Тем не менее, в других вариантах осуществления длина пакета вплоть до 12 битов или даже до 17 битов может допускаться.

Так же как достижение "скольжения", другим потенциальным вопросом является синхронизация. У приемника имеется шаблон формата сообщения, который он использует для синхронизации с принимаемым сигналом - например, ему известно что после промежутка IPIP+IMIP ожидать бит синхронизации, затем байт данных, затем IPIP, затем другой бит синхронизации и байт данных, и т.д. Путем сравнения этого шаблона с принимаемым сигналом кодированного света, приемник может синхронизироваться с сигналом. В вариантах осуществления, чтобы содействовать синхронизации, изобретатели установили, что холостой интервал между сообщениями предпочтительно должен иметь по меньшей мере 4 символа релевантного модуляционного кода, например, 4 символа троичного Манчестерского кода.

При данных вышеуказанных соображениях, иллюстративный формат сообщения содержит:

(i) использование формата сигнала, причем сообщение циклически повторяется (много раз) передатчиком, таким образом позволяя (временную) рекомбинацию отпечатков из последовательных видеокадров, причем каждый отпечаток содержит частичное принятое сообщение, чтобы получить полное принятое сообщение - размер сообщения может выбираться так, что путем циклического повторения в итоге целостное сообщение может быть восстановлено;

(ii) сообщение, имеющее относительно короткие пакеты (например, из 9 битов), разделенные межпакетными холостыми интервалами, чтобы позволять эквалайзеру реконструировать исходную переданную форму сигнала в присутствии значительных ISI, обусловленных установкой неконтролируемого времени выдержки камеры; и

(iii) использование формы «Троичный Манчестерский» (TM) в качестве модуляционного кода с нулевой постоянной составляющей (DC), приводящее к дополнительному подавлению низкочастотных составляющих, таким образом устраняя мерцание на низких частотах символа.

Модификации также являются возможными. Например, хотя предпочтительный модуляционный код является троичным Манчестерским (каковой может сокращенно именоваться начальными TM), другие коды могут альтернативно использоваться (предпочтительно с нулевой DC или содержимое с низкой DC, без видимого мерцания), например, традиционный Манчестерский или код без возврата к нулю (NRZ). Последующее также дополнительно описывает различные особо полезные подборки параметров формата (например, IMIP). В дополнительных вариантах осуществления IPIP может быть тонко настроен на максимальное время выдержки. Длина TM-символа также может быть тонко настроена на время выдержки, когда время выдержки > IPIP. В еще дополнительных вариантах осуществления может использоваться направляемое дескрамблирование для сообщений средней длины и/или дескрамблированные короткие пакеты для коротких сообщений.

Возвращаясь на Фиг.2, теперь опиываются некоторые дополнительные подробности. Как упомянуто, существующая литература допускает, что источник, подлежащий декодированию, охватывает почти или целиком каждый кадр. Считается, что длительность одиночного сообщения, подлежащего декодированию, такова, что может быть захвачена в отпечатке источника в одиночном кадре. Признано, что "невидимые строки" 26 могут создавать проблему по причине синхронности между пакетами данных и съемкой кадров. Предлагается, что сообщение может быть повторено так, что по меньшей мере одно повторение удовлетворяет условию захватываемости полностью в одиночном кадре. Однако, существующие форматы данных для кодированного света могут все еще испытывать ряд проблем.

Как уже описано, конкретная проблема в использовании камеры со скользящим затвором для обнаружения кодированного света возникает поскольку источник света, использующийся в качестве передатчика кодированного света, может охватывать только долю строк каждого кадра (см. снова Фиг.2). Фактически, только строки, охватывающие источник, содержат пиксели, которые регистрируют изменения интенсивности источника кодированного света. Все оставшиеся строки и пиксели не содержат информацию кодированного света, связанную с представляющим интерес источником. Если источник является малым, получают только короткие, прерванные по времени виды источника кодированного света в каждом кадре, и, следовательно, существующие способы позволяют только очень короткие сообщения.

Другой вопрос состоит в том, что современные смартфоны, такие как iPhone и iPads, не позволяет управление временем Texp выдержки и ISO посредством "приложения". Существующие встроенные алгоритмы автоматического управления часто приводят к длительным временам экспозиции, которые, после детектирования камеры, ведут к значительным межсимвольным помехам (ISI) между цифровыми символами, которые последовательно передаются источником света.

Кроме того современная технология LED драйвера позволяет дешевые, энергоэффективные решения, только если полоса пропускания (скорость передачи символов) передаваемого цифрового сигнала является весьма ограниченной (например, скорость передачи символов между 1 и 8 кГц). Для таких низких частот мерцание и стробоскопические эффекты могут становиться серьезными, если не будут предприняты в формате сигнала специальные меры для подавления низких частот. Наличие только кода с нулевой DC не всегда является достаточным.

Настоящее раскрытие описывает формат сигнала, который позволяет надежное объединение информации множественных видеокадров таким образом, что сообщения более длинные, чем "отпечаток", и даже сообщения, имеющие длительность нескольких кадров, могут захватываться и декодироваться. Кроме того, формат сигнала позволяет асинхронную (подобную Винеровской) коррекцию, чтобы аннулировать ISI, обусловленные камерой в приемнике. В заключение, частотный спектр сообщений может быть таким, что нет видимого мерцания или стробоскопических эффектов даже для длин сообщений, имеющих частоту повторения, например, 18 Гц (частота весьма чувствительного мерцания).

Моментальный снимок типичного сигнала кодированного света в передатчике изображен на Фиг.9, которая описывается следующей. Принимается, что источник света может изменять свою интенсивность (мгновенно) излучаемого света между 0 и 1. На Фиг.9 средняя интенсивность (DC) света установлена в 0,8, и амплитуда сигнала кодированного света равна 0,1. Сигнал кодированного света налагается на средний (DC) уровень света.

Сообщение, в этом примере имеющее длительность 161 мс, состоит из 3 пакетов, каждый пакет содержит 9 TM-кодированных битов. Сообщение циклически повторяется передатчиком (3 повторения показаны на Фиг.9). Скорость передачи TM-символов равна 1 кГц (1000 TM-символов в секунду).

Каждый пакет сообщения в этом примере оканчивается межпакетным холостым интервалом в 33 TM-символа (~33мс). В конце каждого сообщения имеется (дополнительный) холостой интервал между сообщениями в 5 TM-символов, получая в результате общий холостой интервал в 33+5=38 холостых символов между третьим пакетом текущего сообщения и первым пакетом следующего сообщения. Фиг.9 изображает 3 повторения сообщения, где каждое сообщение состоит из 3 пакетов.

Фиг.10 изображает одиночное сообщение по Фиг.9, где DC была удалена, и амплитуда сигнала была сделана равной 1. Активная часть каждого пакета состоит из 9 TM-кодированных битов, приводя к 2⋅9+1=19 TM-символам. Следует заметить, что первый и последний TM-символ каждого пакета имеет амплитуду ±0,5, в соответствии с правилами TM кодирования. Формат сообщения, как описан на Фиг.9 и 10, может быть декодирован с использованием камеры, которая имеет любой данный Texp, такой что Texp≤1/30. В общем все параметры, такие как например, скорость передачи TM-символов, холостые интервалы, модуляционный код, могут быть выбраны, чтобы содействовать детектированию.

Причина повторения сообщения циклически состоит в том, что в каждом кадре видеофрагмента камеры со скользящим затвором только небольшая часть переданного сообщения может быть восстановимой. Размер этой части зависит от размера источника света в изображениях камеры (отпечатка) и длительности сообщения. Например, если размер источника света таков, что только 14% строк кадра охватываются источником света, и если длительность сообщения находится на уровне 5 кадров (полагая скорость записи в 30 кадров в секунду), приблизительно только 3% сообщения потенциально восстановимо из одного кадра видеофрагмента.

Если длительность сообщения тщательно выбрана по отношению к частоте кадров видеофрагмента, последовательные кадры видеофрагмента показывают различные части повторяемого сообщения, так что в итоге полное сообщение восстанавливается.

Фиг.8 изображает, каким образом количество кадров, требуемых для получения полного сообщения, зависит от длительности сообщения и размера отпечатка в изображении для частоты кадров в 29,97 кадр/с.

Последующее рассматривает взаимосвязь, показанную на Фиг.8. Для каждого кадра длительностью Tf получают вид длительностью Tfootprint для сообщения. Совокупность из N отпечатков N последовательных кадров должна охватить по меньшей мере 1 полное сообщение. Отпечатки должны "скользить" над сообщениям. Отпечатки имеют частоту повторения, равную частоте кадров (= 29,97 Гц), сообщения имеют частоту повторения 1/Tm, и эти частоты должны быть "достаточно" различными.

Может быть также желательным минимизировать N, поскольку большое N ведет к большим задержкам. К тому же для "малого" отпечатка можно желать малое N, например, N=30 ~ 1 секунда.

Девиации частоты передатчика приводят к разбросу значений Tm. Некоторые девиации могут вести к «медленному скольжению» или даже отсутствию скольжения. N должно оставаться разумным для некоторой области значений длительностей сообщения вблизи номинального значения.

Теперь рассматривается, что происходит для охвата сообщения отпечатками, если:

- относительный отпечаток α=Tfootprint/Tf=0,4

- 0<α≤1, (практически например, 0<α≤0,88 из-за невидимых строк)

Если Tm составляет приблизительно Tf, сообщение едва «скользит» (каждый кадр видит фактически ту же часть сообщения). Но если Tm составляет приблизительно 1,5 Tf, сообщение "переключается", так что каждый другой кадр видит альтернативные части сообщения, но некоторые части неоднократно пропускаются.

Оказывается, что если α<1, получают "нескользящие" отпечатки, если длительности Tm сообщения являются кратными длительности Tf кадра. Если α<0,5, получают "переключающиеся" отпечатки, если Tm является полуцелым числом, кратным Tf (0,5, 1,5, 2,5, …).

В общем, если 1/(n+1)<α≤1/n, где n - целое, то сталкиваются с "нескользящими" отпечатками, если:

Оказывается, что скольжение может быть уже недостаточным, если вышеуказанное отношение является "близким" к одному из "нескользящих" отношений. Также оказывается, что скольжение может быть уже недостаточным, если вышеуказанное отношение является "близким" к одному из "нескользящих" отношений.

Результатом является сложная взаимосвязь, как видно на Фиг.8.

МОДУЛЯЦИОННЫЙ КОД

Предпочтительным модуляционным кодом для низкоскоростной передачи битов является троичный Манчестерский (TM) ввиду дополнительного подавления низкочастотных составляющих, каковое может приводить к мерцанию. Низкоскоростная передача битов может быть обязательной по двум причинам: (i) ограниченной приемлемой сложности и минимальной требуемой эффективности для драйверов источников света на основе LED; и/или (ii) для получения скорости сигнализации, которая может быть восстановлена для весьма больших времен выдержки.

При сравнении кодов NRZ, Манчестерского и троичного Манчестерского отмечается, что NRZ (фактически: код без модуляции) имеет (спектральное) содержимое с очень высокой DC. Манчестерский модуляционный код, известный из магнитной записи и к тому же предложенный для стандарта связи в видимом оптическом диапазоне (Visible Light Communication, VLC) Института инженеров по электротехнике и радиоэлектронике (IEEE), является так называемым кодом с нулевой DC, то есть, спектральный состав при нулевой частоте равен 0. Троичный Манчестерский модуляционный код является так называемым модуляционным кодом с нулевой DC2, подразумевая, что спектральная плотность вблизи DC остается намного меньшей по сравнению с кодом с нулевой DC, подобным Манчестерскому. В спектрах для низких частот Tm является, следовательно, предпочтительным по сравнению с Манчестерским. Относительно мерцания, частоты вплоть до 100 Гц являются важными.

Поскольку формат сигнала применяет относительно короткие пакеты, перемеженные «холостыми» символами, можно гарантировать, что сообщение будет с нулевой DC2, полагая каждый пакет являющимся с нулевой DC2. Это добиваются модулированием пользовательских битов, используя импульсную характеристику TM {-0,5, 1,-0,5}. Следует заметить, что пакет из 9 пользовательских битов приводит к TM-кодированному пакету из 19 TM-символов.

Относительно более высоких битовых скоростей, также могут предполагаться другие модуляционные коды, возможно даже многоуровневые модуляционные коды с нулевой DC (например, четверичный Манчестерский), если только спектральные плотности не приводят к видимому мерцанию.

Модуляционные коды, подлежащие использованию, могут быть определены образом, который допускает некоторую свободу в фактической реализации драйвера, например, для драйверов с реализацией амплитудной модуляции (AM) или для драйверов с реализацией широтно-импульсной модуляции (PWM). Это подразумевает, что в отличие от традиционных форматов модуляции, фактическая геометрия форм сигнала, подлежащих передаче, не является точно определенной для кодированного света.

Предпочтительный способ задания модуляционного кода для кодированного света будет состоять в определении правил и приемлемых значений выхода полного-T фильтра скользящего среднего, применяемого к форме сигнала выхода модулятора в оптимальных точках выборки.

ДЛИНА ПАКЕТА

Обращаясь к вопросу длины пакета, длину пакета предпочтительно выбирают так, что шаблон данных наихудшего случая все еще является восстановимым в условиях наихудшего случая времен выдержки.

Пример показан на Фиг.11. Пусть переданная форма сигнала 36, соответствующая TM-кодированному пакету из 9 битов, состоит из всех единиц (fsymbol=1кГц). Если эта форма сигнала детектируется камерой, имеющей Texp=1/125[с], можно получить одномерную форму принимаемого сигнала 38 на выходе камеры посредством надлежащей обработки последовательности видеокадров. Следует заметить, что принятый сигнал, который является искаженной версией переданного сигнала, можно видеть, как если бы генерировался камерой, путем свертки переданного сигнала посредством функции прямоугольника, соответствующей действию фильтра FIR с Texp (скользящее среднее за Texp секунд).

Фильтрация скользящего среднего с Texp приводит к межсимвольным помехам (ISI) между TM-символами пакета. Отмечается снижение амплитуды принятого сигнала относительно входящего переданного сигнала. Также отмечается, что в последней половине пакета амплитуда принятого сигнала была снижена до нуля. В заключение отмечается, что принятый сигнал растягивается за переданный сигнал на Texp=8 мс по причине, обусловленной фильтрацией FIR-типа по Texp. Задача обработки сигнала в приемнике - реконструировать переданный сигнал из принятого сигнала.

Фиг.12 показывает такую же ситуацию в частотной области. Кривая 40 представляет абсолютное значение спектрального представления (преобразование Фурье) одиночного 9-битового TM-кодированного пакета, состоящего из всех единиц. Кривая 42 представляет абсолютное значение передаточной функции для «фильтра скользящего среднего по Texp». Принятый сигнал в частотной области - скалярное произведение обоих спектральных представлений. Следует заметить, что нули фильтра ISI являются особо вредными для принятого сигнала, поскольку сигналы на этих частотах (и на частотах в окрестности нулей) эффективно удаляются из переданного сигнала.

Если желают, чтобы переданный сигнал являлся восстановимым из принятого сигнала, требуется, чтобы, по меньшей мере, достаточная энергия сигнала оставалась после фильтрации переданного сигнала фильтром ISI для всех приемлемых подборок Texp. Чтобы это произошло, спектральное представление переданного сигнала должно быть достаточно "разбросано" по многим частоты (для всех возможных подборок битового содержимого пакета). Оказывается, что это имеет место, если длина пакета - порядка 9 битов.

С другой стороны, если желают сделать пакет (состоящий из всех единиц) длиннее, чем 9 битов (например, 17 битов), спектральное представление такого длинного пакета будет все еще сосредоточено вблизи 500 Гц, но его спектральная ширина будет составлять приблизительно 1/2 от исходного пакета. Оказывается, что в этом случае слишком много энергии сигнала разрушается фильтром ISI.

Изобретатели установили, что используя TM модуляцию с fsymbol=1кГц, для длины пакета, например, от 9 до 12 битов, можно восстановить переданный сигнал достаточно точно для всех Texp≤(1/30)с, если межпакетный холостой интервал (IPIP) составляет, по меньшей мере, Texp. Следует заметить, что если IPIP=(1/30)с, фиксированный формат сигнала передачи работает для всех Texp≤(1/30)с. Это может использоваться, чтобы обеспечить универсальный формат сигнала.

Если длина пакета - между 12 и 17 битами, оказывается, что минимальная высота «глазка» в глазковой диаграмме определяется только несколькими "вредными" битовыми комбинациями, у которых имеется плохое спектральное представление, которое может быть разрушено «фильтром скользящего среднего с Texp» таким образом, что является невосстановимым. Если эти вредные битовые комбинации являются лишь несколькими, можно избежать появления таковых посредством так называемого «направленного скремблирования». Однако, оказывается, что одно требует порядка 16 различных комбинаций скремблирования, чтобы применить полезное направленное скремблирование. Поскольку индекс комбинации скремблирования к тому же должен кодироваться в каждом пакете, количество полезных битов будет снова снижено до 8 или 9 на один пакет. Поэтому для очень коротких повторяемых сообщений дескремблированные короткие пакеты могут считаться наиболее полезными. Для более длинных сообщений может быть весьма полезным направленное скремблирование.

СООБЩЕНИЯ, СОЗДАВАЕМЫЕ ИЗ МНОЖЕСТВА ПАКЕТОВ

Для осуществления передачи полезного количества информации от источника света на приемник камеры, строят сообщения, которые состоят из конкатенации p пакетов, где каждый пакет имеет свое собственное битовое содержимое. Между каждыми двумя пакетами имеется, по меньшей мере, межпакетный холостой интервал (IPIP) для предотвращения перекрестных помех ISI между различными пакетами. На конце сообщения имеется дополнительный холостой интервал между сообщениями (IMIP). Сообщение, состоящее из p пакетов, циклически повторяется.

В предпочтительном варианте осуществления, p=3, поэтому эффективно передаются 3 байта информации (24 бита) на одно сообщение.

МЕЖПАКЕТНЫЙ ХОЛОСТОЙ ИНТЕРВАЛ

Назначение межпакетного холостого интервала (IPIP) состоит в ограничении ISI, наведенных временем выдержки (Texp) камеры по отношению к одному пакету. В предпочтительном варианте осуществления длительность IPIP должна быть равной максимальному ожидаемому времени выдержки, Texp_max. Это может обеспечить универсальный формат IPIP, поскольку позволяет восстановление сообщений для любого Texp, если: Texp≤IPIP=Texp_max.

Изобретатели также установили, что сообщения являются восстановимыми, если Texp>IPIP, для тщательно выбранных скоростей передачи TM-символов, где тщательно выбранные скорости передачи TM-символов затем зависят от фактического Texp, используемого камерой. Форматы, применяющие повышенную скорость сигнализации для этого случая, будут относиться к «согласованным форматам сигнала», поскольку передающий источник света и приемник камеры должны согласовать подборку параметров передачи, таких как скорость передачи TM-символов, количество пакетов на одно сообщение, IPIP и/или IMIP, чтобы гарантировать, что фактические передачи кодированного света могут приниматься. Подборка этих параметров зависит от имеющихся установочных параметров камеры, например, Texp, частоты кадров, частоты строк и отпечатка источника света.

Следует заметить, хотя варианты осуществления описываются здесь в терминах IPIP, следующих за каждым пакетом, и дополнительного IMIP, помечаемого на конце последнего IPIP, в альтернативном описании или реализации, IPIP может включаться только между смежными пакетами того же сообщения, с общим холостым интервалом, следующим за концом последнего сообщения, являющегося IMIP.

ХОЛОСТОЙ ИНТЕРВАЛ МЕЖДУ СООБЩЕНИЯМИ

Холостой интервал между сообщениями (IMIP) является пустым интервалом, который добавляют в конец после последнего IPIP, который представляет собой «хвост» последнего пакета сообщения. IMIP может измеряться в TM символах.

IMIP служит двум целям:

(i) убедиться, что общая длительность сообщения является такой, что удовлетворяет хорошим «атрибутам скольжения» при данной частоте кадров, то есть таким, что отпечатки последовательных кадров выявляют полное сообщение насколько возможно быстро; и/или

(ii) вторая цель IMIP состоит в том, чтобы обеспечивать асимметрию в конфигурации пакетов и холостых интервалов в рамках циклического повторения сообщений. Эта характеристика может использоваться в циклической синхронизации приемника.

ЭЛЕМЕНТЫ СИНХРОНИЗАЦИИ ФОРМАТА

В целях синхронизации два элемента формата сигнала являются существенными.

(i) Использование первого бита каждого 9-битового пакета в качестве бита синхронизации. В предпочтительном варианте осуществления первый бит первого пакета сообщения должен быть единицей, тогда как первый бит всех оставшихся пакетов должен быть нулем.

(ii) Использование холостого интервала между сообщения (IMIP). Присутствие ненулевого IMIP нарушает регулярную структуру временного пакета в повторяемом сообщении, поскольку общее холостое время после последнего пакета сообщения является более длительным, чем холостые времена между другими пакетами.

В предпочтительном варианте осуществления IMIP должен иметь длину по меньшей мере 4 символа.

Примерные параметры

При данных всех из вышеупомянутых соображений, некоторыми примерными подборками параметров являются:

- fsymbol≥1 кГц (мерцание и стробоскопический эффект),

- предполагаемые длительности пакетов:

- приблизительно 52 мс (≥49 мс) для fsymbol ~ 1 кГц

- приблизительно 26 мс (≥24,5 мс) для fsymbol ~ 2 кГц

- приблизительно 13 мс (≥12,25 мс) для fsymbol ~ 4 кГц,

- длительности Tm сообщений являются целыми, кратными длительностям пакетов, и/или

- представляющие интерес длительности сообщений: приблизительно 26, 52, 104 мс.

Например:

- время выдержки - меньше чем или равно (1/30) с, скорость передачи символов - 1 кГц, и пакет - 52 мс, включая межпакетный холостой интервал;

- время выдержки - меньше чем или равно (1/60) с, скорость передачи символов - 2 кГц, и пакет - 26 мс, включая межпакетный холостой интервал; или

- время выдержки - меньше чем или равно (1/120) с, скорость передачи символов - 4 кГц, и пакет - 13 мс, включая любой межпакетный холостой интервал.

Другие примерные подборки параметров:

- формат из 3-х пакетов (с циклическим избыточным кодом (CRC)), имеющий длительность 158 мс и скорость передачи символов 1 кГц, причем 158 мс соответствуют 3-байтовому сообщению, имеющему IPIP в 33 символа и IMIP в 2 символа; или

- длина пакета из 70 символов ~ 35 мс и 2 кГц, причем 35 мс соответствуют 3-байтовому сообщению, имеющему IPIP в 3 символа и IMIP в 4 символа (например, этот формат может использоваться там, где значением T_exp управляют, чтобы было меньше чем (1/500) с).

В случае согласованного формата контроллер может быть выполнен с возможностью выбирать между списком множества комбинаций параметров, содержащим любую из одной или нескольких этих комбинаций, и/или другими комбинациями. В универсальном формате одна конкретная комбинация предварительно выбирается удовлетворяющей насколько возможно многим камерам (или предпочтительнее временам выдержки).

КОНТРОЛЬ ЦИКЛИЧЕСКИМ ИЗБЫТОЧНЫМ КОДОМ (CRC)

В предпочтительном варианте осуществления сообщение состоит из нескольких пакетов, где каждый пакет содержит 1 байт информации. В случае, если используется CRC, предложено что последним байтом каждого сообщения является 8-битовый CRC. Поскольку результаты повторяемого декодирования, доставляемые приемникам, декодирующим циклически повторяемый формат сигнала, можно получать потенциально многие реализации переданного сообщения, каковое позволяет повышение надежности полученного сообщения путем сравнения результатов декодирования последовательно декодированных вариантов одного и того же сообщения.

В предпочтительном варианте осуществления CRC характеризуется предварительной загрузкой и инверсией четности. Предварительная загрузка может быть специфической для приложения, таким образом позволяя приемнику устанавливать различия между сообщениями из различных используемых приложений в той же среде. Следует заметить, что имеется компромисс между количеством различных используемых предварительных нагрузок и эффективной способностью обнаружения ошибок CRC.

МНОЖЕСТВЕННЫЕ СООБЩЕНИЯ

Изобретатели установили, что можно передавать конкатенацию различных сообщений, где каждое сообщение mi повторяется N раз, где N - достаточное количество раз, таких что приемник камеры может надежно реконструировать полное сообщение mi при данном отпечатке передающего источника света. После N повторений одного и того же сообщения mi, источник света может передавать совершенно другое сообщение mi+1, имеющее такие же параметры сигнала, путем лишь кокатенации, например, N повторений сообщения mi+1 непосредственно после mi. Оказывается, что приемник способен распознавать когерентно реконструированное сообщение путем наблюдения CRC.

ПОВТОРНАЯ СБОРКА СООБЩЕНИЯ

Последующее описывает процесс повторной сборки или "сшивания" видеокадров для восстановления камерой сообщения кодированного света. Приемник принимает сигнал, сформатированный как описано выше, и повторно собирает части сообщения в полное сообщение, которое затем предоставляется для дальнейшей обработки.

В вариантах осуществления процесс повторной сборки содержит следующее.

(i) Для каждого из множественных кадров, установить выборку на одну строку изображения, как описано выше (см. снова выборки 19, взятые из строк 18 на Фиг.2).

(ii) Накапливать все (активные) выборки данного кадра во временную последовательность (позиционированную каждая в соответственное время, в которое выборка из этой строки была выполнена внутри кадра). Эта последовательность образует «краевой сигнал» или «кадровый сигнал» для каждого кадра.

(iii) Затем удлинить сигналы нулями, приводя к «растянутому краевому сигналу» или «растянутому кадровому сигналу», где длительность каждого растянутого сигнала составляет n-кратную длительность сообщения (n является целым числом) и где длительность продолжительнее чем длительность кадра.

(iv) Затем активные выборки выстраивают по времени, то есть сдвигают выборки построчно на Tframe вправо внутри временного кадра или шкалы, заданных растянутым сигналом. Это делается циклически, то есть, в виде циклического перехода с переходом за конец длины сигнала растянутого кадра. Таким образом сдвинутая позиция выборок внутри растянутой структуры является такой, что она содействует повторной сборке.

(v) Затем выборки свертывают (то есть, повторно собирают). В исполнениях могут встречаться различные реконструкции согласно сдвигу одного измерения дополнительно.

Как только реконструирован, сигнал может быть отфильтрован, чтобы устранить межсимвольные помехи (ISI), например, с использованием фильтра Винера.

В вариантах осуществления фильтр ISI является достаточно устойчивым, чтобы обрабатывать промежутки в повторно собранных данных (эта устойчивость является по меньшей мере, частично результатом модуляционного кода, формата сообщения и фильтра Винера). Процесс (алгоритм) может также позволять изящную обработку пропущенных кадров.

В дополнительных вариантах осуществления, в качестве дополнительного признака, процесс может также позволять приемнику корректировать отклонения тактового генератора относительно хронирования Tm или Tframe на основании корреляции реконструированных сигналов.

Пример процесса повторной сборки сообщения будет вкратце описан более подробно, но сначала некоторые примерные подробности входного каскада приемника конкретизированы со ссылкой на Фиг.1-4.

В вариантах осуществления основанный на камере приемник кодированного в цифровой форме света, раскрытый в документе, весьма отличается от класса известных приемников цифровых сигналов, использующих радио- или инфракрасную (IR) связь. И общая структура приемника кодированного света, и также подробные алгоритмы для выполнения подзадач в приемнике кодированного света, являются довольно различными.

Входной сигнал основанного на камере приемника кодированного света состоит из видеоизображения, снятого в известном формате. Например, известным форматом видео является 480p, формат прогрессивной развертки с кадрами, снятыми с частотой 29,97 кадров в секунду (кадр/с), где каждый кадр состоит из 480 строк, и каждая строка содержит 640 пикселей. Приемник кодированного света состоит из цифровой обработки сигналов, применяемой к этому видеофрагменту, для получения цифрового содержимого источника модулированного света.

Обработка сигнала, выполняемая приемником, может содержать обработку двумерного (2D) сигнала и обработку одномерного (1D) сигнала. Обработка 2D сигнала может содержать:

(i) выбор надлежащего цвета (R, G или B) или линейной комбинации цветов для извлечения сигнала кодированного света;

(ii) сегментацию изображения, использующую подход «большого блока двоичных данных» (blob), эффективно идентифицирующий области в изображении, содержащем источники кодированного света;

(iii) идентификацию «активных пикселей» пространственного фильтра внутри каждого большого блока двоичных данных;

(iv) эффективную компенсацию движения (независимо для каждого источника) с использованием краевого; и/или

(iv) вычисление сигнала "краевой" путем объединения активных пикселей построчно (вычисляя выборки 19, проистекающих из каждой строки 18 на Фиг.2).

Обработка 1D сигнала может содержать:

(i) использование корреляций внутри кадра, чтобы оценить такт передачи (работает наилучшим образом при условии отпечаток >> длительности сообщения);

(ii) допущение использования вышеописанного формата сигнала, где сообщение циклически повторяется передатчиком, и применение сведений о времени повторения сообщения (Tm) и сведений о числе кадров в секунду (Tframe), чтобы реконструировать полное сообщение из частичных моментальных снимков, полученных в каждом кадре (это является процессом повторной сборки, который вкратце будет описан более подробно);

(iii) использование корреляций между последовательными реконструированными сигналами, чтобы оценить такт передачи;

(iv) использование устойчивой Винеровской фильтрации на одиночном интервале сообщения, чтобы смягчить ISI, обусловленные Texp;

(v) применение устойчивой интерполяции Винера, если процедура повторной сборки оставила дырки в реконструкции;

(vi) отыскание глобальной круговой синхронизации путем обработки с использованием шаблона синхронизации;

(vii) декодирование битов путем принятия решений по оптимальным точкам выборки, задаваемым глобальной круговой синхронизацией; и/или

(viii) контроль циклическим избыточным кодом (CRC) на последовательных реконструированных сообщениях. Если m из n последовательных реконструкций имеют CRC=OK, принять сообщение.

Для конкретного формата сообщения и заданного отпечатка, могут потребоваться, например, 30 последовательных кадров для повторной сборки полного сообщения. Если имеется запись в 2 секунды (например, 60 кадров), приемник может генерировать 31 различную реализацию того же сообщения. В вариантах осуществления путем сравнения этих различных результатов декодирования является возможным содействовать синхронизации тактового генератора приемника с принимаемым сигналом.

Относительно выбора соответствующего цвета оказывается, что участок соответствующего цвета может быть значительным, чтобы реконструировать сигнал кодированного света. Например, цвет Зеленый (G) характеризуется наивысшей плотностью пикселей в камере, таким образом давая наивысшее пространственное (и таким образом временное) разрешение сигнала кодированного света. Это может быть важным, если кодированный свет использует высокую частоту символов (широкую полосу пропускания). С другой стороны, оказывается, что цвет синий цвет (B) является благоприятным, если источник света имеет высокую интенсивность и если Texp - достаточно продожительное, поскольку этот цвет имеет тенденцию приводить к меньшему ограничению пикселей.

Со ссылкой на фигуры Фиг.2-4, для сегментации изображения, варианты осуществления настоящего раскрытия используют подход "большого блока двоичных данных" для распознавания областей в изображении, которые могут быть связано с светильником, возможно передающим информацию кодированного света. Обычно, большой блок двоичных данных является областью высокой интенсивности в изображении (например, см. Фиг.3). Алгоритм может распознавать и дифференцировать различные большие блоки двоичных данных в изображении. Например использование краев большого блока двоичных данных позволяет эффективно отслеживать большой блок двоичных данных и ограничивать обработку 2D сигнала, связанную с каждым большим блоком двоичных данных в различных кадрах видео последовательности.

Чтобы найти вносящие вклад пиксели в большом блоке двоичных данных, только те пиксели, которые модулированы, то есть, имеют достаточные изменения интенсивности благодаря источнику модулированного света, эффективно вносят вклад в сигнал. Другие исходные пиксели эффективно создают только "шум" или другие нежелательные побочные эффекты. Обычно, пиксели, которые ограничены (по уровню), также удаляются из последующего рассмотрения (например, см. Фиг.4). Кроме того удаляются пиксели, имеющие недостаточную интенсивность. Результирующее множество «вносящих вклад пикселей», принадлежащих источнику света, может быть представлено в виде двоичного пространственного 2D фильтра.

Последующее описывает алгоритм, который оперирует выборками, которые получают в виде «краевых» в каждом кадре (выборки 19 на Фиг.2, то есть, "объединенные в строку" выборки).

Фиг.3 изображает генерируемое приемникам двоичное изображение, которое указывает представляющий интерес источник. Фиг.4 иллюстрирует в двоичной форме вносящие вклад пиксели выбранного источника в каждом кадре. Следует заметить, что пиксели в центральной части источника не вносят вклад, поскольку эти пиксели являются передержанными, то есть, срезанными.

Фиг.13 показывает «краевые сигналы» (составленные из выборок 19 по Фиг.2) каждого из 100 последовательных кадров, снятых в кинофрагменте, каждая выборка получена надлежащей операцией активных пикселей его соответствующей строки. То есть, каждый «краевой сигнал» является сигналом, полученным из одного заданного кадра 16, с помощью выборок 19, взятых из каждой активной строки 18 того же кадра, позиционируемых во времени в соответственные моменты времени в пределах длительности кадра, в которые они были дискретизированы. Следует заметить, что на Фиг.2 ось времени, соответствующая последовательным выборкам одиночного кадра, проходит сверху вниз, тогда как на Фиг.13, ось времени последовательных выборок в одиночном кадре проходит слева направо (при странице в ландшафтной ориентации). На Фиг.13 показаны 100 последовательных видеокадров (каждый кадр формирует одиночный 1-мерный сигнал), ярусно расположенных друг на друге, последовательные кадры идут сверху вниз.

Отмечается также, что хотя Tframe является равным приблизительно 1/30~33 мс, краевой сигнал одиночного кадра имеет длительность только приблизительно 26,5 мс из-за невидимых строк 26. Внизу Фиг.13 показана полоска 46, которая указывает выборки, которые исходят из строк, которые охватывает источник света в каждом кадре, то есть, только эта часть каждой строки содержит выборки, которые исходят от источника. Для этого примера оказывается, что отпечаток источника относительно кадра, FSF ~0,14, то есть, только приблизительно 14% от строк на один кадр фактически содержат пиксели источника.

На Фиг.14 показано, каким образом использовать известные длительности Tm и Tframe, чтобы генерировать «растянутые краевые сигналы» или «растянутые кадровые сигналы», каждый являющийся растянутой версией сигнала, полученного выборкой из соответственного кадра. Это делают следующим образом.

(i) Определить для каждого кадра растягивание, то есть, временную область вблизи (например, простирающуюся после) активных выборок по Фиг.13, так что получают растяжение длительности в m-кратное Tm, где m является подходяще выбранным целым числом. Следует заметить, что нули всегда могут быть добавлены или удалены за пределами активных выборок.

(ii) Вычислить num_periods=ceiling(Tframe/(m*Tm)), где "ceiling" означает округление до ближайшего целого числа.

(iii) Циклически повторять каждое растягивание num_periods раз с тем, чтобы получить «растянутый краевой сигнал» для каждого кадра, имеющего общую длительность, по меньшей мере, Tframe. Следует заметить, что растянутый краевой сигнал всегда имеет длительность, которая больше, чем Tframe, и что это - целое, кратное Tm.

В примере, Tm=158 мс; Tframe=33,36, поэтому m=1 и num_periods=1, и каждый кадр удлинен нулями, чтобы получить растягивание в 158 мс (= 1 интервал сообщения). Следует заметить, что фактическое полезное наблюдение в каждом кадре (растягивании) составляет только долю приблизительно в 0,03 от полного сообщения, обозначенного полоской 48 на Фиг.14. Можно сказать что отпечаток источника относительно сообщения, FSM, ~0,03.

Следует заметить, что в вариантах осуществления не является необходимым использовать два отдельных целых числа m и num_periods. Суть в том, чтобы определить интервал времени, который является целым числом, кратным длине (длительности) сообщения Tm, и который является более длительным, чем длина (длительность) кадра Tframe. Этот интервал задает опорную временную шкалу или опорный кадр, в рамках которого сигналы, полученные из различных кадров, могут быть синхронизированы, как теперь описывается.

Синхронизация по времени результатов наблюдений, исходящих из различных кадров, выполняют, используя Tframe и вновь определенную опорную структуру или шкалу, определенную как пояснено выше. «Растянутый краевой сигнал» каждой строки является сдвинутым вправо Tframe (в положительном направлении времени) по отношению к растянутому краевому сигналу его предшествующего кадра. Однако, поскольку растянутые краевые сигналы были сделаны кратными длительности Tm сообщения, и поскольку передаваемое сообщение повторяется циклически, можно заменить сдвиг каждого растянутого краевого сигнала циклическим (с циклическим переходом) сдвигом, таким образом получая результаты, показанные на Фиг.15.

То есть, как упомянуто, описанное выше "растяжение" обеспечивает опорный интервал синхронизации, который задает шкалу или структуру, в рамках которой позиционировать сигналы, полученные из каждого кадра. Этот опорный интервал имеет длительность, являющуюся целым числом, кратным длительности Tm сообщения. Кроме того, шкала или структура, которую он задает, циклически повторяется. То есть, за концом опорного периода синхронизации, шкала или структура циклически переходит к началу опорного интервала. Следовательно, если осуществление сдвига сигнала от данного кадра вправо на Tframe относительно его предшествующего кадра вызывает сдвиг порции сигнала этого кадра «за конец» или «за правую сторону» опорной шкалы или кадра (за пределы опорного периода синхронизации, то есть, за пределы целого, кратного Tm, которое было определено для этой цели), тогда порция этого сигнала продолжается путем повторного появления в начале опорной шкалы или кадра (начиная с нуля времени относительно опорного периода синхронизации).

Следует заметить, что в исполнениях не обязательно требуется "растягивать" сигналы из каждого кадра («краевые сигналы»), добавлением нулей. Это представляет лишь один способ реализовать идею создания опорного кадра с циклическим переходом, который является целым, кратным длительности Tm сообщения. Эквивалентный способ для осуществления или рассмотрения этого будет состоять в том, что этот опорный интервал синхронизации (который является целым, кратным Tm) задает "рабочую область", на которую можно помещать сигналы из каждого кадра и на которой их можно смещать на их соответственные кратные Tframe циклическим образом.

Отмечается также, что во всех циклически сдвинутых, растянутых краевых сигналах приемник отслеживает местоположения активных выборок, происходящих от источника кодированного света.

С наличием результатов, как на Фиг.15, приемник теперь может для каждой временной выборки сообщения осуществлять в вертикальном направлении поиск кадров, которые имеют действительную выборку-вклад в этой позиции.

От FSM, составляющего приблизительно 0,03 можно ожидать, что потребуется (по меньшей мере 0,03)-1 ~ 33 кадра, чтобы реконструировать полное сообщение. Обычно, в силу перекрытия, в исполнениях приемнику может потребоваться двукратное число кадров для полного восстановления.

По Фиг.16 можно видеть, что в примере декодеру потребуется 70 последовательных кадров для реконструкции полного сообщения (видеофрагмента в ~2 секунды). Поскольку каждые 70 последовательных кадров дают реконструкцию, видео из 100 кадров дает число 31 различных реконструкций (хотя они являются зависимыми).

Фиг.17 показывает результат реконструкции 48 (и выход устойчивой Винеровской коррекции 50) первого реконструированного сообщения. Длина показанной жирным полоски 52 вверху фигуры указывает, какую долю (~3%, ~ 5 мс) полного сообщения получают из одиночного кадра в этом примере.

В дополнительных вариантах осуществления описанная выше процедура также может иметь дело с так называемыми «пропущенными кадрами». Допущение состоит в том, что возможно пропущенный кадр обнаруживается путем наблюдения времен записей кадра, которые даются камерой. Если кадр пропущен, то соответствующий краевой сигнал не получит действительной поддержки на Фиг.16 и 17. Следовательно, алгоритм повторной сборки автоматически отвергнет соответствующий кадр.

В еще дополнительных вариантах осуществления путем наблюдения корреляций между различными реконструированными сигналами (31 из них показаны на Фиг.17), можно корректировать отклонения тактовых сигналов между передатчиком и приемникам. Если все тактовые генераторы находяться в идеальном синхронизме (полагая точное знание Tm и Tframe), эти различные реконструированные сигналы будут точно совмещены по вертикали (по модулю различных шумовых эффектов). Отклонение тактового сигнала обнаружится в виде ненулевого сдвига наилучшей корреляции. Таким образом приемник может приспосабливаться к тактовым сигналам передатчика. Оказывается, что этот способ работает, даже если принятый сигнал сильно искажен ISI, обусловленными временем выдержки камеры.

Теперь описывается минимальное число кадров, требуемое для получения полной повторной сборки.

Снова нужно рассмотреть, что происходит для охвата сообщения отпечатками, если:

- относительный отпечаток α=Tfootprint/Tf=0,4

- 0<α≤1, (на практике, например, 0<α≤0,88 из-за невидимых строк)

Если Tm составляет приблизительно Tframe, синхронизация сообщений выглядит как на Фиг.18.

Если Tm составляет приблизительно 1,5-кратный Tframe, синхронизация сообщений выглядит как на Фиг.19.

Оказывается, что если α<1, получают "нескользящие" отпечатки, если длительности Tm сообщения являются кратными длительности Tf кадра. Если α<0,5, получают "переключающиеся" отпечатки, если Tm является полуцелым, кратным Tf (0,5, 1,5, 2,5, …).

Как предварительно описано относительно Фиг.8, в общем, если 1/(n+1)<α≤1/n, где n - целое, то имеют длительности Tm нескользящего сообщения, если:

Следует заметить, что сингулярности для малого m шире, чем для более большого m.

Для длительности Tm=T0 нескользящего сообщения, задают m0, наименьшее m такое, что m0⋅T0=k0⋅Tframe, если порядок нескользящего T0 GCD(m0,k0)=1.

Числа m0 и k0 определяют шаблон повторения отпечатков и сообщений в окрестности T0: примерно k0 нескользящих отпечатков входят в m0 сообщений.

Если рассмотреть сообщение длительностью Tm ~ T0 в окрестности длительности T0 нескользящего сообщения: после 1 цикла из m0 сообщений имеются k0 несвязных равноудаленных отпечатков, частично охватывающих сообщение.

Неохваченной частью является: T0-k0⋅α⋅Tframe, деленное на k0 равных частей размером Tg, где

Tg=(T0 - k0⋅Tframe⋅α)/k0=(T0 - m0⋅T0⋅α)/k0=T0(1 - m0⋅α)/k0

Фиг.18 иллюстрирует синхронизацию по времени сообщений с последовательными отпечатками, где α =0,4; близкими к m0=1, k0=1. Здесь сообщение не скользит значительно, и каждый кадр видит почти ту же часть сообщения (только скользящую очень медленно).

Фиг.19 иллюстрирует синхронизацию по времени сообщений с последовательными отпечатками в другом случае, где α =0,4; близкими к m0=2, k0=3. Здесь можно видеть "переключение".

После 1 цикла из m0 сообщений имеются k0 промежутков, каждый длительностью Tg, которые подлежат охвату инкрементными сдвигами отпечатков в следующих циклах.

Рассматривая сдвиг ΔT отпечатков от одного к следующему циклу:

- ΔT=m0⋅|Tm-T0| [мс]

- требуется ~1+Tg/ΔT циклов, чтобы охватить полное сообщение -1+Tg/ΔT циклов соответствуют Nf=(1+Tg/ΔT)⋅k0 кадрам

Отмечается гиперболический характер изменения Nf для Tm в окрестности T0. Отмечается также влияние m0 и T0 на "ширину" сингулярности.

УСТОЙЧИВАЯ ВИНЕРОВСКАЯ ФИЛЬТРАЦИЯ

Это последующее описывает другую часть декодера, который в исполнениях позволяет вышеупомянутому исполнению иметь значительно лучшую рабочую характеристику и позволяет устройству использоваться с более широкой номенклатурой камер.

Вводится устойчивый фильтр Винера, который может использоваться, например, для коррекции сигнала, который искажен фильтром H(f), имеющим неизвестные параметры, и аддитивным шумом. Устойчивый винеровский фильтр является постоянным фильтром, который выдает оптимальные результаты в смысле среднквадратической ошибки (MSE) при условии, что распределение вероятностей параметров фильтра является известным.

Теория фильтра Винера по сути является известной в цифровой обработке сигналов и широко использовалась, начиная со второй мировой войны. Фильтры Винера могут, например, использоваться для оценки (линейно) искаженного сигнала в присутствии шума. Фильтр Винера (эквалайзер) затем дает наилучший результат (среднеквадратическую ошибку, MSE).

В классической (в частотной области) винеровской фильтрации, например, обращении свертки, имеют два независимых, стационарных, с нулевым средним случайных процессов X и N0, как показано на Фиг.20.

В типичном применении, X представляет входной сигнал, вводимый на фильтр H (ссылочная позиция 54 на Фиг.20), и N0 представляет аддитивный шум, добавленный на выходе фильтра H. Винеровский фильтр G (ссылочная позиция 56) выполнен с возможностью корректировать фильтр H, то есть аннулировать воздействие фильтра H на входной сигнал X в присутствии шума N (к наилучшему приближению).

Типичным применением является детектирование кодированного света с помощью камеры со скользящим затвором. В этом случае, эквивалентная проблема цифровой обработки сигналов соответствует восстановлению цифрового сигнала, который был отфильтрован посредством временной функции-ящика. См. Фиг.21. То есть, входной сигнал X представляет сигнал кодированного света, как захвачен камерой со скользящим затвором, и фильтр H представляет эффект фильтрации процесса получения изображения с построчным сканированием. Этот фильтр H создается посредством экспозиции каждой строки. Он представляет собой функцию-ящик (то есть прямоугольную функцию) во временной области шириной Texp - то есть, строки, которая экспонируется в течение времени Texp, в каковое время он захватывает сигнал (передаточная функция фильтра H во временной области равномерно "включена"), и до и после этого не захватывает какой-либо сигнал (передаточная функция H во временной области является нулевой). Функция-ящик во временной области соответствует функции синхронизации в частотной области. Эффект этого фильтра может состоять в том, чтобы выдавать межсимвольные помехи. Следовательно в последующем, фильтр, создаваемый по Texp, может именоваться в терминах своего нежелательного эффекта «фильтром ISI».

(Фигуры 21 и 22 также иллюстрируют, каким образом шум N0 может рассматриваться в виде суммы из: (i) шумовой составляющей n1 на входе фильтра H, прошедшей через фильтр H, и (i) шумовой составляющей n2 на выходе фильтра H).

Задача состоит в том, чтобы найти линейный фильтр G, который обеспечивает минимальную оценку среднеквадратической ошибки для X, используя только Y. Чтобы сделать это, винеровский фильтр G предварительно конфигурируется на основании предполагаемого знания фильтра H, который подлежит коррекции (то есть, аннулированию), а также N0. Он конфигурируется аналитически таким образом, что (в теоретическом заданном знании H и спектре X и N) применение винеровского фильтра G к Y (где Y - входной сигнал X плюс шум N) приведет к выходному сигналу X^, который минимизирует среднеквадратическую ошибку (MSE) по отношению к исходному входному сигналу X.

Классической формулировкой фильтра Винера (в частотной области) является:

где S(f) - спектральная плотность входного сигнала X, и N(f) - спектральная плотность шумовой составляющей N0.

Как можно видеть, формулировка фильтра Винера содержит представление фильтра, который подлежит коррекции, в этом случае в виде H* и |H|2(=HH*). Традиционно в классическом фильтре Винера полагается, что H(f), фильтр, подлежащий коррекции, и N(f), спектральная плотность шума, являются точно известными. В случае коррекции для фильтра ISI, создаваемого процессом получения изображения с построчным сканированием, это подразумевает точное знание Texp. Также полагается, что являются известными спектральные плотности S(f) и N0(f) процессов X и N, соответственно.

Однако фильтры Винера являются фактически весьма чувствительными к ошибкам в оценке H(f). В прошлом были разработаны некоторые способы, чтобы иметь дело с неизвестным искажением, такие как

- итерационные (трудоемкие) подходы, где делают попытку изменять целевую характеристику до тех пор, пока не получат наилучший результат; или

- минимаксные подходы, где делают попытку идентифицировать H(f) наихудшего случая и оптимизируют для этого фильтр Винера.

Проблема, следовательно, использования классической винеровской фильтрации для коррекции состоит в применении этой теории, если коэффициент усиления фильтра должен быть большим, и фильтр, подлежащий коррекции, не является очень точно известным.

Например, для полосы пропускания сигнала порядка 1 кГц с Texp в диапазоне 1/30 секунды фильтр ISI может вносить серьезные межсимвольные помехи (ISI), подобные показанным на Фиг.11 и 12.

Чтобы аннулировать эти ISI на стороне приемника, будет желательным предоставить "мощный" фильтр эквалайзера, который является нечувствительным к неточностям в определении H(f).

Согласно настоящему раскрытию, этого можно добиться путем вычисления фиксированного «среднего фильтра Винера», винеровско-подобного фильтра, который является устойчивым при неизвестных вариациях ISI фильтром H(f). Этот «устойчивый фильтр Винера» может выдавать в большей степени оптимальный выход в терминах MSE при заданном статистическом распределении релевантных параметров H(f).

В применении к кодированному свету эта теория позволяет реконструировать сигнал кодированного света, где Texp камеры является известным лишь приблизительно, каковое часто может иметь место.

Изобретатели нашли особо эффективный вывод (формулы) оптимального устойчивого фильтра Винера. В последующем описывается проблема в частотной области (поэтому в терминах H(f), как введен ранее). Следует заметить, что в применении к кодированному свету, устойчивый фильтр Винера может быть построен в реальном времени в алгоритме декодирования на основе камеры (смартфона), если Texp, и следовательно H(f), задают или изменяют в ходе фактического считывания светильника.

Устойчивая винеровская фильтрации основывается на замечании, что H(f) не является известным точно, но может фактически зависеть по меньшей мере от одной неизвестной величины θ, то есть, параметра H, значение которого не является известным и может фактически в любом данном случае быть найдено в диапазоне значений, например, между двумя пределами -Δ и +Δ (или более обобщенно Δ1 и Δ2). То есть, полагают, что фильтр H(f,θ) зависит от случайного параметра θ, независимого от X и N.

Для функции-ящика ширины θ, то есть, синхронизации в частотной области, можно записать:

И в случае фильтра ISI, создаваемого по прямоугольной функции, θ является Texp.

Устойчивый винеровский фильтр 56' затем создают, взяв классическое представление винеровского фильтра, данное выше, и где появляется представление фильтра, который подлежит коррекции, заменяя соответствующим усредненным представлением, которое усреднено по потенциальным значениям неизвестного параметра θ (например, среднее между -Δ и +Δ или более обобщенно Δ1 и Δ2). То есть, везде, где появляется элемент на основе H(f), он заменяется эквивалентным усредненным элементом, усредненным относительно θ.

Начиная с классической формулировки выше, это дает:

где E - среднее относительно θ. См. также Фиг.23.

Вывод формулы этого теперь поясняется с дополнительной подробностью. Желательно найти фиксированный линейный фильтр G, который обеспечивает линейную минимальную оценку среднеквадратической ошибки

является минимальным. Расширяя классический вывод формулы взятием также среднего по ансамблю по отношению к θ, получают:

поскольку Х, N и θ являются независимыми и E[X]=E

Наилучший G(f) находят дифференцированием e по G и установкой результата в 0:

из какового получают:

Подобным образом можно включить в состав целевую характеристику согласованного фильтра (MF):

Чтобы применить это, остается вычисление Некоторые примеры даются ниже.

Первый подход состоит в том, чтобы использовать разложение H в ряд Тэйлора и моменты θ. В применении кодированного света с построчным сканированием θ=Texp.

Разложение в ряд Тэйлора дает:

В применении скользящего затвора:

Тогда:

Этот подход работает лучше для низких частот, поскольку H'(f,θ) расходится при возрастании частоты.

Второй подход состоит в использовании более точного вычисления, полагая известное распределение θ. Пример: θ является равномерно распределенным между Тогда:

Хотя в вариантах осуществления вышеупомянутое было описано в терминах некоторой модификации к классической формулировке фильтра Винера в частотной области, могут быть другие формулировки фильтра Винера (например, временной области или приближений фильтра Винера, или формулировки, решенные для конкретного H) и принцип замены полагаемого-являющегося-известным H или функции средним H или функцией H также может применяться в таких формулировках.

Отмечается также, что устойчивый фильтр Винера, раскрытый здесь, может использоваться, чтобы скорректировать другие фильтры, отличные от (прямоугольного) фильтра-ящика, и/или в других применениях кроме приема кодированного света. Другим примером является полосовой фильтр, имеющий центральную частоту f0, которая может не быть точно известной. В этом случае фильтр, подлежащий коррекции, является функцией частоты f и центральной частоты f0, H(f;f0), и устойчивый фильтр Винера определяют из усредненного представления H(f;f0), усредненного относительно f0. Например:

Кроме того, идея устойчивого фильтра Винера может также быть расширена до более высоко размерной тета, то есть, более чем одному параметру может разрешаться быть недостоверным. В этом случае представление фильтра H, который подлежит коррекции (например, H* и HH*), усредняется по каждой из неизвестных величин. Например, параметры могут быть центральной частотой и/или шириной полосы полосового фильтра.

Кроме того, шумовая составляющая N0 может альтернативно или дополнительно представлять спектральную плотность мешающего сигнала. Общий термин для шума и/или взаимного влияния - "помеха".

Должно быть понятно, что вышеупомянутые варианты осуществления были описаны только на примере. Другие изменения к раскрытым вариантам осуществления могут быть поняты и осуществлены специалистами в данной области техники в практической реализации заявленного изобретения из изучения чертежей, раскрытия и прилагаемой формулы изобретения. В формуле изобретения слово "содержащий" не исключает другие элементы или этапы, и артикли единственного числа не исключают множественности. Одиночный процессор или другой блок могут выполнять функции нескольких элементов, изложенных в пунктах формулы изобретения. Простой факт, что некоторые меры изложены во взаимно различных зависимых пунктах формулы изобретения, не означает, что комбинация этих мер не может выгодно использоваться. Компьютерная программа может сохраняться и/или распространяться на подходящем носителе, таком как оптический носитель данных или твердотельный носитель, поставляемый вместе или в виде части других аппаратных средств, но может также распространяться в других формах, таких как через сеть Интернет или другие проводные или беспроводные системы связи. Любые ссылочные знаки в пунктах формулы изобретения не должны рассматриваться ограничивающими объем охраны изобретения.

1. Устройство для обработки сигнала от камеры (12) со скользящим затвором, содержащее:

устройство ввода для приема сигнала от камеры (12) со скользящим затвором, которая захватывает кадры заданной длительности с заданной частотой кадров путем экспозиции множества (21) строк (18) каждого кадра (16) последовательно, причем сигнал содержит кодированный световой сигнал;

модуль (14) обработки сигнала, соединенный с упомянутым устройством ввода и выполненный с возможностью получать посредством упомянутого устройства ввода соответственную выборку (19) кодированного светового сигнала от каждой из некоторого количества (24) упомянутых строк (18), упомянутое количество (24) строк является экспонируемым в течение длительности, и упомянутое количество (24) является существенно меньшим количеством упомянутых строк, чем множество (21) строк, экспонируемых камерой в каждом кадре;

кодированный световой сигнал содержит сообщение, имеющее длительность, продолжительнее, чем длительность, в течение которой экспонируют упомянутое количество строк, и множественные повторения сообщения принимают с хронированием таким, что другая часть сообщения видна камере в каждом из множества различных упомянутых кадров; и

модуль обработки сигнала сконфигурирован, чтобы синхронизировать по времени различные части сообщения из множества различных кадров и повторно собирать сообщение из синхронизированных по времени частей.

2. Устройство по п.1, в котором полное сообщение видимо в течение упомянутого множества кадров.

3. Устройство по п.1 или 2, в котором сообщение имеет длительность, продолжительнее, чем один кадр.

4. Устройство по п.1, 2 или 3, в котором модуль (14) обработки сигнала сконфигурирован, чтобы выполнять упомянутую синхронизацию по времени на основании длительности кадра и длительности сообщения.

5. Устройство по п.4, в котором модуль (14) обработки сигнала сконфигурован для выполнения упомянутой синхронизации по времени путем:

определения опорного периода синхронизации, который является целым числом, кратным длине упомянутого сообщения; и

сдвига части сообщения, принятого в каждом последовательном кадре, на длину кадра по отношению к его предшествующему кадру, но с циклическим переходом к началу упомянутого опорного периода синхронизации за концом упомянутого опорного периода синхронизации.

6. Устройство по п.5, в котором каждый кадр содержит активные строки и неактивные строки, и упомянутое множество строк является активными строками, и модуль (14) обработки сигнала сконфигурирован, чтобы получать соответственную выборку (19) из каждой из множества активных строк (21) каждого кадра, включающего в себя упомянутое количество строк, посредством этого обеспечивая кадровый сигнал, имеющий упомянутую длительность кадра; и при этом сдвиг выполняют растягиванием каждого кадрового сигнала, чтобы он имел длительность опорного периода синхронизации.

7. Устройство по п.6, в котором упомянутое растягивание выполняют путем добавления нулей.

8. Устройство по любому предшествующему пункту, в котором модуль (14) обработки сигнала сконфигурирован, чтобы отбрасывать один или несколько пропущенных кадров.

9. Устройство по любому предшествующему пункту, в котором модуль (14) обработки сигнала сконфигурирован, чтобы генерировать множество повторно собранных версий сообщения, основанных каждая на другом соответственном поднаборе упомянутых частей сообщения, и выполнять синхронизацию между тактовыми сигналами упомянутого устройства и тактированием упомянутого кодированного светового сигнала на основании корреляции между упомянутыми версиями сообщения.

10. Устройство по любому предшествующему пункту, в котором каждая из упомянутых выборок берется путем объединения значений пикселей соответственной строки.

11. Устройство по любому предшествующему пункту, в котором упомянутое количество строк меньше чем или равно 14% от строк каждого кадра.

12. Устройство по любому предшествующему пункту, в котором каждая из упомянутых частей меньше чем или равна 3% от сообщения.

13. Устройство по любому предшествующему пункту, в котором количество строк, из которых получают упомянутые выборки, исключает строки, содержащие один или несколько пикселей, которые являются переэкспонированными.

14. Приемник (4) для обработки сигнала от камеры (12) со скользящим затвором, причем приемник содержит устройство по любому предшествующему пункту и камеру (12) со скользящим затвором, выполненную с возможностью передачи сигнала упомянутому устройству.

15. Система для обработки сигнала от камеры (12) со скользящим затвором, причем система содержит приемник (4) по п.14 и источник света (10); камера (12) со скользящим затвором является позиционируемой относительно источника света таким образом, что упомянутые выборки получают из существенно меньшего количества строк, чем экспонировано камерой (12) со скользящим затвором в каждом кадре, и сообщение является более длинным, чем упомянутое количество строк.

16. Способ обработки сигнала от камеры (12) со скользящим затвором, содержащий:

прием сигнала от камеры (12) со скользящим затвором, которая захватывает кадры путем экспозиции множества (21) строк (18) каждого кадра последовательно, причем сигнал содержит кодированный световой сигнал; и

получение соответственной выборки (19) кодированного светового сигнала из каждой из некоторого количества (24) упомянутых строк (18), упомянутое количество (24) строк экспонируется в течение длительности и упомянутое количество (24) является существенно меньшим количеством упомянутых строк, чем количество (21) строк, экспонируемых камерой (12) в каждом кадре;

при этом кодированный световой сигнал содержит сообщение, имеющее длительность, продолжительнее, чем длительность, в течение которой экспонируют упомянутое количество строк, и сообщение повторяют множество раз с хронированием таким, что другая часть сообщения видна камере в каждом из множества различных упомянутых кадров; и

при этом способ дополнительно содержит синхронизацию по времени различных частей сообщения из множества различных кадров и повторную сборку сообщения из синхронизированных по времени частей.

17. Машиночитаемый носитель данных, содержащий программу, сконфигурированную так, чтобы при исполнении выполнять операции:

приема сигнала от камеры (12) со скользящим затвором, которая захватывает кадры путем экспозиции множества строк (18) каждого кадра последовательно, причем сигнал содержит кодированный световой сигнал; и

получения соответственной выборки (19) кодированного светового сигнала из каждой из некоторого количества (24) упомянутых строк (18), упомянутое количество (24) строк является экспонируемым в течение длительности, и упомянутое количество (24) является существенно меньшим количеством упомянутых строк, чем количество (21) строк, экспонируемых камерой (12) в каждом кадре;

при этом кодированный световой сигнал содержит сообщение, имеющее длительность, продолжительнее, чем длительность, в течение которой экспонируют упомянутое количество строк, и сообщение повторяют многократно с хронированием таким, что другая часть сообщения видна камере в каждом из множества различных упомянутых кадров; и

при этом код дополнительно сконфигурирован так, чтобы при исполнении синхронизировать по времени различные части сообщения из множества различных кадров и повторно собирать сообщение из синхронизированных по времени частей.



 

Похожие патенты:

Изобретение относится к преобразователям энергии излучения в электрический сигнал. Технический результат – упрощение процедуры выявления электронного портрета тепловизионной камеры и возможность осуществлять ее в полевых условиях.

Изобретение относится к области приема и обработки оптической информации и касается способа увеличения динамического диапазона в ячейках фотоприемной матрицы ИК диапазона.

Изобретение относится к области приема и обработки оптической информации и касается способа увеличения динамического диапазона в ячейках фотоприемной матрицы ИК диапазона.

Изобретение относится к бортовому устройству. Бортовое устройство содержит модуль обнаружения накоплений, модуль выбора и модуль определения удаления.

Изобретение относится к устройству и способу обработки изображений, в частности для коррекции дефектного пикселя. Техническим результатом является обеспечение надлежащей коррекции дефектного пикселя, даже когда объект, содержащий дефектный пиксель, не имеет конкретного угла.

Изобретение относится к системам захвата изображения. Техническим результатом является автоматическое обнаружение и корректировка или компенсация периодического мерцания.

Изобретение относится к детектору без регулирования температуры, содержащему матрицу подвешенных болометров, расположенных в фокальной плоскости линзы, считывающую схему, создающую поток необработанных значений, и затвор.

Изобретение относится к аппаратуре для регистрации излучения и системе визуализации излучения. .

Изобретение относится к телевизионной технике и преимущественно может быть использовано в телекамерах на фоточувствительных матричных приборах с зарядовой связью (ФМПЗС), предназначенных для работы в условиях световых перегрузок и имеющих электронную регулировку чувствительности за счет изменения внутрикадрового времени накопления.

Изобретение относится к области инженерной геодезии и связано с созданием видеоизмерительных систем, предназначенных для решения широкого круга задач, в частности: - определения взаимных высотных положений контролируемых объектов путем измерения уровня жидкости в сосудах гидростатического нивелира [1-3];- определения смещений контролируемых объектов от заданного створа [4];- передачи заданного направления с одного горизонта на другой [5-9];- определения плановых координат объектов [10];- контроля наклонов оснований сооружений [11];- определения углового положения объекта относительно заданного направления [12]; - определения смещений почвы от струны обратного отвеса [13];- автоматизированного инструментального геотехнического мониторинга зданий и сооружений [14];- автоматизации геодезических наблюдений за деформациями строительных конструкций [15];- автоматизированного контроля деформаций высотных зданий [16].

Изобретение относится к способу связи, реализуемому передатчиком. Технический результат заключается в обеспечении создания и передачи агрегированного TDM-сигнала по каналу связи.

Изобретение относится к волоконно-оптическим системам передачи, в частности к системам формирования (передачи) и приема оптических сигналов. Техническим результатом изобретения является повышение эксплуатационных характеристик (дальности связи, помехоустойчивости и разведзащищенности) оптического трансивера.

Способ относится к области передачи информации и касается способа модуляции лазерного луча кварцевым резонатором с уголковыми отражателями. Способ включает в себя использование расположенного в одной плоскости набора прямоугольных тетраэдров с взаимно перпендикулярными зеркальными отражающими плоскостями.

Изобретение относится к технике связи и может использоваться в системах оптической связи. Технический результат состоит в повышении пропускной способности каналов связи.

Изобретение относится к технике связи и может использоваться в оптических системах связи. Технический результат состоит в повышении качества связи.

Изобретение относится к аналоговой оптической связи и может быть использовано для передачи аналоговых сигналов в условиях помех от работы мощных импульсных электрофизических установок, а также для передачи аналоговых сигналов на дальние расстояния (несколько километров).

Изобретение относится к радиофотонике, в том числе к технике приема слабых широкополосных радиосигналов, например, от антенн и антенных решеток. Заявленный радиофотонный широкополосный приемный тракт на основе ММШГ-модулятора с подавлением собственных шумов лазера содержит лазер, оптическую линию передачи, устройство оптической связи с ММШГ-модулятором, источник модулирующего радиосигнала (антенну), ММШГ-модулятор и оптический фильтр.

Изобретение относится к области обеспечения информационной безопасности переговоров в выделенных помещениях путем нейтрализации каналов утечки речевой информации через волоконно-оптические линии и может быть использовано в системах защиты конфиденциальной речевой информации.

Изобретение относится к технике связи и может быть использовано для обеспечения информационной безопасности переговоров в выделенных помещениях от угроз утечки акустической (речевой) информации через волоконно-оптические коммуникации.

Изобретение относится к радиофотонике, в том числе к технике передачи мощных широкополосных радиосигналов по волоконно-оптическим линиям связи к антеннам и антенным решеткам.

Изобретение относится к области обработки цифровых изображений и может быть использовано в системах отображения изображений. Технический результат - повышение качества цифровых изображений за счет упрощения и уменьшения количества вычислительных операций при повышении резкости цифровых изображений.

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении точности получения выборки кодированного светового сигнала. Технический результат достигается за счет приема сигнала от камеры со скользящим затвором, которая захватывает кадры путем экспозиции множества строк каждого кадра последовательно, причем сигнал содержит кодированный световой сигнал; и получения соответственной выборки кодированного светового сигнала из каждой из некоторого количества упомянутых строк, упомянутое количество строк экспонируется в течение длительности и упомянутое количество является существенно меньшим количеством упомянутых строк, чем количество строк, экспонируемых камерой в каждом кадре; при этом кодированный световой сигнал содержит сообщение, имеющее длительность, продолжительнее, чем длительность, в течение которой экспонируют упомянутое количество строк, и сообщение повторяют множество раз с хронированием таким, что другая часть сообщения видна камере в каждом из множества различных упомянутых кадров; и при этом способ дополнительно содержит синхронизацию по времени различных частей сообщения из множества различных кадров и повторную сборку сообщения из синхронизированных по времени частей. 5 н. и 12 з.п. ф-лы, 23 ил.

Наверх