Системы и способы наблюдения в ночное время

Изобретение относится к системам видеонаблюдения. Техническим результатом является расширение арсенала технических возможностей систем видеонаблюдения. Результат достигается тем, что формируют посредством камеры фоновое изображение, содержащее, по меньшей мере, часть поля наблюдения камеры, выстраивают фрагменты изображения в составное фоновое изображение, принимают изображение в реальном масштабе времени текущего поля зрения камеры, помещают изображение текущего поля зрения камеры в реальном масштабе времени в фоновое изображение, сформированное камерой, соотносят положение изображения в реальном масштабе времени в фоновом изображении и определяют, где в поле зрения камеры находится изображение, полученное в реальном масштабе времени, при этом на стадии определения обнаруживают и выделяют в поле зрения камеры движущиеся объекты, новые объекты и пропавшие объекты, и если движущийся или новый объект появился в поле зрения камеры в процессе наблюдения, его добавляют в фоновое изображение в реальном масштабе времени, изменяют положение изображения в реальном масштабе времени в фоновом изображении на основе изменения текущего поля зрения камеры. Камера также оснащена прибором подсветки для создания луча подсветки и защитным модулем для обнаружения присутствия объектов, расположенных в непосредственной близости с прибором подсветки, и отключения луча подсветки. 4 н. и 35 з.п. ф-лы, 11 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к системам наблюдения, и в частности к системам и способам для систем наблюдения ночного видения.

УРОВЕНЬ ТЕХНИКИ

Камеры ночного видения, использующие приборы инфракрасной подсветки, могут обеспечить сильное увеличение, но это сильное увеличение естественным образом приводит к узкому мгновенному полю зрения. Узкое поле зрения также является результатом того, что при заданном расстоянии отклонение луча прибора подсветки за границы определенного угла приведет к интенсивности луча, недостаточной для формирования полезного изображения. Ограничение поля зрения мешает пользователям таких камер наблюдения ориентироваться в наблюдаемой области, особенно когда область, которую они должны охватить, является большой и сложной или когда мгновенное представление ночного видения имеет низкое информационное содержание.

Один способ, который может быть использован для преодоления этого ограничения, заключается в систематическом сканировании поля наблюдения для нахождения заметных ориентиров, которые могут помочь определять местонахождение текущего поля зрения. Вследствие характера задач наблюдения такая процедура поиска обычно не практична, поскольку она может расходовать драгоценное время в момент чрезвычайной ситуации. Полученное длительное время сканирования, требуемое для камеры наблюдения для охвата типичных угловых секторов, определяющих поле наблюдения камеры, может представлять собой проблему.

Некоторые системы ночного видения используют лазерные приборы инфракрасной подсветки. Многие из этих систем используют методику синхронизированной визуализации для ослабления атмосферного обратного рассеяния, считающегося механизмом доминирующих помех. Использование методики синхронизированной визуализации требует дорогостоящего блока формирования изображений и сложной синхронизации лазерных импульсов с блоком формирования изображений. Кроме того, системы ночного видения на основе синхронизированной визуализации восприимчивы к засветке из-за интенсивных источников света в поле зрения блока формирования изображений. Использование традиционной системы ночного видения с лазерным прибором подсветки также может иметь проблемы безопасности для глаз, и в зависимости от применения может требовать, чтобы на месте работы системы ночного видения присутствовал сотрудник по безопасности при работе с лазерами.

Другие системы ночного видения используют активное инфракрасное освещение, формируемое лампами со светодиодами, с камерой, настроенной на захватывание испускаемого света. Эти системы обеспечивают пригодные для использования изображения только на коротких расстояниях, и лампы имеют относительно короткий срок службы, добавляя эксплуатационные расходы к системе. Кроме того, эти системы также восприимчивы к засветке из-за интенсивных источников света в поле зрения блока формирования изображений.

Дополнительные системы ночного видения используют структуру из приборов с зарядовой связью (ПЗС; CCD) с усилением чувствительности (ICCD), которая полагается на захват рассеянного света (например, звездного света и лунного света) чувствительной ПЗС-камерой. Эти системы также имеют малую рабочую дальность действия и не работают в пасмурные или безлунные ночи. Кроме того, они восприимчивы к засветке из-за интенсивных источников света в поле зрения блока формирования изображений.

Самые распространенные системы ночного видения основаны на тепловом формировании изображений, при котором температура объекта используется для формирования изображения предмета. При обучении оператора полученное изображение может использоваться для обнаружения, но не для доподлинной идентификации, поскольку можно увидеть мало деталей изображения и нельзя видеть надписи. Кроме того, неохлаждаемые тепловые системы имеют малую дальность действия, в то время как охлаждаемые тепловые системы имеют большую дальность действия, но очень дорого стоят. Наконец, добавление возможности масштабирования изображения к тепловой системе является дорогостоящим из-за необходимости использовать специальные линзы. Вследствие этого многие тепловые системы имеют неизменяемое фокусное расстояние.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической задачей настоящего изобретения является создание систем и способов для наблюдения в ночное время, в том числе систем и способов, которые обеспечивают широкий обзор наблюдаемой области, в текущем поле зрения, и которые могут позволить пользователю незамедлительно понять, где расположено текущее поле зрения, получить надлежащую ориентацию в пространстве и предпринять надлежащие действия в случае обнаружения угрозы. Системы и способы позволяют сократить время сканирования поля наблюдения, а также время повторного осмотра данной точки в сканируемом секторе камеры наблюдения. Согласно одному варианту воплощения изобретения способ, используемый в системе наблюдения, имеющей камеру, содержит этапы, на которых формируют фоновое изображение поля наблюдения камеры, принимают изображение прямой видеосъемки текущего поля зрения камеры, причем поле зрения находится в пределах поля наблюдения, и согласуют положение изображения прямой видеосъемки в пределах фонового изображения. Изображение прямой видеосъемки может быть согласовано с фоновым изображением посредством отображения индикатора положения для изображения прямой видеосъемки на фоновом изображении или может быть сделано посредством слияния изображения прямой видеосъемки с фоновым изображении в его относительном положении.

В другом варианте воплощения система наблюдения ночного видения содержит камеру, имеющую поле наблюдения, прибор подсветки, который формирует луч подсветки, компьютер, который для формирования фонового изображения поля наблюдения, принимает изображение прямой видеосъемки текущего поля зрения камеры, которое находится в пределах поля наблюдения, и согласует положение изображения прямой видеосъемки в пределах фонового изображения, причем изображение прямой видеосъемки запечатлено камерой с использованием луча подсветки.

В другом варианте воплощения способ наблюдения с использованием, по меньшей мере, одной камеры, содержит этапы, на которых формируют фоновое изображение поля наблюдения камеры, сканируют поле наблюдения на основе информации о положении цели, соответствующей, по меньшей мере, одной цели в поле наблюдения, принимают изображение прямой видеосъемки текущего поля зрения камеры, которое включает в себя, по меньшей мере, одно положение цели, причем поле зрения находится в пределах поля наблюдения, и согласуют положение изображения прямой видеосъемки в пределах фонового изображения.

В другом варианте воплощения система наблюдения ночного видения содержит камеру, имеющую поле наблюдения, прибор инфракрасной подсветки, который может создавать луч подсветки, причем прибор подсветки отделен от камеры для создания параллакса, и компьютер, который может управлять камерой и прибором подсветки. Система также может включить в себя защитный модуль, который может обнаруживать присутствие объектов, расположенных слишком близко к прибору подсветки, и отключать луч подсветки.

Эти иллюстративные варианты воплощения упомянуты не для ограничения или определения изобретения, но для предоставления примеров, чтобы облегчить его понимание. В подробном описании обсуждаются варианты. Преимущества, предлагаемые различными вариантами воплощения этого изобретения, могут быть лучше поняты после изучения этого описания.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие признаки, аспекты и преимущества настоящего изобретения поясняются подробным описанием предпочтительных вариантов воплощения со ссылками на сопровождающие чертежи, на которых:

Фиг. 1 - изображает блок-схему системы наблюдения, согласно изобретению;

Фиг. 2 - блок-схему блока камеры и блока подсветки системы наблюдения, согласно изобретению;

Фиг. 3 - пользовательский интерфейс, согласно изобретению;

Фиг. 4 - часть пользовательского интерфейса в другом варианте воплощения изобретения;

Фиг. 5 - блок-схему последовательности операций способа наблюдения в ночное время, согласно изобретению;

Фиг. 6 - изменение размера пятна луча подсветки, согласно изобретению;

Фиг. 7 - различные пятна луча подсветки в пределах поля наблюдения камеры, согласно изобретению;

Фиг. 8 - блок-схему последовательности операций способа формирования фонового изображения, согласно изобретению;

Фиг. 9 - диаграмму сканирования, которая может использоваться при создании фонового изображения, согласно изобретению;

Фиг. 10 - другую диаграмму сканирования, которая может использоваться при создании фонового изображения, согласно изобретению; и

Фиг. 11 - способ защиты, согласно изобретению.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ВОПЛОЩЕНИЯ ИЗОБРЕТЕНИЯ

Варианты воплощения изобретения включают в себя системы и способы для наблюдения в ночное время. Ниже описан вариант воплощения настоящего изобретения, раскрывающий систему наблюдения в ночное время, которая использует лазерный прибор инфракрасной подсветки IR с коллиматорной линзой с переменным фокусным расстоянием и блоком формирования изображений, состоящим из видеокамеры и линзы с переменным фокусным расстоянием. Оптические оси прибора подсветки и блока формирования изображений пространственно разнесены для создания параллакса, чтобы уменьшить атмосферное обратное рассеяние. Форма луча подсветки от лазерного прибора подсветки может быть такой, чтобы однородно распределять свет по всему полю зрения. Фокусное расстояние коллиматора в приборе подсветки можно заставить изменяться вместе с фокусным расстоянием камеры, или они могут изменяться независимо от друг друга. Система также может включать в себя защитный механизм или схему, которые могут обнаруживать, когда объекты находятся слишком близко к прибору подсветки, и могут выключать лазерный источник.

Система может формировать панорамное фоновое изображение поля наблюдения камеры и согласовывать это фоновое изображение с изображениями прямой видеосъемки, запечатленными камерой, с использованием лазерного прибора инфракрасной подсветки. Система может отображать изображение прямой видеосъемки, согласованное с фоновым изображением, чтобы предоставить пользователю ясное указание на то, в каком месте поля наблюдения размещено изображение прямой видеосъемки. Система может интеллектуально сканировать поле наблюдения, чтобы запечатлеть изображения прямой видеосъемки в ночное время.

Архитектура системы

В соответствии с настоящим изобретением могут быть сформированы различные системы. На Фиг. 1 представлена блок-схема одного варианта воплощения настоящего изобретения. Система 100 наблюдения в ночное время содержит блок 102 камеры, поворотный блок 104, блок 106 подсветки, блок 120 электроники и управляющий компьютер 150. Система 100 также может включать в себя систему 160 обнаружения цели, например, систему обнаружения по тепловому излучению, радар или систему ограждения.

Поворотный блок 104 установлен на конструкции 110, например, на столбе, стойке, треноге или стене. Мост 108 адаптера соединен с поворотным блоком 104 и связан с блоком 102 камеры и блоком 106 подсветки и может поддерживать их. Поворотный блок 104 содержит механизм 105 горизонтального поворота, который может перемещаться в горизонтальном направлении, и механизм 107 вертикального наклона, который может перемещаться в вертикальном направлении. Поворотный блок 104 принимает управляющие сигналы от пульта 120 электроники, которые побуждают механизм 105 горизонтального поворота и механизм 107 вертикального наклона перемещать блок 106 подсветки и блок 102 камеры для охвата широкого обзора. Поворотный блок 104 также содержит датчики 109, сигналы которых указывают положение (углы горизонтального поворота и вертикального наклона) поворотного блока 108 и тем самым положение блока 102 камеры и блока 105 подсветки. В другом варианте воплощения поворотный блок 108 стабилизируется с помощью гироскопа для использования на движущихся или нестабильных платформах.

В других вариантах воплощения система 100 может не содержать поворотный блок, а блок 102 камеры и блок 106 подсветки могут быть неподвижными. В других вариантах воплощения блок 102 камеры и блок 106 подсветки могут находиться в разных местоположениях и установлены на отдельных поворотных блоках. В одном варианте воплощения блок 102 камеры и блок 106 подсветки установлены на высоте, по меньшей мере, 6 метров.

Блок 106 (фиг. 2) подсветки содержит кожух 210, в котором размещен активный прибор 211 подсветки, который включает в себя волоконно-оптический адаптер 212 и коллиматор 204 с переменным фокусным расстоянием. Прибор 211 подсветки также содержит источник света, например, лазерный источник 122 в блоке 120 электроники (фиг. 1). Также могут использоваться другие подходящие источники света, известные специалистам в данной области техники. Волоконно-оптический адаптер 212 принимает луч лазерной инфракрасной подсветки от лазерного источника 122 в блоке 120 электроники (как объяснено ниже). В одном варианте воплощения волоконно-оптический адаптер 212 является круглым волоконно-оптическим кабелем. Коллиматор 204 с переменным фокусным расстоянием может содержать одну или более коллиматорных линз 205, которые выполнены с возможностью фокусировать и управлять лучом лазерной инфракрасной подсветки на цель 206. Коллиматор 204 с переменным фокусным расстоянием может принимать управляющие сигналы, например, изменения фокусного расстояния и фокусировки от блока 102 электроники (как объяснено ниже).

Блок 102 камеры содержит кожух 220, в котором размещена камера 202 с линзами с переменным фокусным расстоянием, интерфейсная карта 226 камеры, механический прицельный механизм 224 и механизмы 222 спектральных фильтров. В одном варианте воплощения, например, камера 202 является ПЗС-камерой производства Panasonic Corp. с линзой Computar производства CBC Co., Ltd.

Механический прицельный механизм 224 может использоваться для взаимного совмещения оптической оси 230 луча лазерной инфракрасной подсветки и оптической оси 232 камеры 202 на цели 206. Интерфейс 226 камеры может принимать управляющие сигналы, такие как изменение фокусного расстояния, фокусирование, усиление, открывание затвора, от блока 120 электроники (как объяснено ниже) и передавать управляющие сигналы камере 202. Интерфейс 226 камеры также может принимать сигналы видеосъемки от камеры 202 и передавать сигналы видеосъемки блоку 120 электроники.

Фокусные расстояния камеры 202 и коллиматора 204 могут быть объединены, то есть они изменяются синхронно, или они могут изменяться независимо. Например, управляющий компьютер 150 использует параметры настройки масштабирования и фокусировки камеры 202 и переносит эти параметры на настройку масштабирования и фокусировки для коллиматора 204, для того чтобы оба поля зрения имели один и тот же размер. Таким образом, изменение настройки масштабирования и фокусировки для камеры 202 приведет к аналогичному изменению для коллиматора 204.

Механизм 222 спектрального фильтра может использоваться для видеосъемки с помощью камеры 202 с использованием луча лазерной инфракрасной подсветки ночью или в другое время с нулевой освещенностью или с близкой к нулевой освещенностью. Механизм 222 спектрального фильтра содержит, по меньшей мере, один узкополосный фильтр или фильтр с ограниченной полосой пропускания и механизм движения. Узкополосный фильтр пропускает длину волны лазера и не пропускает другие световые диапазоны. Например, если используется лазер с длиной волны 910 нм, то может быть использован фильтр с диапазоном длин волн от 900 нм до 920 нм. В другом варианте воплощения может использоваться фильтр с ограниченной полосой пропускания, который пропускает свет с длиной волны 900 нм и выше и не пропускает свет с длинами волн ниже 900 нм. Использование узкополосного фильтра позволяет системе охватывать весь возможный динамический диапазон освещений в поле зрения камеры. Например, при использовании узкополосного фильтра система может обозревать совершенно темный участок и расположенный поблизости уличный светильник без засветки сильным источником освещения. Механизм движения используется для перемещения фильтра в положение перед линзой 207 камеры при использовании в ночном режиме или в другое время, когда используется лазерный прибор подсветки. В варианте воплощения система 100 выполнена с возможностью работать в качестве системы дневного наблюдения и системы ночного наблюдения.

В описываемом варианте воплощения камера 202 и коллиматор 204 разнесены в пространстве для создания параллакса, который уменьшает обратное рассеяние, порождаемое атмосферными аэрозолями на коротких расстояниях, которое считается главной причиной помех в системах ночного наблюдения с инфракрасной подсветкой. Помехи вследствие обратного рассеяния на коротком расстоянии более сильны, чем помехи вследствие обратного рассеяния на более длинных расстояниях. Путем отделения прибора подсветки от камеры для создания параллакса можно избежать обратного рассеяния на близком расстоянии или сократить его. Например, камера 202 и коллиматор 204 могут быть разнесены на 0,5 метра, что позволяет при помощи камеры 202 с использованием луча 230 лазерной подсветки получать изображения объектов, расположенных на расстоянии 20 метров от камеры 202 и коллиматора 204, с небольшим обратным рассеянием или без обратного рассеяния.

В одном варианте воплощения блок 102 камеры и блок 106 подсветки установлены на одном столбе или треноге, и блок 102 камеры и блок 106 подсветки расположены вертикально друг относительно друга. Например, блок 106 подсветки может быть установлен сверху блока 102 камеры. В другом варианте воплощения блок 106 подсветки и блок 102 камеры установлены на отдельных столбах или треногах. В этом случае атмосферное обратное рассеяние полностью или почти полностью устраняется. В этом варианте воплощения блок 106 подсветки и блок 102 камеры каждый может иметь поворотный блок, причем поворотные блоки могут быть синхронизированы друг с другом. В еще одном варианте воплощения компьютером могут использоваться цифровые методы обработки изображения для усиления контраста изображения, чтобы уменьшить обратное рассеяние.

Прибор 211 подсветки, использующий лазерный источник освещения, может поддерживать уровни яркости, которые обеспечивают дальность действия до 1000 метров и больше. Коллиматор 204 позволяет легко изменять расхождение луча лазерной подсветки в соответствии с полем зрения камеры. Наиболее традиционные системы ночного наблюдения используют подсветку на основе светодиодов или ламп. Такие приборы подсветки вообще очень ограничены по дальности действия (до 150-200 м) вследствие их ограниченной яркости и не имеют возможности синхронного изменения угла расхождения луча с полем зрения камеры.

В одном варианте воплощения лазерному лучу подсветки задается такая форма, что освещение лазерного луча распространяется однородно по лазерному лучу. Например, волоконно-оптический адаптер 212 может создать однородное распределение света по лучу подсветки. Волоконно-оптический адаптер 212 также может быть выполнен с возможностью создавать луч подсветки, который является круглым по форме и имеет резкое снижение интенсивности на внешнем радиусе луча подсветки. Однородное распространение освещения и резкая граница луча подсветки отличаются от неравномерного распространения освещения и размытой границы луча подсветки, обычно создаваемых светодиодом или лампой. Размер луча подсветки может быть определен посредством управления фокусным расстоянием коллиматорной линзы 205.

На фиг. 1 показано, что данные видеосъемки, запечатленные камерой 202, отправляют с блока 102 камеры на блок 120 электроники. Блок 120 электроники затем передает данные видеосъемки на управляющий компьютер 150. Управляющий компьютер 150 может содержать процессор 152, соединенный с машиночитаемым носителем, таким как память 154. Процессор 152 может представлять собой любой из множества компьютерных процессоров, как описано ниже, например, процессоры производства Intel Corporation, штат Калифорния и Motorola Corporation, Шаумбург, штат Иллинойс. Такие процессоры могут включать в себя микропроцессор, специализированную интегральную схему (ASIC) и конечные автоматы. Такие процессоры включают в себя машиночитаемый носитель или могут быть соединены с машиночитаемым носителем, который хранит программный код или команды, которые при исполнении побуждают процессор выполнять действия. Варианты воплощения машиночитаемых носителей включают в себя, но без ограничения, электронное, оптическое, магнитное или другое устройство хранения или передачи, которое может предоставлять процессору машиночитаемые команды. Другие примеры подходящих носителей включают в себя, но без ограничения, гибкий магнитный диск, компакт-диск, предназначенный только для чтения (CD-ROM), цифровой универсальный диск (DVD), магнитный диск, микросхему памяти, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), специализированную интегральную схему (ASIC), сконфигурированный процессор, оптический носитель, носитель на магнитной ленте или любой другой подходящий носитель, с которого компьютерный процессор может считывать команды. Кроме того, различные другие формы машиночитаемых носителей могут передавать или переносить программный код или команды на компьютер, в том числе, маршрутизатор, частная сеть, сеть общего пользования или другое устройство передачи или канал, как проводные, так и беспроводные. Команды могут содержать программный код на любом языке программирования, в том числе, например, C, C ++, C#, Visual Basic, Java, Python, Perl и JavaScript.

Управляющий компьютер 150 может работать на любой операционной системе, такой как Microsoft® Windows® или Linux. Примерами управляющих компьютеров являются персональные компьютеры, серверные устройства, карманные компьютеры, мобильные телефоны, цифровые планшеты, переносные компьютеры, устройства для доступа в Интернет и другие устройства на основе процессора. Вообще, управляющий компьютер 150 может являться платформой любого подходящего типа на основе процессора, которая взаимодействует с одной или более прикладными программами. Управляющий компьютер 150 может быть соединен с сетью (не показана), такой как Интернет, и может быть непосредственно соединен с блоком 120 электроники и системой 160 обнаружения через проводное или беспроводное соединение или может быть соединен с блоком 120 электроники и системой 160 обнаружения через проводное или беспроводное сетевое соединение. Управляющий компьютер может включать в себя устройства ввода и вывода, такие как клавиатура, мышь, дисплей и устройства хранения данных.

Программный код, выполняемый на управляющем компьютере и хранящийся в памяти 154, может включать в себя управляющий механизм 156, механизм 158 обработки фонового изображения, модули 157 обнаружения движения и изменения на видеоизображении и прикладную программу 159 пользовательского интерфейса. Управляющий механизм 156 может вычислять и отправлять управляющие сигналы на блок 120 электроники, которые могут использоваться для управления лазерным источником 122, коллиматором 204 и камерой 202. Механизм 158 обработки фонового изображения может принимать данные изображения от блока 102 камеры для формирования фонового изображения и согласовывать изображение прямой видеосъемки с фоновым изображением. Модули 157 обнаружения движения и изменения на видеоизображении включают в себя алгоритм обнаружения движения, который может обнаруживать и локализовывать движущиеся объекты в поле зрения камеры, и алгоритм обнаружения изменений, который может обнаруживать новые или пропавшие объекты в заданном поле зрения, например, такие как оставленные объекты в аэропорту и пропавшие картины в музее.

Прикладная программа 159 пользовательского интерфейса предоставляет пользовательский интерфейс на устройстве отображения, который позволяет пользователю взаимодействовать с системой. На фиг. 3 представлен пример пользовательского интерфейса 300.

Блок 120 электроники содержит лазерный источник 122, защитный модуль 128 и блок 124 управления. Лазерный источник 122 передает лазерный луч по волоконной оптике 134 к блоку 106 подсветки. Лазерный источник 122 может представлять собой лазер с непрерывным излучением. Например, лазерный источник 122 может являться моделью HLU10F600-808 диодного лазера производства LIMO GmbH из Германии.

Защитный модуль 128 отключает лазерный источник 122 в случае, когда объект подходит слишком близко к лучу лазерной подсветки. Защитный модуль 128 содержит защитный процессор 162 и датчик 160 изображения, который является коллинеарным с лазерным лучом от лазерного источника 122. Датчик 160 изображения может обнаруживать отражение луча (или изображение обратного рассеяния) от объектов, входящих в лазерный луч, и отправлять сигналы защитному процессору 162. Защитный процессор 162 может анализировать профиль излучения обратного рассеяния, принятый от датчика 160. Это позволяет защитному модулю 128 обнаруживать, когда объект находится слишком близко к лазерному лучу. После обнаружения объекта, который находится слишком близко к лазерному лучу, защитный модуль 128 отправляет управляющие сигналы лазерному источнику 122 для отключения лазерного луча.

В одном варианте воплощения защитный процессор 162 является интегральной схемой, например, программируемой вентильной матрицей, и расположен в блоке 120 электроники. Защитным процессором 162 можно управлять через программное обеспечение, расположенное в управляющем компьютере 150. Реализация защитного процессора 162 в блоке электроники может быть более надежной и иметь более короткую цепь по сравнению с программной реализацией в управляющем компьютере 150. В одном варианте воплощения защитный модуль 128 может отключать лазерный источник 122 за время длительности видеокадра, которое равно приблизительно 17 мс. Таким образом, воздействие на объект лазерного излучения ограничено этим периодом. Повреждение глаза, вызванное лазерным излучением, зависит от продолжительности воздействия, и короткое время отключения может способствовать уменьшению такого повреждения. Таким образом, защитный модуль 128 может отключать лазерный источник, когда человек подходит слишком близко к лазеру, но не затрудняет работу системы 100 бесполезными отключениями.

На фиг. 11 показана блок-схема последовательности операций способа 1100 отключения лазерного источника на основе обнаружения объекта в соответствии с одним вариантом воплощения изобретения. На этапе 1102 защитный процессор 162 может разделить поле зрения камеры на несколько зон. В одном варианте воплощения защитный процессор 162 делит поле зрения камеры 202 на маленькие квадраты.

Затем на этапе 1104 защитный процессор 162 определяет зоны, которые превышают защитный порог. Например, для каждой зоны или каждого квадрата защитный процессор может подсчитывать количество пикселов, интенсивность которых пересекает данный порог. Если это количество выше, чем заданное число, полагают, что данная зона превышает порог. На этапе 1106 определяют область, покрытую зонами, которые превышают порог интенсивности. Например, защитный процессор 162 может определить размер и форму области, покрытой квадратами, которые пересекли порог интенсивности. На этапе 1108 защитный процессор 162 использует информацию об этой области, чтобы определить, следует ли отключать лазерный источник 122. Например, размер и форма объекта могут использоваться для определения, является ли обнаруженный объект человеком, что дает право на отключение лазерного источника, или является другим объектом, таким как насекомое или птица, что не дает права на отключение лазерного источника.

На этапе 1108, если защитный процессор 162 определяет, что лазерный источник не должен быть отключен, то способ 1100 переходит на этап 1104. Если защитный процессор 162 определяет, что лазерный источник 122 должен быть отключен, то защитный модуль 128 отключает лазерный источник 122 на этапе 1110.

Защитный модуль 128 также может возобновлять работу прибора подсветки автоматически без вмешательства пользователя. Например, защитный модуль 128 может постепенно увеличивать интенсивность лазера и непрерывно производить проверку на наличие объектов, расположенных слишком близко к прибору подсветки, которые представляют собой потенциальную угрозу безопасности для глаз. Если обнаружен объект, который дает право на отключение лазера, то интенсивность лазера снова уменьшается до нуля. В ином случае интенсивность лазера постепенно увеличивается, пока она не достигнет желаемой силы. Например, при отключении интенсивность лазера снижается до 0, но сразу после этого постепенно увеличивается до небольшого значения, например, составляющего десять процентов от максимального значения. Во время следующего кадра защитный процессор 162 может определить, существует ли все еще возможная угроза безопасности для глаз при уменьшенной интенсивности. Если угроза все еще существует, интенсивность автоматически понижается до меньшего значения. Если угрозы нет, то интенсивность повышается в следующем кадре до более высокого значения. Этот процесс продолжается так, чтобы в каждый момент времени была обеспечена максимально безопасная для глаз интенсивность лазера. Таким образом, работа наблюдения (с некоторым ухудшением производительности) может продолжаться даже после защитного отключения. Это также позволяет системе автоматически возвращать себя в режим ночного наблюдения без ручного восстановления или взаимодействия оператора, что является важным, если система работает без обслуживающего персонала.

В одном варианте воплощения защитный модуль 128 реализован таким образом, что лазер может быть классифицирован как лазер класса 1. Классификация лазера по классу 1 устраняет требование, чтобы при использовании лазера присутствовал сотрудник по безопасности при работе с лазерами.

Управляющий блок 124 (фиг. 1) может принимать управляющие сигналы от управляющего компьютера 150 и передавать управляющие сигналы лазерному источнику 122, блоку 106 подсветки, поворотному блоку 104 и блоку 102 камеры. Управляющие лазером сигналы могут управлять интенсивностью лазера в лазерном источнике 122. Управляющие блоком подсветки сигналы могут использоваться для управления коллиматором 204, например, для управления масштабированием луча лазерной подсветки. Управляющие поворотным блоком сигналы могут управлять движением поворотного блока 104. Управляющие блоком камеры сигналы могут использоваться для управления камерой 202, например, для изменения фокусного расстояния, фокусировки, увеличения, затвора и других средств управления камеры.

Блок 120 электроники также может содержать блок 126 электропитания, который может принимать электропитание от управляющего компьютера или другого источника энергии и обеспечить электропитание компонентам в блоке 120 электроники, а также блоку 106 подсветки, поворотному блоку 104 и блоку 102 камеры. Схема 126 электропитания может включать в себя трансформатор для преобразования принятого электропитания в электропитание, требуемое различными компонентами. Блок 130 электроники также может содержать блок охлаждения (не показан) для охлаждения компонентов блока 130.

Пользовательский интерфейс

На фиг. 3 показан вариант воплощения пользовательского интерфейса 300, формируемого управляющим компьютером 150. Пользовательский интерфейс содержит фоновое изображение 302, изображение 304 прямой видеосъемки и управляющие элементы 306. Фоновое изображение 302 в описываемом варианте представляет собой панорамное изображение поля наблюдения камеры 202 и отображается в цвете. Изображение 304 прямой видеосъемки представляет собой текущее поле зрения камеры 202, запечатленное камерой 202 с использованием луча 230 лазерной подсветки. Расположение изображения 304 прямой видеосъемки согласовано с фоновым изображением 302 в этом варианте воплощения посредством индикаторного прямоугольника 308 на фоновом изображении 302. Фоновое изображение 302 с индикаторным прямоугольником 308 предоставляет пользователю незамедлительную ориентировку относительно рассматриваемой в настоящее время области. После этой ориентировки пользователь может увеличить масштаб изображения, чтобы наблюдать контролируемую область более подробно.

Управляющие элементы 306 могут выполнять разнообразные функции, такие как управление движением поворотного блока 108, управление камерой 202 и коллиматором 204 и управлением лазерным источником 122. Например, пользователь может через управляющие элементы 306 перемещать поле зрения камеры 202 посредством управления поворотным блоком 108. Через управляющие элементы 306 пользователь может управлять параметрами настройки камеры 202, такими как фокусировка, увеличение и затвор. Через управляющие элементы 306 пользователь также может управлять фильтром 222, используемым камерой 202, и настройкой устойчивости камеры 202. Через управляющие элементы 306 можно управлять параметрами настройки прибора подсветки для коллиматора 204, такими как фокусное расстояние и фокусировка. Управляющие элементы 306 также могут позволить пользователю включать луч лазерной подсветки и управлять интенсивностью и размером луча лазерной подсветки. Управляющие элементы 306 могут позволить пользователю объединять фокусные расстояния камеры и прибора подсветки, чтобы они изменялись синхронно.

Пользователь через управляющие элементы 306 может формировать фоновое изображение 302 и устанавливать его размер. Управляющие элементы 306 также обеспечивают пользователю интерфейс для установки интересующих точек или целей и путей в пределах панорамного фонового изображения 302 и навигации между целями. Управляющий компьютер 150 также может принимать информацию от других систем обнаружения и отображать эту информацию. В одном варианте воплощения используется система теплового формирования изображений, и позиция блока теплового формирования изображений показывается на фоновом изображении с помощью индикатора, аналогичного прямоугольнику 308. Индикаторный прямоугольник теплового блока формирования изображений может быть больше, чем прямоугольник 308, и отличается по цвету. Изображение (не показано) от блока теплового формирования изображений может также отображаться пользователю в пользовательском интерфейсе.

На фиг. 4 показан альтернативный вариант воплощения части изображения пользовательского интерфейса. В этом варианте воплощения часть панорамного фонового изображения 402 отображается с изображением прямой видеосъемки 404, отображаемого или слитого в пределах фонового изображения 402. Область 404 подсвечена прибором инфракрасной подсветки и ее изображение сформировано камерой. Изображение 404 прямой видеосъемки, сформированное камерой, автоматически сшито с предварительно подготовленным неподвижным изображением 402 поля наблюдения, извлеченным из памяти управляющего компьютера 150. Пользователю предоставляется составное изображение. В этом варианте воплощения только секция 404 является изображением видеосъемки, которое запечатлено в реальном времени. Составное изображение дает пользователю незамедлительную ориентировку относительно области, которую он в настоящее время рассматривает. После этой ориентировки пользователь может увеличить масштаб изображения, чтобы наблюдать контролируемую область более подробно. При увеличении масштаба изображение 404 прямой видеосъемки увеличивается оптически, а синтезированная область 402 увеличивается цифровым образом синхронно с оптическим увеличением, чтобы все составное изображение вело себя как единое изображение, создаваемое одним блоком формирования изображений в реальном времени.

В другом варианте воплощения изображение прямой видеосъемки фиксировано в центре или в любом другом заданном положении фонового изображения, даже если система осуществляет горизонтальный поворот или вертикальный наклон. Когда пользователь увеличивает масштаб изображения, изображение прямой видеосъемки увеличивается оптически, а фоновое изображение увеличивается цифровым образом синхронно с оптическим увеличением, чтобы весь фон и изображение прямой видеосъемки вели себя как единое изображение, создаваемое одним блоком формирования изображений в реальном времени. В еще одном варианте воплощения фоновое изображение фиксировано, в то время как часть изображения прямой видеосъемки изменяет свое положение в кадре фонового изображения по мере того, как камера перемещается. Этот вариант может быть полезным, когда система наблюдения обязана автоматически отслеживать заданный путь в поле наблюдения камеры, осуществляя "виртуальное патрулирование". Могут использоваться другие варианты согласования положения изображений прямой видеосъемки с фоновым изображением.

Способы наблюдения

В соответствии с вариантами воплощения настоящего изобретения могут быть реализованы различные способы наблюдения. На фиг. 5 показан способ 500 наблюдения, который может быть осуществлен системой 100 (фиг. 1 и 2). Способ 500 (фиг. 5) может быть реализован или другим образом выполнен одной из различных систем или их комбинацией. Система, показанная на фиг. 1 и 2, используется в иллюстративных целях.

Способ 500 начинается на этапе 502 формированием фонового изображения. Фоновое изображение может быть панорамным изображением 302, которое содержит все поле наблюдения камеры 202 или его часть, и показано на фиг. 3. В одном варианте воплощения фоновое изображение является цветным изображением, созданным при полном дневном освещении. Фоновое изображение также может быть создано с использованием инфракрасного фильтра и затем согласовано с цветным фоновым изображением. Инфракрасное фоновое изображение может обеспечить лучшее согласование с изображением прямой видеосъемки, запечатленным с использованием инфракрасной подсветки.

Механизм 158 обработки фонового изображения формирует фоновое изображение посредством управления камерой 202 для получения нескольких изображений из ее поля наблюдения и затем составления из этих изображений панорамного изображения. На фиг. 8 представлен более подробный способ формирования фонового изображения.

На этапе 504 принимают изображение прямой видеосъемки. В одном варианте воплощения изображение прямой видеосъемки запечатлено камерой 202 с использованием лазерной подсветки от прибора 211 подсветки. Изображение прямой видеосъемки может являться текущим полем зрения камеры 202 и показано, например, на фиг. 3 посредством изображения 304, а на фиг. 4 посредством изображения 404. Как объяснено выше, фокусные расстояния коллиматора 204 могут быть синхронизированы с полем зрения камеры 202. Пользователь также может отдельно управлять камерой 202, коллиматором 204 и лазерным источником 122.

На этапе 506 положение изображения прямой видеосъемки согласовывают с фоновым изображением. Мгновенное поле зрения камеры 202 обычно меньше, чем поле наблюдения камеры 202. Поэтому возможно, что это текущее запечатленное изображение прямой видеосъемки не содержит никакого зрительного ориентира из окружающей обстановки, который пользователь мог бы распознать. Таким образом, весьма вероятно, что пользователь потеряет ориентировку в пространстве и не будет знать, куда нацелена камера и в какой части всего поля наблюдения расположено изображение прямой видеосъемки. Это требует согласования изображения прямой видеосъемки с фоновым изображением таким образом, чтобы пользователю была предоставлена ориентировка для изображения прямой видеосъемки. В одном варианте воплощения обеспечивается прямоугольник на фоновом изображении, чтобы показать пользователю, в каком месте поля наблюдения размещено изображение прямой видеосъемки. Этот вариант воплощения показан, например, на фиг. 3 посредством прямоугольника 308. В другом варианте воплощения изображение прямой видеосъемки может быть отображено в его местоположении в пределах фонового изображения. Этот вариант показан, например, на фиг. 4.

Различные способы могут использоваться для согласования изображения прямой видеосъемки камеры ночного видения с фоновым изображением поля наблюдения камеры. В одном варианте воплощения это согласование представляет собой автоматический процесс в реальном времени.

Луч лазерной подсветки, так же как нацеливаемая камера, имеет "начальное положение", направление которого известно управляющему компьютеру 150. Например, поворотный блок 104 может возвращаться в начальную позицию, то есть заданное положение поворота по горизонтали и наклона по вертикали определено как нулевое положение. Используя это нулевое или начальное положение, управляющий компьютер 150 может вычислить текущее положение поля зрения с использованием вычислений последовательного покадрового сопоставления. Если известно направление поля зрения, изображение прямой видеосъемки может быть грубо согласовано с фоновым изображением посредством управляющего компьютера 150. В одном варианте воплощения затем используются методика сопоставления с образцом (как описано ниже) для обеспечения более точного позиционного согласования между изображением прямой видеосъемки и фоновым изображением.

Другой способ использует способы сопоставления по образцу для выравнивания и согласования изображения прямой видеосъемки в его правильном местоположении в фоновом изображении. В одном варианте воплощения распознавание образов и сопоставление производится с использованием фонового изображения, сформированного с использованием инфракрасного фильтра. Затем используется предварительно вычисленное согласование между инфракрасным фоновым изображением и цветным фоновым изображением для согласования изображения прямой видеосъемки с фоновым изображением. В одном варианте воплощения два фоновых изображения согласуются друг с другом - цветное фоновое изображение в дневное время, используемое для отображения в пользовательском интерфейсе, и инфракрасное фоновое изображение (снятое в дневное время с использованием инфракрасного фильтра или снятое в ночное время с использованием лазерной подсветки), используемое для сопоставления блоков/особенностей. Цветное фоновое изображение также может использоваться для сопоставления, но этот процесс может быть менее успешным, чем с инфракрасным фоновым изображением.

В еще одном способе направление поля зрения вычисляют посредством постоянного считывания датчиков горизонтального поворота и вертикального наклона и масштаба изображения (например, таких как потенциометры или кодовые датчики положения) для обеспечения углов горизонтального поворота и вертикального наклона и параметров масштаба изображения. Датчики горизонтального поворота и вертикального наклона могут представлять собой, например, датчики 109 в поворотном блоке 104. Датчики масштаба изображения связаны с камерой 202 и/или коллиматором 204. Эти датчики могут отправлять информацию о положении (углы горизонтального поворота и вертикального наклона и параметры масштаба изображения) для текущего поля зрения управляющему компьютеру 160. Управляющий компьютер 150 может вычислять приблизительное положение текущего поля зрения (изображения прямой видеосъемки) в поле наблюдения (на фоновом изображении) на основе этой информации о положении. В описываемом варианте воплощения затем используется методика сопоставления с образцом для обеспечения более точного позиционного согласования между изображением прямой видеосъемки и фоновым изображением.

Другой способ использует инфракрасный датчик положения. Инфракрасный датчик положения может быть установлен неподвижно таким образом, чтобы его поле зрения охватывало все поле наблюдения камеры. Датчик положения может обслуживать несколько приборов подсветки. Датчик может автоматически обнаруживать пятно прибора подсветки, получать его диаметр и передавать его направление и размеры управляющему компьютеру 150. Зная местоположение и ориентацию датчика положения, а также местоположение системы наблюдения, управляющий компьютер 150 может вычислить местоположение текущего лазерного пятна на фоновом изображении.

В варианте воплощения настоящего изобретения могут использоваться более одного из упомянутых выше способов для согласования изображения прямой видеосъемки с фоновым изображением. В зависимости от требований конкретной системы и потребностей и бюджета пользователя могут использоваться различные комбинации упомянутых выше способов. Например, чтобы достигать максимальной точности в местоположении изображения прямой видеосъемки, сначала могут быть считаны показания датчиков горизонтального поворота, вертикального наклона и масштаба изображения для грубой оценки положения изображения прямой видеосъемки, а затем может быть выполнено сопоставление зрительных ориентиров для точной регулировки ориентации.

Сканирование поля наблюдения

Различные способы могут использоваться для преодоления длительного времени сканирования поля наблюдения камерой и "времени повторного осмотра" (периода времени между последовательными осмотрами системы сканирования) для заданной точки в поле наблюдения. Длительное время повторного осмотра может быть результатом ограничения на угол расхождения луча прибора подсветки в определенных вариантах воплощения.

Один способ представляет собой предварительное определение интересующих областей, таких как интересующие области, пути и точки, в поле наблюдения или виртуальном патрулировании. В одном варианте воплощения пользователь может обозначить интересующие области или цели через взаимодействие с пользовательским интерфейсом, например, с использованием управляющих элементов 306 (фиг. 3). Управляющий компьютер 150 может затем сохранить эти точки и управлять камерой, чтобы запечатлевать изображения прямой видеосъемки интересующих областей более часто, чем остальной части поля наблюдения, или согласно пути, заданному пользователем. Например, управляющий компьютер 150 может управлять камерой и лучом инфракрасной подсветки так, чтобы изменялись только параметры масштаба изображения и фокусировки (если требуется) камеры, пока камера сканирует фактически прямые пути наблюдения с оптимальным разрешением изображения для каждого сегмента просматриваемого пути.

В одном варианте воплощения процесс виртуального патрулирования может требовать, чтобы управляющий компьютер 150 динамически задавал все параметры, в том числе значения углов горизонтального поворота и вертикального наклона и фокусного расстояния линзы (и фокусировки, если требуется) вдоль запланированного маршрута виртуального патрулирования. Пользователь может задавать интересующие точки и/или интересующие пути, например, выбирая точки на фоновом изображении 302 пользовательского интерфейса 300. Это может быть сделано пользователем при настройке или инициализации системы. Когда виртуальный путь или маршрут патрулирования задан, система может автоматически следовать по заданному пути или маршруту патрулирования.

Управляющий компьютер 150 может согласовывать выбранные пользователем параметры камеры, подсветку и горизонтальный поворот и вертикальный наклон, необходимые для запечатления изображения в заданных точках или по заданному пути. Например, на фиг. 3 крестики "X" указывают заданные интересующие области или цели, установленные пользователем. Управляющий компьютер 150 может согласовывать информацию об адресах целей, обозначенных крестиками "X", на фоновом изображении с информацией о положении в поле наблюдения. Управляющий компьютер может, например, управлять камерой с использованием луча лазерной подсветки, чтобы запечатлеть изображения слева направо в каждой цели. Основываясь на пользовательском вводе, управляющий компьютер 150 может управлять камерой для выполнения ночного "виртуального патрулирования" вдоль определенных путей в поле наблюдения камеры, а так же по другим сложным маршрутам сканирования. Другим параметром, который может динамически изменяться в течение сканирования, является интенсивность прибора подсветки, которая должна быть уменьшена, когда система оказывается на расстоянии непосредственной близости со случайными прохожими, чтобы обеспечить защиту для глаз и/или чтобы предотвратить засветку изображения.

Эффективная реализация такого виртуального патрулирования требует синхронного изменения просмотра поля зрения камеры и угла расхождения прибора инфракрасной подсветки. Посредством синхронизации поля зрения камеры и угла расхождения прибора инфракрасной подсветки достигается сосредоточение всей интенсивности луча прибора подсветки на соответствующих частях поля наблюдения (фиг. 6). Пятна 601-605 луча подсветки ограничивают изменение поля зрения нацеливаемой камеры динамически и синхронно с механизмом изменения фокусного расстояния линзы, чтобы эффективно рассматривать различные важные точки в поле наблюдения.

В систему наблюдения может быть включена система обнаружения, чтобы предусмотреть интеллектуальное сканирование поля наблюдения, например, система 160 обнаружения (фиг. 1). Например, может использоваться система обнаружения в широком секторе, как сканирующий блок теплового формирования изображений или радар обнаружения людей. Также может использоваться защитная система с датчиками обнаружения непосредственной близости (независимо развернутая или установленная на ограждении). Система 160 обнаружения может отправить обнаруженное местоположение управляющему компьютеру 150. Управляющий компьютер затем может направить поле зрения камеры и луч подсветки, чтобы запечатлеть изображения прямой видеосъемки в интересующей области.

Например, система 160 обнаружения может представлять собой систему сигнализации с рядом датчиков, расположенных в поле наблюдения. Местоположение каждого датчика в поле наблюдения установлено при установке системы. Управляющий компьютер 150 может принять от датчика сигнал тревоги, который может автоматически направить поле зрения на датчик и изменить значение фокусного расстояния линзы, чтобы охватить предполагаемое местоположение потенциальной угрозы. Возможность изменять поле зрения на точное местоположение источника сигнала тревоги обусловлена возможностями датчика. Например, если датчик на ограждении выдает местоположение вдоль 50 метров линии забора при большом масштабе изображения, системе, возможно, потребуется горизонтальный поворот, чтобы увидеть фактическую цель.

Другой способ сканирования поля наблюдения основан на обнаружении движения и/или изменения в поле наблюдения и последовательном обследовании областей, в которых обнаружены такие действия (движущиеся объекты, новые объекты, добавленные в кадр, объекты, удаленные из кадра). Движущиеся, добавленные или удаленные объекты могут быть автоматически обнаружены посредством модулей 157 обнаружения движения и изменения на видеоизображении управляющего компьютера 150 через согласование обработки изображения и сопоставления мозаичного изображения всего поля наблюдения, созданного при последовательных сканированиях. При автоматическом обнаружении интересующих областей управляющий компьютер 150 может управлять камерой, чтобы потратить больше времени на запечатление изображения прямой видеосъемки этих областей. Время повторного осмотра таких интересующих точек будет, таким образом, значительно сокращено.

Еще один способ сокращения времени сканирования поля наблюдения связан с тем, что каждой точке в поле наблюдения камеры, задаваемой углами горизонтального поворота и вертикального наклона камеры, может быть назначено заданное расстояние от камеры. Интенсивность луча подсветки (в первом приближении) обратно пропорциональна квадрату расстояния. Угол расхождения луча и поле зрения полученной камеры (ограниченный прямоугольник) могут так динамически изменяться в течение процесса сканирования, что в областях, находящихся ближе на камере, луч подсветки расширяется пропорционально. Это схематично показано на фиг. 7. Круг 701 представляет собой луч подсветки в области, близкой к камере. Круг 702 представляет собой луч на более отдаленном расстоянии, а круг 703 относится к самой отдаленной области в поле наблюдения, еще позволяющей получать пригодное ночное изображение. Управляющий компьютер 150 также может автоматически регулировать угол расхождения луча и поле зрения полученной камеры, измеряя среднюю интенсивность или информационное содержание в данном кадре, что может сократить время сканирования поля наблюдения.

Во время сканирования поля наблюдения камеры определенные области могут быть освещены другими искусственными или естественными источниками света. Когда система сканирует эти области, управляющий компьютер 150 может выключать луч подсветки, и поле зрения камеры изменяется на свое максимально возможное значение. Для осуществления сканирования поля наблюдения системой 100 может использоваться любой из этих способов или их комбинация.

Формирование фонового изображения

На фиг. 8 показана блок-схема последовательности операций способа 502 формирования фонового изображения поля наблюдения. Если система имеет несколько камер, то может быть сформировано фоновое изображение для каждой камеры. Фоновое изображение может быть сформировано с помощью механизма 158 обработки фонового изображения управляющего компьютера 150.

На этапе 802 запечатлевают фрагменты изображения, каждое из которых соответствует части поля наблюдения камеры. Эти фрагменты изображения могут быть запечатлены камерой 202, последовательно сканирующей поле наблюдения. Фрагменты изображения поля наблюдения предпочтительно запечатлены с параметрами настройки камеры на максимальном увеличении и при полном дневном освещении, чтобы достичь максимально возможного решения и качества сформированного фрагмента изображения. Изображение поля наблюдения также может быть запечатлено с использованием более низкого разрешения. Например, в одном варианте воплощения запечатлено одно широкое изображение поля зрения, и оно служит фоновым изображением, представляющим поле наблюдения камеры. Если камера является аналоговой, запечатленные фрагменты изображения преобразовывают в цифровые изображения. Запечатленные фрагменты изображения могут быть сохранены в памяти 154 управляющего компьютера 150. Каждый фрагмент изображения может иметь связанную с ним информацию о положении, такую как значения горизонтального поворота и вертикального наклона, и информацию о масштабе изображения.

В одном варианте воплощения выполняют процесс сканирования так, что имеется некоторое наложение (обычно 1/3 размера кадра) между последовательными кадрами фрагментов изображения. Как показано на фиг. 9, первое последовательное сканирование может, например, быть произведено через несколько последовательных вертикальных кусочков. Могут использоваться различные маршруты сканирования, чтобы запечатлеть несколько фрагментов изображения в каждом местоположении в поле наблюдения. Если, например, начальное сканирование выполняется с использованием вертикального маршрута сканирования, второе сканирование может использовать горизонтальный маршрут (фиг. 10) или любой другой маршрут, который последовательно охватывает поле наблюдения. Более хорошее разрешение поля наблюдения и более хорошая регулировка цветов между последовательными кадрами (устранение граничных явлений) могут быть достигнуты с использованием нескольких маршрутов сканирования. Количество маршрутов и спецификации маршрутов просмотра могут быть адаптированы для особых системных требований наблюдения, ограничений по времени, других ресурсов и потребностей пользователей

На этапе 804 (фиг. 8) обрабатывают индивидуальные фрагменты изображения. В одном варианте воплощения индивидуальные фрагменты изображения обрабатывают для удаления движущихся объектов из фрагментов изображения. Например, движущиеся объекты, такие как люди, автомобили или птицы, могут быть запечатлены на одном фрагменте изображения или только на нескольких фрагментах изображения нескольких проходов сканирования. Движущиеся объекты могут быть устранены посредством сравнения значений пикселов для пикселов в каждом фрагменте изображения, запечатленном в различных проходах сканирования. Данный пиксел может иметь "фоновое значение" большую часть времени, в то время как быть покрытым движущимся объектом только в отдельные моменты времени. Использование "среднего по проходам сканирования" значения пиксела может также уменьшить сферическое или другое искажение линзы, которое могло бы вызвать значительное искажение всего фонового изображения, если бы использовался только один проход сканирования.

Возвращаясь к фиг. 8, следует отметить, что после сканирования области на этапе 806 механизм 158 обработки фонового изображения выстраивает последовательные кадры фрагментов изображения, чтобы получить составное изображение поля наблюдения камеры. Описанные выше способы согласования изображения прямой видеосъемки с фоновым изображением также могут использоваться для выстраивания запечатленных фрагментов изображения в сложное фоновое изображение. Например, с каждым фрагментом изображения могут быть связаны значения горизонтального поворота и вертикального наклона с датчиков 109 на поворотном блоке 104 и значение масштаба изображения с датчика масштаба изображения, связанного с камерой 202. Значения горизонтального поворота, вертикального наклона и масштаба изображения могут использоваться для размещения каждого фрагмента изображения на составном фоновом изображении. Система может включать в себя инфракрасный датчик положения, который может использоваться для определения положения каждого фрагмента изображения на составном фоновом изображении.

В другом варианте воплощения могут также использоваться способы обработки изображения, такие как поблочное сравнение и методики оптического потока, для выстраивания запечатленных фрагментов изображения в составное изображение. Для формирования составного фонового изображения из нескольких запечатленных фрагментов изображения может использоваться любой из этих и других подходящих способов или их комбинация. Например, сначала могут использоваться значения горизонтального поворота, вертикального наклона и масштаба изображения для приблизительного размещения фрагментов изображения в правильном положении, а затем могут использоваться методы обработки изображения, чтобы уточнить сложное изображение.

На этапе 808 составное изображение подвергают дальнейшей обработке. Например, для составного изображения могут быть выполнены цветовая коррекция и коррекция яркости, чтобы обеспечить однородный цвет и яркость по всему составному изображению. Описанное выше удаление искажения линзы также может быть выполнено для составного изображения.

На этапе 810 может быть выполнен ручной осмотр составного фонового изображения для исправления геометрических или других ошибок, созданных автоматическим процессом. Ручной осмотр выполняется пользователем, взаимодействующим с пользовательским интерфейсом. В некоторых вариантах воплощения ручной осмотр не выполняется.

На этапе 812 формируют другое сложное изображение посредством сканирования поля наблюдения и запечатления изображения с помощью камеры с использованием инфракрасного фильтра. Инфракрасный фильтр может иметь спектральное пропускание, аналогичное спектру прибора подсветки. Альтернативно этот процесс может быть выполнен ночью, когда включен прибор подсветки, с инфракрасным фильтром или без него. Сформированное составное инфракрасное изображение поля наблюдения может требоваться, когда прямая видеосъемка согласовывается с фоновым изображением посредством сопоставления зрительных ориентиров. Предполагается, что сопоставление между изображением ночной прямой видеосъемки и инфракрасным фоновым изображением будет лучше, чем сопоставление с фоновым изображением в широком спектре, вследствие того, что интенсивность света, отраженного от объектов и ландшафта зависит от длины волны. Таким образом, инфракрасная контрастность может значительно отличаться от контрастности в видимом широком диапазоне длин волн. Инфракрасное фоновое изображение также может быть сопоставлено с изображением прямой видеосъемки и, таким образом, использоваться для представления фонового изображения. В некоторых вариантах воплощения инфракрасное составное изображение не формируется.

В блоке 814 сопоставляют цветное фоновое изображение и инфракрасное фоновое изображение. Это сопоставление может быть выполнено автоматически, вручную или с использованием обоих методов.

Описанный выше способ подготовки фонового изображения может быть выполнен только один раз при установке или всякий раз, когда в области поля наблюдения камеры происходят значительные изменения. Само собой разумеется, что всякий раз, когда камера перемещается в новое положение, процесс должен быть повторен. Процедура может быть выполнена в дневное время или в ночное время. В последнем случае для формирования инфракрасного изображения должен быть включен прибор подсветки. Процедура также может повторяться регулярно для динамично изменяющихся сред, таких как склады, места для стоянки автомобилей и т.п.

Альтернативный способ формирования фонового изображения поля наблюдения полагается на создание компьютерной трехмерной модели рассматриваемой области. Такая модель может быть произведена посредством комбинирования спутниковых изображений области с топографическим ландшафтом и данными о застройке. Двумерное спутниковое изображение преобразуют в трехмерную модель с реалистическими текстурами. Наличие трехмерной модели и знание установочных положений камеры наблюдения позволяет создать фоновое изображение поля наблюдения каждой камеры посредством формирования изображения трехмерной модели с точки зрения камеры. Процесс формирования изображения, который в основном отображает трехмерную модель на фокальную плоскость виртуальной камеры, может быть осуществлен с использованием стандартного персонального компьютера, оборудованного одной из последних графических карт, и механизма формирования графического изображения в коммерческом программном обеспечении.

Хотя последний способ предусматривает автоматическое формирование изображений поля зрения с каждой точки в данной области, первый способ формирует изображения, которые намного более точны геометрически и по текстуре.

Предшествующее описание вариантов воплощения, в том числе предпочтительных вариантов воплощения изобретения было представлено только с целью иллюстрации и описания, и не подразумевается, что оно является исчерпывающим или ограничивает изобретение точными раскрытыми вариантами. Специалистам в области техники будут очевидны его многочисленные модификации и адаптация без отступления от сущности и объема этого изобретения.

1. Способ наблюдения в системе наблюдения, имеющей камеру, заключающийся в том, что формируют посредством камеры фоновое изображения, содержащее, по меньшей мере, часть поля наблюдения камеры,
при этом формирование фонового изображения заключается в том, что сканируют поле наблюдения, чтобы запечатлеть множество фрагментов фонового изображения, и
выстраивают фрагменты изображения в составное фоновое изображение, принимают изображение в реальном масштабе времени текущего поля зрения камеры, причем поле зрения находится в пределах поля наблюдения,
помещают изображение текущего поля зрения камеры в реальном масштабе времени в фоновое изображение, сформированное камерой,
соотносят положение изображения в реальном масштабе времени в фоновом изображении и определяют, где в поле зрения камеры находится изображение, полученное в реальном масштабе времени,
при этом на стадии определения обнаруживают и выделяют в поле зрения камеры движущиеся объекты, новые объекты и пропавшие объекты, если движущийся или новый объект появился в поле зрения камеры в процессе наблюдения, его добавляют в фоновое изображение в реальном масштабе времени, изменяют положение изображения в реальном масштабе времени в фоновом изображении на основе изменения текущего поля зрения камеры.

2. Способ по п.1, в котором изображение в реальном масштабе времени получают камерой ночью с использованием прибора инфракрасной подсветки.

3. Способ по п.2, в котором в качестве прибора инфракрасной подсветки используют лазер.

4. Способ по п.1, в котором отображают на дисплее изображение в реальном масштабе времени и фоновое изображение таким образом, что положение изображения в реальном масштабе времени соотносят в пределах фонового изображения.

5. Способ по п.4, в котором изображение в реальном масштабе времени отображают на дисплее отдельно от фонового изображения, при этом фоновое изображение включает в себя индикатор положения изображения в реальном масштабе времени.

6. Способ по п.4, в котором изображение в реальном масштабе времени отображают на дисплее в пределах фонового изображения.

7. Способ по п.6, в котором изображение прямой видеосъемки отображают на дисплее в центре фонового изображения.

8. Способ по п.1, в котором дополнительно обрабатывают фрагменты изображения посредством удаления движущихся объектов.

9. Способ по п.1, в котором составное изображение обрабатывают для осуществления цветовой коррекции и коррекции яркости составного изображения.

10. Способ по п.1, в котором сканирование поля наблюдения содержит этап, на котором сканируют поле наблюдения несколько раз по нескольким разным маршрутам.

11. Способ по п.1, в котором дополнительно формируют инфракрасное фоновое изображение и согласовывают инфракрасное фоновое изображение с фоновым изображением.

12. Способ по п.1, в котором сборка фрагментов изображения в составное изображение содержит этап, на котором принимают информацию о положении и используют методику обработки изображения.

13. Способ по п.1, в котором соотнесение положения изображения в реальном масштабе времени в пределах фонового изображения содержит этап, на котором принимают информацию о положении и используют методику обработки изображения.

14. Система наблюдения ночного видения, содержащая камеру, имеющую поле наблюдения, прибор подсветки для создания луча подсветки, компьютер, обеспечивающий
использование камеры, чтобы формировать фоновое изображение, содержащее, по меньшей мере, часть поля наблюдения, путем сканирования поля наблюдения, получения множества фрагментов фонового изображения и выстраивания фрагментов в составное изображение,
прием изображения в реальном масштабе времени текущего поля зрения камеры, которое находится в пределах поля наблюдения,
помещение изображения текущего поля зрения камеры в реальном масштабе времени в фоновое изображение, сформированное камерой,
соотнесение положения изображения в реальном масштабе времени в фоновом изображении,
и определение, где в поле зрения камеры находится изображение, полученное в реальном масштабе времени,
для чего обнаруживают и выделяют в поле зрения камеры движущиеся объекты, новые объекты и пропавшие объекты,
если движущийся или новый объект появился в поле зрения камеры в процессе наблюдения, его добавляют в фоновое изображение в реальном масштабе времени,
причем изображение прямой видеосъемки фотографируется камерой с использованием луча подсветки,
и изменение положения изображения в реальном масштабе времени в фоновом изображении на основе изменения текущего поля зрения камеры.

15. Система по п.14, в которой прибор подсветки является лазерным прибором инфракрасной подсветки, а луч подсветки является лазерным лучом инфракрасной подсветки.

16. Система по п.14, которая дополнительно содержит поворотный блок, поддерживающий камеру и прибор подсветки, который обеспечивает перемещение камеры и прибора подсветки, причем поворотный блок управляется компьютером.

17. Система по п.14, в которой камера и прибор подсветки расположены в разных местоположениях.

18. Система по п.14, в которой фокусное расстояние камеры и фокусное расстояние прибора подсветки могут изменяться синхронно.

19. Система по п.14, которая дополнительно содержит дисплей для отображения изображения в реальном масштабе времени и фонового изображения с положением изображения в реальном масштабе времени, соотнесенных в пределах фонового изображения.

20. Система по п.14, которая дополнительно содержит систему обнаружения для представления информации о местоположении обнаруженных целей на компьютер.

21. Система по п.14, которая дополнительно содержит множество камер.

22. Способ наблюдения с использованием, по меньшей мере, одной камеры, заключающийся в том, что
формируют посредством, по меньшей мере, одной камеры фоновое изображение, содержащее, по меньшей мере, часть поля наблюдения камеры,
при этом формирование фонового изображения заключается в том, что сканируют поле наблюдения, чтобы запечатлеть множество фрагментов фонового изображения, и
выстраивают фрагменты изображения в составное фоновое изображение,
сканируют поле наблюдения на основе информации о положении интересующих областей, соответствующей, по меньшей мере, одной интересующей области в поле наблюдения,
принимают изображение в реальном масштабе времени текущего поля зрения камеры, покрывающего, по меньшей мере, одну интересующую область, причем поле зрения находится в пределах поля наблюдения,
помещают изображение текущего поля зрения камеры в реальном масштабе времени в фоновое изображение, сформированное камерой,
соотносят положение изображения в реальном масштабе времени в фоновом изображении,
и определяют, где в поле зрения камеры находится изображение, полученное в реальном масштабе времени,
при этом на стадии определения обнаруживают и выделяют в поле зрения камеры движущиеся объекты, новые объекты и пропавшие объекты,
если движущийся или новый объект появился в поле зрения камеры в процессе наблюдения, его добавляют в фоновое изображение в реальном масштабе времени,
изменяют положение изображения в реальном масштабе времени в фоновом изображении на основе изменения текущего поля зрения камеры.

23. Способ по п.22, в котором информацию о положении интересующей области принимают от пользователя, определяющего интересующую область.

24. Способ по п.23, в котором информация о положении интересующей области соответствует заданному пути сканирования для камеры.

25. Способ по п.24, в котором параметры настройки на камере автоматически изменяют для оптимизации разрешения изображения вдоль пути сканирования.

26. Способ по п.24, в котором управляют заданным путем сканирования через пользовательский интерфейс с прямым пользовательским вводом.

27. Способ по п.26, в котором используют пользовательский ввод, представляющий собой, по меньшей мере, один элемент из множества, состоящего из интересующей области, пути или точек в пределах поля наблюдения.

28. Способ по п.22, в котором принимают от системы обнаружения информацию о положении интересующей области.

29. Способ по п.22, в котором формируют информацию о положении интересующей области посредством методик обработки изображения.

30. Способ по п.22, в котором получают изображение прямой видеосъемки камерой ночью с использованием лазерного прибора инфракрасной подсветки.

31. Способ по п.30, в котором автоматически изменяют параметры настройки прибора подсветки на основе близости целей в текущем поле зрения к прибору подсветки.

32. Способ по п.30, в котором дополнительно автоматически регулируют угол расхождения луча прибора подсветки и текущее поле зрения, по меньшей мере, частично на основе средней интенсивности текущего поля зрения.

33. Способ по п.30, в котором дополнительно автоматически регулируют угол расхождения луча прибора подсветки и текущее поле зрения, по меньшей мере, частично на основе информационного содержания в текущем поле зрения.

34. Способ по п.30, в котором прибор подсветки выключают, если текущее поле зрения освещено источником света.

35. Система наблюдения ночного видения, содержащая камеру, имеющую поле наблюдения,
прибор инфракрасной подсветки для создания луча подсветки,
компьютер для управления камерой и прибором подсветки, и
защитный модуль для обнаружения присутствия объектов, расположенных в непосредственной близости с прибором подсветки, и отключения луча подсветки.

36. Система по п.35, в которой защитный модуль содержит датчик изображения для обнаружения отражения луча, идущего обратно по лучу подсветки, и защитный процессор для анализа отражения луча и отключения луча подсветки на основе анализа.

37. Система по п.36, которая содержит защитный процессор для анализа формы отражения луча.

38. Система по п.35, в которой защитный модуль предназначен для постепенного включения луча подсветки после отключения луча подсветки.

39. Система по п.38, в которой защитный модуль предназначен для постепенного включения луча подсветки с уменьшенной мощностью и определения того, присутствует ли еще объект, и постепенного увеличения мощности луча подсветки, если объект обнаружен.