Система (варианты) и способ передачи данных с транспортного средства в пункт дистанционного управления

Изобретение относится к системе и способу передачи данных с транспортного средства в пункт дистанционного управления. Множество потоков данных принимаются от транспортного средства, по меньшей мере один из которых включает в себя мультимедийные данные. Определение приоритетов потоков данных выполняется согласно одному или более факторам. По меньшей мере выполняется одно из корректировки по меньшей мере одного из потоков данных и предотвращения передачи по меньшей мере одного из потоков данных согласно определению приоритетов. Повышается эффективность передачи данных. 3 н. и 14 з.п. ф-лы, 2 ил.

 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННУЮ ЗАЯВКУ

По настоящей заявке испрашивается приоритет по предварительной заявке США № 62/097,633, поданной 30 декабря 2014 года, которая настоящим включена в описание во всей своей полноте посредством ссылки.

УРОВЕНЬ ТЕХНИКИ

Дистанционно управляемые транспортные средства передают данные от различных датчиков, например, данные изображения с камер, установленных на дистанционно управляемом транспортном средстве. Например, оператор, дистанционно управляющий одним или более транспортными средствами, может иметь доступные виды, предоставленные посредством множества камер на транспортном средстве. К несчастью, механизмы для обработки и эффективного предоставления таких видов в пункт дистанционного управления и механизмы для оптимизации качества восприятия удаленного оператора транспортного средства являются недостаточными.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Для преодоления по меньшей мере некоторых из проблем уровня техники в одном из аспектов изобретения предложена система передачи данных с транспортного средства в пункт дистанционного управления, содержащая:

компьютер в пункте дистанционного управления, содержащий процессор и память, и

компьютер транспортного средства на транспортном средстве, причем компьютер транспортного средства и транспортное средство находятся географически удаленно от компьютера в пункте дистанционного управления, причем транспортное средство является управляемым оператором компьютера в пункте дистанционного управления, при этом оператор находится географически удаленно от транспортного средства и компьютера транспортного средства, причем

память компьютера в пункте дистанционного управления хранит инструкции, исполняемые процессором компьютера в пункте дистанционного управления для:

приема множества потоков данных от транспортного средства через компьютер транспортного средства, по меньшей мере некоторые из которых включают мультимедийные данные;

определения доступной полосы пропускания и расходования полосы пропускания каждым из потоков данных;

определения приоритетов потоков данных согласно одному или более факторам, включая по меньшей мере данные, описывающие оператора в пункте дистанционного контроля, осуществляющего управление транспортным средством, и доступную полосу пропускания; причем определение приоритетов включает в себя определение по меньшей мере одного из потоков данных, который обладает большим приоритетом, чем другие из потоков данных, на основании данных датчика, указывающих поведение оператора в пункте дистанционного управления; и

выдачи команды компьютеру транспортного средства на по меньшей мере одно из корректировки по меньшей мере одного из потоков данных и предотвращения передачи по меньшей мере одного из потоков данных компьютеру в пункте дистанционного управления согласно определению приоритетов.

В одном из вариантов предложена система, в которой по меньшей мере один из потоков данных включает в себя по меньшей мере одно из данных о скорости и угле поворота рулевого колеса от транспортного средства.

В одном из вариантов предложена система, в которой корректировка по меньшей мере одного из потоков данных включает в себя корректировку по меньшей мере одного из разрешения и размера изображения, передаваемого по меньшей мере в одном из потоков данных.

В одном из вариантов предложена система, в которой некоторые из потоков данных включают в себя изображения от соответствующих мультимедийных датчиков, установленных на транспортном средстве.

В одном из вариантов предложена система, в которой один или более факторов включают в себя данные о состоянии транспортного средства.

В одном из вариантов предложена система, в которой данные о состоянии транспортного средства включают в себя по меньшей мере одно из скорости транспортного средства, направление движения, угол поворота рулевого колеса, быстроту изменения угла поворота рулевого колеса и ориентацию датчика транспортного средства.

В одном из вариантов предложена система, в которой по меньшей мере один из потоков данных включает в себя команду для приведения в действие компонента транспортного средства.

В одном из вариантов предложена система, в которой данные о поведении оператора компьютера в пункте дистанционного управления включают в себя по меньшей мере одно из движения глаз и направления взгляда оператора.

В одном из дополнительных аспектов предложен способ передачи данных с транспортного средства в пункт дистанционного управления, включающий в себя этапы, на которых:

управляют компьютером транспортного средства на транспортном средстве посредством компьютера в пункте дистанционного управления, причем компьютер транспортного средства и транспортное средство находятся географически удаленно от компьютера в пункте дистанционного управления, причем транспортное средство является управляемым оператором компьютера в пункте дистанционного управления, при этом оператор находится географически удаленно от транспортного средства и компьютера транспортного средства,

принимают на компьютере в пункте дистанционного управления множество потоков данных от транспортного средства через компьютер транспортного средства, по меньшей мере некоторые из которых включают в себя мультимедийные данные;

определяют доступную полосу пропускания и расходование полосы пропускания каждым из потоков данных;

определяют посредством компьютера в пункте дистанционного управления приоритеты потоков данных согласно одному или более факторам, включая по меньшей мере данные, описывающие оператора в пункте дистанционного контроля, осуществляющего управление транспортным средством, и доступную полосу пропускания; причем определение приоритетов включает в себя определение по меньшей мере одного из потоков данных, который обладает большим приоритетом, чем другие из потоков данных, на основании данных датчика, указывающих поведение оператора в пункте дистанционного управления; и

выдают команду компьютеру транспортного средства на по меньшей мере одно из корректировки по меньшей мере одного из потоков данных и предотвращения передачи по меньшей мере одного из потоков данных компьютеру в пункте дистанционного управления согласно определению приоритетов.

В одном из вариантов предложен способ, в котором по меньшей мере один из потоков данных включает в себя по меньшей мере одно из данных о скорости и угле поворота рулевого колеса от транспортного средства.

В одном из вариантов предложен способ, в котором некоторые из потоков данных включают в себя изображения от соответствующих мультимедийных датчиков, установленных на транспортном средстве.

В одном из вариантов предложен способ, в котором один или более факторов включают в себя данные о состоянии транспортного средства.

В одном из вариантов предложен способ, в котором корректировка по меньшей мере одного из потоков данных включает в себя этап, на котором корректируют по меньшей мере одно из разрешения и размера изображения, передаваемого по меньшей мере в одном из потоков данных.

В одном из вариантов предложен способ, в котором по меньшей мере один из потоков данных включает в себя команду для приведения в действие компонента транспортного средства.

В одном из еще дополнительных аспектов предложена система передачи данных с транспортного средства в пункт дистанционного управления, содержащая:

компьютер в пункте дистанционного управления, содержащий процессор и память, и

в пункте дистанционного управления, содержащий процессор и память, и

компьютер транспортного средства на транспортном средстве, причем компьютер транспортного средства и транспортное средство находятся географически удаленно от компьютера в пункте дистанционного управления, причем транспортное средство является управляемым оператором компьютера в пункте дистанционного управления, при этом оператор находится географически удаленно от транспортного средства и компьютера транспортного средства, при этом компьютер запрограммирован с возможностью:

приема данных от множества мультимедийных датчиков, установленных на транспортном средстве, через компьютер транспортного средства;

определения доступной полосы пропускания и расходования полосы пропускания каждым из потоков данных;

определения приоритетов согласно одному или более факторам, включая по меньшей мере данные, описывающие оператора в пункте дистанционного контроля, осуществляющего управление транспортным средством, и доступную полосу пропускания, соответствующих потоков данных, каждый из которых включает в себя данные от одного из мультимедийных датчиков;

причем определение приоритетов включает в себя определение одного из потоков данных, который обладает большим приоритетом, чем другие из потоков данных, на основании данных датчика, указывающих поведение оператора в пункте дистанционного управления; и

выдачи команды компьютеру транспортного средства на корректировку по меньшей мере одного из потоков данных согласно определению приоритетов.

В одном из вариантов предложена система, в которой компьютер запрограммирован с возможностью предоставления по меньшей мере одного потока данных через сеть, который включает в себя по меньшей мере одно из данных о скорости и угле поворота рулевого колеса от транспортного средства.

В одном из вариантов предложена система, в которой корректировка по меньшей мере одного из потоков данных включает в себя корректировку по меньшей мере одного из разрешения и размера изображения, передаваемого по меньшей мере в одном из потоков данных.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 – функциональная схема примерной системы дистанционно управляемого транспортного средства.

Фиг. 2 – блок-схема примерного процесса корректировки отображения в пункте дистанционного управления.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

ОБЗОР СИСТЕМЫ

Фиг. 1 – функциональная схема примерной системы 100 дистанционно управляемого транспортного средства, включающей в себя одно или более транспортных средств 101, действия каждого транспортного средства 101 управляются из пункта 125 дистанционного управления. Компьютер 105 транспортного средства 101 собирает и обрабатывает данные от различных датчиков, например, в примерах, обсужденных в данном документе, мультимедийных датчиков 110. Данные от мультимедийных датчиков 110 обрабатываются и затем предоставляются, например, в соответствующих потоках 115 данных, через сеть 120 компьютеру 130 контроля и управления в пункте 125 дистанционного управления. Компьютер 130 контроля и управления, как правило, программируется, чтобы предоставлять данные из одного или более потоков 115 на одном или более устройствах 135 отображения, и чтобы предоставлять возможность оператору в пункте 125 предоставлять входные данные, например, через устройства 140 ввода, чтобы управлять, например, управлять механизмом рулевого управления, скоростью и т.д. транспортного средства 101.

Компьютер 130 дополнительно программируется, чтобы определять приоритеты и/или корректировать потоки 115 данных, которые должны быть предоставлены на одном или более устройствах 135 отображения, согласно одному или более факторам. Например, корректировка потоков 115 данных может включать в себя корректировку размера и/или разрешения видеоизображения, предоставленного посредством потока 115; альтернативно или дополнительно, физическая регулировка мультимедийного датчика 110 может быть выполнена согласно инструкции от управляющего компьютера 130, например, чтобы перемещать мультимедийный датчик 110 горизонтально, вращательно и/или вертикально, чтобы изменять вид, предоставляемый оператору транспортного средства. Дополнительно, например, определение приоритетов потоков данных может включать в себя определение или классификацию уместности потоков 115 данных от соответствующих мультимедийных датчиков 110 в транспортном средстве 101. Факторы, уместные для изменения и/или установления приоритетов потоков 115 данных, могут включать в себя величину полосы пропускания и сквозную задержку в сети 120, определенную в качестве доступной для потоков 115 данных от транспортного средства 101 до пункта 125 управления. Дополнительно, уместные факторы могут включать в себя направление и/или скорость движения транспортного средства 101, указания, воспринимаемые от оператора в пункте 125 управления, движение и события, которые заслуживают внимания оператора в некотором направлении и т.д.

ПРИМЕРНЫЕ ЭЛЕМЕНТЫ СИСТЕМЫ

Система 100 может включать в себя два или более транспортных средств 101; единственное транспортное средство 101 показано на фиг. 1 для легкости иллюстрации. Транспортное средство 101 включает в себя компьютер 105 транспортного средства, который, как правило, включает в себя процессор и память, память включает в себя одну или более форм компьютерно-читаемых носителей и хранит инструкции, исполняемые процессором для выполнения различных операций, включающих в себя те, которые раскрыты в данном документе. Память компьютера 105 дополнительно принимает и хранит данные от датчиков транспортного средства 101, таких как мультимедийные датчики 110.

Соответственно, компьютер 105, как правило, конфигурируется для связи по шине локальной сети контроллеров (CAN) или т.п. известным образом. Компьютер 105 может также иметь соединение с бортовым диагностическим разъемом (OBD-II). Через CAN-шину, OBD-II, и/или другие проводные или беспроводные механизмы, компьютер 105 может передавать сообщения различным компонентам 107 в транспортном средстве и/или принимать сообщения от различных компонентов 107, например, контроллеров, включающих в себя электронные блоки управления (ECU), такие, которые известны, актуаторов, датчиков и т.д., включающих в себя мультимедийные датчики 110. Кроме того, компьютер 105 может быть выполнен с возможностью предоставления потоков 115 данных и/или отправки и приема других сообщений, через сеть 120, которая, как описано ниже, может включать в себя различные проводные и/или беспроводные технологии сетевого взаимодействия, например, сотовые, Bluetooth, проводные и/или беспроводные пакетные сети, и т.д.

Потоки 115 данных, например, потоки данных и/или управляющие потоки, используются, чтобы предоставлять данные в реальном времени или почти в реальном времени от компьютера 105 транспортного средства 101 компьютеру 130. Потоки 115 данных могут быть предоставлены согласно известным протоколам, таким как «webRTC» (веб-связь в реальном времени), FFmpeg, TCP Friendly UDP или т.п., webRTC, как известно, включает в себя систему для передачи мультимедийных потоков, которая разрабатывается консорциумом всемирной паутины (W3C), включающую в себя наборы API (прикладных программных интерфейсов), чтобы взаимодействовать с системой потоковой передачи. Аналогично, FFmpeg является известным набором библиотек с открытым исходным кодом для управления потоковой передачей мультимедийных данных, включающих в себя видеоданные. Хотя упоминается в данном документе, прежде всего, как содержащий видеоданные, следует понимать, что поток 115 данных может также включать в себя аудиоданные, и что подходы, описанные в данном документе для управления потоками 115 данных, применяются в случае аудиоданных в дополнение или как альтернативы видеоданным в потоке 115 данных. Дополнительно, в дополнение к включению видео- и/или аудиоданных в мультимедийный поток, такой, который известен, поток 115 данных может включать в себя данные других датчиков, также как и данные транспортного средства 101, например, компьютер 105 может предоставлять данные, относящиеся к скорости транспортного средства 101, направлению движения, ускорению, замедлению, углу поворота рулевого колеса, быстроте изменения угла поворота рулевого колеса и т.д.

Потоки 115 данных могут включать в себя данные об окружениях, например, представление окружающей обстановки транспортного средства 101, и т.д. Вместо аудио- и видеоданных, которые могут требовать больших величин пропускной способности, компьютер 105 может быть запрограммирован для извлечения признака и анализа сцены видеоданных. Например, видеоданные могут быть обработаны посредством известных методик, чтобы удалять детали объектов вдали от транспортного средства 101 или не имеющих отношения к работе транспортного средства 101. Измененный поток 115 видеоданных может иметь более низкое требование пропускной способности с более низкой сквозной задержкой, чем перед изменением.

Потоки 115 данных могут включать в себя данные управления, т.е., данные для управления различными компонентами транспортного средства, например, системой рулевого управления, системой подвески и т.д. Примерный поток 115 данных может включать в себя только данные управления или может включать в себя как данные управления, так и данные датчиков; т.е., некоторые из потоков 115 данных могут быть предназначены специально для данных управления. Например, данные управления могут включать в себя инструкции электронному блоку управления (ECU) транспортного средства 101 или т.п. приводить в действие или модифицировать работу компонента транспортного средства, например, регулировать дроссельную заслонку транспортного средства 101, ускоряться или тормозить до заданной скорости, изменять угол поворота рулевого колеса и т.д.

Потоки 115 данных могут дополнительно включать в себя телеметрические данные, т.е., данные системы транспортного средства, собранные от телеметрических датчиков 106 транспортного средства. Телеметрические датчики 106 транспортного средства могут включать в себя, например, индикатор уровня аккумулятора, датчик балансировки транспортного средства, датчики состояния двигателя, датчики давления в шинах и т.д. Телеметрические данные могут включать в себя, например, уровень заряда аккумулятора, балансировку транспортного средства, состояние двигателя, давление в шинах, нагрузку обработки на компьютер 105, отслеживаемость алгоритма обработки видео, устойчивость системы управления и т.д. Телеметрические данные могут быть сохранены в компьютере 105 и отправлены управляющему компьютеру 130 через сеть 120. Потоки 115 данных могут дополнительно включать в себя данные об окружающей среде, т.е., данные об окружающей обстановке, собранные посредством датчиков 108 состояния окружающей среды. Датчики 108 состояния окружающей среды могут быть любого известного типа, включающего в себя радар, лидар, фотодатчики для общего освещения и т.д.

Мультимедийные датчики 110 могут включать в себя множество известных видеокамер для захвата и предоставления видеоданных компьютеру 105, например, в известном формате, таком как стандарт MPEG (экспертная группа по кинематографии), таком, который широко известен. Соответственно, поток 115 данных, предоставляемый от компьютера 105 транспортного средства управляющему компьютеру 130 через сеть 120, может включать в себя MPEG-данные. Следует понимать, что различные количества мультимедийных датчиков 110 могут быть установлены в или на транспортном средстве 101, четыре мультимедийных датчика 110 показаны на фиг.1 в целях иллюстрации. Например, может быть использован единственный мультимедийный датчик 110 с углом захвата 360 градусов. Дополнительно, следует понимать, что мультимедийные датчики 110 могут быть включены в различные местоположения на транспортном средстве 101, опять же, мультимедийные датчики 110 показываются на соответствующих сторонах, и спереди и сзади, транспортного средства 101 в целях иллюстрации.

Кроме того, следует понимать, что компьютер 105 может принимать данные от устройств и компонентов 107 в транспортном средстве 101, непоказанных на фиг. 1, и может предоставлять такие данные компьютеру 130 через сеть 120. Дополнительно, поток 115 данных (включающий в себя видео), передаваемый компьютеру 130, может включать в себя необработанные данные от различных датчиков или обработанные компьютером 105 перед потоковой передачей. Например, компьютер 105 может принимать данные от устройства системы глобального позиционирования (GPS) и/или других навигационных устройств в транспортном средстве 101. Аналогично, датчики 108 в дополнение к мультимедийным датчикам 110, например, радар, лидар, ультразвуковые датчики и т.д., могут быть включены в транспортное средство 101 и могут предоставлять данные компьютеру 105, чтобы помогать в операциях транспортного средства 101, включающих в себя навигацию. Кроме того, компьютер 105 программируется, чтобы принимать инструкции от управляющего компьютера 130 через сеть 120, касающиеся управления транспортным средством 101. Согласно инструкциям, принятым от компьютера 130, компьютер 105, например, согласно известным механизмам, может инструктировать различным компонентам транспортного средства 101, например, дроссельной заслонке, тормозам, рулевому управлению и т.д., предпринимать соответствующие действия, такие как поворот, ускорение, замедление и т.д. транспортного средства 101.

Сеть 120 представляет один или более механизмов, посредством которых компьютер 105 транспортного средства может связываться с удаленным сервером 125. В одном примере 120 сеть содержит сотовую сеть, компьютер 105 оснащается, или соединяется с возможностью обмена данными, в транспортном средстве 101, сотовым модемом, таким, который известен, для связи по сотовой сети. В целом, сеть 120 может быть одним или более из различных проводных или беспроводных механизмов связи, включающих в себя любую желаемую комбинацию проводных (например, кабель и волокно) и/или беспроводных (например, сотовая связь, беспроводная связь, спутниковая связь, микроволновая связь и радиочастотная связь) механизмов связи и любую желаемую топологию сети (или топологии, когда используется множество механизмов связи). Примерные сети передачи данных, в дополнение к сотовой сети, которая уже указана, включают в себя беспроводные сети передачи данных (например, использующие Bluetooth, IEEE 802.11 и т.д.), локальные вычислительные сети (LAN) и/или глобальные вычислительные сети (WAN), включающие в себя Интернет, предоставляющие услуги передачи данных.

Пункт 125 управления, как правило, находится географически удаленно от транспортного средства 101, т.е., транспортное средство 101, как правило, находится в местоположении, которое не может быть физически или непосредственно видимо из пункта 125 управления. Таким образом, чтобы управлять транспортным средством 101, пункт 125 управления включает в себя один или более управляющих компьютеров 130, которые, как правило, включают в себя по меньшей мере один процессор и по меньшей мере одну память, память хранит инструкции, исполняемые процессором, включающие в себя инструкции для выполнения различных этапов и процессов, описанных в данном документе. Компьютер 130 может включать в себя энергозависимую память, энергонезависимое устройство хранения данных и т.д., и/или может быть соединен с возможностью обмена данными с хранилищем 130 данных для хранения 115 данных работы, записей, относящихся к потенциальным инцидентам, сформированных, как описано в данном документе, и т.д. Дополнительно, компьютер 130, как правило, программируется, чтобы принимать входные данные от одного или более устройств 140 ввода, которые могут управляться человеком-оператором в пункте 125 управления, также как от одного или более датчиков 145, которые могут предоставлять данные об операторе. Как указанно выше, компьютер 130, как правило, программируется, чтобы предоставлять инструкции компьютеру 105 транспортного средства, чтобы управлять операциями транспортного средства 101.

Пункт 125 управления может включать в себя центральный командный компьютер 150. Центральный командный компьютер 150, соединенный с управляющим компьютером 130, включает в себя процессор и память, память хранит инструкции, исполняемые процессором. Центральный командный компьютер 150 может быть запрограммирован, чтобы управлять множеством компьютеров 130, каждый компьютер 130 управляет одним транспортным средством 101. Центральный командный компьютер 150 программируется, чтобы собирать данные от компьютеров 130 и управлять задачами для парка транспортных средств 101, например, синхронизировать операции компьютеров 130, инициализировать и завершать сеансы управления транспортными средствами 101, управлять передачей сеанса управления между различными операторами, и т.д.

Устройства 135 отображения, соединенные с компьютером 130, как правило, включают в себя двухмерные устройства отображения, например, плоскоэкранные мониторы или т.п., такие, которые известны. Устройства 135 отображения, как правило, используются, чтобы отображать одно или более видеоизображений из одного или более потоков 115 данных.

Устройства ввода, соединенные с компьютером 130, могут включать в себя известные устройства, такие как клавиатура, джойстик, трекбол и т.д. Используя такие устройства ввода известным образом, оператор в пункте 125 может предоставлять инструкции для дистанционного управления транспортным средством 101.

Датчики 145 могут включать в себя камеры или другие датчики в пункте 125 управления для отслеживания движений человека-оператора. Например, камеры могут быть развернуты известным образом, чтобы обнаруживать движения глаз и/или направление взгляда оператора. Таким образом, данные, предоставляемые от одного или более датчиков 145 компьютеру 130, могут быть использованы компьютером 130, чтобы определять изображение или изображения, просматриваемые оператором. Соответственно, как обсуждается дополнительно ниже, компьютер 130 может определять приоритеты потоков 115 данных по меньшей мере частично согласно конкретному видеоизображению или изображениям, интересующим оператора в настоящий момент, из транспортного средства 101.

ПРИМЕРНАЯ ПОСЛЕДОВАТЕЛЬНОСТЬ ОПЕРАЦИЙ ПРОЦЕССА

Фиг. 2 – блок-схема примерного процесса 200 корректировки устройства 135 отображения в пункте 125 дистанционного управления. Различные этапы процесса 200 выполняются согласно инструкциям, выполняемым посредством одного или более компьютеров 105, 130.

Процесс 200 начинается на этапе 205, в котором компьютер 105 транспортного средства 101 предоставляет потоки 115 мультимедийных данных компьютеру 130. Как указанно выше, компьютер 105, как правило, предоставляет один или более потоков 115 мультимедийных данных, например, включающих в себя MPEG-видеоданные или т.п., от соответствующих мультимедийных датчиков 110, установленных в или на транспортном средстве 101. Кроме того, как также указанно выше, компьютер 105, как правило, предоставляет поток или потоки 115 данных, включающие в себя данные, относящиеся к работы транспортного средства 101, например, скорость, направление движения, угол поворота рулевого колеса, быстрота изменения угла поворота рулевого колеса и т.д. После этапа 205 процесс 200 переходит к этапу 210.

На этапе 210, который может следовать либо за этапом 205, либо за этапом 250, компьютер 130 определяет состояние транспортного средства 101. Когда используется в данном документе, термин «состояние транспортного средства» может включать в себя множество атрибутов транспортного средства 101, включающих в себя скорость в реальном времени или почти в реальном времени транспортного средства 101, направление движения, угол поворота рулевого колеса, быстроту изменения угла поворота рулевого колеса и т.д. Состояние транспортного средства может дополнительно включать в себя ориентацию одного или более мультимедийных датчиков 110, например, вертикальный и/или горизонтальный угол мультимедийного датчика 110 относительно продольной и/или поперечной оси транспортного средства 101.

После этапа 210, на этапе 215, компьютер 130 принимает данные от датчиков 145, указывающие движения человека-оператора, например, указывающие движения головы оператора, направление взгляда или изменение в направлении взгляда на основе изображений глаз оператора, и т.д. Такие данные могут быть предоставлены компьютеру 105, например, указывающие приоритет или весовой коэффициент, который должен быть предоставлен одному или более мультимедийным датчикам 110 вследствие поведения оператора в удаленном пункте 125.

После этапа 215, на этапе 220, компьютер 105 в транспортном средстве 101 определяет приоритеты видов от мультимедийных датчиков 110, например, которые представляются в соответствующих потоках 115 данных. Например, компьютер 105 может быть запрограммирован, чтобы принимать во внимание направление движения транспортного средства 101, которое указывается посредством угла поворота рулевого колеса транспортного средства 101, и/или данные от компьютера 101, указывающие скорость транспортного средства 101 и/или состояние трансмиссии, например, на передней или задней передаче, и т.д. Альтернативно или дополнительно, компьютер 105 может быть запрограммирован, чтобы принимать во внимание данные, предоставленные от компьютера 130, касающиеся оператора транспортного средства 101, например, направление или изменение в направлении глаз оператора, например, указывающее, что оператор смотрел на конкретный устройство 135 отображения, предоставляющий конкретный поток 115 данных, тем самым, указывая, что конкретный поток 115 данных в настоящее время был наиболее интересен оператору транспортного средства 101. Компьютер 130, на основе таких данных, может назначать более высокий приоритет потоку 115 данных от мультимедийного датчика 110, направленного в указанном направлении движения транспортного средства 101, например, в переднюю и/или в левую сторону транспортного средства 101, движущегося прямо и поворачивающего налево, и т.д., и/или предоставляющего поток 115 данных, указанный как интересный оператору транспортного средства 101 согласно данным от одного или более датчиков 145. Соответственно, определение приоритетов мультимедийных, например, видео, потоков 115 данных может включать в себя классификацию, например, от 1 до 4 и т.д., потоков 115 видеоданных согласно полезности для удаленного оператора транспортного средства 101.

После этапа 220, на этапе 225, компьютер 130 определяет величину полосы пропускания, потребляемой каждым из мультимедийных потоков 115 данных, например, в единицах битов в секунду, мегабитов в секунду (Мбит/с) и т.д. Альтернативно или дополнительно, такое определение может быть выполнено в компьютере 105.

После этапа 225, на этапе 230, компьютер 105 определяет величину доступной полосы пропускания и сквозную задержку для мультимедийных потоков 115 данных. Альтернативно или дополнительно, такое определение может быть выполнено в компьютере 130. В любом случае, это определение может быть выполнено посредством отправки «эхо-пакетов» по сети 120, как известно.

На этапе 235, после этапа 225, компьютер 105 определяет, превышает ли доступная полоса пропускания для мультимедийных потоков 115 данных, расходуемая, как определено на этапе 225, и если так, то насколько, доступную полосу пропускания, определенную на этапе 230. Альтернативно или дополнительно, это определение может быть выполнено в компьютере 130. В любом случае, если расходуемая полоса пропускания превышает доступную полосу пропускания, тогда этап 240 выполняется следующим. Иначе, процесс 200 переходит к этапу 245.

На этапе 240, компьютер 105 выполняет одну или более корректировок в потоках 115 данных, предоставляемых компьютеру 130. Альтернативно или дополнительно, компьютер 130 может определять такие корректировки и может предоставлять инструкции, касающиеся того же, компьютеру 105. В любом случае, чтобы уменьшать полосу пропускания, расходуемую мультимедийными потоками 115 данных, компьютер 105, 130 может определять, что один или более потоков данных, например, от одного или более мультимедийных датчиков 110 в транспортном средстве 101, не должен предоставляться компьютеру 130. Например, расходование полосы пропускания может быть уменьшено, когда только три из четырех, или даже два из четырех, доступных потока 115 данных предоставляются компьютеру 130 от компьютера 105, например, согласно классификации, такой, которая была определена, как описано выше относительно этапа 220. Альтернативно или дополнительно, расходование полосы пропускания может быть уменьшено посредством корректировки размера или разрешения некоторых или всех мультимедийных потоков 115 данных, предоставляемых компьютеру 130. Например, когда транспортное средство 101 движется в переднем направлении, мультимедийные датчики 110, предоставляющие изображения с левой и правой сторон транспортного средства 101, могут быть менее важны, чем когда транспортное средство 101 поворачивает. Соответственно, разрешение и/или размер такого изображения может быть уменьшен в потоке 115 данных. Кроме того, альтернативно или дополнительно, компьютер 130 может инструктировать компьютеру 105 корректировать позицию и/или ориентацию одного или более мультимедийных датчиков 110 на основе отслеживания движений оператора, направления взгляда и т.д. Еще дополнительно или альтернативно, компьютер 105 может предотвращать передачу по меньшей мере одного из потоков 115 данных компьютеру 130. В зависимости от доступной полосы пропускания компьютер 105 может отправлять только такие потоки 115 данных, которые имеют наивысший приоритет, и предотвращать передачу потоков 115 данных с наименьшим приоритетом, пока потоки более высокого приоритета не будут отправлены, и/или доступная полоса пропускания не увеличится.

Этап 245 выполняется после любого из этапов 235, 240. На этапе 245 компьютер 130 предоставляет изображение или изображения (и возможно также аудио и другие данные, как указанно выше) из одного или более потоков 115 данных на устройстве отображения или устройствах 135 отображения. Оператор может использовать информацию с устройства 135 отображения, чтобы предоставлять входные данные компьютеру 130, который, в свою очередь, может предоставлять управляющие сигналы для компьютера 105, чтобы предоставлять их компонентам транспортного средства 101, например, для рулевого управления, управления дроссельной заслонкой, управления торможением и т.д.

После этапа 245, на этапе 250, компьютер 130 определяет, продолжается ли процесс 200. Например, удаленная работа транспортного средства 101 может быть завершена, транспортное средство 101 может быть выключено и т.д. Таким образом, процесс 200 может заканчиваться после этапа 250. Иначе, процесс 200 может продолжаться на этапе 205.

ЗАКЛЮЧЕНИЕ

Когда используется в данном документе, наречие «по существу» означает, что форма, структура, показатель, количество, время и т.д. могут отклоняться от точно описанной геометрии, расстояния, показателя, количества, времени и т.д. вследствие несовершенств в материалах, механической обработке, производстве и т.д.

Вычислительные устройства, такие как обсужденные в данном документе, как правило, каждое включают в себя инструкции, исполняемые одним или более вычислительными устройствами, такими как идентифицированные выше, и чтобы выполнять блоки или этапы процессов, описанных выше. Например, блоки процесса, обсужденные выше, могут быть осуществлены как компьютерно-исполняемые инструкции.

Компьютерно-исполняемые инструкции могут быть скомпилированы или интерпретированы из компьютерных программ, созданных посредством множества языков и/или технологий программирования, включающих в себя, без ограничения, и либо отдельно, либо в комбинации, Java™, C, C++, Visual Basic, Java Script, Perl, HTML и т.д. В целом, процессор (например, микропроцессор) принимает инструкции, например, из памяти, компьютерно-читаемого носителя и т.д. и выполняет эти инструкции, таким образом, выполняя один или более процессов, включающих в себя один или более процессов, описанных в данном документе. Такие инструкции и другие данные могут быть сохранены и передаваться посредством множества компьютерно-читаемых носителей. Файл в вычислительном устройстве, в целом, является совокупностью данных, сохраненных на считываемом компьютером носителе, таком как носитель хранения, оперативное запоминающее устройство и т.д.

Компьютерно-читаемый носитель включает в себя любой носитель, который участвует в предоставлении данных (например, инструкций), который может быть считан посредством компьютера. Такой носитель может принимать многие формы, включающие в себя, но не только, энергонезависимые носители, энергозависимые носители и т.д. Энергонезависимые носители включают в себя, например, оптические или магнитные диски и другое постоянное запоминающее устройство. Энергозависимые носители включают в себя, например, динамическое оперативное запоминающее устройство (DRAM), которое типично составляет основную память. Обычные формы компьютерно-читаемых носителей включают в себя, например, гибкий диск, дискету, жесткий диск, магнитную ленту, любой другой магнитный носитель, CD-ROM, DVD, любой другой оптический носитель, перфорационную карту, бумажную ленту, любой другой физический носитель с рисунками отверстий, RAM, PROM, EPROM, FLASH-EEPROM, любую другую микросхему памяти или картридж, или любой другой носитель, с которого компьютер может выполнять считывание.

На чертежах одинаковые ссылочные позиции указывают одинаковые элементы. Дополнительно, некоторые или все из этих элементов могут быть изменены. Что касается носителей, процессов, систем, способов и т.д., описанных в данном документе, следует понимать, что, хотя этапы таких процессов и т.д. были описаны как происходящие согласно некой упорядоченной последовательности, такие процессы могут быть применены на практике посредством описанных этапов, выполняемых в порядке, отличном от порядка, описанного в данном документе. Дополнительно следует понимать, что некоторые этапы могут выполняться одновременно, что другие этапы могут быть добавлены, или что некоторые этапы, описанные в данном документе, могут быть опущены. Другими словами, описания процессов в данном документе предоставлены с целью иллюстрации некоторых вариантов осуществления и не должны никоим образом истолковываться так, чтобы ограничивать заявленное изобретение.

Соответственно, следует понимать, что вышеприведенное описание предназначено быть иллюстративным, а не ограничивающим. Многие варианты осуществления и применения, отличные от предоставленных примеров, будут понятны специалистам в области техники по прочтении вышеприведенного описания. Рамки изобретения должны быть определены, не со ссылкой на вышеприведенное описание, но должны вместо этого быть определены со ссылкой на прилагаемую формулу изобретения, вместе с полными рамками эквивалентов, к которым такие пункты формулы приписаны. Ожидается и предполагается, что будущие разработки произойдут в технологиях, обсужденных в данном документе, и что раскрытые системы и способы будут включены в такие будущие варианты осуществления. Резюмируя, следует понимать, что изобретение способно к модификации и вариативности и ограничено только последующей формулой изобретения.

Все выражения, используемые в формуле изобретения, предназначены для использования их в общепринятом значении, понятном специалисту в области техники, кроме тех случаев, когда явно отмечено иное. В частности, использование выражения «указанный» должно читаться как перечисление одного или более указанных элементов, кроме тех случаев, когда пункт формулы изобретения явно указывает на обратное.

1. Система передачи данных с транспортного средства в пункт дистанционного управления, содержащая:

компьютер в пункте дистанционного управления, содержащий процессор и память, и

компьютер транспортного средства на транспортном средстве, причем компьютер транспортного средства и транспортное средство находятся географически удаленно от компьютера в пункте дистанционного управления, причем транспортное средство является управляемым оператором компьютера в пункте дистанционного управления, при этом оператор находится географически удаленно от транспортного средства и компьютера транспортного средства, причем

память компьютера в пункте дистанционного управления хранит инструкции, исполняемые процессором компьютера в пункте дистанционного управления для:

приема множества потоков данных от транспортного средства через компьютер транспортного средства, по меньшей мере некоторые из которых включают мультимедийные данные;

определения доступной полосы пропускания и расходования полосы пропускания каждым из потоков данных;

определения приоритетов потоков данных согласно одному или более факторам, включая по меньшей мере данные, описывающие оператора в пункте дистанционного контроля, осуществляющего управление транспортным средством, и доступную полосу пропускания; причем определение приоритетов включает в себя определение по меньшей мере одного из потоков данных, который обладает большим приоритетом, чем другие из потоков данных, на основании данных датчика, указывающих поведение оператора в пункте дистанционного управления; и

выдачи команды компьютеру транспортного средства на по меньшей мере одно из корректировки по меньшей мере одного из потоков данных и предотвращения передачи по меньшей мере одного из потоков данных компьютеру в пункте дистанционного управления согласно определению приоритетов.

2. Система по п. 1, в которой по меньшей мере один из потоков данных включает в себя по меньшей мере одно из данных о скорости и угле поворота рулевого колеса от транспортного средства.

3. Система по п. 1, в которой корректировка по меньшей мере одного из потоков данных включает в себя корректировку по меньшей мере одного из разрешения и размера изображения, передаваемого по меньшей мере в одном из потоков данных.

4. Система по п. 1, в которой некоторые из потоков данных включают в себя изображения от соответствующих мультимедийных датчиков, установленных на транспортном средстве.

5. Система по п. 1, в которой один или более факторов включают в себя данные о состоянии транспортного средства.

6. Система по п. 5, в которой данные о состоянии транспортного средства включают в себя по меньшей мере одно из скорости транспортного средства, направление движения, угол поворота рулевого колеса, быстроту изменения угла поворота рулевого колеса и ориентацию датчика транспортного средства.

7. Система по п. 1, в которой по меньшей мере один из потоков данных включает в себя команду для приведения в действие компонента транспортного средства.

8. Система по п. 1, в которой данные о поведении оператора компьютера в пункте дистанционного управления включают в себя по меньшей мере одно из движения глаз и направления взгляда оператора.

9. Способ передачи данных с транспортного средства в пункт дистанционного управления, включающий в себя этапы, на которых:

управляют компьютером транспортного средства на транспортном средстве посредством компьютера в пункте дистанционного управления, причем компьютер транспортного средства и транспортное средство находятся географически удаленно от компьютера в пункте дистанционного управления, причем транспортное средство является управляемым оператором компьютера в пункте дистанционного управления, при этом оператор находится географически удаленно от транспортного средства и компьютера транспортного средства,

принимают на компьютере в пункте дистанционного управления множество потоков данных от транспортного средства через компьютер транспортного средства, по меньшей мере некоторые из которых включают в себя мультимедийные данные;

определяют доступную полосу пропускания и расходование полосы пропускания каждым из потоков данных;

определяют посредством компьютера в пункте дистанционного управления приоритеты потоков данных согласно одному или более факторам, включая по меньшей мере данные, описывающие оператора в пункте дистанционного контроля, осуществляющего управление транспортным средством, и доступную полосу пропускания; причем определение приоритетов включает в себя определение по меньшей мере одного из потоков данных, который обладает большим приоритетом, чем другие из потоков данных, на основании данных датчика, указывающих поведение оператора в пункте дистанционного управления; и

выдают команду компьютеру транспортного средства на по меньшей мере одно из корректировки по меньшей мере одного из потоков данных и предотвращения передачи по меньшей мере одного из потоков данных компьютеру в пункте дистанционного управления согласно определению приоритетов.

10. Способ по п. 9, в котором по меньшей мере один из потоков данных включает в себя по меньшей мере одно из данных о скорости и угле поворота рулевого колеса от транспортного средства.

11. Способ по п. 9, в котором некоторые из потоков данных включают в себя изображения от соответствующих мультимедийных датчиков, установленных на транспортном средстве.

12. Способ по п. 9, в котором один или более факторов включают в себя данные о состоянии транспортного средства.

13. Способ по п. 9, в котором корректировка по меньшей мере одного из потоков данных включает в себя этап, на котором корректируют по меньшей мере одно из разрешения и размера изображения, передаваемого по меньшей мере в одном из потоков данных.

14. Способ по п. 9, в котором по меньшей мере один из потоков данных включает в себя команду для приведения в действие компонента транспортного средства.

15. Система передачи данных с транспортного средства в пункт дистанционного управления, содержащая:

компьютер в пункте дистанционного управления, содержащий процессор и память, и

в пункте дистанционного управления, содержащий процессор и память, и

компьютер транспортного средства на транспортном средстве, причем компьютер транспортного средства и транспортное средство находятся географически удаленно от компьютера в пункте дистанционного управления, причем транспортное средство является управляемым оператором компьютера в пункте дистанционного управления, при этом оператор находится географически удаленно от транспортного средства и компьютера транспортного средства, при этом компьютер запрограммирован с возможностью:

приема данных от множества мультимедийных датчиков, установленных на транспортном средстве, через компьютер транспортного средства;

определения доступной полосы пропускания и расходования полосы пропускания каждым из потоков данных;

определения приоритетов согласно одному или более факторам, включая по меньшей мере данные, описывающие оператора в пункте дистанционного контроля, осуществляющего управление транспортным средством, и доступную полосу пропускания, соответствующих потоков данных, каждый из которых включает в себя данные от одного из мультимедийных датчиков;

причем определение приоритетов включает в себя определение одного из потоков данных, который обладает большим приоритетом, чем другие из потоков данных, на основании данных датчика, указывающих поведение оператора в пункте дистанционного управления; и

выдачи команды компьютеру транспортного средства на корректировку по меньшей мере одного из потоков данных согласно определению приоритетов.

16. Система по п. 15, в которой компьютер запрограммирован с возможностью предоставления по меньшей мере одного потока данных через сеть, который включает в себя по меньшей мере одно из данных о скорости и угле поворота рулевого колеса от транспортного средства.

17. Система по п. 15, в которой корректировка по меньшей мере одного из потоков данных включает в себя корректировку по меньшей мере одного из разрешения и размера изображения, передаваемого по меньшей мере в одном из потоков данных.