Способы и системы для приготовления пищи на роботизированной кухне

Настоящее изобретение относится к способам, программным продуктам и компьютерным системам для управления роботом при приготовлении блюда путем замены движений и действий человека-повара. Наблюдение за человеком-поваром выполняется в специальной среде, например на стандартизованной роботизированной кухне с измерительной аппаратурой, и включает в себя использование датчиков и компьютеров для наблюдения, контроля, записи и анализа движений и действий человека-повара, чтобы создать набор исполняемых роботом команд, устойчивый к изменениям внешних условий, который позволит роботизированной или автоматизированной системе на роботизированной кухне приготовить блюдо, соответствующее стандартам и критериям качества, которые предъявляются к блюду, приготовленному человеком-поваром. 6 н. и 80 з.п. ф-лы, 5 табл., 100 ил.

 

Ссылка на предшествующие заявки

В данной заявке испрашивается приоритет на основании предварительной заявки США №62/116563 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 16 февраля 2015 г, предварительной заявки США №62/113516 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 8 февраля 2015 г., предварительной заявки США №62/109051 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 28 января 2015 г., предварительной заявки США №62/104680 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 16 января 2015 г., предварительной заявки США №62/090310 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 10 декабря 2014 г., предварительной заявки США №62/083195 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 22 ноября 2014 г., предварительной заявки США №62/073846 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 31 октября 2014 г., предварительной заявки США №62/055799 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 26 сентября 2014 г., предварительной заявки США №62/044677, на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 2 сентября 2014 г., предварительной заявки США №62/024948 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 15 июля 2014 г., предварительной заявки США №62/013691 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 18 июня 2014 г., предварительной заявки США №62/013502 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 17 июня 2014 г., предварительной заявки США №62/013190 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 17 июня 2014 г., предварительной заявки США №61/990431 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 8 мая 2014 г., предварительной заявки США №61/987406 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 1 мая 2014 г., предварительной заявки США №61/953930 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 16 марта 2014 г., и предварительной заявки США №61/942559 на изобретение «Способ и система для приготовления пищи на роботизированной кухне», поданной 20 февраля 2014 г., информация, раскрытая в них, полностью включена в состав настоящего описания.

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к комплексным отраслям робототехники и искусственного интеллекта, а более конкретно к компьютеризированным роботизированным системам для приготовления пищи путем перевода процесса приготовления пищи, осуществляемого профессиональными и непрофессиональными поварами, в цифровой вид и последующего воспроизведения движений, методик и техник повара с возможностью выполнения электронных настроек в режиме реального времени.

Уровень техники

В последние десятилетия ведутся научно-исследовательские разработки в области робототехники, однако, в основном, прогресс наблюдается в тяжелой промышленности, в частности, в автоматизации автомобилестроения или военных применениях. Для потребительского рынка были разработаны простые роботизированные системы, однако они не получили широкого распространения в сфере домашней робототехники. Благодаря техническому прогрессу и росту уровня доходов населения, на рынке имеются все предпосылки для использования достижений техники с целью повышения качества жизни. Робототехника продолжает развиваться в направлении повышения уровня автоматизации, улучшения искусственного интеллекта, а также имитации различных навыков и умений человека.

Концепция замены людей роботами в некоторых отраслях и выполнения задач, которые всегда выполнялись людьми, является основополагающей для идеологии непрерывного развития со времен появления первых роботов в 1970-х годах. В производственных секторах уже на протяжении долгого времени роботы используются в режиме «обучение/воспроизведение», в котором обучение робота производится с помощью выносного пульта управления или генерирования и загрузки определенной траектории в автономном режиме, когда движения непрерывно копируются без изменений или отклонений. На данный момент различные компании используют выполнение движений по заранее запрограммированным траекториям, под управлением компьютера, и воспроизведение движений роботом в таких отраслях, как смешивание напитков, сварка, окраска автомобилей и многое другое. Однако во всех традиционных сферах применения используется принцип однозначного соответствия (1:1) для системы «компьютер - робот» или «обучение - воспроизведение», для которого требуется только робот, точно выполняющий команды движения и практически всегда следующий запомненной/заранее рассчитанной траектории без отклонений.

Гастрономия - искусство правильного питания, в котором рецепты деликатесов сочетают в себе использование высококачественных ингредиентов и вкус, воздействующий на все органы чувств. В основе изысканной кухни лежат правила, основанные на техниках, которые могут быть очень сложными, требовать опыта и навыков, а в некоторых случаях еще и длительного обучения. В последние несколько лет потребность в изысканной пище значительно возросла благодаря быстрому росту доходов и повышению уровня кулинарной грамотности у разных поколений. Тем не менее людям по-прежнему приходится посещать определенные рестораны или заведения для того, чтобы попробовать изысканные блюда, приготовленные любимым шеф-поваром. Было бы довольно интересно наблюдать за тем, как шеф-повар готовит ваше любимое блюдо прямо перед вами, или испытать ощущения, напоминающие о процессе приготовления блюда в детстве вместе с бабушкой.

В связи с этим для потребителей желательно иметь систему и способ приготовления изысканных блюд от шеф-повара и их правильной сервировки у себя дома без необходимости посещения ресторанов в разных точках мира для того, чтобы насладиться определенными изысканными блюдами.

Раскрытие изобретения

Настоящее изобретение относится к способам, компьютерным программным продуктам и компьютерным системам роботизированного приспособления с командами роботу для воспроизведения блюда с результатом, аналогичным результату, который достигается при приготовлении блюда шеф-поваром. В соответствии с первым вариантом осуществления роботизированное приспособление на стандартизованной роботизированной кухне содержит две роботизированные руки с кистями, которые точно повторяют движения шеф-повара в той же последовательности (или практически той же последовательности) и с такими же (или практически с такими же) временными характеристиками для приготовления блюда на основании предварительно записанного программного файла (сценарий рецепта) с данными о точных движениях шеф-повара, выполняемых им во время приготовлении данного блюда. В соответствии со вторым вариантом осуществления приспособление для приготовления пищи с компьютерным управлением готовит блюдо, используя сенсорную кривую, в т.ч. зависимость температуры от времени, предварительно записанную в программный файл, когда то же блюдо готовилось шеф-поваром при помощи приспособления для приготовления пищи с датчиками, для которых компьютер записывает показания в течение времени, когда шеф-повар предварительно готовит блюдо на оборудовании для приготовления с датчиками. В соответствии с третьим вариантом осуществления кухонное оборудование для приготовления блюд содержит роботизированные руки по первому варианту осуществления и приспособление для приготовления с датчиками по второму варианту осуществления, причем применение роботизированных рук сочетается с одной или несколькими сенсорными кривыми, и роботизированные руки способны проверять качество блюда в процессе приготовления в отношении таких показателей, как вкус, запах и внешний вид, допуская любые корректировки процесса приготовления блюда. В соответствии с четвертым вариантом осуществления кухонное оборудование содержит систему хранения продуктов, с компьютерно-управляемыми контейнерами и идентификаторами контейнеров для хранения и передачи ингредиентов пользователю для приготовления блюда в соответствии с указаниями шеф-повара. В соответствии с пятым вариантом осуществления роботизированная кухня содержит робота с руками и кухонное оборудование, где робот перемещается по всему кухонному оборудованию для приготовления блюд путем имитации точных движений шеф-повара по приготовлению, включая возможные модификации/адаптации процесса приготовления, заданного в сценарии рецепта, в режиме реального времени.

Роботизированный механизм для приготовления пищи может обнаруживать, записывать и имитировать движения шеф-повара во время приготовления, контролировать значимые параметры, в т.ч. температуру и время, а также обеспечивать работу специальных устройств, оборудования и инструментов, чтобы приготовить изысканное блюдо, вкус которого будет идентичен вкусу блюда, приготовленного шеф-поваром, и которое может быть подано в определенное удобное время. В одном варианте роботизированный механизм приготовления пищи использует роботизированные руки для воспроизведения движений, идентичных движениям шеф-повара, с теми же ингредиентами и методиками для изготовления блюда с идентичным вкусом.

Для осуществления настоящего изобретения основное внимание фокусируется на людях, за которыми наблюдают с помощью датчиков во время выполнения определенных естественных действий, и последующем использовании датчиков контроля, датчиков захвата, компьютеров и программного обеспечения для генерирования информации и команд с целью воспроизведения человеческих действий, используя одну или несколько роботизированных и/или автоматизированных систем. Несмотря на то, что данный подход можно использовать для множества аналогичных действий (например, для приготовления пищи, рисования, игры на музыкальных инструментах и т.д.), один аспект настоящего изобретения относится к приготовлению пищи, а именно, к роботизированному приготовлению пищи. Наблюдение и регистрация действий человека выполняется в специальной системе с измерительной аппаратурой (в данном случае на стандартизованной кухне) с использованием датчиков и компьютеров для наблюдения, контроля, записи и интерпретации движений и действий человека-повара, чтобы сформировать набор исполняемых роботом команд, устойчивый к изменениям и отклонениям внешних условий, при помощи которого роботизированная или автоматизированная система на роботизированной кухне сможет приготовить такое же блюдо по соответствию стандартам и качеству, как и блюдо, приготовленное человеком-поваром.

Сбор необработанных данных осуществляется с помощью мультимодальных сенсорных систем (систем датчиков). К датчикам, способным собирать и предоставлять такие данные, можно отнести датчики условий окружающей среды и датчики геометрических размеров, например, двухкоординатные (камеры и т.д.) и трехкоординатные (лазеры, ультразвуковые датчики и т.д.) датчики, а также системы захвата движения человека (носимые маркеры для камер, костюмы/экзоскелеты с измерительной аппаратурой, перчатки с измерительной аппаратурой и т.д.), а также оборудование с измерительной аппаратурой (датчиками) и механизированное оборудование (с исполнительными механизмами), используемое во время создания рецепта и его выполнения (устройства с измерительной аппаратурой, оборудование для приготовления пищи, инструменты, дозаторы ингредиентов и т.д.). Все эти данные собираются одной или несколькими распределенными/централизованными компьютерными системами и обрабатываются с помощью различных программных процедур. При помощи алгоритмов выполняется обработка и абстрагирование данных до такой степени, чтобы человек и роботизированная кухня с компьютерным управлением смогли интерпретировать операции, задачи, действия, оборудование, ингредиенты, способы и процедуры, используемые человеком, включая воспроизведение ключевых навыков конкретного шеф-повара. Необработанные данные обрабатываются с помощью одного или нескольких программных механизмов абстрагирования для создания сценария рецепта, который одновременно был бы понятен человеку и после дальнейшей обработки мог быть считан и выполнен компьютером, а также подробно расписывал все действия и движения на всех этапах определенного рецепта, который должен быть выполнен на роботизированной кухне. Набор таких команд по сложности может варьироваться от управления отдельными шарнирами в соответствии с определенным профилем движения шарнира в течение времени до абстрагированных уровней встроенных команд выполнения движений более низкого уровня, связанных с конкретными шагами в рецепте. На основании необработанных данных можно сгенерировать абстрагированные команды движения (например, «разбить яйцо на сковороду», «обжарить с обеих сторон до получения золотистого цвета» и т.д.), после чего они могут быть уточнены и оптимизированы с помощью многочисленных вариантов итеративных процедур обучения, выполняемых в режиме реального времени и/или в автономном режиме, позволяя роботизированным кухонным системам справляться с неоднозначностями результатов измерений, изменением ингредиентов и т.д., давая возможность выполнять сложные (адаптивные) мини-манипуляции с помощью кистей с пальцами, установленных на руках и запястьях робота, на основании достаточно абстрагированных команд или команд высокого уровня (например, «взять кастрюлю за ручку», «высыпать содержимое», «взять ложку со столешницы и перемешать суп» и т.д.).

Возможность создания машинно выполняемых последовательностей команд, хранящихся теперь в цифровых файлах, которыми можно поделиться или передать, позволяя выполнить их на любой роботизированной кухне, предоставляет опцию выполнения этапов по приготовлению блюд в любом месте и в любое время. Таким образом, данный подход позволяет покупать/продавать рецепты в режиме онлайн, позволяя пользователям получать доступ и распространять рецепты для разового использования или по подписке.

Повторение блюда, приготовленного человеком, выполняется роботизированной кухней, что в сущности представляет собой точную стандартизованную копию кухни с аппаратурой, используемой человеком-поваром во время создания блюда, за тем исключением, что действия человека теперь выполняются набором роботизированных рук и кистей с помощью устройств, оборудования, инструментов, дозаторов и т.д. с компьютерным контролем и управлением. Поэтому степень точности воспроизведения блюда тесно связана с тем, насколько роботизированная кухня является точной копией кухни (и всех элементов и ингредиентов), в которой наблюдают за человеком-поваром при приготовлении блюда.

Говоря в широком смысле, может быть предусмотрен выполняемый компьютером способ, функционирующий на роботизированном приспособлении, который включает в себя электронное описание одного или нескольких блюд, включая рецепты для приготовления шеф-поваром каждого блюда из некоторых ингредиентов; считывание последовательности наблюдений за движениями шеф-повара (для каждого блюда) с помощью совокупности роботизированных датчиков во время приготовления блюда шеф-поваром с использованием ингредиентов и кухонного оборудования; обнаружение в этой последовательности наблюдений мини-манипуляций, соответствующих последовательности движений, выполняемых на каждой стадии приготовления определенного блюда; преобразование считанной последовательности наблюдений в машиночитаемые инструкции для управления роботизированным устройством, способным выполнять последовательности мини-манипуляций; хранение на электронном носителе для каждого блюда, по меньшей мере, указанной последовательности инструкций для мини-манипуляций, причем последовательность мини-манипуляций для каждого блюда хранится в виде соответствующей электронной записи; передачу соответствующей электронной записи с информацией о блюде на роботизированное приспособление, которое способно воспроизводить последовательность сохраненных мини-манипуляций, соответствующих оригинальным действиям шеф-повара; и выполнение роботизированным приспособлением последовательности инструкций для мини-манипуляций для определенного блюда, получая практически тот же результат, как и в случае приготовления оригинального блюда шеф-поваром, причем выполнение инструкций включает в себя считывание свойств ингредиентов, используемых при приготовлении блюда.

Преимуществом является то, что роботизированное приспособление на стандартизованной роботизированной кухне имеет функциональные возможности для приготовления широкого набора блюд разных кухонь со всего мира за счет использования глобальной сети и доступа к базам данных, по сравнению с шеф-поваром, который может специализироваться только на одном типе кухни. Стандартизованная роботизированная кухня также может иметь функцию захвата и записи одного из любимых блюд пользователя для последующего воспроизведения роботизированным устройством в любой момент, когда человек захочет попробовать это блюдо, без многократных трудных повторений для приготовления одного и того же блюда снова и снова.

Структуры и способы настоящего изобретения подробно описаны ниже. Вышеприведенное краткое изложение не претендует на ограничение объема изобретения. Объем изобретения задается формулой изобретения. Эти и другие варианты осуществления, особенности, аспекты и преимущества изобретения можно лучше понять с помощью приведенного ниже описания, формулы изобретения и сопроводительных чертежей.

Краткое описание чертежей

Изобретение будет описано на примере конкретных вариантах осуществления со ссылкой следующие чертежи, на которых:

На Фиг. 1 представлено схематическое изображение системы, где показана полная роботизированная кухня для приготовления пищи с аппаратным и программным обеспечением в соответствии с настоящим изобретением.

На Фиг. 2 представлено схематическое изображение системы, где показан первый вариант осуществления роботизированной системы приготовления пищи, которая включает в себя студию-кухню шеф-повара и бытовую роботизированную кухонную систему в соответствии с настоящим изобретением.

На Фиг. 3 представлено схематическое изображение системы, где показан один вариант осуществления стандартизованной роботизированной кухни для приготовления блюд путем воспроизведения процесса приготовления по рецепту, техник и движений шеф-повара в соответствии с настоящим изобретением.

На Фиг. 4 представлено схематическое изображение системы, где показан один вариант осуществления роботизированного механизма приготовления пищи, используемого вместе с компьютером в студии-кухне шеф-повара и бытовой роботизированной кухонной системы в соответствии с настоящим изобретением.

На Фиг. 5А представлена блок-схема, иллюстрирующая процесс создания рецепта в студии-кухне шеф-повара в соответствии с настоящим изобретением.

На Фиг. 5В представлена блок-схема, иллюстрирующая один вариант осуществления стандартизованной роботизированной кухни, способной работать в режиме «обучение/воспроизведение» в соответствии с настоящим изобретением.

На Фиг. 5С представлена блок-схема, иллюстрирующая один вариант осуществления механизма генерации и абстрагирования сценария рецепта в соответствии с настоящим изобретением.

На Фиг. 5D представлена блок-схема, иллюстрирующая программные элементы для выполнения манипуляций с объектом на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 6 представлена блок-схема, иллюстрирующая архитектуру мультимодальной системы считывания и программных элементов в соответствии с настоящим изобретением.

На Фиг. 7А представлено схематическое изображение, где показан модуль стандартизованной роботизированной кухни, используемый шеф-поваром в соответствии с настоящим изобретением.

На Фиг. 7В представлено схематическое изображение, где показан модуль стандартизованной роботизированной кухни с парой роботизированных рук и кистей в соответствии с настоящим изобретением;

На Фиг. 7С представлено схематическое изображение, где показан один вариант физической конфигурации модуля стандартизованной роботизированной кухни, используемого шеф-поваром в соответствии с настоящим изобретением.

На Фиг. 7D представлено схематическое изображение, где показан один вариант физической конфигурации модуля стандартизованной роботизированной кухни, используемого парой роботизированных рук и кистей в соответствии с настоящим изобретением.

На Фиг. 7Е представлено схематическое изображение, где показана пошаговая процедура и способы обеспечения наличия точек управления или контроля во время воспроизведения рецепта на основании сценария рецепта при его выполнении стандартизованной роботизированной кухней в соответствии с настоящим изобретением.

На Фиг. 8А представлена блок-схема, иллюстрирующая один вариант модуля алгоритма конверсии движений шеф-повара в роботизированные зеркальные движения в соответствии с настоящим изобретением.

На Фиг. 8В представлено схематическое изображение пары перчаток с датчиками, надетых шеф-поваром 49 для обеспечения захвата и передачи движений шеф-повара.

На Фиг. 8С проиллюстрировано роботизированное выполнение процесса приготовления на основании полученных данных датчиков, установленных на перчатках шеф-повара, в соответствии с настоящим изобретением.

На Фиг. 8D представлен график, иллюстрирующий динамически устойчивые и динамически неустойчивые кривые относительно положения равновесия.

На Фиг. 8Е представлена диаграмма последовательности, иллюстрирующая процесс приготовления пищи, требующий выполнения последовательности этапов (также называемых стадиями), в соответствии с настоящим изобретением.

На Фиг. 8F представлен график, иллюстрирующий вероятность общего успеха в виде функции от количества стадий процесса приготовления блюда в соответствии с настоящим изобретением.

На Фиг. 8G представлена блок-схема, иллюстрирующая выполнение рецепта на основании роботизированного процесса приготовления пищи, состоящего из нескольких стадий, путем выполнения мини-манипуляций и элементарных действий.

На Фиг. 9А представлено схематическое изображение примера роботизированной кисти с запястьем, имеющей тактильные вибрационные датчики, акустические датчики и датчики камеры для обнаружения и перемещения кухонного инструмента, объекта или части кухонного оборудования в соответствии с настоящим изобретением.

На Фиг. 9В представлено схематическое изображение поворотного устройства с сенсорной камерой, которое соединено с парой роботизированных рук и кистей для работы на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 9С представлено схематическое изображение, где показаны камеры с датчиками на роботизированных запястьях для выполнения различных операций на стандартизованной роботизированной кухне в соответствии с настоящим изобретением;

На Фиг. 9D представлено схематическое изображение системы «глаз на руке» на роботизированных кистях для выполнения различных операций на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 9E-I представлены схематические изображения вариантов деформируемой ладони роботизированной кисти в соответствии с настоящим изобретением.

На Фиг. 10А представлено схематическое изображение примеров записывающих устройств для шеф-повара, которые шеф-повар надевает на роботизированной кухне для записи и захвата его (ее) движений в процессе приготовления пищи по определенному рецепту.

На Фиг. 10В представлена блок-схема, иллюстрирующая один вариант процесса оценки результатов захвата движений шеф-повара для определения поз, движений и усилий робота в соответствии с настоящим изобретением.

На Фиг. 11 представлено схематическое изображение роботизированной руки (вид сбоку) для использования в бытовой роботизированной кухонной системе в соответствии с настоящим изобретением.

На Фиг. 12А-С представлены схематические изображения одного варианта кухонной ручки для роботизированной руки с ладонью в соответствии с настоящим изобретением.

На Фиг. 13 представлена схема роботизированной кисти с тактильными датчиками и датчиками распределения давления в соответствии с настоящим изобретением.

На Фиг. 14 представлена схема костюма с датчиками для шеф-повара, который он надевает на роботизированной студии-кухне в соответствии с настоящим изобретением.

На Фиг. 15А-В представлены схематические изображения одного варианта тактильной перчатки с тремя пальцами и датчиками для приготовления пищи шеф-поваром, а также пример роботизированной кисти с тремя пальцами и датчиками в соответствии с настоящим изобретением.

На Фиг. 16 представлена блок-схема, иллюстрирующая модуль создания базы данных библиотек мини-манипуляций, а также модуль выполнения для базы данных библиотек мини-манипуляций в соответствии с настоящим изобретением.

На Фиг. 17А представлено схематическое изображение перчатки с датчиками, используемой шеф-поваром для выполнения стандартизованных рабочих движений в соответствии с настоящим изобретением.

На Фиг. 17В представлена блок-схема, иллюстрирующая базу данных стандартизованных рабочих движений в модуле роботизированной кухни в соответствии с настоящим изобретением.

На Фиг. 18А представлено схематическое изображение роботизированной кисти, на которую надета перчатка из искусственной мягкой кожи, имитирующей кожу человека, в соответствии с настоящим изобретением.

На Фиг. 18В представлена блок-схема, иллюстрирующая действия роботизированных кистей, на которые надеты перчатки из искусственной кожи, имитирующей человеческую кожу, для выполнения мини-манипуляций высокого уровня на основании базы данных библиотек мини-манипуляций, которые предварительно определяются и сохраняются в базе данных библиотек в соответствии с настоящим изобретением.

На Фиг. 18С представлены схематические изображения трех типов систематизации манипуляций для приготовления пищи в соответствии с настоящим изобретением.

На Фиг. 18D представлена блок-схема, иллюстрирующая один вариант систематизации манипуляций для приготовления пищи в соответствии с настоящим изобретением.

На Фиг. 18Е представлена блок-схема, иллюстрирующая один пример взаимосвязи и взаимодействия роботизированной руки и роботизированной кисти в соответствии с настоящим изобретением.

На Фиг. 18F представлено схематическое изображение, где показано использование роботизированной кистью стандартизованной кухонной ручки, которая может быть прикреплена к кухонной посуде, и роботизированной руки, которая может быть прикреплена к кухонной посуде в соответствии с настоящим изобретением.

На Фиг. 19 представлена блок-схема, иллюстрирующая в качестве примера создание мини-манипуляций, необходимых для разбивания яйца при помощи ножа, в соответствии с настоящим изобретением.

На Фиг. 20 представлена блок-схема, иллюстрирующая пример выполнения рецепта для мини-манипуляции с возможностью регулировок в режиме реального времени в соответствии с настоящим изобретением.

На Фиг. 21 представлена блок-схема, иллюстрирующая программную процедуру захвата движений шеф-повара при приготовлении пищи в модуле стандартизованной кухни в соответствии с настоящим изобретением.

На Фиг. 22 представлена блок-схема, иллюстрирующая программную процедуру приготовления пищи с помощью роботизированного приспособления в модуле стандартизованной роботизированной кухни в соответствии с настоящим изобретением.

На Фиг. 23 представлена блок-схема, иллюстрирующая один вариант осуществления программной процедуры для создания, тестирования, проверки и сохранения различных сочетаний параметров для системы выполнения мини-манипуляций в соответствии с настоящим изобретением.

На Фиг. 24 представлена блок-схема, иллюстрирующая один вариант осуществления программной процедуры создания задач для системы выполнения мини-манипуляций в соответствии с настоящим изобретением.

На Фиг. 25 представлена блок-схема, иллюстрирующая процесс назначения и использования библиотеки инструментов стандартизованной кухни, стандартизованных объектов и стандартизованного оборудования на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 26 представлена блок-схема, иллюстрирующая процесс идентификации нестандартизованного объекта с помощью трехмерного моделирования в соответствии с настоящим изобретением.

На Фиг. 27 представлена блок-схема, иллюстрирующая процесс тестирования и запоминания мини-манипуляций в соответствии с настоящим изобретением.

На Фиг. 28 представлена блок-схема, иллюстрирующая процесс контроля качества работы роботизированных рук и корректировки процесса в соответствии с настоящим изобретением.

На Фиг. 29 представлена таблица, иллюстрирующая структуру базы данных библиотек мини-манипуляций с объектами для использования на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 30 представлена таблица, иллюстрирующая структуру базы данных библиотек стандартизованных объектах для использования на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 31 представлено схематическое изображение роботизированной кисти для выполнения проверки качества рыбы в соответствии с настоящим изобретением.

На Фиг. 32 представлено схематическое изображение роботизированной сенсорной головки для выполнения проверки качества продукта в чаше в соответствии с настоящим изобретением.

На Фиг. 33 представлено схематическое изображение устройства обнаружения или контейнера с датчиком для определения свежести и качества пищевых продуктов в соответствии с настоящим изобретением.

На Фиг. 34 представлено схематическое изображение системы анализа в режиме реального времени для определения свежести и качества пищевых продуктов в соответствии с настоящим изобретением.

На Фиг. 35 представлена блок-схема, иллюстрирующая заранее наполненные контейнеры с программируемым органом управления дозатором в соответствии с настоящим изобретением.

На Фиг. 36 представлена блок-схема, иллюстрирующая структуру системы приготовления по рецепту, используемой на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 37А-С представлены блок-схемы, иллюстрирующие меню поиска рецепта для использования на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 37D представлен скриншот меню с функциями создания и отправки рецепта в соответствии с настоящим изобретением.

На Фиг. 37Е-М представлены блок-схемы, иллюстрирующие один вариант осуществления пользовательского интерфейса для приготовления пищи с такими функциональными возможностями, как фильтрация по рецептам, фильтрация по ингредиентам, фильтрация по оборудованию, доступ с помощью учетной записи и социальных сетей, персональная страница партнера, страница корзины, информация о приобретенном рецепте, настройка регистрации, создание рецепта в соответствии с настоящим изобретением.

На Фиг. 37N-V приведены скриншоты для различных опций графического пользовательского интерфейса и меню в соответствии с настоящим изобретением.

На Фиг. 38 представлена блок-схема, иллюстрирующая меню поиска рецепта путем выбора различных полей для использования на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 39 представлено схематическое изображение стандартизованной роботизированной кухни с дополнительным датчиком для трехмерного отслеживания и генерирования референсных данных в соответствии с настоящим изобретением.

На Фиг. 40 представлено схематическое изображение стандартизованной роботизированной кухни с множеством датчиков для создания трехмерной модели в режиме реального времени в соответствии с настоящим изобретением.

На Фиг. 41A-L представлены схематические изображения различных вариантов осуществления и характеристик стандартизованной роботизированной кухни в соответствии с настоящим изобретением.

На Фиг. 42А представлено схематическое изображение (вид в плане) стандартизованной роботизированной кухни в соответствии с настоящим изобретением.

На Фиг. 42В представлено схематическое изображение (общий вид в плане) стандартизованной роботизированной кухни в соответствии с настоящим изобретением.

На Фиг. 43А-В представлены схематические изображения первого варианта осуществления каркаса кухонного модуля с автоматическими прозрачными дверями на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 43C-F представлены схематические изображения скриншотов и спецификаций образца кухонного модуля на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 44А-В представлены схематические изображения второго варианта осуществления каркаса кухонного модуля с автоматическими прозрачными дверьми на стандартизованной роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 45 представлено схематическое изображение стандартизованной роботизированной кухни с телескопическим исполнительным механизмом в соответствии с настоящим изобретением.

На Фиг. 46А представлено схематическое изображение вида спереди стандартизованной роботизированной кухни с парой зафиксированных роботизированных рук без направляющих рельсов в соответствии с настоящим изобретением.

На Фиг. 46В представлено схематическое изображение углового вида стандартизованной роботизированной кухни с парой зафиксированных роботизированных рук без направляющих рельсов в соответствии с настоящим изобретением.

На Фиг. 46C-G представлены схематические изображения различных примерных габаритов стандартизованной роботизированной кухни с парой зафиксированных роботизированных рук без направляющих рельсов в соответствии с настоящим изобретением.

На Фиг. 47 представлено схематическое изображение системы хранения программ для использования со стандартизованной роботизированной кухни в соответствии с настоящим изобретением.

На Фиг. 48 представлено схематическое изображение системы хранения программ для использования со стандартизованной роботизированной кухней в соответствии с настоящим изобретением, в вертикальном разрезе.

На Фиг. 49 представлено схематическое изображение контейнеров для доступа к ингредиентам для использования со стандартизованной роботизированной кухни в соответствии с настоящим изобретением, в вертикальном разрезе.

На Фиг. 50 представлено схематическое изображение панели контроля качества ингредиентов, связанной с контейнерами для доступа к ингредиентам, для использования со стандартизованной роботизированной кухни в соответствии с настоящим изобретением.

На Фиг. 51 представлена таблица, иллюстрирующая базу данных библиотек параметров рецепта в соответствии с настоящим изобретением.

На Фиг. 52 представлена блок-схема, иллюстрирующая один вариант процедуры записи процесса приготовления пищи шеф-поваром в соответствии с настоящим изобретением.

На Фиг. 53 представлена блок-схема, иллюстрирующая порядок работы одного варианта осуществления роботизированного приспособления во время приготовления блюда в соответствии с настоящим изобретением.

На Фиг. 54 представлена блок-схема, иллюстрирующая один вариант процедуры контроля качества и регулировки работы для достижения результата при приготовлении блюда с помощью робота, идентичного или практически идентичного результату, который достигается при приготовлении блюда шеф-поваром, в соответствии с настоящим изобретением.

На Фиг. 55 представлена блок-схема, иллюстрирующая первый вариант процедуры приготовления блюда на роботизированной кухне путем воспроизведения движений шеф-повара из записанного программного файла на роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 56 представлена блок-схема, иллюстрирующая процедуру загрузки и идентификации ингредиентов на роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 57 представлена блок-схема, иллюстрирующая порядок выгрузки ингредиентов и приготовления на роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 58 представлена блок-схема, иллюстрирующая один вариант автоматизированной процедуры подготовки к приготовлению на роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 59 представлена блок-схема, иллюстрирующая один вариант процедуры разработки и записи сценария рецепта на роботизированной кухне в соответствии с настоящим изобретением.

На Фиг. 60 представлена блок-схема, иллюстрирующая модель оформления подписки для пользователя, который хочет приобрести рецепт роботизированного приготовления пищи в соответствии с настоящим изобретением.

На Фиг. 61А-В представлены блок-схемы, иллюстрирующие процедуру поиска рецепта и оплаты подписки на коммерческую платформу с рецептами на портале в соответствии с настоящим изобретением.

На Фиг. 62 представлена блок-схема, иллюстрирующая создание приложения роботизированного приготовления по рецепту на платформе приложений в соответствии с настоящим изобретением.

На Фиг. 63 представлена блок-схема, иллюстрирующая процедуру поиска, приобретения и оформления подписки пользователя на рецепты приготовления в соответствии с настоящим изобретением.

На Фиг. 64А-В представлены блок-схемы, иллюстрирующие примеры заранее заданных критериев поиска рецепта в соответствии с настоящим изобретением.

На Фиг. 65 представлена таблица, иллюстрирующая несколько заранее заданных полей поиска рецепта для роботизированной кухни в соответствии с настоящим изобретением.

На Фиг. 66 представлено схематическое изображение первого варианта осуществления модуля роботизированной кухни ресторана, представляющего собой прямоугольную систему с несколькими парами роботизированных кистей для одновременного приготовления пищи в соответствии с настоящим изобретением.

На Фиг. 67 представлено схематическое изображение второго варианта осуществления модуля роботизированной кухни ресторана, имеющего U-образную форму, с несколькими парами роботизированных кистей для одновременного приготовления пищи в соответствии с настоящим изобретением.

На Фиг. 68 представлена блок-схема, иллюстрирующая второй вариант осуществления роботизированной системы приготовления пищи с кухонной посудой, оборудованной датчиками и использующей кривые данных датчиков, в соответствии с настоящим изобретением.

На Фиг. 69 представлена блок-схема, иллюстрирующая некоторые физические элементы роботизированной системы приготовления пищи в соответствии со вторым вариантом осуществления настоящего изобретения.

На Фиг. 70 представлено схематическое изображение кухонной посуды с датчиками для («умной») сковороды с температурными датчиками, работающими в режиме реального времени, для использования со вторым вариантом осуществления настоящего изобретения.

На Фиг. 71 представлен график, иллюстрирующий записанную кривая температуры с несколькими наборами данных от различных датчиков кухонной посуды, полученная в студии шеф-повара в соответствии с настоящим изобретением.

На Фиг. 72 представлен график, иллюстрирующий записанные кривые температуры и влажности от кухонной посуды, оборудованной датчиками, которые были получены в студии шеф-повара для передачи на блок управления в соответствии с настоящим изобретением.

На Фиг. 73 представлено схематическое изображение кухонной посуды с датчиками, для приготовления на основании данных с температурной кривой для различных зон на сковороде, в соответствии с настоящим изобретением.

На Фиг. 74 представлено схематическое изображение кухонной посуды («умной») печи с датчиками температуры и влажности, работающими в режиме реального времени, для использования со вторым вариантом осуществления настоящего изобретения.

На Фиг. 75 представлено схематическое изображение кухонной посуды с датчиками, для («умного») гриля с температурными датчиками, работающими в режиме реального времени, для использования со вторым вариантом осуществления настоящего изобретения.

На Фиг. 76 представлено схематическое изображение кухонной утвари с датчиками, для («умного) водопроводного крана с функциями регулировки скорости, температуры и мощности для использования со вторым вариантом осуществления настоящего изобретения.

На Фиг. 77 представлено схематическое изображение вида сверху роботизированной кухни с кухонной утварью с датчиками, в соответствии со вторым вариантом осуществления настоящего изобретения.

На Фиг. 78 представлено схематическое изображение общего вида роботизированной кухни с кухонной утварью с датчиками, в соответствии со вторым вариантом осуществления настоящего изобретения.

На Фиг. 79 представлена блок-схема, иллюстрирующая второй вариант процесса приготовления блюда на роботизированной кухне на основании одной или нескольких кривых ранее записанных параметров на роботизированной кухне, в соответствии с настоящим изобретением.

На Фиг. 80 представлена блок-схема, иллюстрирующая второй вариант осуществления роботизированной системы приготовления пищи путем захвата процесса приготовления блюда шеф-поваром с помощью кухонной утвари с датчиками, в соответствии с настоящим изобретением.

На Фиг. 81 представлена блок-схема, иллюстрирующая второй вариант осуществления роботизированной системы приготовления пищи путем воспроизведения процесса приготовления блюда шеф-поваром с помощью кухонной утвари с датчиками, в соответствии с настоящим изобретением.

На Фиг. 82 представлена блок-схема, иллюстрирующая третий вариант осуществления роботизированной кухни для приготовления пищи с модулем управления процессом приготовления и модулем выдачи команд и визуального контроля в соответствии с настоящим изобретением.

На Фиг. 83 представлено схематическое изображение вида сверху третьего варианта осуществления роботизированной кухни для приготовления пищи, а также движений роботизированных рук и кистей в соответствии с настоящим изобретением.

На Фиг. 84 представлено схематическое изображение общего вида третьего варианта осуществления роботизированной кухни для приготовления пищи, а также движений роботизированных рук и кистей в соответствии с настоящим изобретением.

На Фиг. 85 представлено схематическое изображение вида сверху третьего варианта осуществления роботизированной кухни для приготовления пищи с модулем выдачи команд и визуального контроля в соответствии с настоящим изобретением.

На Фиг. 86 представлено схематическое изображение общего вида третьего варианта осуществления роботизированной кухни для приготовления пищи с модулем выдачи команд и визуального контроля в соответствии с настоящим изобретением.

На Фиг. 87А представлена блок-схема, иллюстрирующая четвертый вариант осуществления роботизированной кухни для приготовления пищи с роботом в соответствии с настоящим изобретением.

На Фиг. 87В представлено схематическое изображение вида сверху четвертого варианта осуществления роботизированной кухни для приготовления пищи с человекоподобным роботом в соответствии с настоящим изобретением.

На Фиг. 87С представлено схематическое изображение общего вида четвертого варианта осуществления роботизированной кухни для приготовления пищи с человекоподобным роботом в соответствии с настоящим изобретением.

На Фиг. 88 представлена блок-схема, иллюстрирующая библиотеку электронной интеллектуальной собственности (IP) для робота, имитирующего человека, в соответствии с настоящим изобретением.

На Фиг. 89 представлена блок-схема, иллюстрирующая роботизированный механизм распознавания эмоций человека в соответствии с настоящим изобретением.

На Фиг. 90 представлена блок-схема, иллюстрирующая процесс функционирования роботизированного механизма по распознаванию эмоций человека в соответствии с настоящим изобретением.

На Фиг. 91А-С представлены блок-схемы, иллюстрирующие процесс сравнения профиля эмоций человека с совокупностью профилей эмоций на основании набора гормонов, набора феромонов и других параметров в соответствии с настоящим изобретением.

На Фиг. 92А представлена схема, иллюстрирующая процесс обнаружения эмоций и анализа эмоционального состояния человека на основании контроля набора гормонов, набора феромонов и других ключевых параметров в соответствии с настоящим изобретением.

На Фиг. 92В представлена блок-схема, иллюстрирующая процесс оценки и запоминания роботом эмоционального поведения человека в соответствии с настоящим изобретением.

На Фиг. 93 представлено схематическое изображение, иллюстрирующее соединительное устройство, имплантируемое в организм человека для обнаружения и записи эмоционального профиля человека в соответствии с настоящим изобретением.

На Фиг. 94А представлена блок-схема, иллюстрирующая интеллектуальный механизм робота, имитирующего человека, в соответствии с настоящим изобретением.

На Фиг. 94В представлена блок-схема, иллюстрирующая процесс функционирования интеллектуального механизма робота, имитирующего человека, в соответствии с настоящим изобретением.

На Фиг. 95А представлена блок-схема, где показана роботизированная система рисования в соответствии с настоящим изобретением.

На Фиг. 95В представлена блок-схема, иллюстрирующая различные компоненты роботизированной системы рисования в соответствии с настоящим изобретением.

На Фиг. 95С представлена блок-схема, иллюстрирующая роботизированный механизм воспроизведения живописных навыков человека в соответствии с настоящим изобретением.

На Фиг. 96А представлена блок-схема, иллюстрирующая процесс записи действий художника в художественной студии в соответствии с настоящим изобретением.

На Фиг. 96В представлена блок-схема, иллюстрирующая процесс воспроизведения с помощью роботизированной рисующей системы в соответствии с настоящим изобретением.

На Фиг. 97А представлена блок-схема, иллюстрирующая вариант осуществления механизма воспроизведения действий музыканта в соответствии с настоящим изобретением.

На Фиг. 97В представлена блок-схема, иллюстрирующая процесс функционирования механизма воспроизведения действий музыканта в соответствии с настоящим изобретением.

На Фиг. 98 представлена блок-схема, иллюстрирующая вариант осуществления механизма воспроизведения действий по медицинскому уходу в соответствии с настоящим изобретением.

На Фиг. 99А-В представлены блок-схемы, иллюстрирующая процесс функционирования механизма воспроизведения действий по медицинскому уходу в соответствии с настоящим изобретением.

На Фиг. 100 представлена блок-схема, иллюстрирующая пример компьютерного устройства, на которое могут быть установлены и которое может выполнять исполняемые компьютером инструкции для выполнения роботизированных методик, описанных в настоящем документе.

Осуществление изобретения

Подробное описание предпочтительных структурных вариантов осуществления и способов по изобретению представлено со ссылкой на Фиг. 1-100. Следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления, изобретение можно реализовать с другими функциями, элементами, способами и вариантами осуществления, известными специалистам в данной области техники. Аналогичные элементы в различных вариантах осуществления имеют одинаковые номера ссылочных позиций.

Приведенные ниже определения применяются к элементам и этапам, описанным в настоящем документе. Аналогичным образом данные понятия могут быть расширены.

Абстрагированные данные - данный термин относится к абстрагированному рецепту, используемому при исполнении автоматической системой, который имеет множество других элементов данных, которые система должна знать для обеспечения правильного выполнения и воспроизведения. Эти так называемые метаданные, или дополнительные данные, соответствующие определенному этапу в процессе приготовления, будь то данные непосредственно от датчиков (время на часах, температура воды, изображение камеры, используемая утварь или ингредиенты и т.д.) или данные, генерируемые путем интерпретации или абстрагирования более крупных наборов данных (таких как облако объемных данных от лазера, используемого для определения расположения и типов объектов на изображении с наложенной текстурой и картами цветов из изображений камеры и т.д.), имеют временные метки и используются роботизированной кухней для настройки, управления и контроля всех процессов, способов и оборудования, необходимых в определенные моменты времени по мере выполнения последовательности этапов в рецепте.

Абстрагированный рецепт - данный термин относится к представлению рецепта шеф-повара, который человек знает и использует в определенных последовательностях при работе с определенными ингредиентами, подготовленными и объединенными с помощью последовательности процессов и способов, а также навыков человека-повара. Абстрагированный рецепт, используемый системой при автоматизированном выполнении, требует использования различных типов классификации и последовательностей. Хотя все выполняемые этапы идентичны этапам, выполняемым человеком-поваром, абстрагированный рецепт, используемый на роботизированной кухне, требует того, чтобы частью каждого этапа в рецепте были дополнительные метаданные. К таким метаданным можно отнести время приготовления, переменные параметры, такие как температура (и ее изменения в течение некоторого периода времени), настройки печи, используемый инструмент/оборудование и т.д. В основном, исполняемый системой сценарий рецепта должен иметь все возможные измеренные переменные, импортированные в процедуру приготовления (переменные, измеренные и сохраненные во время приготовления блюда человеком-поваром по рецепту в студии шеф-повара), соотнесенные со временем (общие переменные и переменные для каждого этапа процедуры приготовления). Таким образом, абстрагированный рецепт является представлением этапов приготовления, преобразованных в машиночитаемый вид, или область, которая собирает данные о процессе из области человеческого восприятия в область машинного восприятия (в понятной и исполняемой форме) с помощью набора этапов логического абстрагирования.

Ускорение - данный термин относится к максимальной степени изменения скорости, при которой роботизированные руки могут ускоряться вокруг оси или вдоль некоторой траектории в пространстве на короткой дистанции.

Точность - данный термин относится к тому, насколько близко робот может приблизиться к заданному положению. Точность определяется как разность между абсолютным положением робота и заданным положением. Точность может быть повышена, настроена или откалибрована с помощью внешней системы датчиков, таких как датчики на роботизированной кисти или трехмерной модели в режиме реального времени, использующей несколько (мультимодальных) датчиков.

Элементарное действие - в одном варианте данный термин относится к неделимому роботизированному действию, такому как перемещение роботизированного приспособления из положения X1 в положение Х2, или определению расстояния от объекта для приготовления пищи без необходимости получения функционального результата. В другом варианте данный термин относится к неделимому роботизированному действию в последовательности одного или нескольких таких блоков для выполнения мини-манипуляций. Эти два аспекта относятся к одному определению.

Автоматизированная система дозирования - данный термин относится к контейнерам дозирования в модуле стандартизованной кухни, в которые подается определенное количество химических веществ (в т.ч. соль, сахар, перец, специи, любой вид жидкостей, например, вода, масло, эссенции, кетчуп и т.д.).

Автоматизированная система хранения и подачи - данный термин относится к контейнерам хранения в модуле стандартизованной кухни, в которых для хранения пищевых продуктов поддерживается определенная температура и влажность; каждому контейнеру хранения присвоен код (например, штрихкод), с помощью которого роботизированная кухня идентифицирует и считывает информацию о том, где находится соответствующий контейнер с конкретными пищевыми продуктами.

Облако данных - данный термин относится к коллекции числовых измеренных значений от датчиков или из базы данных, полученных из определенного источника (объемные данные лазера/данные измерений уровня шума, RGB-значения с изображения камеры и т.д.), собранные с определенными интервалами и аггрегированные на основании множества взаимосвязей, таких как время, место и т.д.

Степень свободы («СС») - данный термин относится к определенному режиму и/или направлению, в котором может перемещаться механическое устройство или система. Число степеней свободы равно общему количеству независимых перемещений или типов движения. При использовании двух роботизированных рук общее количество степеней свободы удваивается.

Обнаружение контуров - данный термин относится к компьютерной программе (программам), позволяющей идентифицировать контуры нескольких объектов, которые могут быть наложены на двухмерное изображение камеры для успешного определения их границ и упрощения идентификации объектов, а также планирования их захвата и обработки.

Значение равновесия - данный термин относится к целевому положению конечности робота, такой как роботизированная рука, в котором силы, действующие на нее, находятся в равновесии, т.е. нет результирующей силы и, следовательно, результирующего перемещения.

Планировщик последовательности выполнения - данный термин относится к компьютерной программе (программам), способной создавать сценарии последовательностей действий или команды для одного или нескольких элементов или систем, которыми можно управлять с помощью компьютера, таких как рука (руки), дозаторы, приборы и т.д.

Качество воспроизведения действий с пищей - данный термин относится к роботизированной кухне, которая должна воспроизводить сценарий рецепта, сгенерированный в студии шеф-повара путем наблюдения, измерения и интерпретирования этапов, переменных, способов и процедур, выполняемых человеком-поваром, для воспроизведения его (ее) техник и навыков. Точность того, насколько близко выполнение приготовления блюда к действиям человека-повара, измеряется тем, насколько сильно приготовленное роботом блюдо похоже на блюдо, приготовленное человеком, на основании измерения различных субъективных параметров, таких как консистенция, цвет, вкус и т.д. Смысл заключается в том, что чем больше блюдо, приготовленное роботизированной кухней, похоже на блюдо, приготовленное человеком-поваром, тем выше качество процесса воспроизведения.

Стадия приготовления пищи (также называемая «стадия готовки») - данный термин относится к сочетанию (последовательному или параллельному) одной или нескольких мини-манипуляций, включающих в себя элементарные действия, и компьютерных инструкций для управления различным кухонным оборудованием и устройствами в модуле стандартизованной кухни; при этом одна или несколько стадий приготовления пищи вместе образуют весь процесс приготовления пищи по определенному рецепту.

Геометрическое осмысление - данный термин относится к компьютерной программе (программам), способной использовать данные о двухмерных (2D)/трехмерных (3D) поверхностях и/или объемные данные для определения фактических форм и размеров геометрического тела; способность определять или использовать информацию о границах также позволяет делать выводы о начале и конце определенного геометрического элемента и количестве таких элементов (на изображении или модели).

Осмысление захвата - данный термин относится к компьютерной программе (программам), способной использовать геометрические и физические основания для планирования многоконтактного (точка/область/объем) взаимодействия между роботизированным концевым рабочим органом (зажимом, звеном и т.д.) и инструментами/утварью, удерживаемой концевым рабочим органом, для успешного и стабильного обеспечения контакта, захвата и удерживания объекта для выполнения манипуляций с ним в трехмерном пространстве.

Автоматическое аппаратное устройство - устройство выполнения определенного процесса, способное выполнять заранее запрограммированные последовательные этапы без возможности внесения изменений в любой из них; такие устройства используются для выполнения циклических движений, которые не требуют изменений.

Управление и манипуляции с ингредиентами - данный термин относится к определению подробной информации об ингредиентах (включая размер, форму, вес, габариты, характеристики и свойства), внесению одного или нескольких изменений в переменные в режиме реального времени, связанные с определенным ингредиентом, которые могут отличаться от заранее сохраненной информации об ингредиентах (такой как размер рыбного филе, габариты яйца и т.д.), выполнению различных стадий для совершения манипуляций с ингредиентом.

Кухонный модуль (или кухонное пространство) - модуль стандартизованной полноразмерной кухни со стандартизованными наборами кухонного оборудования, стандартизованными наборами кухонных инструментов, стандартизованными наборами кухонных ручек и стандартизованными наборами кухонных контейнеров, с заранее заданным пространством и габаритами для хранения, получения доступа и работы с любым кухонным элементом в стандартизованном модуле полноразмерной кухни. Одной из задач кухонного модуля является предварительное определение всего кухонного оборудования, инструментов, ручек, контейнеров и т.д. таким образом, чтобы создать относительно стабильную кухонную платформу для движений роботизированных кистей и рук. Как шеф-повар в студии-кухне, так и человек в доме с роботизированной кухней (или человек в ресторане) используют стандартизованный кухонный модуль таким образом, чтобы максимизировать прогнозируемость работы кухонного аппаратного обеспечения, а также минимизировать риски изменений, отличий и отклонений между студией-кухней шеф-повара и домашней роботизированной кухней. Возможны различные варианты осуществления кухонного модуля, включая автономный кухонный модуль и встроенный кухонный модуль. Встроенный кухонный модуль устанавливается в обычную кухонную зону стандартного дома. Кухонный модуль работает по меньшей мере в двух режимах: в роботизированном режиме и в нормальном (ручном) режиме.

Машинное обучение - данный термин относится к технологии, в которой программный компонент или программа повышает уровень производительности на основании опыта и обратной связи. Одним из типов машинного обучения является стимулированное обучение, часто используемое в робототехнике, при котором желательные действия поощряются, а нежелательные действия - бракуются. Другой тип обучения - ситуационное обучение, при котором предварительные решения, например, последовательности действий человека-учителя или самого робота, сохраняются вместе с различными ограничениями или выводами по решению, а затем применяются или повторно используются при новых настройках. Также можно использовать дополнительные типы машинного обучения, такие как индуктивное и трансдуктивное обучение.

Мини-манипуляция - данный термин относится к сочетанию (или последовательности) одного или нескольких этапов, которые позволяют достичь основного результата выполнения функции с учетом порогового значения с самым высоким уровнем вероятности (например, пороговое значение находится в пределах 0,1, 0,001 или 0,001 от оптимального значения). Каждый этап может представлять собой элементарное действие или другую (меньшую) мини-манипуляцию, аналогичную компьютерной программе, состоящей из основных этапов кодирования и других компьютерных программ, которые могут быть отдельными программами или выполняться в виде подпрограмм. Например, мини-манипуляция может представлять собой разбивание яйца, состоящее из действий двигателя, необходимых для формирования правильной конфигурации роботизированной руки путем перемещения роботизированных пальцев, и приложения необходимого усилия для захвата - все элементарные действия. Другая мини-манипуляция может представлять собой разбивание яйца при помощи ножа, включающее в себя мини-манипуляцию захвата, выполняемую одной роботизированной кистью, последующую мини-манипуляцию захвата ножа другой кистью, последующее элементарное действие удара ножом по яйцу с заранее заданной силой.

Элементы и классификация моделей - данный термин относится к одной или нескольким компьютерным программам, способным интерпретировать элементы в рабочей области как предметы, используемые или необходимые для выполнения разных этапов задач, например, для смешивания нужна чаша, а для перемешивания ее содержимого следует использовать ложку и т.д. Множество элементов в рабочей области или в модели окружающей среды могут быть классифицированы по группам для ускорения планирования и выполнения задач.

Элементарные движения - данный термин относится к движениям, которые определяют различные уровни/области выполнения отдельных этапов процедур, например, элементарное движение высокого уровня будет представлять собой захват чашки, а элементарное движение низкого уровня будет представлять собой поворот запястья на пять градусов.

Мультимодальный измерительный прибор - данный термин относится к измерительному прибору, состоящему из нескольких датчиков, способных выполнять измерения и обнаружения в нескольких режимах, электромагнитных диапазонах или спектрах, в частности, способных собирать информацию о положении и/или движениях в пространстве; электромагнитные спектры могут изменяться в пределах от низких до высоких частот и не должны ограничиваться уровнями, воспринимаемыми человеком. Дополнительные режимы могут включать в себя, не ограничиваясь этим, другие физические чувства, такие как осязание, обоняние и т.д.

Количество осей - для достижения любой точки в пространстве необходимо три оси. Для обеспечения полного контроля ориентации конца руки (т.е. запястья), требуется три дополнительных оси вращения (горизонтальная поперечная ось, горизонтальная продольная ось и вертикальная ось).

Параметры - данный термин относится к переменным, которые могут принимать числовые значения, или диапазонам числовых значений. Имеется три основных типа параметров: параметры в инструкциях для роботизированного приспособления (например, сила или расстояние перемещения руки), настраиваемые пользователем параметры (например, предпочтительная степень прожарки: полностью прожаренное или среднепрожаренное), а также параметры, настраиваемые шеф-поваром (например, установленная температура в печи 350°F).

Регулировка параметров - данный термин относится к процессу изменения значений параметров на основании входных данных. Например, изменения параметров в инструкциях для роботизированных устройств могут быть основаны на свойствах (например, размере, форме, ориентации), не ограничиваясь этим, ингредиентов, положениях/ориентациях кухонных инструментов, оборудовании, устройствах, скорости и продолжительности выполнения мини-манипуляций.

Полезная или транспортировочная грузоподъемность - данный термин относится к тому, какой вес роботизированная рука может перенести или удержать (или даже ускоряться) с учетом силы тяжести, в виде функции зависимости от конечного места.

Физическое осмысление - данный термин относится к компьютерной программе (программам), способной использовать геометрически осмысленные данные и использовать физическую информацию (плотность, текстуру, обычную геометрию и форму), чтобы помочь механизму (программе) логического вывода оптимизировать модель объекта и спрогнозировать его поведение в реальных условиях, в частности, при захвате и/или манипулировании/выполнении операций.

Необработанные данные - данный термин относится ко всем измеренным и спрогнозированным данным датчиков и представленной информации, собранной в рамках генерирования рецепта в студии-кухне шеф-повара во время наблюдения/контроля действий человека-повара во время приготовления блюда. Необработанные данные могут включать в себя простые точечные измерения (например, время на часах, температура в печи (изменяющаяся с течением времени), изображение камеры, данные о рабочей области, сгенерированные с помощью трехкоординатного лазера), а также информацию об используемых устройствах/оборудовании, применяемых инструментов, названиях и времени подачи ингредиентов (тип и количество) и т.д. Вся информация, собранная в студии-кухне с помощью встроенных датчиков и сохраненная в необработанном виде с временными метками, представляет собой необработанные данные. Затем необработанные данные используются другими программными процессами для достижения еще более высокого уровня интерпретации процесса выполнения рецепта, преобразования необработанных данных в дополнительные обработанные/интерпретированные данные с временными метками.

Роботизированное приспособление - данный термин относится к набору датчиков и рабочих органов робота. Рабочие органы включают в себя одну или несколько роботизированных рук и одну или несколько роботизированных кистей для работы на стандартизованной роботизированной кухне. Датчики включают в себя камеры, дальномеры, датчики усилия (тактильные датчики), которые передают информацию на процессор или группу процессоров, которые управляют рабочими органами.

Процесс готовки по рецепту - данный термин относится к роботизированному сценарию, содержащему уровни представления абстрагированных и подробных инструкций для набора программируемых и жестко автоматизированных устройств таким образом, чтобы устройства с компьютерным управлением могли выполнить последовательность действий в определенных внешних условиях (например, на кухне с ингредиентами, инструментами, утварью и устройствами).

Сценарий рецепта - данный термин относится к сценарию рецепта как временной последовательности, содержащей структуру и перечень команд и элементарных действий (управляющее программное обеспечение, построенное по принципу «от простого к сложному»), при выполнении которой с помощью элементов роботизированной кухни (рука робота, автоматизированное оборудование, устройства, инструменты и т.д.) в заданной последовательности, должно обеспечиваться правильное воспроизведение и получение блюда, аналогичного блюду, приготовленному человеком-поваром в студии-кухне. Такой сценарий выполняется последовательно в течение некоторого периода времени и эквивалентен последовательности, используемой человеком-поваром для создания блюда, формат которой подходит и понятен для элементов с компьютерным управлением на роботизированной кухне.

Соблюдение скоростных режимов рецепта - данный термин относится к соблюдению временной последовательности выполнения этапов рецепта при приготовлении блюда путем воспроизведения движений шеф-повара, при этом этапы рецепта включают в себя стандартизованные операции по приготовлению пищи (например, стандартизованную кухонную посуду, стандартизованное оборудование, кухонные комбайны и т.д.), мини-манипуляции и приготовление нестандартизованных объектов.

Повторяемость - данный термин относится к приемлемому заранее установленному запасу, с которым роботизированные руки/кисти могут многократно возвращаться в запрограммированное положение с нужной точностью. Если в соответствии с техническими требованиями, заданными в памяти блока управления, роботизированная кисть должна перемещаться в определенное положение по осям X, Y и Z с точностью ±0,1 мм от данного положения, то повторяемость для возврата роботизированных кистей измеряется в пределах ±0,1 мм от запомненного и желательного/заданного положения.

Роботизированный сценарий рецепта - данный термин относится к сгенерированной компьютером последовательности машиночитаемых инструкций, относящихся к правильной последовательности роботизированного/жестко автоматизированного выполнения этапов для дублирования необходимых этапов приготовления в рецепте для получения конечного продукта, идентичного продукту, полученному при приготовлении шеф-поваром.

Роботизированный костюм - внешнее устройство (устройства) или одежда с измерительной аппаратурой, такая как перчатки, одежда с маркерами, отслеживаемыми камерой, экзоскелет с шарнирами и т.д., используемая в студии шеф-повара для контроля и отслеживания движений и действий шеф-повара во время приготовления блюда по рецепту (рецептам).

Моделирование рабочего места - данный термин относится к компьютерной программе (программам), способной контролировать рабочее место в поле зрения одной или нескольких камер, обнаруживать и идентифицировать важные объекты с точки зрения выполнения определенной задачи. Данные объекты могут быть заранее заданы и/или могут являться частью компьютерной библиотеки с известными физическими атрибутами и предполагаемым использованием.

«Умная» кухонная посуда/оборудование - данный термин относится к кухонной посуде (например, кастрюле или сковороде) или кухонному оборудованию (например, печи, грилю или водопроводному крану) с одним или несколькими датчиками, которые контролируют приготовление блюда на основании одной или нескольких графических кривых (например, температурной кривой, кривой влажности и т.д.).

Программный механизм абстрагирования - данный термин относится к программному механизму, который определяется как набор программных циклов или программ, используемых вместе с входными данными процесса и формирующих определенный желательный набор выходных данных для использования другими программными механизмами или конечным пользователем в форме текстового или графического выходного интерфейса. Программный механизм абстрагирования представляет собой компьютерную программу (программы), предназначенную для приема большого объема входных данных из известного источника в определенной области (таких как объемные данные измерений, которые образуют облако объемных данных измерений, от одного или нескольких датчиков), и дальнейшей обработки данных для их интерпретирования в другой области (такого как обнаружение и распознавание поверхности стола в облаке данных на основании данных с одинаковой вертикальной координатой и т.д.), чтобы идентифицировать, обнаружить и классифицировать значения данных как привязанные к объекту в трехмерном пространстве (такому как столешница, кастрюля и т.д.). Процесс абстрагирования определяется в основном как прием массива данных из одной области и реконструкция структуры (в т.ч. геометрии) в пространстве более высокого уровня (абстрагирование точечных данных), а также абстрагирование выводов для дополнительных идентифицированных объектов (кастрюль и т.д.) на основании абстрагированных наборов данных для идентификации элементов реального мира на изображении, которые впоследствии могут быть использованы другими программными механизмами для принятия дополнительных решений (решение о выполнении операций/ манипулировании ключевыми объектами и т.д.). Синонимом для «программного механизма абстрагирования» в данном применении может быть «программный механизм интерпретирования» или «алгоритм компьютерной обработки и интерпретирования».

Осмысление задачи - данный термин относится к компьютерной программе (программам), способной проанализировать описание задачи и разбить его на последовательность нескольких исполняемых этапов (с помощью роботизированных или жестко автоматизированных систем) таким образом, чтобы достичь определенного конечного результата, указанного в описании задачи.

Трехмерное моделирование и осознание объектов реального мира - данный термин относится к компьютерной программе (программам), способной использовать данные датчиков для построения изменяющейся во времени трехмерной модели всех поверхностей и объемов таким образом, чтобы можно было обнаруживать, идентифицировать, классифицировать объекты и осознавать их способ использования и назначение.

Вектор момента - данный термин относится к торсионной силе конечности робота, включая ее направление и величину.

Логический вывод для объемного объекта (механизм) - данный термин относится к компьютерной программе (программам), способной использовать геометрические данные и информацию о контуре, а также другие данные датчиков (цвет, форму, текстуру и т.д.) для идентификации объемности одного или нескольких объектов для упрощения идентификации и классификации объекта.

На Фиг. 1 представлено схематическое изображение системы, иллюстрирующее всю роботизированную кухню 10 для приготовления пищи с аппаратным обеспечением 12 и программным обеспечением 14. Вся роботизированная кухня 10 для приготовления пищи содержит аппаратное обеспечение 12 для роботизированного приготовления пищи и программное обеспечение 14 для роботизированного приготовления пищи, которые взаимодействуют друг с другом для выполнения роботизированных функций по приготовлению пищи. Аппаратное обеспечение 12 для роботизированного приготовления пищи включает в себя компьютер 16, который управляет различными операциями и движениями стандартизованного кухонного модуля 18 (который работает в инструментальной среде с одним или несколькими датчиками), мультимодальные трехкоординатные датчики 20, роботизированные руки 22, роботизированные кисти 24 и захватные перчатки 26. Программное обеспечение 14 для роботизированного приготовления пищи вместе с аппаратным обеспечением 12 для роботизированного приготовления пищи обеспечивает захват движений шеф-повара во время приготовления блюда и воспроизведение движений шеф-повара с помощью роботизированных рук и кистей, чтобы получить блюдо, идентичное или практически идентичное (например, с точки зрения вкуса, запаха и т.д.) результату, достигнутому человеком-поваром.

Программное обеспечение 14 для роботизированного приготовления пищи включает в себя мультимодальные трехкоординатные датчики 20, модуль захвата 28, калибровочный модуль 30, модуль выполнения алгоритма преобразования 32, повторяющий модуль 34, модуль проверки качества 36 с системой трехмерного зрения, модуль идентичности результата 38 и модуль обучения 40. Модуль захвата 28 захватывает движения шеф-повара во время приготовления блюда. Калибровочный модуль 30 калибрует роботизированные руки 22 и роботизированные кисти 24 до, во время и после приготовления. Модуль алгоритма преобразования 32 преобразовывает записанные данные о движениях шеф-повара, собранные в студии шеф-повара, в измененные (трансформированные) данные рецепта для использования на роботизированной кухне, где роботизированные кисти воспроизводят процесс приготовления пищи шеф-поваром. Модуль повторения 34 воспроизводит движения шеф-повара на роботизированной кухне. Модуль проверки качества 36 выполняет проверку качества блюда, приготовленного на роботизированной кухне, во время, до или после приготовления пищи. Модуль идентичности результата 38 определяет, имеет ли блюдо, приготовленное парой роботизированных рук и кистей на роботизированной кухне, такой же или практически такой же вкус, что и блюдо, приготовленное шеф-поваром. Модуль обучения 40 предназначен для предоставления возможностей обучения для компьютера 16, который управляет роботизированными руками и кистями.

На Фиг. 2 представлено схематическое изображение первого варианта роботизированной системы приготовления пищи, которая включает в себя студию шеф-повара и бытовые роботизированные кухонные системы для приготовления блюд путем воспроизведения процесса приготовления по рецепту и движений шеф-повара. Система 42 роботизированного приготовления включает в себя кухню 44 шеф-повара (так называемую «студию-кухню шеф-повара»), которая передает один или несколько записанных программных файлов рецепта 46 на роботизированную кухню 48 (так называемую «бытовую роботизированную кухню»). В одном варианте кухня 44 шеф-повара и роботизированная кухня 48 используют тот же самый модуль 50 стандартизованной роботизированной кухни (так называемый «модуль роботизированной кухни», «пространство роботизированной кухни», «кухонный модуль» или «кухонное пространство») для обеспечения максимальной точности воспроизведения приготовления блюда, что снижает воздействие переменных факторов, способных привести к возникновению различий между блюдом, приготовленным на кухне 44 шеф-повара, и блюдом, приготовленным на роботизированной кухне 46. Шеф-повар 49 надевает роботизированные перчатки или костюм с внешними сенсорными устройствами для захвата и записи его движений. Стандартизованная роботизированная кухня 50 содержит компьютер 16 для управления различными вычислительными функциями, при этом компьютер 16 включает в себя запоминающее устройство 52 для хранения одного или нескольких программных файлов с рецептами от датчиков на перчатках или костюме 54 для захвата движений шеф-повара, а также роботизированный механизм 56 (программное обеспечение) для готовки. Роботизированный механизм 56 для готовки включает в себя модуль 58 анализа перемещений, абстрагирования рецепта и упорядочивания. Роботизированная кухня 48 обычно использует пару роботизированных рук и кистей и, возможно, пользователя 60, для включения или программирования роботизированной кухни 46. Компьютер 16 на роботизированной кухне 48 включает в себя жестко автоматизированный модуль 62 для работы роботизированных кистей и рук, а также модуль 64 воспроизведения рецепта для воспроизведения движений шеф-повара с помощью данных (ингредиентов, последовательностей, процесса и т.д.) из программного файла с рецептом.

Стандартизованная роботизированная кухня 50 предназначена для обнаружения, записи и имитации движений шеф-повара, управления значимыми параметрами, такими как температура, в течение некоторого периода времени, а также выполнения процесса на роботизированных кухнях со специальными устройствами, оборудованием и инструментами. Кухня 44 шеф-повара предоставляет вычислительную среду (компьютер) 16 с перчатками с датчиками или костюмом с датчиками для записи и захвата движений шеф-повара 49 во время приготовления пищи по определенному рецепту. После записи движений и рецепта шеф-повара 49 для определенного блюда в программный файл с рецептом на запоминающее устройство 52 программный файл с рецептом передается с кухни 44 шеф-повара на роботизированную кухню 48 посредством сети связи 46, включая беспроводную сеть и/или проводную сеть, подключенные к Интернету, таким образом, чтобы пользователь 60 (необязательный) мог приобрести один или несколько программных файлов с рецептами или мог оформить подписку на кухню 44 шеф-повара в качестве участника группы, который получает новые программные файлы с рецептами или периодические обновления существующих программных файлов с рецептами. Бытовая роботизированная кухонная система 48 работает как внешняя вычислительная среда на роботизированной кухне в жилых домах, ресторанах и других местах, где кухня предназначена для приготовления пищи для пользователя 60. Бытовая роботизированная кухонная система 48 включает в себя роботизированный механизм 56 приготовления пищи с помощью одной или нескольких роботизированных рук и жестко автоматизированных устройств для воспроизведения действий, процессов и движений шеф-повара во время приготовления на основании программного файла с рецептом, полученного из студии 44 шеф-повара.

Студия 44 шеф-повара и роботизированная кухня 48 представляют собой тесно связанную систему, работающую в режиме «обучение/воспроизведение», которая имеет несколько уровней качества исполнения. Если студия 44 шеф-повара представляет собой рабочую модель высокого качества приготовления профессиональных блюд, то роботизированная кухня 48 - это механизм/процесс выполнения/воспроизведения сценария рецепта, создаваемого шеф-поваром, работающим в студии шеф-повара. Стандартизация модуля роботизированной кухни позволяет повысить качество исполнения и вероятность достижения успеха.

Варьирующиеся уровни качества выполнения рецепта зависят от взаимосвязи между датчиками и оборудованием (не принимая в расчет ингредиенты) в студии 44 шеф-повара и на роботизированной кухне 48. Качество может быть задано как степень идентичности (неотличимости) вкуса блюда, приготовленного на роботизированной кухне, вкусу блюда, приготовленного человеком-поваром, при этом на одном конце диапазона оценки обеспечивается отличное воспроизведение/исполнение, а на противоположном конце блюдо может иметь один или несколько серьезных или значительных недостатков, связанных с качеством (пережаренное мясо или переваренная паста), вкусом (обгоревшие участки), съедобностью (неправильная консистенция) или даже проблемами со здоровьем (недожаренное мясо, такое как курица/свинина, зараженная сальмонеллой, и т.д.).

Использование роботизированной кухни с аппаратным обеспечением, датчиками и системами привода, которые позволят воспроизвести движения и процессы, используемые шеф-поваром, идентичных зарегистрированным во время приготовления в студии-кухне шеф-повара, с большей вероятностью позволит достичь более высокого качества. Идея заключается в том, что установки должны быть идентичными с точки зрения стоимости и занимаемого пространства. Тем не менее роботизированная кухня 48 может быть оборудована дополнительными стандартизованными элементами с компьютерным управлением или без него (кастрюли с датчиками, устройства, подключенные к сети, такие как печи и т.д.), требующими более детального интерпретирования при помощи датчиков для обеспечения комплексного контроля выполнения. В связи с увеличением неопределенности с точки зрения ключевых элементов (правильного количества ингредиентов, температур приготовления и т.д.) и процессов (использования мешалки/давилки в случае отсутствия блендера на бытовой роботизированной кухне), вероятность достижения результата, идентичного результату, полученному шеф-поваром, значительно снизится.

Основным аспектом настоящего изобретения является наличие соединения между студией 44 шеф-повара и роботизированной кухней. Уровень роботизированной кухни 48 может изменяться от домашней кухни, оборудованной набором роботизированных рук и датчиков внешних условий, до точной копии студии-кухни, в которой движения набора рук и шарниров, инструменты, устройства и ингредиенты позволяют практически идентично воспроизвести рецепт шеф-повара. Единственным переменным фактором будет уровень качества конечного результата или блюда с точки зрения качества, внешнего вида, вкуса, съедобности и влияния на здоровье.

Данную взаимосвязь между результатом выполнения рецепта и входными переменными данными на роботизированной кухне можно математически выразить следующим образом:

где F_студия = качество сценария рецепта для студии шеф-повара

F_{Роб.Kyxня} = выполнение сценария рецепта с помощью роботизированной кухни

I = ингредиенты

Е = оборудование

Р = процессы

М = способы

V = переменные (температура, время, давление и т.д.)

Е_o = точность оборудования

R_в = точность воспроизведения

Р_кп = качество контроля процесса.

Данное уравнение определяет степень соответствия результата использования рецепта роботизированной системой и результата работы человека-повара и способствует (F_{конечный рецепт}) уровню правильности захвата и представления данных в студии 44 шеф-повара (F_студия) на основании использованных ингредиентов (I), оборудования (Е), доступного для выполнения процессов (Р) и способов (М) шеф-повара при правильном захвате всех ключевых переменных (V) во время процесса приготовления; и то, как роботизированная кухня способна представить процесс воспроизведения/выполнения роботизированного сценария рецепта в виде функции (F_{Роб.Кухня}), которая зависит от использования правильных ингредиентов (I), уровня качества оборудования (Е_o) на роботизированной кухне по сравнению с показателями студии шеф-повара, уровня, с которым сценарий рецепта может быть воспроизведен (R_в) на роботизированной кухне, и тому, насколько нужно контролировать и выполнять корректирующие действия для достижения максимального качества контроля процесса (Р_кп).

Функции (F_студия) и (F_{Роб.Кухня}) могут представлять собой любое сочетание линейных или нелинейных функциональных формул с постоянными, переменными и любыми алгоритмическими соотношениями. Обе функции можно алгебраически представить следующим образом:

F_студия = I(фнкц. sin(Темп.)) + Е (фнкц. ВарочнПов1 * 5) + Р(фнкц. Круг(ложка) + V (фнкц. 0,5 * время)

Предполагается, что качество процесса приготовления связано с температурой ингредиента, изменяющейся в холодильнике как синусоидальная функция, скоростью, с которой ингредиент может нагреться на варочной поверхности на конкретной станции при определенном значении множителя, и с тем, как хорошо ложка может перемещаться по круговой траектории определенной амплитуды и периода, и что процесс должен быть выполнен со скоростью не ниже ½ от скорости человека-повара для поддержания качества процесса приготовления.

F_{Роб.Кухня} = Е_о (ВарочнПов2, Размер) + I (1,25 * Размер + Линейн.(Темп.)) + R_в (Движение-Профиль) + Р_кп (Соответствие Датчик-Костюм)

Предполагается, что качество процесса воспроизведения на роботизированной кухне связано с типом приспособления, конфигурацией области для приготовления и размером нагревательного элемента, размером и температурным профилем приготавливаемого ингредиента (чем толще стейк, тем больше уходит времени на его приготовление), при этом также учитывается профиль любого движения перемешивания и обработки на определенном этапе, например, во время подрумянивания мяса или взбивания мусса, и наличие достаточно высокого соответствия между датчиками на роботизированной кухне и студии шеф-повара, чтобы считать контролируемые данные датчика точными и достаточно подробными для обеспечения надлежащего контроля качества процесса приготовления на роботизированной кухне во время выполнения всех этапов приготовления по рецепту.

Результат приготовления по рецепту зависит не только от качества захвата этапов/способов/процессов/навыков человека-повара во время приготовления в студии шеф-повара, но и от качества их выполнения на роботизированной кухне, при этом каждый параметр имеет ключевые элементы, влияющие на производительность соответствующих подсистем.

На Фиг. 3 представлено схематическое изображение варианта стандартизованной роботизированной кухни 50 для приготовления пищи путем записи движений шеф-повара во время приготовления блюда и воспроизведения блюда роботизированными кистями и руками. В данном контексте термин «стандартизованный» (или «стандартный») означает, что характеристики или признаки компонентов являются заранее установленными, как будет описано ниже. Компьютер 16 соединен с возможностью обмена данными с несколькими кухонными элементами на стандартизованной роботизированной кухне 50, включая датчик трехмерного зрения 66, убирающийся защитный экран 68 (например, из стекла, пластика или другого защитного материала), роботизированные руки 70, роботизированные кисти 72, стандартизованные устройства/оборудования 74 для приготовления, стандартизованную кухонную посуду с датчиками 76, стандартизованную кухонную посуду 78, стандартизованные ручки и утварь 80, стандартизованный жестко автоматизированный дозатор (дозаторы) 82 (так называемый «роботизированный жестко автоматизированный модуль (модули)»), стандартизованный кухонный комбайн 84, стандартизованные контейнеры 86 и стандартизованный отсек хранения продуктов 88 в холодильнике.

Стандартизованный жестко автоматизированный дозатор (дозаторы) 82 представляет собой устройство или группу устройств, которые могут программироваться и/или управляться с помощью компьютера 16 для приготовления, который подает или поставляет предварительно упакованное (известное) количество или специальные порции ключевых материалов для процесса приготовления, таких как специи (соль, перец и т.д.), жидкости (воду, масло и т.д.) или другие сухие материалы (мука, сахар и т.д.). Стандартизованные жестко автоматизированные дозаторы 82 могут быть расположены на определенной станции или могут быть доступны роботу и обеспечивать подачу в соответствии с последовательностью, заданной в рецепте. В других вариантах роботизированный жестко автоматизированный модуль может быть объединен или работать последовательно или параллельно с другими такими модулями или роботизированными руками или утварью. В данном варианте стандартизованная роботизированная кухня 50 включает в себя роботизированные руки 70 и роботизированные кисти 72, при этом роботизированные кисти управляются роботизированным механизмом 56 приготовления пищи в соответствии с программным файлом с рецептом, хранящимся на запоминающем устройстве 52 для воспроизведения точных движений шеф-повара во время приготовления блюда для создания блюда со вкусом, идентичным вкусу блюда, приготовленного шеф-поваром. Датчики трехмерного зрения 66 позволяют выполнить трехмерное моделирование объектов, создавая визуальную трехмерную модель действий на кухне, а также сканирование кухонного пространства для оценки габаритов и объектов на стандартизованной роботизированной кухне 50. Убирающийся защитный экран 68 на роботизированной кухне 50 изготовлен из прозрачного материала, при переводе которого во включенное состояние вокруг роботизированной кухни создается экран для защиты окружающих людей от опасностей, связанных с движениями роботизированных рук 70 и кистей 72, горячей водой и другими жидкостями, паром, огнем и другими опасными факторами. Роботизированный механизм приготовления 56 соединен с возможностью обмена данными с электронным запоминающим устройством 52 для считывания программного файла с рецептом, предварительно отправленного из студии 44 шеф-повара, для которой роботизированный механизм 56 приготовления пищи выполняет операции по приготовлению и воспроизведению способов и процедур, выполняемых шеф-поваром во время приготовления, как указано в программном файле с рецептом. Роботизированные руки 70 и роботизированные кисти 72 предназначены для воспроизведения точных движений шеф-повара при приготовлении блюда таким образом, чтобы получившееся блюдо имело вкус, идентичный (или практически идентичный) вкусу блюда, приготовленного шеф-поваром. Стандартизованное кухонное оборудование 74 включает в себя набор кухонных устройств 46, которые представляют собой часть роботизированной кухни 50, включая, но не ограничиваясь этим, электрическую плиту/индукционную плиту/варочную поверхность (электрическую варочную поверхность, газовую варочную поверхность, индукционную варочную поверхность), печь, гриль, пароварку и микроволновую печь. Стандартизованная кухонная посуда 76 с датчиками используется для записи этапов приготовления пищи на основании данных датчиков на кухонной посуде и для приготовления блюда на основании данных от кухонной посуды с датчиками, к которой можно отнести кастрюлю с датчиками, сковороду с датчиками, печь с датчиками и гриль с датчиками. Стандартизованная кухонная посуда 78 включает в себя сковороды для жарки, сотейники, сковороды-гриль, многофункциональные сковороды, обжарочные аппараты, воки и сковороды для тушения. Во время приготовления роботизированные руки 70 и роботизированные кисти 72 используют стандартизованные ручки и утварь 80. В одном варианте одна из роботизированных кистей 72 имеет стандартизованную ручку, которая крепится к концу вилки, концу ножа и концу ложки для выбора по требованию. Стандартизованные жестко автоматизированные дозаторы 82 встроены в роботизированную кухню 50 таким образом, чтобы подавать подходящие (с помощью рук робота 70 и использования человеком) основные и стандартные или часто используемые ингредиенты, которая могут быть отмерены/дозированы или поданы в предварительной упакованном виде. Стандартизованные контейнеры 86 представляют собой места хранения, где пищевые продукты хранятся при комнатной температуре. Стандартизованные контейнеры 88 для хранения в холодильнике представляют собой, не ограничиваясь этим, холодильник с маркированными контейнерами для хранения рыбы, мяса, овощей, фруктов, молока и других скоропортящихся продуктов. Стандартизованные контейнеры 86 или стандартизованные отсеки хранения 88 могут иметь идентификационные номера контейнеров, с помощью которых роботизированный механизм приготовления пищи 56 может проверить тип пищевых продуктов в контейнере на основании идентификационного номера. Стандартизованные контейнеры 86 предоставляют пространство для хранения нескоропортящихся пищевых продуктов, таких как соль, перец, сахар, масло и другие специи. Стандартизованная кухонная посуда с датчиками 76 и кухонная посуда 78 могут храниться на полке или в ящике для использования роботизированными руками 70 при выборе инструмента для приготовления блюд. Обычно сырая рыба, сырое мясо и ненарезанные овощи хранятся в стандартизованных отсеках хранения 88 с идентификационными номерами. Столешница 90 используется роботизированными руками 70 как платформа для обработки мяса или овощей, данный процесс может включать или не включать в себя резку или рубку. Кухонный водопроводный кран 92 обеспечивает пространство для мойки или чистки пищи во время приготовления блюд. Когда роботизированные руки 70 завершают приготовление блюда по рецепту и его подготовку к подаче, блюдо размещается на сервировочном столе 90, который может также использоваться для приема пищи после выполнения роботизированными руками 70 определенных операций, таких как размещение столовых приборов, бокалов для вина и выбора вина, подходящего к приготовленной пище. В одном варианте оборудование в модуле 50 стандартизованной роботизированной кухни является профессиональным и позволяет повысить универсальность с точки зрения приготовления различных типов блюд.

Модуль 50 стандартизованной роботизированной кухни в качестве одной из целей имеет стандартизацию кухонного модуля и различных компонентов с самим кухонным модулем, для обеспечения сходства кухни 44 шеф-повара и роботизированной кухни 48, чтобы гарантировать максимальную точность воспроизведения рецепта и свести к минимуму риски отклонений от точного воспроизведения рецепта блюда на кухне 44 шеф-повара и роботизированной кухне 48. Одной из основных целей обеспечения стандартизации кухонного модуля 50 является получение одинакового результата процесса приготовления (или одинакового блюда) первого блюда, приготовленного шеф-поваром, и последующим воспроизведением того же процесса приготовления по рецепту с помощью роботизированной кухни. Использование стандартизованной платформы в модуле 50 стандартизованной роботизированной кухни для кухни 44 шеф-повара и роботизированной кухни 48 имеет несколько основных преимуществ: одинаковые временные рамки, одинаковая программа или режим, а также проверка качества. Под одинаковыми временными рамками на стандартизованной роботизированной кухне 50, где шеф-повар готовит блюда на кухне 44 шеф-повара, и на роботизированной кухне 48 во время воспроизведения процесса приготовления с помощью роботизированных кистей, подразумевается одинаковая последовательность манипуляций, одинаковое время начала и время завершения каждой манипуляции, а также одинаковая скорость перемещения объекта при выполнении разных операций. Под одинаковой программой или режимом на стандартизованной роботизированной кухне 50 подразумевается использование или работа стандартизованного оборудования во время каждого этапа записи и выполнения манипуляции. Под проверкой качества подразумевается использование датчиков трехмерного зрения на стандартизованной роботизированной кухне 50, которые контролируют и управляют в режиме реального времени каждой манипуляцией во время приготовления пищи для устранения любых отклонений и предотвращения получения неверного результата. Использование модуля стандартизованной роботизированной кухни 50 снижает и сводит к минимуму риски достижения разных результатов для блюда, приготовленного шеф-поваром, и блюда, приготовленного роботизированной кухней с помощью роботизированных рук и кистей. При отсутствии стандартизации модуля роботизированной кухни и компонентов модуля роботизированной кухни увеличение различий между кухней 44 шеф-повара и роботизированной кухней 48 может привести к росту вероятности недостижения одинакового результата для блюда, приготовленного шеф-поваром, и блюда, приготовленного роботизированной кухней, поскольку для различных кухонных модулей, различного кухонного оборудования, различной кухонной посуды, различных кухонных инструментов и различных ингредиентов на кухне 44 шеф-повара и роботизированной кухне 48 необходимо использовать более детально разработанные и сложные алгоритмы регулировки.

Модуль 50 стандартизованной роботизированной кухни включает в себя стандартизацию многих аспектов. Во-первых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные положения и ориентации (в плоскости координат XYZ) всех типов кухонной посуды, кухонных контейнеров, кухонных инструментов и кухонного оборудования (со стандартизованными зафиксированными отверстиями в кухонном модуле и положениями устройств). Во-вторых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные габариты и архитектуру пространства для приготовления. В-третьих, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные наборы оборудования, такого как печь, электрическая плита, посудомоечная машина, водопроводный кран и т.д. В-четвертых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованную кухонную посуду, стандартизованные инструменты для приготовления, стандартизованные устройства для приготовления, стандартизованные контейнеры и стандартизованную камеру хранения продуктов в холодильнике с точки зрения формы, габаритов, конструкции, материалов, функций и т.д. В-пятых, модуль 50 стандартизованной роботизированной кухни в одном варианте включает в себя стандартизованную универсальную ручку для выполнения операций с любой кухонной посудой, инструментами, приборами, контейнерами и оборудованием, которая позволяет роботизированной кисти удерживать стандартизованную универсальную ручку только в одном правильном положении, исключая возможность неправильного захвата или неправильной ориентации. В-шестых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные роботизированные кисти и руки с библиотеками манипуляций. В-седьмых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованный кухонный комбайн для выполнения стандартизованных манипуляций с ингредиентами. В-восьмых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные устройства трехмерного зрения для формирования динамических трехмерных визуальных данных, а также другие возможные стандартные датчики для записи рецепта, выполнения отслеживания и проверки качества. В-девятых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные типы, стандартизованные объемы, стандартизованные размеры и стандартизованные значения веса для каждого ингредиента во время выполнения приготовления по определенному рецепту.

На Фиг. 4 представлено схематическое изображение варианта роботизированного механизма приготовления 56 (так называемый «роботизированный механизм готовки пищи») для использования с компьютером 16 в студии 44 шеф-повара и бытовой роботизированной кухонной системе 48. Другие варианты осуществления могут иметь измененные, дополнительные или модифицированные модули в роботизированном механизме для приготовления 16 на кухне 44 шеф-повара и роботизированной кухне 48. Роботизированный механизм приготовления 56 включает в себя модуль ввода 51, модуль калибровки 94, модуль проверки качества 96, модуль 98 записи движений шеф-повара, модуль 100 записи данных датчиков на кухонной посуде, модуль памяти 102 для хранения программных файлов с рецептами, модуль 104 абстрагирования рецепта с помощью записанных данных датчиков для генерирования специальных профилей последовательной работы вычислительного модуля, программный модуль 106 воспроизведения движений шеф-повара, модуль 108 воспроизведения данных датчиков на кухонной посуде с использованием одной или нескольких кривых данных датчиков, роботизированный модуль приготовления 110 (компьютерный блок управления для выполнения стандартизованных операций, мини-манипуляций и работы с нестандартизованными объектами), модуль 112 выполнения регулировок в режиме реального времени, модуль обучения 114, модуль 116 базы данных библиотек мини-манипуляций, модуль 117 базы данных библиотек стандартизованных кухонных операций и модуль вывода 118, с которым указанные модули соединяются с возможностью обмена данными по шине 120.

Модуль ввода 51 может принимать любой тип входной информации, такой как программные файлы с рецептами, отправляемые с другого вычислительного устройства. Калибровочный модуль 94 выполняет калибровку роботизированных рук 70, роботизированных кистей 72, кухонной посуды и компонентов оборудования в модуле 50 стандартизованной роботизированной кухни. Модуль 96 проверки качества определяет качество и свежесть сырого мяса, сырых овощей, молочных ингредиентов и других сырых пищевых продуктов, когда сырые пищевые продукты подаются для приготовления, а также проверяет качество сырых пищевых продуктов при их загрузке в стандартизованный отсек 88 хранения продуктов. Модуль 96 проверки качества также может выполнять проверку качества объекта на основании таких параметров, как запах пищи, цвет пищи, вкус пищи, изображение или внешний вид пищи. Модуль 98 записи движений шеф-повара записывает последовательность и точные движения шеф-повара во время приготовления блюда шеф-поваром. Модуль 100 записи данных датчиков на кухонной посуде записывает данные датчиков от кухонной посуды, оборудованной датчиками (такой как сковорода с датчиками, гриль с датчиками или печь с датчиками), которые расположены на различных участках кухонной посуды, формируя одну или несколько кривых данных датчиков. Построенная кривая данных датчиков, например, кривая значений температуры (и/или влажности), отражает флуктуации температуры кухонных устройств от времени для определенного блюда. Модуль памяти 102 используется как место хранения программных файлов с рецептами для воспроизведения движений шеф-повара во время приготовления по рецепту или других программных файлов с рецептами, включая кривые данных датчиков. Модуль 104 абстрагирования рецепта использует записанные данные датчиков для генерирования специальных профилей последовательной работы вычислительного модуля. Модуль 106 воспроизведения движений шеф-повара воспроизводит точные движения шеф-повара во время приготовления блюда на основании сохраненного программного файла с рецептом на запоминающем устройстве 52. Модуль 108 воспроизведения данных датчиков на кухонной посуде воспроизводит приготовление блюда путем изменения характеристик в соответствии с одной или несколькими предварительно записанными кривыми данных датчиков, которые были сгенерированы во время приготовления блюда шеф-поваром 49 при использовании стандартизованной кухонной посуды 76 с датчиками. Роботизированный модуль 110 приготовления управляет и выполняет стандартизованные кухонные операции, мини-манипуляции, действия с нестандартизованными объектами, кухонными инструментами и оборудованием на стандартизованной роботизированной кухне 50. Модуль 112 регулировки в режиме реального времени выполняет регулировки в режиме реального времени для переменных, связанных с определенной кухонной операцией или мини-операцией, таким образом, чтобы обеспечить выполнение конечного процесса, являющегося точным воспроизведением движений шеф-повара или точным воспроизведением кривой данных датчиков. Модуль обучения 114 выполняет обучение роботизированного механизма приготовления 56 с целью оптимизации точного воспроизведения при приготовлении блюда с помощью роботизированных рук 70 и роботизированных кистей 72, чтобы оно было идентично блюду, приготовленному шеф-поваром, используя такой метод, как ситуационное (роботизированное) обучение. Модуль 116 базы данных библиотек мини-манипуляций хранит первую базу данных библиотек мини-манипуляций. Модуль 117 базы данных библиотек стандартизованных кухонных операций хранит вторую базу данных библиотек стандартизованной кухонной посуды и информацию о том, как использовать данную стандартизованную кухонную посуду. Модуль вывода 118 отправляет выходные компьютерные файлы или сигналы управления от роботизированного механизма приготовления.

На Фиг. 5А представлена блок-схема процесса создания рецепта в студии шеф-повара, показывающая несколько основных функциональных блоков, обеспечивающих использование расширенной мультимодальной системы датчиков для создания сценария рецепта для роботизированной кухни. Данные нескольких датчиков, включая, но не ограничиваясь этим, данные датчиков запаха 124, видеокамер 126, инфракрасных сканеров и дальномеров 128, стереокамер (или даже камер с тринокулярной насадкой) 130, тактильных перчаток 132, лазерных сканеров 134 с шарнирным соединением, очков виртуальной реальности 136, микрофонов 138 или экзоскелета 140 с функцией захвата движений, речевых датчиков 142, датчиков касания 144 и других устройств пользовательского ввода 146, используются для сбора данных при помощи модуля 148 сопряжения датчиков. Данные собираются и фильтруются на этапе 150, включая возможный ввод данных пользователем (например, шеф-поваром с помощью сенсорного экрана и устройства речевого ввода) на этапе 146, после чего несколько (параллельных) программных процедур используют временные и пространственные данные для генерирования данных, используемых при выполнении специального машинного процесса создания рецепта. Датчики могут не ограничиваться захватом положения и/или движения человека, они также могут включать в себя захват положения, ориентации и/или движения других объектов на стандартизованной роботизированной кухне 50.

Указанные отдельные программные модули (но не обязательно только эти модули) генерируют следующую информацию: (i) место шеф-повара и идентификационный номер станции приготовления с помощью модуля 152 места и конфигурации, (ii) конфигурация рук (с помощью торса), (iii) тип, время и способ выполнения операций с инструментами, (iv) используемая утварь и места на станции, определяемые с помощью модуля 154 аппаратного обеспечения и регулируемого абстрагирования, (v) процессы, выполняемые ими, (vi) переменные факторы (температура, наличие крышки, перемешивание и т.д.) с точки зрения необходимости контроля с помощью рабочего модуля 156, (vii) временное (начало/конец, тип) распределение, (viii) типы выполняемых процессов (перемешивание, складывание и т.д.), (ix) добавляемые ингредиенты (тип, количество, состояние готовности и т.д.), с помощью модуля 158 абстрагирования последовательности и процесса приготовления.

Позднее вся указанная информации используется для создания специального машинного (не только для роботизированных рук, но и для дозаторов ингредиентов, инструментов и утвари и т.д.) набора инструкций рецепта с помощью автономного модуля 160, которые объединяются в сценарий последовательно/параллельно выполняемых и контролируемых задач. Данный сценарий рецепта сохраняется (162) вместе с полным набором необработанных данных (164) в модуле 166 хранения данных и становится доступным для удаленной роботизированной станции приготовления через модуль 168 сопряжения роботизированной кухни или для пользователя (этап 170) через графический пользовательский интерфейс (ГПИ) 172.

На Фиг. 5В представлена блок-схема, иллюстрирующая один вариант стандартизованной студии 44 шеф-повара и роботизированной кухни 50 с процессом 176 «обучение/воспроизведение». Процесс 176 «обучение/воспроизведение» описывает этапы захвата процедур/способов работы/навыков шеф-повара 49 при приготовлении по рецепту в студии 44 шеф-повара, где он (она) готовит блюдо по рецепту (этап 180), используя набор стандартизованного оборудования 74, имеющийся в студии шеф-повара, и ингредиенты 178, предусмотренные рецептом, для получения блюда, при этом выполняется запись и контроль (блок 182). Необработанные данные датчиков записываются (для воспроизведения), что показано в блоке 182, и обрабатываются для генерирования информации на различных уровнях абстрагирования (используемые инструменты/оборудование, техники, начальное/конечное время/температура и т.д.), а также используются для создания сценария рецепта (этап 184), выполняемого роботизированной кухней 48.

Роботизированная кухня 48 использует процесс воспроизведения рецепта (этап 106), профиль которого зависит от того, является ли кухня стандартизованной или нет, что проверяется процессом 186.

Работа роботизированной кухни зависит от вида кухни, используемой пользователем. Если роботизированная кухня использует оборудование, аналогичное/идентичное (по крайней мере, с точки зрения функциональности) тому, что использовалось в студии шеф-повара, процесс воспроизведения рецепта будет использовать необработанные данные и воспроизводить их в рамках процесса выполнения сценария рецепта. Однако, если кухня отличается от (идеальной) стандартизованной кухни, механизм (механизмы) выполнения будут использовать абстрагированные данные для генерирования последовательности выполнения, подходящей для определенной кухни, чтобы поэтапно достичь аналогичного результата.

Поскольку процесс приготовления непрерывно контролируется всеми сенсорными устройствами на роботизированной кухне с помощью процесса контроля 194 вне зависимости от того, используется ли известное оборудование 196 из студии шеф-повара или комбинированное/нестандартное оборудование 198 (по сравнению с оборудованием из студии шеф-повара), система может вносить изменения по мере необходимости при выполнении проверки 200 прогресса выполнения рецепта. В одном варианте стандартизованной кухни необработанные данные обычно воспроизводятся с помощью модуля выполнения 188, используя оборудование из студии шеф-повара, при этом единственными необходимыми регулировками будут изменения (этап 202), касающиеся выполнения сценария (повторение определенного этапа, возврат к определенному этапу, замедление выполнения и т.д.), поскольку между сохраненными и воспроизводимыми наборами данных будет иметься точное соответствие. Однако в случае нестандартизованной кухни очень высока вероятность того, что система потребует внесения изменений и адаптации имеющегося рецепта и его выполнения с помощью модуля 204 изменения сценария рецепта с учетом доступных инструментов/устройств 192, которые могут отличаться от имеющихся в студии 44 шеф-повара или обнаружения измеряемых отклонений от сценария рецепта (мясо готовится слишком медленно, наличие слишком горячих участков в кастрюле приводит к подгоранию заправки для соуса и т.д.). Весь прогресс выполнения сценария рецепта контролируется с помощью аналогичного процесса 206, который может различаться в зависимости от того, используется ли оборудование 208 из студии шеф-повара или комбинированное/ нестандартное оборудование 210.

Вероятность получения блюда, качество которого будет похоже на блюдо, приготовленное человеком-поваром, при использовании нестандартизованной кухни будет ниже, чем при использовании стандартизованной роботизированной кухни, имеющей такое же оборудование и функции, что и студия-кухня. Самым субъективным критерием является вкус человека (или шеф-повара), т.е. оценка качества (этап 212) является менее важной, чем (субъективное) определение качества (этап 214).

На Фиг. 5С представлена блок-схема, иллюстрирующая один вариант осуществления механизма 216 создания сценария рецепта и абстрагирования, который определяет структуру и порядок выполнения процесса генерирования сценария рецепта в рамках приготовления блюда человеком-поваром по рецепту в студии. Первый этап для всех доступных данных, полученных в студии 44 шеф-повара: эргономические данные от шеф-повара (положения и скорость работы рук/кистей, тактильные данные пальцев и т.д.), состояние кухонных устройств (печей, холодильников, дозаторов и т.д.), особые переменные (температура варочной поверхности, температура ингредиента и т.д.), используемые приспособления или инструменты (кастрюли/сковороды, лопатки и т.д.) или двухмерные и трехмерные массивы данных, собранные многодиапазонным сенсорным оборудованием (таким как камеры, лазеры, системы структурированного света и т.д.), вводятся и фильтруются с помощью центральной компьютерной системы, а также получают временные метки от главного процесса 218.

Алгоритм 220 преобразования данных использует простые (в основном, одиночные) переменные для определения того, где выполняется действие (варочная поверхность и/или печь, холодильник и т.д.), и временно или постоянно присваивает метку использования любому предмету/ приспособлению/оборудованию. Это позволяет связать этап приготовления (выпекание, жарку, добавление ингредиентов и т.д.) с определенным временным периодом и отследить время, место, тип и количество каждого добавленного ингредиента. Затем этот набор данных (с временными метками) становится доступным для процесса слияния данных в ходе процесса 222 генерации сценария рецепта.

Процесс 224 извлечения и картирования (распределения по схеме) данных сфокусирован в первую очередь на отборе двухмерного массива данных (такой как информация от монокулярных/однолинзовых камер) и извлечении из него ключевой информации. Чтобы извлечь важную и более абстрагированную описательную информацию из каждого последовательного изображения, к данному набору применяется несколько алгоритмических процессов. К подобным этапам обработки можно отнести, не ограничиваясь этим, обнаружение контура, определение цвета и преобразование текстуры, а также последующее использование данных об изображении и информации об объектах (тип и размер), считанной при выполнении процесса 226 сокращения объема и абстрагирования данных, за счет чего можно будет идентифицировать и определить место расположения объекта (является ли предмет оборудованием или ингредиентом, и т.д.), повторное извлечение из процесса 226 сокращения и абстрагирования данных, за счет которого можно будет сопоставить состояние (и все соответствующие переменные) и предметы на изображении с определенным этапом обработки (жарка, варка, резка и т.д.). После извлечения и сопоставления этих данных с определенным изображением в конкретный момент времени можно будет перейти к процессу 222 генерации сценария рецепта для формирования последовательности и этапов рецепта.

Механизм процесса 226 сокращения объема данных и абстрагирования (набор программных процедур) предназначен для сокращения большого объема трехмерных массивов данных и извлечения из них ключевой геометрической и ассоциативной информации. На первом этапе выполняется извлечение из большого облака трехмерных данных определенной рабочей области, играющей важную роль для рецепта, в конкретный момент времени. После сокращения размеров массива данных ключевые геометрические особенности будут идентифицированы с помощью процесса, известного как сопоставление с шаблоном; это позволит идентифицировать такие предметы, как горизонтальные столешницы, цилиндрические кастрюли и сковороды, места расположения рук и кистей и т.д. После определения стандартных известных (шаблонных) геометрических данных в массиве данных процесс идентификации и сопоставления объектов переходит к различению всех предметов (кастрюля или сковорода и т.д.), а также указывает определенные габариты (размер кастрюли или сковороды и т.д.) и ориентацию данных предметов, оценивает их положение на трехмерной модели окружающей среды с помощью компьютера. Вся абстрагированная/считанная информация затем совместно используется механизмом 224 извлечения и преобразования данных перед ее поступлением в механизм 222 генерации сценария рецепта.

Процедура использования механизма 222 генерации сценария рецепта предназначена для объединения (слияния/комбинирования) всех доступных данных и массивов в структурированный и последовательный сценарий приготовления с понятными идентификаторами процессов (предварительная подготовка, бланширование, жарка, мойка, сервировка и т.д.) и в этапы каждого отдельного процесса, которые затем могут быть транслированы в сценарии команд, исполняемых системой, для роботизированной кухни, которые синхронизируются на основании завершения процесса, общего времени приготовления и прогресса приготовления. Слияние данных включает в себя, по меньшей мере, не ограничиваясь этим, способность отбора каждого этапа процесса (приготовления) и создание последовательности выполняемых этапов с правильно ассоциированными элементами (ингредиентами, оборудованием и т.д.), способами и процессами, используемыми во время этапов процесса, а также соответствующими ключевыми переменными управления (заданные значения температуры/настройки печи/варочной поверхности) и контроля (температура воды или мяса и т.д.), которые должны поддерживаться на определенном уровне и проверяться для обеспечения нормального прогресса и выполнения процесса. Слитые данные затем объединяются в структурированный последовательный сценарий приготовления, который будет похож на минимальный набор описаний этапов (похожий на рецепт в журнале), но с большим набором переменных для каждого элемента (оборудования, ингредиента, процесса, способа, переменной и т.д.) процесса приготовления в каждый момент выполнения процедуры. На финальном этапе выполняется отбор последовательного сценария приготовления и его трансформация в последовательный сценарий с идентичной структурой, который, в свою очередь, может быть транслирован с помощью набора систем/роботов/оборудования на роботизированной кухне 48. Данный сценарий будет использоваться роботизированной кухней 48 для автоматизированного выполнения и контроля этапов рецепта.

Все исходные (необработанные) и обработанные данные, а также соответствующие сценарии (и структурный сценарий последовательности приготовления, и сценарий последовательности приготовления, исполняемый системой) хранятся в устройстве/процессе 228 хранения данных и профилей с временными метками. С помощью графического пользовательского интерфейса (GUI) пользователь может выбрать из базы данных и отправить команду для роботизированной кухни на выполнение нужного рецепта через механизм 230 автоматизированного выполнения и контроля, который непрерывно контролируется с помощью собственного внутреннего автоматизированного процесса приготовления, с необходимыми изменениями и модификациями сценария, сгенерированного с его помощью и исполняемого элементами роботизированной кухни, чтобы получить правильно сервированное и поданное блюдо.

На Фиг. 5D представлена блок-схема, иллюстрирующая программные элементы для выполнения манипуляций с объектом на стандартизованной роботизированной кухне, а также структура и порядок работы 250 элементов роботизированной кухни, отвечающих за выполнение манипуляций с объектом по роботизированному сценарию, используя воспроизведение движений, связанных/выполняемых в виде этапов мини-манипуляций. Чтобы автоматизированное приготовление с помощью роботизированных рук/кистей было возможным, недостаточно просто контролировать каждый отдельный шарнир в руке и кистях/пальцах. Во многих случаях известны (и могут быть воспроизведены) только положение и ориентация кисти/запястья, но тогда манипулирование объектом (идентификация места, ориентации, позы, места захвата, способа захвата и выполнение задачи) потребует использования локальной системы датчиков, сохраненных моделей поведения и стратегий, чтобы кисти и пальцы могли успешно выполнить захват/манипулирование. Данные модели и последовательности профилей движения (использующие/ управляемые датчиками) хранятся в программном хранилище библиотек мини-манипуляций на роботизированной кухне. Человек-повар может носить полную руку экзоскелета или нарукавники с измерительной аппаратурой/мишенями для захвата, позволяющие компьютеру с помощью встроенных датчиков или отслеживания камерами определить точное положение кистей и запястий в пространстве в каждый отдельный момент времени. Даже если установить измерительную аппаратуру на все суставы десяти пальцев обеих кистей (более 30 степеней свободы (СС) для обеих кистей, которые неудобно надевать и использовать, в результате чего использовать их нежелательно), воспроизведение положений всех суставов с помощью простых движений не будет гарантировать успешное (интерактивное) манипулирование объектом.

Библиотека мини-манипуляций представляет собой программное хранилище команд, в котором хранятся модели движения и процессы, полученные путем обучения в автономном режиме, при этом движения руки/запястья/пальца и последовательности для успешного выполнения определенной теоретической задачи (захват ножа и последующая нарезка; захват ложки и последующее перемешивание; захват кастрюли одной кистью, использование другой кисти для захвата лопатки, поддевания куска мяса и его переворачивания на сковороде; и т.д.). Данное хранилище содержит запомненные последовательности успешных профилей движения, управляемых датчиками, и последовательности работы кистей/запястий (в некоторых случаях с коррекцией положения руки) для обеспечения успешного выполнения манипуляций с объектом (приспособлением, оборудованием, инструментами) и ингредиентом, которые описываются более абстрагированным языком, например, «взять нож и нарезать овощ», «разбить яйцо в чашку», «перевернуть мясо на сковороде» и т.д. Процесс обучения является итеративным и основан на нескольких повторяющихся профилях движения шеф-повара из студии шеф-повара, который затем выполняется и итеративно изменяется с помощью модуля алгоритма обучения в автономном режиме до тех пор, пока не будет получена приемлемая последовательность выполнения. Библиотека мини-манипуляций (программное хранилище команд) содержит все элементы (полученные предварительно или в автономном режиме), необходимые, для того чтобы роботизированная кухня успешно взаимодействовала со всем оборудованием (приспособлениями, инструментами и т.д.) и основными ингредиентами, требующими обработки (этапы, выполняемые сразу после дозирования) в рамках процесса приготовления. Поскольку человек-повар носит перчатки со встроенными тактильными датчиками (датчик приближения, датчик касания, датчик места/усилия при контакте) для пальцев и ладони, роботизированные кисти имеют датчики аналогичных типов в местах, что позволяет использовать эти данные для создания, изменения и адаптации профилей движений с целью успешного выполнения желаемых профилей движений и команд для выполнения операций.

Часть манипуляций с объектом в рамках процесса 252 приготовления на роботизированной кухне (программный модуль роботизированного выполнения сценария рецепта для интерактивного манипулирования и выполнения операций с объектами на кухне), будет подробно рассмотрена ниже. Используя базу данных о роботизированном сценарии 254 рецепта (которая содержит данные в необработанном виде, в виде абстрагированной последовательности приготовления и в виде исполняемого сценария), модуль 256 выполнения сценария рецепта способен выполнить определенный этап рецепта. Модуль 258 воспроизведения конфигурации выбирает и выполняет команды конфигурации с помощью контроллера 270 системы роботизированной руки (торс, рука, запястье и кисти), который управляет физической системой для имитации необходимых значений конфигурации (положения/скорости/крутящие моменты шарниров и т.д.).

Точное выполнение необходимых этапов выполнения манипуляций и взаимодействия с другими предметами для выполнения операций становится возможным за счет проверки процесса в режиме реального времени за счет: (i) трехмерного моделирования объектов реального мира, (ii) мини-манипуляций. Этапы подтверждения и манипулирования выполняются путем добавления модификатора 260 конфигурации запястья и кисти робота. Данный программный модуль использует данные от средства 262 трехмерного моделирования конфигурации реального мира, который строит новую трехмерную модель реального мира на каждом этапе сбора данных мультимодального датчика (датчиков) для обеспечения того, чтобы данная конфигурация систем роботизированной кухни и процесса соответствовала требованиям сценария рецепта (базы данных); при невыполнении данного условия в значения конфигурации управляемой системы вносятся модификации, позволяющие успешно выполнить определенную задачу. Более того, модификатор 260 конфигурации запястья и кисти робота также использует команды внесения изменений в конфигурацию от исполнителя 264 профиля движения для мини-манипуляций. Данные для внесения изменений в конфигурацию кисти/запястья (и, возможно, руки) передаются в модификатор 260 конфигурации на основании профиля движения исполнителя 264 мини-манипуляций, знающего желательную конфигурацию для воспроизведения из блока 258, но затем модифицирующего ее на основании библиотеки 266 трехмерных моделей объектов и предварительно запомненных (и сохраненных) данных из библиотеки 268 конфигураций и последовательностей (которая формируется на основании нескольких итеративных этапов обучения для всех основных этапов выполнения операций с объектом и обработки).

Когда модификатор 260 конфигурации непрерывно выдает данные о модифицированной управляемой конфигурации контроллеру 270 системы роботизированной руки, используется программный модуль 272 проверки операции/манипулирования, чтобы была правильно выполнена не только данная операция, но и все необходимые последующие манипуляции/операции. При невыполнении указанного условия модификатор 260 конфигурации повторно запрашивает обновления для модификаций конфигурации (для запястья, кистей/пальцев и, возможно, руки и даже торса) от средства 262 моделирования реального мира и исполнителя 264 мини-манипуляций. Это необходимо для успешного выполнения этапа или последовательности манипуляций/операций. Программный модуль 272 проверки операций/манипуляций выполняет такую проверку с использованием информации из базы данных F2 со сценариями рецептов и средства 262 трехмерного моделирования реального мира для обеспечения соответствующего прогресса на контролируемом этапе приготовления с помощью исполнителя 256 сценария рецепта. После обнаружения прогресса процесс 274 приращения индекса сценария рецепта уведомляет исполнителя 256 сценария рецепта о переходе на следующий этап выполняемого сценария рецепта.

На Фиг. 6 показана архитектура 300 мультимодальной системы датчиков и программных элементов в соответствии с настоящим изобретением. Одна из основных особенностей автономного приготовления, позволяющая планировать, выполнять и контролировать сценарий роботизированного приготовления, требует использования устройств ввода 302 мультимодальной системы датчиков, которые используются несколькими программными модулями для генерирования данных, необходимых для (i) осознания реального мира, (ii) создания модели рабочего места и материалов, (iii) планирования следующих этапов последовательности роботизированного приготовления, (iv) выполнения сгенерированного плана, (v) контроля выполнения процесса для обеспечения правильности операций, - все эти этапы выполняются в виде непрерывного/циклически повторяющегося замкнутого цикла.

Мультимодальный сенсорный блок(и) 302 (система датчиков), содержащий (не ограничиваясь этим) видеокамеры 304, ИК-камеры и дальномеры 306, одну или нескольку стереокамер (или даже камер с тринокулярной насадкой) 308 и лазерные сканеры 310 для многомерного сканирования, позволяет получить данные датчиков в разных диапазонах для основных программных механизмов абстрагирования 312 (после сбора и фильтрации в модуле 314 сбора и фильтрации данных). Данные используются в модуле 316 интерпретирования рабочей области для выполнения нескольких этапов, включая, но не ограничиваясь этим, построение поверхностей геометрических тел высокого и низкого разрешения (лазер: высокое разрешение; стереокамера: низкое разрешение) на рабочем месте, с наложенной информацией о цвете и текстуре в видимом и инфракрасном диапазонах, что позволит алгоритмам обнаружения контуров и обнаружения трехмерных объектов определить, какие элементы находятся в рабочей области, чтобы использовать алгоритмы картирования формы/цвета/текстуры и консистенции для использования обработанных данных при передаче обработанной информации в Модуль 318 Выполнения Операций с Кухонным Оборудованием в Процессе Приготовления. В модуле 318 программные механизмы используются для идентификации и определения положения и ориентации кухонных инструментов и утвари в пространстве, а также идентификации и маркировки распознаваемых пищевых продуктов (мясо, морковь, соус, жидкости и т.д.) таким образом, чтобы сгенерировать данные, которые позволят компьютеру построить модель и полностью интерпретировать рабочее место в определенный момент времени, чтобы использовать эту информацию для планирования и контроля следующего этапа. Механизмы, необходимые для получения и абстрагирования данных и информации, включают в себя, не ограничиваясь этим, механизмы осмысления захвата, механизмы геометрического осмысления, механизмы физического осмысления и механизмы решения задач. Выходные данные механизмов 316 и 318 впоследствии используются для подачи на средство моделирования рабочего места и классификатор 320 контента, в которых создается трехмерная модель реального мира со всеми ключевыми данными, необходимыми для устройства выполнения роботизированного сценария приготовления. После интерпретирования полностью заполненной модели реального мира ее можно использовать для передачи в планировщик 322 движений и операций (если необходимо выполнять захват и различные операции с помощью роботизированной руки, эти же данные могут использоваться для различения и планирования захвата и выполнения манипуляций с пищевыми продуктами и кухонными предметами в зависимости от нужной ручки и расположения) для обеспечения планирования движений и траектории руки (рук) и прикрепленного рабочего органа (органов) (захватов, кистей с несколькими пальцами). Планировщик 324 последовательности дальнейших действий создает правильную последовательность команд для выполнения задачи для всех отдельных элементов роботизированной/автоматизированной кухни, которые затем используются системой привода 326 роботизированной кухни. Вся описанная выше последовательность непрерывно повторяется в виде замкнутого цикла в рамках роботизированного выполнения и контроля сценария рецепта.

На Фиг. 7А изображена стандартизованная кухня 50, которая в данном случае играет роль студии шеф-повара, в которой человек-повар 49 создает и выполняет рецепт под контролем мультимодальных сенсорных систем 66 таким образом, чтобы позволить создание сценария рецепта. На стандартизованной кухне имеется несколько элементов, необходимых для выполнения рецепта, включая основной модуль приготовления 350, который включает в себя такое оборудование, как утварь 360, варочная поверхность 362, кухонная раковина 358, посудомоечная машина 356, настольный миксер и блендер (так называемый «кухонный блендер») 352, печь 354 и холодильник 353 с морозильником.

На Фиг. 7В изображена стандартизованная кухня 50, которая в данном случае представляет собой стандартизованную роботизированную кухню, на которой роботизированная система с двумя руками и вертикальным выдвигающимся и вращающимся торсовым шарниром 360, который оборудован двумя руками 70 и двумя кистями 72 с запястьями и пальцами, выполняет процесс воспроизведения рецепта в соответствии со сценарием рецепта. Мультимодальные сенсорные системы 66 непрерывно контролируют этапы приготовления, выполняемые роботом, на нескольких стадиях процесса воспроизведения рецепта.

На Фиг. 7С изображены системы, используемые при создании сценария рецепта путем контроля человека-повара 49 на протяжении всего процесса приготовления по рецепту. Аналогичная стандартизованная кухня 50 используется в студии шеф-повара, при этом шеф-повар может работать на кухне с любой стороны от рабочего модуля. Данные контролируются и собираются с помощью мультимодальных датчиков системы 66, тактильных перчаток 370, носимых шеф-поваром, кухонной посуды 372 и оборудования с измерительной аппаратурой, после чего все собранные необработанные данные передаются по беспроводному каналу связи на рабочий компьютер 16, где они обрабатываются и хранятся.

На Фиг. 7D изображены системы, используемые стандартизованной кухней 50 для воспроизведения сценария рецепта 19 при помощи системы с двумя руками на телескопическом поворачивающемся торсе 374, которая состоит из двух рук 72, двух роботизированных запястий 71 и двух кистей 72 с несколькими пальцами с встроенными датчиками на коже и точечными датчиками. Во время выполнения определенного этапа воспроизводимого рецепта роботизированная система с двумя руками использует руки и кисти с измерительной аппаратурой, утварь для приготовления, приспособления и кухонную посуду оборудованная измерительной аппаратурой (в данном случае изображена сковорода) на варочной поверхности 12, а также выполняет непрерывный контроль с помощью мультимодальных датчиков системы 66, чтобы обеспечить максимально точный процесс воспроизведения действий человека-повара. Все данные мультимодальных датчиков системы 66, роботизированной системы с двумя руками, состоящей из торса 74, рук 72, запястий 71 и кистей 72 с несколькими пальцами, утвари, кухонной посуды и устройств, передаются по беспроводному каналу связи на компьютер 16, где их обрабатывают с помощью встроенного устройства обработки, чтобы максимально точно сравнивать и отслеживать процесс воспроизведения рецепта с точки зрения определенных критериев и этапов, заданных в заранее созданном сценарии рецепта 19 и сохраненных на носителе 18.

На Фиг. 7Е представлена блок-схема, иллюстрирующая пошаговую процедуру и способы 376 обеспечения точек контроля или проверок во время процесса воспроизведения рецепта на основании сценария рецепта при его выполнении с помощью стандартизованной роботизированной кухни 50, чтобы блюдо, приготовленное стандартизованной роботизированной кухней 50, было идентично (насколько это возможно) блюду, приготовленному человеком-поваром 49. При использовании рецепта 378, описанного в сценарии рецепта и выполняемого в виде последовательности этапов в процессе приготовления 380, качество выполнения рецепта с помощью роботизированной кухни 50 будет во многом зависеть от основных контролируемых пунктов, указанных ниже. К ключевым контролируемым пунктам можно отнести процесс выбора и использования стандартизованной порции и формы высококачественного и предварительно обработанного ингредиента 381, использование стандартизованных инструментов и утвари, кухонной посуды со стандартизованными ручками для обеспечения правильного и надежного захвата с известной ориентацией 383, стандартизованного оборудования 385 (печь, блендер, холодильник, морозильник и т.д.) на стандартизованной кухне, которая должна быть максимально идентичной при сравнении кухонной студии шеф-повара, на которой человек-повар 49 готовит блюдо, и стандартизованной роботизированной кухни 50, места и расположения 384 ингредиентов, используемых в рецепте, и пары роботизированных рук, запястий и кистей с несколькими пальцами в кухонном модуле 382, непрерывно контролируемых датчиками с точки зрения действий, которые позволяют обеспечить успешное выполнение каждого этапа на каждой стадии процесса воспроизведения сценария рецепта для определенного блюда. Наконец, обеспечение идентичного результата 386 является конечной целью работы стандартизованной роботизированной кухни 50.

На Фиг. 8А представлена блок-схема, иллюстрирующая один вариант модуля 400 выполнения алгоритма преобразования рецепта движений шеф-повара в воспроизводимые роботизированные движения. Модуль 404 преобразования алгоритма рецепта преобразовывает данные, полученные в результате захвата движений шеф-повара в студии 44 шеф-повара, в машиночитаемый и исполняемый язык 406 для управления роботизированными руками 70 и роботизированными кистями 72 для воспроизведения блюда, приготовленного с помощью движений шеф-повара на роботизированной кухне 48. В студии 44 шеф-повара компьютер 16 захватывает и записывает движения шеф-повара с помощью датчиков на перчатке 26, надеваемой шеф-поваром, как представлено в таблице 408 в виде множества датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆ … Sn в вертикальных столбцах и приращений времени t₀, t₁, t₂, t₃, t₄, t₅, t₆ … t_конец в горизонтальных строках. В момент времени t₀ компьютер 16 записывает координаты положения XYZ на основании данных датчиков, полученных от множества датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆ … Sn. В момент времени t₁ компьютер 16 записывает координаты положения XYZ на основании данных датчиков, полученных от множества датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆ … Sn. В момент времени t₂ компьютер 16 записывает координаты положения XYZ на основании данных датчиков, полученных от множества датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆ … Sn. Данный процесс продолжается до тех пор, пока не будет завершен весь процесс приготовления пищи в момент времени t_конец. Интервал между всеми моментами времени t₀, t₁, t₂, t₃, t₄, t₅, t₆ … t t_конец является одинаковым. Результаты обработки захваченных и записанных данных датчиков показаны в таблице 408 в виде движений от датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆ … Sn на перчатке 26, в координатах XYZ, которые будут указывать приращения между координатами положения XYZ для одного определенного времени относительно координат положения XYZ для следующего определенного момента времени. Фактически в таблице 408 показано, как движения шеф-повара изменяются в рамках выполнения всего процесса приготовления пищи от начального момента времени t₀ до конечного момента времени t_конец. В соответствии с данным вариантом осуществления на рисунке показан пример для двух перчаток 26 с датчиками, которые шеф-повар 49 надевает для захвата движений во время приготовления блюда. На роботизированной кухне 48 роботизированные руки 70 и роботизированные кисти 72 воспроизводят рецепт, записанный в студии 44 шеф-повара, который затем преобразовывается в роботизированные инструкции, при этом роботизированные руки 70 и роботизированные кисти 72 воспроизводят процесс приготовления пищи шеф-поваром 49 с учетом временной последовательности 416. Роботизированные руки 70 и кисти 72 выполняют приготовление пищи, используя те же координаты положений XYZ, ту же скорость, то же приращение времени от начального момента времени t₀ до конечного момента времени t_конец, как показано на временном графике 416.

В некоторых вариантах осуществления шеф-повар выполняет одинаковые операции по приготовлению пищи несколько раз, чтобы получить показания датчиков и параметры соответствующих роботизированных инструкций, которые каким-либо образом меняются каждый раз. Набор показаний каждого датчика при нескольких повторениях цикла приготовления одного блюда позволяет получить распределение со средним значением, стандартным отклонением, а также минимальным и максимальным значениями. Соответствующие изменения в роботизированных инструкциях (так называемые параметры рабочего органа) при нескольких циклах выполнения одного блюда шеф-поваром также определяют распределения со средним значением, стандартным отклонением, минимальным и максимальным значениями. Данные распределения могут быть использованы для определения качества (или точности) последующих роботизированных циклов приготовления пищи.

В одном варианте средняя точность операций роботизированного приготовления пищи описывается следующим образом:

где С - набор параметров шеф-повара (1 до n), a R - набор параметров роботизированного приспособления (соответственно (1 до n). Числитель в сумме - разность между параметрами робота и шеф-повара (т.е. погрешность), а знаменатель нормализует максимальную разность). Сумма позволяет определить общую нормализованную суммарную погрешность (т.е. ), а умножение на 1/n дает среднюю погрешность. Добавление средней погрешности соответствует средней точности.

Другой вариант расчета точности основан на взвешивании важных параметров, где каждый коэффициент (каждое значение αi) представляет собой важность i-го параметра, при этом нормализованная суммарная погрешность равна , а расчетная средняя точность будет следующей:

На Фиг. 8В представлено схематическое изображение пары перчаток 26а и 26b с датчиками, надетых шеф-поваром 49, для захвата и передачи движений шеф-повара. В данном иллюстративном примере, который предназначен для демонстрации одного примера неограничительного характера, правая перчатка 26а содержит 25 датчиков для захвата различных точечных данных датчиков D1, D2, D3, D4, D5, D6, D7, D8, D9, D10, D11, D12, D13, D14, D15, D16, D17, D18, D19, D20, D21, D22, D23, D24 и D25 на перчатке 26а, которая может иметь дополнительные электромеханические схемы 420. Левая перчатка 26b включает в себя 25 датчиков для захвата различных точечных данных датчиков D26, D27, D28, D29, D30, D31, D32, D33, D34, D35, D36, D37, D38, D39, D40, D41, D42, D43, D44, D45, D46, D47, D48, D49, D50 на перчатке 26b, которая может иметь дополнительные (необязательные) электромеханические схемы 422.

На Фиг. 8С представлена блок-схема, где показаны этапы выполнения роботизированного приготовления на основании захваченных данных датчиков от перчаток шеф-повара 26а и 26b. В студии 44 шеф-повара шеф-повар 49 надевает перчатки 26а и 26b с датчиками для захвата процесса приготовления пищи, при этом данные датчиков записываются в виде таблицы 430. В данном примере шеф-повар 49 нарезает морковь с помощью ножа кружками толщиной 1 сантиметр. Данные элементарные действия шеф-повара 49, регистрируемые с помощью перчаток 26а, 26b, могут представлять собой мини-манипуляции 432, которые выполняются в моменты времени 1, 2, 3 и 4. Модуль 404 преобразования алгоритма рецепта преобразовывает записанный файл рецепта, полученный из студии 44 шеф-повара, в роботизированные инструкции для выполнения роботизированными руками 70 и роботизированными кистями 72 на роботизированной кухне 48 в соответствии с программной таблицей 434. Роботизированные руки 70 и роботизированные кисти 72 готовят блюда с помощью управляющих сигналов 436 для выполнения мини-манипуляций, заранее заданных в библиотеке 116 мини-манипуляций, для нарезания моркови с помощью ножа на кружочки толщиной около 1 сантиметра. Роботизированные руки 70 и роботизированные кисти 72 работают, используют те же координаты XYZ 438 с возможностью в режиме реального времени внесения корректировок в размер и форму каждой моркови путем создания временной трехмерной модели 440 моркови с помощью устройств регулировки 112 в режиме реального времени.

Для использования механического роботизированного механизма, такого как механизмы, соответствующие вариантам осуществления данного изобретения, специалисты в данной области техники осознают, что должны быть учтены многие механические проблемы и проблемы управления, способы решения которых описаны в литературе по робототехнике. При этом особую роль играет определение статической и/или динамической устойчивости роботизированной системы. В частности, что касается роботизированных манипуляций, динамическая устойчивость является крайне желательным свойством, чтобы избежать случайного повреждения или движений, не являющихся желательными или запрограммированными. На Фиг. 8D показан график динамической устойчивости относительно равновесия. В данном случае «значение равновесия» является желательным состоянием руки (т.е. рука точно перемещается точно в запрограммированном направлении с отклонениями, вызванными любым количеством факторов, таких как инерция, центростремительная или центробежная сила, гармонические колебания и т.д.). Устойчивая динамически система - система, в которой колебания являются незначительными и затухают со временем, как показано с помощью кривой линии 450. Динамическая неустойчивая система - система, в которой колебания не затухают и могут увеличиваться со временем, как показано кривой линией 452. Худшим вариантом является ситуация, когда рука является статически нестабильной (например, она не может удерживать вес захваченного предмета) и падает, либо не может компенсировать отклонения от запрограммированного положения и/или траектории, как показано с помощью кривой линии 454. С дополнительной информацией по планированию (созданию последовательностей мини-манипуляций или устранения последствий проблем) можно ознакомиться в документе М. Гараньяни (Garagnani, М) (1999), «Improving the Efficiency of Processed Domain-axioms Planning», Procedings of PLANSIG-99, Manchester, England, pp. 190-192, информация, раскрытая в нем, полностью включена в состав настоящего описания.

В указанном документе рассмотрены условия динамической устойчивости, которые включены в настоящее описание посредством ссылки, для обеспечения нормального функционирования роботизированных рук. Данные условия включают в себя фундаментальный принцип для расчета крутящего момента, передаваемого на шарниры роботизированных рук:

где Т - вектор момента (Т имеет n составляющих, каждая из которых соответствует степени свободы роботизированных рук), М - инерционная матрица системы (М - положительная полуопределенная матрица размером n на n), С - сочетание центростремительной и центробежной сил (также матрица n на n), G(q) - вектор ускорения свободного падения, a q - вектор положения. Они включают в себя поиск стабильных точек и минимума, например, с помощью уравнения Лагранжа, если положения робота (х) можно описать с помощью дважды дифференцируемых функций (у).

Чтобы система, состоящая из роботизированной кисти и рук/захватов, была устойчивой, важно, чтобы система была правильно сконструирована и построена, а также имела соответствующую систему обнаружения и управления, которая работает в допустимых пределах производительности. Данная причина играет важную роль в связи с тем, что для достижения оптимальной (максимальной скорости при максимальном отслеживании положения/скорости и усилиях/крутящем моменте при стабильности всех условий) производительности для физической системы и того, что просит сделать контроллер.

Что касается правильной конструкции, необходимо обеспечить правильную контролируемость и управляемость системы. Контролируемость означает, что ключевые переменные параметры системы (положения, скорости, усилия и крутящие моменты шарниров/пальцев) могут быть измерены системой, т.е. она должна быть способна измерять значения данных переменных, что, в свою очередь, подразумевает наличие и использование подходящих измерительных устройств (внутренних или внешних). Управляемость подразумевает, что система (в данном случае компьютер) способна формировать или управлять ключевыми осями системы на основании значений параметров, получаемых с помощью внутренних/внешних датчиков; обычно это означает, что исполнительный механизм или прямое/косвенное управление определенным параметром выполняется с помощью мотора или другой управляемой компьютером системой привода. Возможность создания максимально линейной системы с точки зрения ее реакции для минимизации отрицательного воздействия нелинейностей (трение покоя, люфт, гистерезис и т.д.) позволяет использовать такие схемы управления, как программное изменение коэффициента усиления ПИД-регулятора и нелинейных регуляторов, например, плавное регулирование для обеспечения стабильности и эффективности системы даже при наличии неопределенностей при моделировании системы (погрешности в оценке массы/инерции, дискретизация геометрии контуров, погрешности дискретизации датчика/крутящего момента и т.д.), которые всегда имеют место в высокоэффективных системах управления.

Более того, использование подходящей системы вычисления и дискретизации играет важную роль, поскольку способность системы быстро перемещаться с определенным максимальным частотным спектром сильно зависит от того, какой полосы пропускания системы управления (частота дискретизации замкнутого цикла системы компьютерного управления) вся система может достичь, и от того, какую частотную характеристику (способность отслеживать движения при определенных скоростях и частотном спектре перемещений) система может использовать.

Все описанные выше характеристики играют важную роль для обеспечения того, что система с высокой избыточностью сможет фактически выполнить сложные и ловкие движения человека-повара, требуемые для успешного динамического или стабильного выполнения сценария рецепта.

Машинное обучение в контексте роботизированной манипуляции, соответствующей настоящему изобретению, может использовать известные способы регулировки параметров, такие как стимулированное обучение. Альтернативным предпочтительным вариантом осуществления для данного изобретения является другой более подходящий способ обучения для циклического выполнения сложных действий, таких как подготовка и приготовление пищи в несколько этапов в течение некоторого периода времени, в частности, это может быть ситуационное обучение. Ситуационное обучение, также известное как метод аналогий, требует определенного времени.

В общем виде ситуационное обучение содержит следующие этапы:

A. Создание и запоминание ситуаций. Ситуация - последовательность действий с параметрами, которые успешно выполняются для достижения цели. К данным параметрам можно отнести расстояния, усилия, направления, положения и другие физические или электронные измерения, чьи значения должны соответствовать определенным требованиям для успешного выполнения задачи (например, операции приготовления). В первую очередь,

1. сохранение аспектов проблемы, которая была решена, а также:

2. способ (способы) и дополнительные промежуточные этапы для решения проблемы и значения параметров;

3. (обычно) сохранение конечного результата.

B. Использование ситуаций (на более позднем этапе)

4. Извлечение одной или нескольких сохраненных ситуаций, где проблемы наиболее схожи с новой проблемой;

5. дополнительная регулировка параметров извлеченной ситуации (ситуаций) для применения к текущей ситуации (например, предмет может весить несколько больше, а, следовательно, для его подъема требуется несколько большая сила);

6. использование аналогичных способов и этапов из ситуации (ситуаций) с отрегулированными параметрами (при необходимости) для по меньшей мере частичного решения новой проблемы.

Следовательно, ситуационное обучение включает в себя запоминание предыдущих проблем и применение возможных изменений параметров для решения новых аналогичных проблем. Однако для того чтобы применить ситуационное обучение к роботизированным манипуляциям, может понадобиться нечто большее. Изменение одного параметра плана решения приведет к изменению одного или нескольких связанных параметров. Это потребует преобразования решения проблемы, а не просто его применения. Новый процесс можно назвать ситуационным роботизированным обучением, поскольку он обобщает решение для множества схожих решений (соответствующих небольшим изменениям входных параметров, включая точный вес, форму и место подачи ингредиентов). Ситуационное роботизированное обучение используется следующим образом:

С. Построение, запоминание и трансформация роботизированных манипуляций

1. Сохранение аспектов проблемы, которая была решена, а также:

2. значения параметров (например, инерционная матрица, усилия и т.д. из уравнения 1);

3. выполнение анализа методом возмущений путем изменения параметра (параметров), относящегося к области применения (например, для кулинарии это может быть изменение веса ингредиентов или их точного начального положения), чтобы увидеть, насколько значения параметров могут варьироваться при условии достижения желательных результатов;

4. запись того, какие другие значения параметров будут изменены (например, силы) и насколько они изменятся, с помощью анализа модели методом возмущений;

5. если изменения находятся в пределах технических характеристик роботизированного приспособления, то выполняется сохранение трансформированного плана решения (с указанием зависимостей между параметрами и расчетными прогнозируемыми изменениями для их значений).

D. Применение ситуаций (на более позднем этапе)

6. Извлечение одной или нескольких сохраненных ситуаций с трансформированными точными значениями (либо для текущих диапазонов, либо расчеты для новых значений в зависимости от значений входных параметров), но начальные проблемы которых все еще очень похожи на новую проблему, включая значения параметров и диапазоны значений;

7. использование трансформированных способов и этапов для ситуации (ситуаций) для по меньшей мере частичного решения новой проблемы.

Когда шеф-повар обучает робота (две руки и измерительные устройства, например с помощью тактильной обратной связи от пальцев, обратной связи по усилию от шарниров, а также одной или нескольких камер), робот запоминает не только определенные последовательности движений с временной корреляцией, но и группы небольших вариаций движений шеф-повара при приготовлении одного блюда вне зависимости от незначительных вариаций наблюдаемых входных параметров, таким образом, он запоминает объединенный трансформированный план, расширяя возможности применения метода запоминания. Подробная информация о ситуационных выводах и обучении приведена в материалах Лика (Leake), 1996 Book, «Case-Based Reasoning: Experiences, Lessons and Future Directions», http://journals.cambridge.org/ action/displayAbstract?fromPage=online&aid=4068324&fileld=S0269888900006585dl.acm.org/citation.cfm?id=52 4680; Карбонелла (Carbonell), 1983, «Learning by Analogy: Formulating and Generalizing Plans from Past Experience», http://link.springer.com/chapter/10.1007/978-3-662-12405-5_5, информация, раскрытая в них, полностью включена в состав настоящего описания.

Как показано на Фиг. 8Е, процесс приготовления требует выполнения последовательности этапов для множества стадий S₁, S₂, S₃ … S_j … S_n приготовления пищи, как показано в виде временной последовательности 456. Это может потребовать строгого соблюдения линейного/ последовательного порядка, либо что-то можно будет выполнить параллельно; в любом случае имеется набор стадий {S₁, S₂, S_i, S_n}, каждая из которых должна быть успешно выполнена для достижения успеха. Если вероятность успеха каждой стадии равна P(s_i) для n стадий, то вероятность успеха оценивается как произведение вероятностей успеха для каждой стадии:

Специалисты в данной области техники должны понимать, что вероятность общего успеха может быть ниже, даже если вероятность успеха отдельных стадий относительно высока. Например, при наличии 10 стадий и вероятности успеха выполнения каждой стадии, равной 90%, вероятность успеха будет составлять: (0,9)¹⁰=0,28 или 28%.

Стадия приготовления блюда содержит одну или несколько мини-манипуляций, при этом каждая мини-манипуляция содержит одно или несколько роботизированных действий, приводящих к определенному промежуточному результату. Например, нарезка овоща может представлять собой мини-манипуляцию, включающую в себя захват овоща одной кистью, захват ножа другой кистью, выполнение повторяющихся движений ножом до тех пор, пока нарезка овоща не будет завершена. Стадия приготовления блюда может включать в себя одну или несколько мини-манипуляций по нарезке.

Формула расчета вероятности успеха одинаково хорошо подходит для стадий и для мини-манипуляций, поскольку каждая мини-манипуляция является относительно независимой от других мини-манипуляций.

В одном варианте для смягчения проблемы снижения достоверности успеха из-за потенциальной ошибки смешения, рекомендуется использовать стандартизованные способы для большинства или всех мини-манипуляций на всех стадиях. Стандартизованные операции - операции, которые могут быть заранее запрограммированы, предварительно протестированы и при необходимости предварительно отрегулированы для выбора последовательности операций с наибольшей вероятностью успеха. Таким образом, если вероятность успеха стандартизованных способов, использующих мини-манипуляции на стадиях, является очень высокой, то общая вероятность успеха приготовления блюда за счет предварительной подготовки, выполняемой до доведения всех этапов до идеала и их тестирования, также будет очень высокой. Вернемся к предыдущему примеру: если каждая стадия использует надежные стандартизованные способы, а вероятность ее успеха равна 99% (вместо 90% в предыдущем примере), то общая вероятность успеха будет равна (0,99)¹⁰=90,4%, при условии использования 10 стадий, как и раньше. Это гораздо больше 28%-ной вероятности нужного конечного результата.

В соответствии с другим вариантом осуществления для каждой стадии имеется несколько альтернативных способов, при этом при неудачном использовании одного варианта используется другой вариант. В этом случае требуется динамический контроль для определения успеха или неудачи при выполнении каждой стадии и наличие альтернативных вариантов. Вероятность успеха для данной стадии является дополнением до единицы для вероятности неудачного использования всех альтернативных вариантов, что математически может быть выражено следующим образом:

В предыдущем уравнении s_i - стадия, A(s_i) - набор альтернативных вариантов выполнения стадии s_i. Вероятность неудачного использования определенного альтернативного варианта является дополнением до единицы для вероятности успеха данного альтернативного варианта, т.е. 1-P(S_i|a_j), а вероятность неудачи для всех альтернативных вариантов равна произведению в предыдущей формуле. Следовательно, вероятность того, что не все они будут неудачными - дополнение произведения до единицы. Используя альтернативные варианты, можно оценить общую вероятность успеха как произведение каждой стадии с альтернативными вариантами, т.е.:

При использовании способа альтернатив, если каждая из 10 стадий имеет 4 альтернативы, и ожидается, что вероятность успеха для каждой альтернативы на каждой стадии равна 90%, то общая вероятность успеха будет равна (1-(1-(0,9))⁴)¹⁰=0,99 или 99% по сравнению с 28% для случая, когда альтернативы не используются. Способ, основанный на использовании альтернатив, преобразует исходную проблему из цепи стадий с множеством единичных точек отказа (при неудаче на какой-либо стадии) к одной стадии без отдельных точек отказа, поскольку для того, чтобы стадия завершилась неудачно, все альтернативы должны завершиться неудачно, что позволяет повысить надежность.

В соответствии с другим вариантом осуществления стандартизованные стадии, содержащие стандартизованные мини-манипуляции, и альтернативные средства приготовления пищи на определенных стадиях объединяются, что позволяет дополнительно повысить надежность. В данном случае вероятность успеха может быть очень высока, даже при наличии нескольких альтернатив только для некоторых стадий или мини-манипуляций.

В соответствии с другим вариантом осуществления альтернативы, которые используются в случае неудачи, предусмотрены только для стадий с низкой вероятностью успеха, например, стадий, для которых нет достаточно надежного стандартизованного способа, или для которых имеет место потенциальная изменчивость, например, из-за материалов неправильной формы. Данный вариант позволяет снизить избыточность, связанную с использованием альтернатив на всех стадиях.

На Фиг. 8F представлен график, на котором вероятность общего успеха (ось Y) показана в виде функции от количества стадий, необходимых для приготовления блюда (ось X) для первой кривой 458, соответствующей нестандартизованной кухне 458, и второй кривой 459, соответствующей стандартизованной кухне 50. В данном примере предполагается, что вероятность успеха для каждой отдельной стадии приготовления пищи составляет 90% для нестандартизованной операции и 99% для стандартизованной заранее запрограммированной стадии. Общая погрешность гораздо выше, чем в первом случае, что видно на примере кривой 458 и кривой 459.

На Фиг. 8G представлена блок-схема, иллюстрирующая выполнение рецепта 460 с несколькими стадиями для роботизированного приготовления пищи при помощи мини-манипуляций и элементарных действий. Каждый рецепт 460 для приготовления пищи может быть разделен на несколько стадий приготовления пищи: первая стадия приготовления пищи S₁ 470, вторая стадия приготовления пищи S₂ … n-я стадия приготовления пищи S_n 490, которые выполняются с помощью роботизированных рук 70 и роботизированных кистей 72. Первая стадия приготовления пищи S₁ 470 содержит одну или несколько мини-манипуляций MM₁ 471, ММ₂ 472 и ММ₃ 473. Каждая мини-манипуляция включает в себя одно или несколько элементарных действий для достижения результата выполнения функции. Например, первая мини-манипуляция ММ₁ 471 включает в себя первое элементарное действие AP₁ 474, второе элементарное действие АР₂ 475 и третье элементарное действие АР₃ 475, необходимые для достижения результата выполнения функции 477. Одна или несколько мини-манипуляций MM₁ 471, ММ₂ 472, ММ₃ 473 на первой стадии S₁ 470 позволяют достичь результата выполнения стадии 479. Сочетание одной или нескольких стадий приготовления пищи S₁ 470, второй стадий приготовления пищи S₂ и n-ной стадии приготовления пищи S_n 490 позволяет получить практически такой же или аналогичный результат путем воспроизведения процесса приготовления пищи шеф-повара 49, записанного в студии 44 шеф-повара.

Заранее заданная мини-манипуляция позволяет достичь каждого результата выполнения функции (например, яйцо разбито). Каждая мини-манипуляция содержит набор элементарных действий, которые выполняются вместе и позволяют достичь результата выполнения функции. Например, робот может переместить кисть в сторону яйца, прикоснуться к яйцу для определения его положения и проверки его размера, а затем выполнить движения и измерения с помощью датчиков, необходимые для захвата и подъема яйца в известную и заранее заданную конфигурацию.

Несколько мини-манипуляций могут быть собраны в стадии, например, создание соуса, для удобства понимания и организации рецепта. Конечным результатом выполнения всех мини-манипуляций для завершения всех стадий каждый раз должно являться воспроизведение блюда каждый раз с устойчивым результатом.

На Фиг. 9А представлено схематическое изображение примера роботизированной кисти 72 с пятью пальцами и запястьем, имеющей датчик RGB-D, датчики камеры и акустические датчики для обнаружения и перемещения кухонного инструмента, объекта или части кухонного оборудования. Ладонь роботизированной кисти 72 содержит датчик RGB-D 500, датчик с камерой или акустический датчик 504f. В качестве альтернативы ладонь роботизированной кисти 450 может включать в себя датчик с камерой и акустический датчик. Датчик RGB-D 500 или акустический датчик 504f способны обнаружить место расположения, габариты и форму объекта для создания трехмерной модели объекта. Например, датчик RGB-D 500 использует структурированный свет для захвата формы объекта, трехмерного преобразования и определения места расположения, планирования траектории, навигации, распознавания объекта и отслеживания людей. Акустический датчик 504f использует звуковые волны для захвата формы объекта. Вместе с датчиком с камерой 452 и/или акустическим датчиком 454 можно использовать видеокамеру 66, размещенную на роботизированной кухне, например, на рельсе или на роботе, для захвата, следования или направления перемещения кухонного инструмента, используемого шеф-поваром 49, как показано на Фиг. 7А. Видеокамера 66 располагается под углом и на некотором расстоянии от роботизированной кисти 72, обеспечивая таким образом обзор более высокого уровня для захвата объекта роботизированной кистью 72, за счет чего предоставляет высокоуровневый вид захвата или бросания/отпускания объекта роботизированной кистью. В качестве примера датчика RGB-D (красный луч, зеленый луч, синий луч и глубина) можно указать систему Kinect от компании Microsoft, которая оснащена RGB-камерой, датчиком глубины и многонаправленным микрофоном, управляемыми с помощью программного обеспечения, которое позволяет выполнять полноразмерный захват движения в пространстве, распознавание лиц и распознавание голоса.

Роботизированная кисть 72 имеет датчик RGB-D 500, расположенный внутри или рядом с центром ладони, который предназначен для определения размеров и формы объекта и расстояния до объекта, а также для выполнения операций с кухонным инструментом. Датчик RGB-D 500 выдает инструкции для кисти 72 при перемещении роботизированной кисти 72 в сторону объекта и используется при выполнении необходимых регулировок для захвата объекта. Кроме того, акустический датчик 502f и/или тактильный датчик давления расположены рядом с ладонью роботизированной кисти 72 и используются для определения расстояния и формы для последующего контакта с объектом. Акустический датчик 502f также может направлять роботизированную кисть 72 двигаться в сторону объекта. К дополнительным типам датчиков в кисти можно отнести ультразвуковые датчики, лазеры, датчики радиочастотной идентификации (RFID) и другие подходящие датчики. Более того, тактильный датчик давления используется в качестве механизма обратной связи при определении того, должна ли роботизированная кисть 72 продолжать увеличивать давление для захвата объекта в определенной точке, где имеется достаточное давление для безопасного подъема объекта. Кроме того, акустический датчик 502f в ладони роботизированной кисти 72 выполняет функцию тактильного восприятия для захвата и выполнения операций с кухонным инструментом. Например, когда роботизированная кисть 72 захватывает нож для резки говядины, величина давления, которое роботизированная кисть прилагает к ножу и говядине, может быть определена тактильным датчиком при завершении резки, т.е. когда на нож перестает действовать сопротивление, или при удерживании объекта. Распределенное давление может использоваться не только для фиксации объекта, но и для того, чтобы не повредить его (например, яйцо).

Кроме того, каждый палец на роботизированной кисти 72 имеет тактильные датчики вибраций 502а-е и акустические датчики 504а-е на соответствующих кончиках пальцев, как показано в виде первого тактильного вибрационного датчика 502а и первого акустического датчика 504а на кончике большого пальца, второго тактильного вибрационного датчика 502b и второго акустического датчика 504b на кончике указательного пальца, третьего тактильного вибрационного датчика 502с и третьего акустического датчика 504с на кончике среднего пальца, четвертого тактильного вибрационного датчика 502d и четвертого акустического датчика 504d на кончике безымянного пальца, а также пятого тактильного вибрационного датчика 502е и пятого акустического датчика 504е на кончике мизинца. Каждый тактильный вибрационный датчик 502а, 502b, 502с, 502d и 502е может имитировать различные поверхности и эффекты, изменяя форму, частоту, амплитуду, продолжительность и направление вибрации. Каждый акустический датчик 504а, 504b, 504с, 504d и 504е может определять расстояние и форму объекта, определять температуру или влажность, а также генерировать сигнал обратной связи. Дополнительные акустические датчики 504g и 504h размещены на запястье роботизированной кисти 72.

На Фиг. 9В представлено схематическое изображение поворотного устройства 510 с сенсорной камерой 512, которое соединено с парой роботизированных рук и кистей для работы на стандартизованной роботизированной кухне. Поворотное устройство 510 имеет датчик RGB-D 512 для контроля, захвата или обработки информации и трехмерных изображений на стандартизованной роботизированной кухне 50. Поворотное устройство 510 обеспечивает хорошее ситуативное понимание, которое не зависит от движений руки и датчика. Поворотное устройство 510 соединено с парой роботизированных рук 70 и кистей 72 для выполнения процесса приготовления пищи, однако пара роботизированных рук 70 и кистей 72 может создавать помехи для камер.

На Фиг. 9С представлено схематическое изображение сенсорных камер 514 на роботизированных запястьях 73 для выполнения различных операций на стандартизованной роботизированной кухне 50. В одном варианте камеры 514 представляют собой датчик RGB-D, который формирует цветное изображение и обеспечивает восприятие глубины, и установлены на запястьях 73 соответствующей кисти 72. Каждый датчик камеры 514 на соответствующем запястье 73 немного перекрывается рукой, хотя в целом они не перекрываются при захвате объекта роботизированной кистью 72. Однако датчики RGB-D камеры 514 могут закрываться соответствующей роботизированной кистью 72.

На Фиг. 9D представлено схематическое изображение системы «глаз на руке» 518 на роботизированных кистях 72 для выполнения различных операций на стандартизованной роботизированной кухне 50. Каждая кисть 72 имеет датчик, такой как датчик RGB-D для выполнения функции системы «глаз на руке» с помощью роботизированной кисти 72 на стандартизованной роботизированной кухне 50. Система «глаз на руке» 518 с датчиком RGB-D на каждой кисти генерирует высокодетальное изображение с незначительными перекрытиями, создаваемыми соответствующей роботизированной рукой 70 и соответствующей роботизированной кистью 72. Однако для роботизированной кисти 72 с системой «глаз на руке» 518 может возникнуть перекрытие при захвате объекта.

На Фиг. 9E-G представлены наглядные изображения аспектов деформируемой ладони 520 роботизированной кисти 72. Пальцы кисти с пятью пальцами обозначены следующим образом: большой палец - первый палец F1 522, указательный палец - второй палец F2 524, средний палец - третий палец F3 526, безымянный палец - четвертый палец F4 528, мизинец - пятый палец F5 530. Возвышение большого пальца 532 представляет собой выпуклую часть деформируемого материала на радиальной (первый палец F1 522) стороне кисти. Возвышение мизинца 534 представляет собой выпуклую часть деформируемого материала на ульнарной (пятый палец F5 530) стороне кисти. Пястно-фаланговые подушечки (ПФ подушечки) 536 представляют собой выпуклые деформируемые части на нижней (ладонной) стороне пястно-фаланговых (шарнирных) суставов второго, третьего, четвертого и пятого пальцев F2 524, F3 526, F4 528, F5 530. На роботизированную кисть 72 с деформируемой ладонью 520 надевается перчатка с мягкой кожей, имитирующей кожу человека, на наружной стороне.

Вместе возвышение большого пальца 532 и возвышение мизинца 534 обеспечивают приложение больших усилий от руки робота к объекту в рабочей области, при этом приложение данных усилий создает минимальное напряжение на шарнирах кисти робота (на изображении показана скалка). Дополнительные шарниры внутри ладони 520 могут обеспечивать деформацию ладони. Ладонь 520 должна деформироваться таким образом, чтобы обеспечивать создание наклонного углубления в ладони для захвата инструмента так же, как это делает шеф-повар (обычный захват ручки). Ладонь 520 должна деформироваться таким образом, чтобы создавать впадину для подходящего захвата выпуклых объектов, например, блюд и пищевых продуктов так же, как это делает шеф-повар (показано в виде лодочки 542 на Фиг. 9G).

Шарниры внутри ладони 520, которые могут выполнять подобные движения, включают в себя запястно-пястный сустав большого пальца (ЗПС), расположенный на радиальной стороне ладони рядом с запястьем, которая может иметь два разных направления перемещения (сгибание/разгибание и отведение/приведение). Дополнительные шарниры, необходимые для выполнения данных движений, могут включать в себя шарниры на ульнарной стороне ладони рядом с запястьем (ЗПС шарниры четвертого пальца F4 528 и пятого пальца F5 530), которые позволят выполнить сгибание под острым углом для создания чашеобразной формы у возвышения мизинца 534 и образования углубления на ладони.

Роботизированная ладонь 520 может иметь дополнительные/другие шарниры, необходимые для воспроизведения формы ладони, используемой человеком во время приготовления, например, несколько соединенных гибких суставов для формирования дуги 540 между возвышением большого пальца 532 и возвышением мизинца 534 для деформирования ладони 520, как, например, при прикосновении большого пальца F1 522 к мизинцу F5 530, как показано на Фиг. 9F.

Когда ладонь сложена лодочкой, возвышение большого пальца 532, возвышение мизинца 534 и ПФ подушечки 536 образуют неровности вокруг ладонной впадины, что позволяет ладони сомкнуться вокруг небольшого сферического объекта (например, 2 см).

Форма деформируемой ладони будет описана с помощью положений характерных точек относительно зафиксированной системы координат, как показано на Фиг. 9Н и 9I. Каждая характерная точка представляет собой вектор координат х, у и z, изменяющихся с течением времени. Положения характерных точек отмечены на сенсорной перчатке, носимой шеф-поваром, и на сенсорной перчатке, носимой роботом. Как показано на Фиг. 9Н и 9I, на перчатке также отмечена система координат. Характерные точки указаны на перчатке относительно указанной системы координат.

Характерные точки обнаруживаются с помощью откалиброванных камер, установленных в рабочей области, во время выполнения шеф-поваром действий по приготовлению. Траектории характерных точек, перемещающихся с течением времени, используются для сопоставления движения шеф-повара с движением робота, включая сопоставление с формой деформируемой ладони. Траектории движения характерных точек при движении шеф-повара также можно использовать для определения структуры деформируемой ладони робота, включая форму поверхности деформируемой ладони, а также расположение и диапазон перемещения шарниров кисти робота.

В соответствии с вариантом осуществления, изображенным на Фиг. 9Н, характерные точки расположены на возвышении мизинца 534, возвышении большого пальца 532 и ПФ подушечке 536 в шахматном порядке с метками, которые обозначают характерные точки в каждой области ладони. Система координат в области запястья состоит из четырех прямоугольников, которые используются системой координат. Характерные точки (или маркеры) обнаруживаются в соответствующих местах относительно системы координат. В соответствии с данным вариантом осуществления характерные точки и система координат могут быть расположены под перчаткой для обеспечения пищевой безопасности, но быть видимыми через перчатку для обеспечения возможности обнаружения.

На Фиг. 9Н показана кисть робота с визуальным шаблоном, который может быть использован для определения 3D положений характерных точек 550. Положения данных характерных точек формы предоставляют информацию о форме поверхности ладони при перемещении шарниров ладони и при деформировании поверхности ладони в ответ на прилагаемые усилия.

Визуальный шаблон включает в себя поверхностные метки 552 на кисти робота или на перчатке, надетой шеф-поваром. Данные метки поверхности могут быть закрыты прозрачной перчаткой 554 для обеспечения пищевой безопасности, однако поверхностные метки 552 остаются видимыми через перчатку.

Когда поверхностные метки 552 видны на изображениях с камеры, двухмерные характерные точки могут быть идентифицированы на данных изображениях с камеры за счет определения положения выпуклого или вогнутого углов визуального шаблона. Каждый такой угол на одном изображении с камеры представляет собой двухмерную характерную точку.

При идентификации одной характерной точки на нескольких изображениях с камеры пространственное положение данной точки может быть определено в системе координат, зафиксированной относительно стандартизованной роботизированной кухни 50. Данный расчет выполняется на основании двухмерного положения точки на каждом изображении и известных параметров камеры (положение, ориентация, поле обзора и т.д.).

Система координат 556, неподвижная относительно роботизированной кисти 72, может быть получена с помощью визуального шаблона системы координат. В одном варианте система координат 556, неподвижная относительно роботизированной кисти 72, содержит точку отсчета и три ортогональные оси координат. Она идентифицируется с помощью локализации характеристик визуального шаблона системы координат на нескольких камерах и использования известных параметров визуального шаблона системы координат и известных параметров камер для извлечения точки отсчета и осей координат.

Характерные точки трехмерной формы в системе координат станции приготовления пищи могут быть преобразованы в систему координат кисти робота после обнаружения системы координат кисти робота.

Форма деформируемой ладони состоит из вектора характерных точек трехмерной формы, каждая из которых привязана к относительной системе координат, неподвижной относительно кисти робота или шеф-повара.

Как показано на Фиг. 9I, характерные точки 560 в вариантах осуществления представлены в виде датчиков, таких как датчики на эффекте Холла, в различных областях (возвышение мизинца 534, возвышение большого пальца 532 и ПФ подушечка 536 ладони). Положение характерных точек определяется относительно системы координат, которая в данном варианте представляет собой магнит. Магнит создает магнитные поля, регистрируемые датчиками. Датчики в соответствии с данным вариантом осуществления расположены под перчаткой.

На Фиг. 9I показана кисть робота 72 с встроенными датчиками и одним или несколькими магнитами 562, которые могут быть использованы в качестве альтернативного механизма для определения мест расположения характерных точек трехмерной формы. Одна характерная точка формы соответствует встроенному датчику. Локации объемных характерных точек 560 позволяют получить информацию о форме поверхности ладони при перемещении шарниров ладони и при деформации поверхности ладони в ответ на прилагаемые усилия.

Локации объемных характерных точек определяются на основании сигналов от датчиков. Датчики генерируют выходные сигналы, позволяющие рассчитать расстояние в системе координат, привязанной к магниту, который прикреплен к кисти робота или шеф-повара.

Локация каждой объемной характерной точки в пространстве рассчитывается на основании измерений датчика и известных параметров, полученных при калибровке датчика. Форма деформируемой ладони определяется с помощью вектора характерных точек трехмерной формы, положение каждой из которых выражается в относительной системе координат, зафиксированной на кисти робота или шеф-повара. Дополнительная информация о стандартных областях контакта человеческой кисти и о функции захвата приведена в материалах Камакура (Kamakura), Норико (Noriko), Митико Мацуо (Michiko Matsuo), Харуми Исии (Harumi Ishii), Фумико Мицубоси (Fumiko Mitsuboshi) и Ерико Миура (Yoriko Miura) «Patterns of static prehension in normal hands», American Journal of Occupational Therapy 34, no. 7 (1980): 437-445, информация, раскрытая в них, полностью включена в состав настоящего описания.

На Фиг. 10А представлено схематическое изображение примеров записывающих устройств 550 для шеф-повара, которые шеф-повар 49 носит на роботизированной кухне 50 и использует их для записи и захвата его (ее) движений в процессе приготовления пищи по определенному рецепту. Записывающие устройства 550 включают в себя, не ограничиваясь этим, одну или несколько роботизированных перчаток (или роботизированный костюм) 26, мультимодальный датчик 20 и пару роботизированных очков 552. В студии 44 шеф-повара шеф-повар 49 носит роботизированные перчатки 26 для приготовления, записи и захвата движений шеф-повара во время приготовления. В качестве альтернативы шеф-повар 49 может носить роботизированный костюм с роботизированными перчатками, а не только роботизированные перчатки 26. В одном варианте роботизированная перчатка 26 с встроенными датчиками захватывает, записывает и сохраняет положение, давление и другие параметры движения руки, кисти и пальцев шеф-повара относительно системы координат XYZ с временными метками. Роботизированные перчатки 26 сохраняют положение и давление рук и пальцев шеф-повара 18 в трехмерной системе координат в течение некоторого временного периода, от начального момента до конечного момента цикла приготовления определенного блюда. Когда шеф-повар 49 носит роботизированные перчатки 26, все движения, положение кистей, движения захвата и величина оказываемого давления при приготовлении блюда в студии 44 шеф-повара точно записываются с определенным временным интервалом, например, каждые t секунд. Мультимодальный датчик (датчики) 20 может представлять собой видеокамеры, ИК-камеры и дальномеры 306, стереокамеру (стереокамеры) (или даже камеру (камеры) с тринокулярной насадкой) 308 и лазерные сканеры 310 для многомерного сканирования и предоставляет данные многодиапазонных датчиков для основных программных механизмов абстракции 312 (после сбора и фильтрации в модуле 314 сбора и фильтрации данных). Мультимодальный датчик 20 генерирует трехмерную поверхность или текстуру, а также обрабатывает данные модели абстрагирования. Данные используются в модуле интерпретирования рабочей области 316 для выполнения нескольких этапов, включая, без ограничения перечисленным, построение поверхностей геометрических тел высокого и низкого разрешения (лазер: высокое разрешение; стереокамера: низкое разрешение) на рабочем месте, с наложенной информацией о цвете и текстуре в видимом и инфракрасном диапазонах, что позволит алгоритмам обнаружения контуров и обнаружения трехмерных объектов определить, какие элементы находятся в рабочей области, чтобы использовать алгоритмы картирования формы/цвета/текстуры и консистенции для использования обработанных данных при передаче обработанной информации в Модуль 318 Выполнения Операций с Кухонным Оборудованием в Процессе Приготовления. Кроме роботизированных перчаток 76 шеф-повар 49 может носить пару роботизированных очков 552, которые имеют один или несколько роботизированных датчиков 554 вокруг оправы с роботизированными наушниками 556 и микрофоном 558. Роботизированные очки 552 обеспечивают дополнительные возможности визуализации и захвата, например как камера для захвата видео и записи изображений, которые шеф-повар 49 видит во время приготовления пищи. Один или несколько роботизированных датчиков 554 захватывают и записывают температуру и запах приготавливаемой пищи. Наушники 556 и микрофон 558 улавливают и записывают звуки, которые шеф-повар 49 слышит во время приготовления, к которым можно отнести человеческие голоса, звуки, характерные для жарки, приготовления на гриле, помола и т.д. Шеф-повар 49 также может параллельно записывать речевые инструкции и этапы приготовления в режиме реального времени с помощью наушников и микрофона 82. В связи с этим роботизированные записывающие устройства 550 для шеф-повара записывают движения шеф-повара, скорость, температуру и звуковые параметры во время процесса приготовления пищи определенных блюд.

На Фиг. 10В представлена блок-схема, иллюстрирующая один вариант процесса 560 оценки результатов захвата движений шеф-повара для определения поз, движений и усилий робота. В базе данных 561 хранятся заранее заданные (или заранее определенные) позы захвата 562 и заранее заданные движения кисти, выполняемые с помощью роботизированных рук 72 и роботизированных кистей 72, эти данные взвешены по важности 564, а также имеют отмеченные точки контакта 565 и сохраненные усилия контакта 565. На этапе 567 модуль 98 записи движений шеф-повара захватывает движения шеф-повара при приготовлении блюда частично на основании заранее заданных поз захвата 562 и заранее заданных движений кисти 563. На этапе 568 роботизированный механизм приготовления пищи 56 оценивает конфигурацию роботизированного приспособления с точки зрения его способности использования поз, движений и усилий, а также выполнения мини-манипуляций. Следовательно, для конфигурации роботизированного приспособления выполняется итеративный процесс 569 оценки параметров конструкции робота (этап 570), регулировки расчетных параметров для повышения эффективности работы (этап 571) и изменения конфигурации роботизированного приспособления (этап 572).

На Фиг. 11 представлено схематическое изображение вида сбоку роботизированной руки 70 для использования со стандартизованной роботизированной кухонной системой 50 на бытовой роботизированной кухне 48. В других вариантах одна или несколько роботизированных рук 70, например, одна рука, две руки, три руки, четыре руки или больше, могут быть предназначены для работы на стандартизованной роботизированной кухне 50. Один или несколько программных файлов 46 с рецептами из студии 44 шеф-повара, где хранится информация о движениях руки, кисти и пальцев шеф-повара во время приготовления пищи, могут быть выгружены и преобразованы в роботизированные инструкции для управления одной или несколькими роботизированными руками 70 и одной или несколькими роботизированными кистями 72 для имитации движений шеф-повара для приготовления блюд, приготовленного шеф-повар. Роботизированное приспособление управляется с помощью роботизированных инструкций для воспроизведения точных движений шеф-повара при приготовлении определенного блюда. Каждая роботизированная рука 70 и каждая роботизированная кисть 72 также может включать в себя дополнительные особенности и инструменты, такие как нож, вилка, ложка, лопатка, другие типы утвари или инструментов для приготовления пищи, чтобы успешно выполнить процесс приготовления пищи.

На Фиг. 12А-С представлены схематические изображения варианта кухонной ручки 580 для роботизированной руки 72 с ладонью 520. Конструкция кухонной ручки 580 должна быть универсальной (или стандартизованной), чтобы одну кухонную ручку 580 можно было прикрепить к разной кухонной утвари или инструментам, например, ножу, лопатке, скребку, ковшу, шумовке, щипцам для переворачивания пищи и т.д. На Фиг. 12А-В представлены общие виды различных кухонных ручек 580. Роботизированная кисть 72 захватывает кухонную ручку 580, как показано на Фиг. 12С. Без отступления от сущности настоящего изобретения могут быть использованы стандартизованные (или универсальные) кухонные ручки с другой конструкцией.

На Фиг. 13 представлено наглядное изображение примера роботизированной кисти 600 с тактильными датчиками 602 и датчиками 604 распределения давления. Во время процесса приготовления пищи роботизированное приспособление использует сигналы касания, сгенерированные датчиками на концах пальцев и ладонях кистей робота для обнаружения усилия, температуры, влажности и токсичности, при воспроизведении роботом поэтапных движений и сравнивает полученные значения с тактильным профилем программы приготовления в студии шеф-повара. Визуальные датчики помогают роботу идентифицировать окружающие предметы и выполнить соответствующие действия по приготовлению. Роботизированное приспособление анализирует изображение текущих внешних условий от видеодатчиков и сравнивает их с сохранным изображением программы приготовления в студии шеф-повара таким образом, чтобы выполнить соответствующие движения для достижения идентичных результатов. Также роботизированное приспособление использует различные микрофоны для сравнения речевых инструкций шеф-повара с фоновым шумом в процессе приготовления пищи для повышения эффективности распознавания во время приготовления. Дополнительно робот может иметь электронный нос (не показан) для обнаружения запаха или аромата и температуры окружающей среды. Например, роботизированная кисть 600 способна различать настоящие яйца с помощью сигналов о текстуре поверхности, температуре и весе, сгенерированных тактильными датчиками на пальцах и ладони, а также может прилагать необходимые усилия для удержания яйца, не разбивая его, а также выполнять проверку качества путем потрясывания и прослушивания колебаний внутренней жидкости, разбивать яйца, смотреть и нюхать желток и белок для определения свежести. Роботизированная кисть 600 может выполнять действия для выбрасывания плохих яиц или отбора свежих яиц. Датчики 602 и 604 на кистях, руках и голове позволяют роботу двигаться, прикасаться, смотреть и слушать для того, чтобы выполнить процесс приготовления пищи с помощью внешней обратной связи и получить блюдо, которое будет идентично блюду, приготовленному шеф-поваром.

На Фиг. 14 представлено наглядное изображение примера сенсорного костюма 620 для шеф-повара 49, который он носит на роботизированной студии-кухне 50. Во время приготовления блюда в соответствии с программным файлом 46 шеф-повар 49 носит костюм 620 с датчиками для захвата его движений при приготовлении пищи в режиме реального времени, в определенной временной последовательности. Костюм 620 может представлять собой, не ограничиваясь этим, тактильный костюм 622 (показан костюм с одной полноразмерной рукой и кистью), тактильные перчатки 624, мультимодальный датчик (датчики) 626, костюм для головы 628. Тактильный костюм 622 с датчиками способен захватывать данные о движениях шеф-повара и передавать полученные данные на компьютер 16 для записи положений в виде координат XYZ и давления человеческих рук 70 и кистей/пальцев 72 в системе координат XYZ с временными метками. Костюм 620 также выполняет измерения, а компьютер 16 записывает положение, скорость и усилия/крутящие моменты и модели контактирования человеческих рук 70 и кистей/пальцев 72 в конечной точке в системе координат робота, а также сопоставляет их с временными метками системы для связывания с относительными положениями на стандартизованной роботизированной кухне 50 с геометрическими датчиками (лазером, 3D стерео датчиками или видеодатчиками). Тактильные сенсорные перчатки 624 используются для захвата, записи и сохранения сигналов усилий, температуры, влажности и токсичности, полученных с помощью тактильных датчиков в перчатках 624. Костюм 628 для головы может представлять собой устройства обратной связи с видеокамерой, акустическим датчиком, лазером или датчиками радиочастотной идентификации (RFID) и пользовательской парой очков, которые используются для обнаружения, захвата и передачи полученных данных на компьютер 16 для записи и сохранения изображений, которые шеф-повар 49 получает во время приготовления пищи. Кроме того, костюм 628 для головы также включает в себя датчики для обнаружения характерных значений температуры окружающей среды и запаха на стандартизованной роботизированной кухне 50. Более того, костюм 628 для головы также включает в себя звуковой датчик для захвата звуков, которые слышит шеф-повар 49, например, звуковые характеристики жарки, помола, рубки и т.д.

На Фиг. 15А-В представлены наглядные изображения одного варианта тактильной перчатки 630 с тремя пальцами и датчиками для приготовления пищи шеф-поваром 49, а также пример роботизированной кисти 640 с тремя пальцами и датчиками. В представленном варианте осуществления показана упрощенная роботизированная кисть 640 для приготовления пищи, которая имеет меньше пяти пальцев. Соответственно, сложность конструкции упрощенной роботизированной кисти 640 значительно снижается, так же как и стоимость производства упрощенной роботизированной кисти 640. В альтернативных вариантах можно использовать захваты с двумя пальцами или роботизированные кисти с четырьмя пальцами с противопоставленным большим пальцем или без него. В данном варианте движения кисти шеф-повара ограничены по функциональности тремя пальцами: большим пальцем, указательным пальцем и средним пальцем, при этом каждый палец имеет датчик 632 для считывания данных о движениях шеф-повара с учетом усилий, температуры, влажности, токсичности или тактильных ощущений. Тактильная перчатка 630 с тремя пальцами также включает в себя точечные датчики или датчики распределенного давления на ладони тактильной перчатки 630 с тремя пальцами. Движения шеф-повара при приготовлении блюда в тактильной перчатке 630 с тремя пальцами (большой палец, указательный палец и средний палец) записываются в программный файл. Следовательно, роботизированная кисть 640 с тремя пальцами воспроизводит движения шеф-повара из преобразованного программного файла с рецептом в роботизированные инструкции для управления большим пальцем, указательным пальцем и средним пальцем роботизированной кисти 640, а также контролирует датчики 642b на пальцах и датчики 644 на ладони роботизированной кисти 640. Датчики 642 представляют собой датчик усилия, датчик температуры, датчик влажности, датчик токсичности или тактильный датчик, при этом датчики 644 могут быть оснащены точечными датчиками или датчиками распределенного давления.

На Фиг. 16 представлено схематическое изображение создающего модуля 650 базы данных библиотек мини-манипуляций, а также исполняющего модуля 660 для базы данных библиотек мини-манипуляций. Создающий модуль 650 базы данных библиотек мини-манипуляций представляет собой процесс создания, тестирования различных возможных сочетаний, а также выбор оптимальных мини-манипуляций для достижения определенного результата выполнения функции. Одной целью создающих модулей 650 является анализ всех возможных сочетаний при выполнении определенных мини-манипуляций и предварительное формирование библиотеки оптимальных мини-манипуляций для последующего выполнения роботизированными руками 70 и роботизированными кистями 72 при приготовлении блюда. Создающий модуль 650 библиотеки мини-манипуляций также можно использовать в качестве способа обучения для роботизированных рук 70 и роботизированных кистей 72 различным функциям приготовления пищи из базы данных библиотек мини-манипуляций. Исполняющий модуль 660 базы данных библиотек мини-манипуляций позволяет выполнять ряд функций для мини-манипуляций, которые роботизированное приспособление может получить и выполнить из базы данных библиотек мини-манипуляций, содержащей первую мини-манипуляцию ММ₁ с первым результатом выполнения функции 662, вторую мини-манипуляцию ММ₂ со вторым результатом выполнения функции 664, третью мини-манипуляцию ММ₃ с третьим результатом выполнения функции 666, четвертую мини-манипуляцию ММ₄ с четвертым результатом выполнения функции 668, а также пятую мини-манипуляцию ММ₅ с пятым функциональным результатом 670 во время приготовления блюда.

На Фиг. 17А представлено схематическое изображение сенсорной перчатки 680, используемой шеф-поваром 49 для захвата его движений во время приготовления блюда. Перчатка 680 имеет множество датчиков 682а, 682b, 682с, 682d, 682е на каждом пальце, а также множество датчиков 682f, 682g на ладони перчатки 680 с датчиками. В одном варианте для захвата и анализа движений шеф-повара во время выполнения манипуляций кистью используется по меньшей мере 5 датчиков давления 682а, 682b, 682с, 682d, 682е внутри мягкой перчатки. В данном варианте в перчатку 680 встроено множество датчиков 682а, 682b, 682с, 682d, 682е, 682f и 682g, которые видны через материал перчатки 680 для осуществления внешнего контроля. Перчатка 680 может иметь характерные точки, соответствующие множеству датчиков 682а, 682b, 682с, 682d, 682е, 682f, 682g, которые характеризуют кривизну (или рельеф) кисти за счет различных относительно высоких и низких точек на перчатке 680. Перчатка 680, надетая на роботизированную кисть 72, изготовлена из мягких материалов, которые имитируют эластичность и форму человеческой кожи. Дополнительное описание, касающееся роботизированной кисти 72, можно найти при описании Фиг. 9А.

Роботизированная кисть 72 включает в себя датчик-камеру 684, такой как датчик RGB-D, датчик изображений или устройство визуального восприятия, расположенный в середине ладони или рядом с ней для определения размеров и формы объекта и расстояния до объекта, а также для выполнения операций с кухонным инструментом. Датчик изображений 682f выдает роботизированной кисти 72 указания для перемещения роботизированной кисти 72 в сторону объекта и выполнения необходимых регулировок для захвата объекта. Кроме того, рядом с ладонью роботизированной кисти 72 может быть расположен акустический датчик, например, тактильный датчик давления, для определения расстояния и формы объекта. Акустический датчик 682f также может управлять роботизированной кистью 72 для ее перемещения в сторону объекта. Каждый акустический датчик 682а, 682b, 682с, 682d, 682е, 682f, 682g может представлять собой ультразвуковые датчики, лазеры, датчики радиочастотной идентификации (RFID) и другие подходящие типы датчиков. Кроме того, каждый акустический датчик 682а, 682b, 682с, 682d, 682е, 682f, 682g используется в качестве механизма обратной связи для определения того, должна ли роботизированная кисть 72 продолжать увеличивать давление для захвата объекта в определенной точке, где имеется достаточное давление для захвата и подъема объекта. Кроме того, акустический датчик 502f в ладони роботизированной кисти 72 выполняет функцию тактильного восприятия для захвата и выполнения операций с кухонным инструментом. Например, когда роботизированная кисть 72 захватывает нож для резки говядины, величина давления, которое роботизированная кисть прилагает к ножу и говядине, может быть определена тактильным датчиком при завершении резки, т.е. когда на нож перестает действовать сопротивление. Распределенное давление может использоваться не только для фиксации объекта, но и для того, чтобы не повредить его (например, яйцо). Более того, каждый палец на роботизированной кисти 72 имеет датчик на кончике пальца, как показано в виде первого датчика 682а на кончике большого пальца, второго датчика 682b на кончике указательного пальца, третьего датчика 682с на кончике среднего пальца, четвертого датчика 682d на кончике безымянного пальца и пятого датчика 682f на кончике мизинца. Каждый датчик 682а, 682b, 682с, 682d, 682е выполняет функцию определения расстояния и формы объекта, определения температуры или влажности, а также генерирует сигналы тактильной обратной связи.

Датчик RGB-D 684 и акустический датчик 682f на ладони и акустические датчики 682а, 682b, 682с, 682d, 682е на кончике каждого пальца, генерируют сигналы обратной связи для роботизированной кисти 72 для захвата нестандартизованного объекта или нестандартизованного кухонного инструмента. Роботизированные кисти 72 могут регулировать давление для обеспечения достаточного захвата нестандартизованного объекта. Библиотека 690 программ, где хранятся шаблонные функции захвата 692, 694, 696 с определенными временными интервалами, которые роботизированная кисть 72 может использовать при выполнении определенных функций захвата, показана на Фиг. 17В. На Фиг. 17В представлено схематическое изображение базы данных 690 библиотек стандартизованных рабочих движениях модуля на стандартизованной роботизированной кухне 50. Стандартизованные рабочие движения, заранее заданные и сохраненные в базе данных 690, включают в себя захват, расположение и работу с кухонным инструментом или элементом кухонного оборудования.

На Фиг. 18А представлено схематическое изображение, иллюстрирующее, что на каждую роботизированную кисть 72 надета перчатка из искусственной мягкой кожи, имитирующей кожу человека. Перчатка 700 из искусственной мягкой кожи, имитирующей кожу человека, имеет множество встроенных датчиков, видимых для кистей робота 72, количество которых достаточно для выполнения мини-манипуляций высокого уровня. В одном варианте перчатка 700 из мягкой кожи имеет десять или более датчиков для воспроизведения движений кисти шеф-повара.

На Фиг. 18В представлено схематическое изображение роботизированных кистей, на которые надеты перчатки из искусственной кожи, имитирующей человеческую кожу, выполняющих мини-манипуляции высокого уровня на основании базы данных 720 библиотек мини-манипуляций, которые предварительно определяются и сохраняются в базе данных библиотек 720. Мини-манипуляции высокого уровня представляют собой последовательность элементарных действий, требующих значительных движений и усилий для взаимодействия, и обеспечивают их контроль. На сопроводительных чертежах представлено три примера мини-манипуляций, которые сохранены в базе данных 720. Первый пример мини-манипуляций - использование пары роботизированных кистей 72 для замешивания теста (722). Второй пример мини-манипуляций - использование пары роботизированных кистей 72 для приготовления равиоли (724). Третий пример мини-манипуляций - использование пары роботизированных кистей 72 для приготовления суши (726). Каждый из трех примеров мини-манипуляций имеет определенную продолжительность и кривую скорости, которые отслеживаются компьютером 16.

На Фиг. 18С представлена диаграмма, иллюстрирующая три типа таксономии манипуляций для приготовления пищи с непрерывной траекторией движения и усилиями роботизированной руки 70 и роботизированной кисти 72, позволяющими достичь желательного конечного состояния. Роботизированная рука 70 и роботизированная кисть 72 выполняют надежный захват и перемещение (730) для фиксации объекта с помощью неподвижного захвата и его переноса в нужное место без необходимости использования сложного взаимодействия. К примерам использования жесткого захвата и перемещения можно отнести установку сковороды на плиту, захват солонки, соление блюда, загрузку ингредиентов в чашу, выливание содержимого контейнера, перемешивание салата и переворачивание блинчиков. Роботизированная рука 70 и роботизированная кисть 72 выполняют надежный захват за счет силового взаимодействия (732), создавая надежный контакт между двумя поверхностями или объектами. К примерам использования жесткого захвата с силовым взаимодействием можно отнести перемешивание содержимого кастрюли, открывание коробки, поворот сковороды и перемещение предметов с разделочной доски в сковороду. В блоке 734 показаны роботизированная рука 70 и роботизированная кисть 72, которые выполняют силовое взаимодействие с деформацией, создавая надежный контакт между двумя поверхностями или объектами для деформирования одной из двух поверхностей, например, нарезание моркови, разбивание яйца или раскатывание теста. Дополнительная информация о функциях человеческой кисти, деформации человеческой ладони и ее роли при захвате приведена в материале И.А. Капанджи (I.A. Kapandji), «The Physiology of the Joints, Volume 1: Upper Limb, 6e», Churchill Livingstone, 6 edition, 2007, информация, раскрытая в нем, полностью включена в состав настоящего описания.

На Фиг. 18D представлена абстрагированная блок-схема, где показан один вариант систематизации манипуляций для приготовления пищи при замешивании теста (740). Замешивание теста может представлять собой мини-манипуляцию, которая была заранее определена в базе данных библиотек мини-манипуляций. Процесс замешивания теста (740) включает в себя последовательность действий (или коротких мини-манипуляций), включающий в себя захват теста (742), размещение теста на поверхности (744) и повторение действий замешивания до получения нужной формы (746).

На Фиг. 18Е представлена блок-схема, иллюстрирующая один пример взаимосвязи и взаимодействия роботизированной руки 70 и роботизированной кисти 72. Деформируемая роботизированная рука 750 характеризуется меньшей грузоподъемностью, повышенной безопасностью, повышенной аккуратностью действий и меньшей точностью. Антропоморфная роботизированная кисть 752 обеспечивает дополнительные функциональные возможности для выполнения операций с человеческими инструментами, упрощения перенастройки движений человеческой кисти, большую деформируемость, однако такая конструкция имеет большую сложность, а также связана с увеличением веса и стоимости изделия. Простая роботизированная кисть 754 легче, дешевле, имеет меньшие функциональные возможности и не может напрямую использовать человеческие инструменты. Промышленная роботизированная рука 756 обладает повышенной точностью, большей грузоподъемностью, но в целом не считается безопасной для людей и может потенциально создавать большую силу и приводить к травмам. В одном варианте стандартизованной роботизированной кухни 50 предлагается использовать первое сочетание деформируемой руки 750 и антропоморфной кисти 752. Другие три сочетания являются менее предпочтительными с точки зрения настоящего изобретения.

На Фиг. 18F представлено схематическое изображение, иллюстрирующее использование роботизированной кистью 72 стандартизованной кухонной ручки 580, которая может быть прикреплена к кухонной посуде, и роботизированной руки 70, которая может быть прикреплена к кухонной посуде. При использовании одной техники захвата кухонной посуды роботизированная кисть 72 захватывает стандартизованный кухонный инструмент 580 для крепления к любым стандартным частям кухонной посуды, как показано на примере вариантов 760а, 760b, 760с, 760d, 760е и т.д. В соответствии с примером стандартизованная кухонная ручка 580 крепится к нестандартной части лопатки 760е для использования во время быстрого обжаривания при постоянном помешивании ингредиентов на сковороде. В одном варианте стандартизованная кухонная ручки 580 может удерживаться роботизированной кистью 72 только в одном положении, что позволяет минимизировать возможные проблемы при других способах удерживания стандартизованной кухонной ручки 580. В соответствии с другой техникой захвата кухонной посуды роботизированная рука имеет один или несколько держателей 762, которые крепятся к кухонной посуде 762, при этом роботизированная рука 70 может приложить больше усилий при необходимости сжатия кухонной посуды 762 во время движения роботизированной кисти.

На Фиг. 19 представлена блок-схема, иллюстрирующая пример структуры 770 базы данных библиотек мини-манипуляций, необходимых для достижения результата «разбивание яйца при помощи ножа». Мини-манипуляция 770 для разбивания яйца включает в себя: как удерживать яйцо в правильном положении (772), как держать нож относительно яйца (774), каков наилучший угол для разбивания яйца при помощи ножа (776) и как открыть разбитое яйцо (778). Чтобы найти наилучший способ выполнения определенного движения проверяются различные возможные параметры для каждого элемента 772, 774, 776 и 778. Например, при удерживании яйца (772) проверяются различные положения, ориентации и способы удерживания яйца, позволяющие определить оптимальный способ удерживания яйца. Во-вторых, роботизированная кисть 72 держит нож в заранее заданном месте. Удерживание ножа (этап 774) анализируется с точки зрения различных положений, ориентаций и способов удерживания ножа, позволяя определить оптимальный способ удерживания ножа за ручку. В-третьих, удар ножом по яйцу (этап 776) также проверяется с точки зрения различных сочетаний удара ножа по яйцу для обнаружения лучшего способа удара ножом по яйцу. Следовательно, оптимальный способ выполнения мини-манипуляций по разбиванию яйца при помощи ножа (схема 770) сохраняется в базе данных библиотек мини-манипуляций. Сохраненная мини-манипуляция для разбивания яйца при помощи ножа (770) содержит информацию о лучшем способе удерживания яйца (этап 772), лучшем способе удерживания ножа (774) и лучшем способе удара ножом по яйцу (776).

Для создания мини-манипуляции, позволяющей разбить яйцо при помощи ножа, необходимо проверить несколько сочетаний параметров, что позволит определить набор параметров, которые позволят достичь желаемого результата выполнения функции, т.е. разбивания яйца. В данном примере выбираются параметры для определения способа захвата и удерживания яйца, чтобы оно не треснуло. Во время испытаний выбирается подходящий нож и подходящие положения для пальцев и ладони, чтобы его можно было удерживать во время удара. Движение удара должно позволять успешно разбить яйцо. Движение и/или усилие при открывании определяются таким образом, чтобы можно было успешно раскрыть разбитое яйцо.

Процесс обучения/запоминания для роботизированного приспособления включает в себя несколько циклических испытаний для определения необходимых параметров, позволяющих достичь требуемого конечного результата выполнения функции.

Данные испытания могу быть выполнены по различным сценариям. Например, может изменяться размер яйца. Также может изменяться место, в котором оно разбивается. Нож может находиться в различных местах. При этом мини-манипуляция должна успешно выполняться при любых изменяющихся обстоятельствах.

После завершения процесса обучения результаты сохраняются в виде набора элементарных действий, которые вместе позволяют достичь желаемого результата выполнения функции.

На Фиг. 20 представлена блок-схема, иллюстрирующая пример процесса 800 выполнения рецепта для мини-манипуляции с возможностью регулировок в режиме реального времени. При выполнении рецепта в процессе 800 роботизированные кисти 72 выполняют мини-манипуляцию 770 разбивания яйца при помощи ножа, при этом оптимальный способ выполнения каждого движения при разбивании яйца (772), удержании ножа (774), ударе ножом по яйцу (776) и открывании разбитого яйца (778) выбирается из базы данных библиотек мини-манипуляций. Процесс выполнения оптимального способа для каждого движения 772, 774, 776, 778 гарантирует, что мини-манипуляция 770 позволит достичь (или гарантирует) такого же или практически такого же результата выполнения определенной мини-манипуляции. Мультимодальный трехкоординатный датчик 20 обеспечивает регулировку 112 в режиме реального времени при возможных изменениях одного или нескольких параметров, таких как размер и вес яйца.

В качестве примера взаимосвязь между созданием мини-манипуляции на Фиг. 19 и выполнением мини-манипуляции на Фиг. 20, т.е. определенные переменные, связанных с мини-манипуляцией «разбивание яйца при помощи ножа», включает в себя начальные координаты яйца в системе координат XYZ, начальную ориентацию яйца, размер яйца, форму яйца, начальные координаты XYZ ножа, начальную ориентацию ножа, координаты места разбивания яйца в системе координат XYZ, скорость и продолжительность мини-манипуляций. Идентифицированные переменные мини-манипуляции «разбивание яйца при помощи ножа» определяются на этапе создания, когда данные идентифицируемые переменные могут быть скорректированы роботизированным механизмом 56 приготовления пищи на этапе выполнения соответствующей мини-манипуляции.

На Фиг. 21 представлена блок-схема, иллюстрирующая программную процедуру 810 для захвата движений шеф-повара при приготовлении пищи в модуле стандартизованной кухни для создания программных файлов 46 с рецептами из студии 44 шеф-повара. В студии 44 шеф-повара на этапе 812 шеф-повар 49 подбирает различные компоненты рецепта приготовления еды. На этапе 814 в роботизированный механизм 56 приготовления вводятся название, идентификатор ингредиента и входные измеренные значения для рецепта, который выбрал шеф-повар 49. На этапе 816 шеф-повар 49 перемещает пищевые продукты/ингредиенты в специальную стандартизованную посуду/приспособления для приготовления в специальные положения. Например, шеф-повар 49 может взять две средних луковицы шалота и два средних зубчика чеснока, положить восемь шампиньонов на поверхность для нарезки, а затем положить два листа слоеного теста 20 см × 30 см размораживаться из отсека для замороженных продуктов F02 в холодильнике (морозильнике). На этапе 818 шеф-повар 49 надевает перчатки 26 для захвата или тактильный костюм 622, который имеет датчики, захватывающие данные о движениях шеф-повара и передающие их на компьютер 16. На этапе 820 шеф-повар 49 начинает работать по рецепту, который он или она выбрал (выбрала) на этапе 122. На этапе 822 модуль 98 записи движений шеф-повара захватывает и записывает точные движения шеф-повара, включая измерения усилий, давления, положений в системе координат XYZ и ориентацию рук и пальцев шеф-повара в режиме реального времени на стандартизованной роботизированной кухне 50. Более того, для захвата движений, давления и положений шеф-повара модуль 98 записи движений шеф-повара записывает видео (с изображениями блюда, ингредиентов, процесса и взаимодействия) и звук (человеческий голос, шипение при жарке и т.д.) во время процесса приготовления пищи при использовании определенного рецепта. На этапе 824 роботизированный механизм 56 приготовления сохраняет полученные данные с этапа 822, включающие в себя движения шеф-повара от датчиков на перчатках 26 и от мультимодальных трехкоординатных датчиков 30. На этапе 826 программный модуль 104 абстрагирования рецепта генерирует сценарий рецепта, подходящий для использования системой. На этапе 828 после генерирования и сохранения данных рецепта программный файл 46 с рецептом становится доступным для покупки или подписки через магазин приложений или торговую площадку с компьютера, установленного дома или в ресторане, также для этих целей на мобильные устройства можно установить приложение для рецептов роботизированного приготовления.

На Фиг. 22 представлена блок-схема 830, иллюстрирующая программную процедуру для приготовления пищи с помощью роботизированного приспособления в модуле стандартизованной роботизированной кухни с роботизированным приспособлением на основании одного или нескольких программных файлов 22 с рецептами, полученных от студии 44 шеф-повара. На этапе 832 из студии 44 шеф-повара пользователь 24 с помощью компьютера 16 выбирает рецепт, который был предварительно куплен или на который была оформлена подписка. На этапе 834 роботизированный механизм 56 приготовления пищи на бытовой роботизированной кухне 48 принимает входные сигналы от модуля ввода 51 для выбранного рецепта, по которому будет выполняться приготовление. На этапе 836 роботизированный механизм приготовления пищи 56 на бытовой роботизированной кухне 48 выбранный рецепт выгружается в модуль памяти 102 с программными файлами 46 с рецептами. На этапе 838 роботизированный механизм 56 приготовления пищи на бытовой роботизированной кухне 48 определяет наличие ингредиентов для завершения выбранного рецепта и приблизительное время приготовления, необходимое для приготовления блюда. На этапе 840 роботизированный механизм 56 приготовления пищи на бытовой роботизированной кухне 48 анализирует предварительные условия для выбранного рецепта и решает, имеет ли место недостаточное количество или отсутствие некоторых ингредиентов, или недостаточное время для сервировки блюда в соответствии с выбранным рецептом и правилами сервировки. При несоблюдении предварительных условий на этапе 842 роботизированный механизм 56 приготовления пищи на бытовой роботизированной кухне 48 отправляет предупреждение, указывающее на то, что ингредиенты необходимо добавить в список покупок, или предлагает другой рецепт или правила сервировки. С другой стороны, при соблюдении предварительных условий на этапе 844 роботизированный механизм 56 приготовления пищи подтверждает выбор рецепта. На этапе 846 после подтверждения выбора рецепта пользователь 60 с помощью компьютера 16 перемещает пищевые продукты/ингредиенты в определенные стандартизованные контейнеры в требуемые положения. После помещения ингредиентов в специальные контейнеры в указанные положения на этапе 848 роботизированный механизм 56 приготовления пищи на бытовой роботизированной кухне 48 проверяет наступление времени начала приготовления. На данном этапе бытовой роботизированный механизм 56 приготовления пищи предлагает выполнить вторую проверку соблюдения предварительных условий. Если роботизированный механизм 56 не готов начать процесс приготовления, он продолжает проверять предварительные условия на этапе 850 до наступления времени начала приготовления. Если роботизированный механизм 56 готов начать процесс приготовления, то на этапе 852 модуль 96 проверки качества сырых пищевых продуктов в роботизированном механизме 56 анализирует предварительные условия для выбранного рецепта и сравнивает каждый ингредиент с описанием рецепта (например, одно жаркое из говяжьей вырезки) и условия (например, срок годности/дату покупки, запах, цвет, текстуру и т.д.). На этапе 854 роботизированный механизм 56 устанавливает время на «0» и выгружает программный файл 46 с рецептом на одну или несколько роботизированных рук 70 и роботизированных кистей 72 для воспроизведения движений шеф-повара при приготовлении выбранного блюда в соответствии с программным файлом 46 с рецептом. На этапе 856 одна или несколько роботизированных рук 72 и кистей 74 обрабатывают ингредиенты и используют способ/технику приготовления, идентичные движениям рук, кистей и пальцев шеф-повара 49 с точным давлением, точным усилием и положением в системе координат XYZ, с приращением времени, измеренным при получении и записи движений шеф-повара. В это время одна или несколько роботизированных рук 70 и кистей 72 сравнивают результаты приготовления по контролируемым данным (температура, вес, потери и т.д.) и данным о веществе (цвет, внешний вид, запах, размер частей и т.д.), как показано на этапе 858. После сравнения данных на этапе 860 роботизированное приспособление (включающее в себя роботизированные руки 70 и роботизированные кисти 72) корректирует и выравнивает результаты. На этапе 862 роботизированный механизм 56 управляет роботизированным устройством для перемещения готового блюда на специальные сервировочные блюда и ставит их на поднос.

На Фиг. 23 представлена блок-схема, на иллюстрирующая один вариант программной процедуры для создания, тестирования, проверки и сохранения различных сочетаний параметров для базы данных 870 библиотек мини-манипуляций. База данных 870 использует успешное прохождение одноразовой проверки 870 (например, удерживание яйца), которое сохраняется во временную библиотеку, и проверку сочетания результатов одноразовой проверки 890 (например, все движения для разбивания яйца) в базу данных библиотек мини-манипуляций. На этапе 872 компьютер 16 создает новую мини-манипуляцию (например, разбивание яйца) с набором элементарных действий (или набором дискретных действий по рецепту). На этапе 874 определяется количество объектов (например, яйцо и нож), связанных с новой мини-манипуляцией. На этапе 876 компьютер 16 определяет количество дискретных действий или движений. На этапе 878 компьютер выбирает полный возможный набор ключевых параметров (таких как положение объекта, ориентация объекта, давление и скорость), связанных с конкретной новой мини-манипуляцией. На этапе 880 для каждого ключевого параметра компьютер 16 проверяет и подтверждает каждое значение ключевых параметров со всеми возможными сочетаниями с другими ключевыми параметрами (например, удерживание яйца в одном положении, но тестирование другой ориентации). На этапе 882 компьютер 16 определяет, обеспечивает ли определенный набор сочетаний ключевых параметров достижение надежного результата. Проверка результата может быть выполнена с помощью компьютера 16 или человеком. При получении отрицательного ответа компьютер 16 переходит на этап 886 для поиска других сочетаний ключевых параметров, которые еще не были проверены. На этапе 888 компьютер 16 увеличивает номер ключевого параметра на единицу при формулировке следующего сочетания параметров для дальнейшего тестирования и оценки следующего сочетания параметров. Если на этапе 882 будет получен положительный ответ, компьютер 16 сохранит набор успешных сочетаний ключевых параметров во временной библиотеке. Во временной библиотеке положений хранится один или несколько наборов успешных сочетаний ключевого параметра (которые успешно прошли испытание или имеют наименьшее количество отрицательных результатов).

На этапе 892 компьютер 16 проверяет и подтверждает определенное успешное сочетание параметров X раз (например, сто раз). На этапе 894 компьютер 16 вычисляет количество не пройденных испытаний во время выполнения многократной проверки определенного успешного сочетания параметров. На этапе 896 компьютер 16 выбирает следующее сочетание успешных параметров, проверенных один раз, из временной библиотеки, после чего процесс возвращается к этапу 892 для проверки X раз следующего сочетания успешных параметров, проверенных один раз. При отсутствии следующего сочетания успешных параметров, проверенных один раз, на этапе 898 компьютер 16 сохраняет результаты проверок для одного или нескольких наборов сочетаний параметров, которые позволяют получить надежный (или гарантированный) результат. При наличии нескольких надежных наборов сочетаний параметров на этапе 899 компьютер 16 определяет лучший или оптимальный набор сочетаний параметров и сохраняет оптимальный набор сочетаний параметров для определенной мини-манипуляции, чтобы использовать его в базе данных библиотек мини-манипуляций с помощью роботизированного приспособления на стандартизованной роботизированной кухне 50 во время выполнения стадий приготовления пищи по рецепту.

На Фиг. 24 представлена блок-схема, иллюстрирующая один вариант программной процедуры 900 для создания задач для мини-манипуляций. На этапе 902 компьютер 16 выбирает определенную роботизированную задачу (например, разбивание яйца при помощи ножа) с помощью роботизированного мини-манипулятора кисти, сохраняемую в базе данных библиотек. На этапе 904 компьютер определяет все возможные ориентации объекта на каждом этапе выполнения мини-манипуляции (например, ориентация яйца и удерживание яйца), на этапе 906 он определяет все положения для удерживания кухонного инструмента относительно объекта (например, удерживание ножа относительно яйца). На этапе 908 компьютер эмпирическим путем определяет все возможные способы удерживания яйца и разбивания яйца при помощи ножа с правильным профилем движения (резки), давлением и скоростью. На этапе 910 компьютер 16 определяет различные сочетания для удерживания и расположения ножа относительно яйца для того, чтобы правильно разбить яйцо. Например, ищет оптимальное сочетание параметров, в т.ч. ориентации, положения, давления и скорости объекта (объектов). На этапе 912 компьютер 16 выполняет обучение и тестирование для обеспечения надежности различных сочетаний, например, тестирование всех изменений, отклонений, и повторяет процесс X раз до достижения заданной надежности для каждой мини-манипуляции. Когда шеф-повар 49 выполняет определенную задачу для приготовления пищи (например, разбивает яйцо при помощи ножа), задача преобразуется в несколько этапов/задач для мини-манипуляций кисти для выполнения части задачи на этапе 914. На этапе 916 компьютер 16 сохраняет различные сочетания мини-манипуляций для определенной задачи в базе данных библиотек. На этапе 918 компьютер 16 определяет, нужно ли анализировать и выполнять дополнительные задачи для мини-манипуляций. При необходимости анализа дополнительных мини-манипуляций выполняется возврат на этап 902. Возможны другие варианты осуществления кухонного модуля, включая автономный кухонный модуль и встроенный кухонный модуль. Встроенный кухонный модуль встраивается в традиционную кухонную зону обычного дома. Кухонный модуль работает по меньшей мере в двух режимах, роботизированном и нормальном (ручном). Разбивание яйца является примером мини-манипуляции. База данных библиотек мини-манипуляций применяется к широкому диапазону задач, например, к использованию вилки для накалывания куска говядины путем приложения правильного давления в правильном направлении на правильную глубину с учетом формы и толщины куска мяса. На этапе 919 компьютер объединяет базу данных библиотек для заранее заданных кухонных задач, где каждая заранее заданная кухонная задача содержит одну или несколько мини-манипуляций.

На Фиг. 25 представлена блок-схема, иллюстрирующая процесс 920 определения и использования библиотеки инструментов стандартизованной кухни, стандартизованных объектов и стандартизованного оборудования на стандартизованной роботизированной кухне. На этапе 922 компьютер 16 присваивает каждому кухонному инструменту, объекту или оборудованию/утвари код (или штрих-код), который предварительно определяет параметры инструмента, объекта или оборудования, такие как его координаты положения в пространстве и ориентацию. Данный процесс позволяет стандартизовать различные элементы на стандартизованной роботизированной кухне 50, включая, но не ограничиваясь этим: стандартизованное кухонное оборудование, стандартизованные кухонные инструменты, стандартизованные ножи, стандартизованные вилки, стандартизованные контейнеры, стандартизованные сковороды, стандартизованные приспособления, стандартизованные рабочие пространства, стандартизованные дополнительные приспособления и другие стандартизованные элементы. При выполнении процесса при приготовлении по рецепту на этапе 924 роботизированный механизм приготовления направляет одну или несколько роботизированных кистей для поиска кухонного инструмента, объекта, части оборудования, утвари или приспособления при выдаче команды доступа к данному определенному кухонному предмету утвари, объекту, оборудованию, посуде или приспособлению, в соответствии с процессом приготовления пищи по определенному рецепту.

На Фиг. 26 представлена блок-схема, иллюстрирующая процесс 926 идентификации нестандартного объекта путем трехмерного моделирования и осмысления. На этапе 928 компьютер 16 обнаруживает нестандартный объект с помощью датчика, например, ингредиент, который может иметь другие размеры, другие габариты и/или другой вес. На этапе 930 компьютер 16 идентифицирует нестандартный объект с помощью датчиков трехмерного моделирования 66 для захвата информации о форме, габаритах, ориентации и положении, а роботизированные кисти 72 выполняют регулировки в режиме реального времени для соответствующей задачи по приготовлению пищи (например, резка или взятие куска стейка).

На Фиг. 27 представлена блок-схема, иллюстрирующая процесс 932 тестирования и запоминания мини-манипуляций. На этапе 934 компьютер выполняет анализ состава задачи по приготовлению пищи, где каждая операция приготовления (например, разбивание яйца при помощи ножа) анализируется, разбирается и добавляется в последовательность элементарных действий или мини-манипуляций. В одном варианте мини-манипуляция относится к последовательности одного или нескольких элементарных действий, которые позволяют достичь основного результата выполнения функции (например, яйцо разбито или овощ нарезан), что позволяет приблизиться к определенному результату приготовления блюда. В данном варианте мини-манипуляция может быть также описана как мини-манипуляция низкого уровня или мини-манипуляция высокого уровня, при этом мини-манипуляция низкого уровня представляет собой последовательность элементарных действий, которые требуют минимальных усилий взаимодействия и используют почти только роботизированное приспособление, а мини-манипуляция высокого уровня представляет собой последовательность элементарных действий, которые требуют большого количества взаимодействий и значительных усилий взаимодействия, а также их контроля. Цикл процесса 936 основан на этапах выполнения мини-манипуляций и обучении и включает в себя проверки, которые повторяются много раз (например, 100 раз), чтобы гарантировать надежность мини-манипуляций. На этапе 938 роботизированный механизм 56 приготовления пищи анализирует информацию обо всех возможных вариантах для выполнения стадии приготовления пищи или мини-манипуляций, при этом каждая мини-манипуляция проверяется с точки зрения ориентаций, положений/скоростей, углов, усилий, давлений и скоростей для определенных мини-манипуляций. Мини-манипуляция или элементарное действие может использовать роботизированную кисть 72 и стандартный объект или роботизированную кисть 72 и нестандартный объект. На этапе 940 роботизированный механизм приготовления пищи 56 выполняет мини-манипуляцию и определяет, может быть достигнут успешный результат, или нет. На этапе 942 компьютер 16 выполняет автоматизированный анализ и осмысливание неудачного выполнения мини-манипуляции. Например, мультимодальные датчики могут генерировать сигнал сенсорной обратной связи об успешном или неудачном выполнении мини-манипуляции. На этапе 944 компьютер 16 выполняет регулировки в режиме реального времени и изменяет параметры процесса выполнения мини-манипуляции. На этапе 946 компьютер 16 добавляет новую информацию об успехе или неудаче регулировки параметра в библиотеке мини-манипуляции в качестве механизма обучения для механизма 56 роботизированного приготовления пищи.

На Фиг. 28 представлена блок-схема, иллюстрирующая процесс 950 контроля качества работы роботизированных рук и корректировки процесса. На этапе 952 роботизированный механизм приготовления пищи 56 загружает программный файл 46 воспроизведения с рецептом, созданным человеком-поваром, с помощью модуля ввода 51. Например, программный файл 46 может воспроизводить рецепт приготовления «Венского шницеля» от шеф-повара, отмеченного звездами Мишлен, Арнда Бойхеля. На этапе 954 роботизированное приспособление выполняет задачи с помощью идентичных движений, например, движений торса, кистей, пальцев, с идентичным давлением, усилиями и положением в системе координат XYZ, в том же темпе, с которым были записаны данные рецепта, сохраненные на основании действий человека-повара при приготовлении рецепта в модуле стандартизованной кухни с помощью стандартизованного оборудования по сохраненному сценарию рецепта, включая все данные для воспроизведения движений/перемещений. На этапе 956 компьютер 16 контролирует процесс приготовления пищи с помощью мультимодального датчика, который генерирует необработанные данные, передаваемые для программного абстрагирования, при этом роботизированное приспособление сравнивает выходные данные реального мира с контролируемыми данными на основании данных мультимодальных датчиков (видеодатчиков, звуковых датчиков и любых других сигналов сенсорной обратной связи). На этапе 958 компьютер 16 определяет, имеются ли различия между контролируемыми данными и данными мультимодальных датчиков. На этапе 960 компьютер 16 анализирует, отклоняются ли данные мультимодальных датчиков от контролируемых данных. При обнаружении отклонений на этапе 962 компьютер 16 выполняет регулировку для повторной калибровки роботизированной руки 70, роботизированной кисти 72 или других элементов. На этапе 964 роботизированный механизм приготовления пищи 16 запоминает процесс 964 путем внесения изменений в одно или несколько значений параметров в базе знаний. На этапе 968 компьютер 16 сохраняет обновленные данные в базе знаний для скорректированного процесса, состояния и параметров. При отсутствии отклонений от этапа 958 процесс 950 сразу переходит на этап 969 и завершает выполнение.

На Фиг. 29 представлена таблица, иллюстрирующая один вариант осуществления структуры 970 базы данных библиотек мини-манипуляций с объектами для использования на стандартизованной роботизированной кухне. Структура 970 базы данных библиотек имеет несколько полей для ввода и сохранения информации об определенных мини-манипуляциях, включая: (1) название мини-манипуляции, (2) присвоенный код мини-манипуляции, (3) код (коды) стандартизованного оборудования и инструментов для выполнения данной мини-манипуляции, (4) начальное положение и ориентация (стандартных или нестандартных) объектов (ингредиентов и инструментов), с которыми выполняется манипуляция, (5) параметры/переменные, определенные пользователем (или считанные из записанного рецепта во время выполнения), (6) последовательность движений роботизированной кисти (сигналы управления для всех сервоприводов) и параметры передачи сигналов обратной связи (от любого датчика или системы видеоконтроля) мини-манипуляций на временном графике. Параметры для определенной мини-манипуляции могут отличаться в зависимости от сложности и объектов, необходимых для выполнения мини-манипуляции. В данном примере определено четыре параметра: координаты начального положения XYZ в рабочей области модуля стандартизованной кухни, скорость, размер объекта и форма объекта. Размер объекта и форма объекта могут быть заданы или описаны с помощью нестандартных параметров.

На Фиг. 30 представлена таблица, иллюстрирующая структуру 972 базы данных библиотек стандартизованных объектов для использования на стандартизованной роботизированной кухне. Структура 972 базы данных библиотек для стандартного объекта имеет несколько полей для хранения информации, относящейся к стандартному объекту, включая (1) название объекта, (2) изображение объекта, (3) присвоенный код для объекта, (4) виртуальная трехмерная модель с полными габаритами объекта в матрице координат в системе координат XYZ с предпочтительным заранее заданным разрешением, (5) виртуальная векторная модель объекта (при наличии), (6) определение и маркировка рабочих элементов объекта (элементов, которые могут контактировать с кистями и другими объектами для манипуляции), (7) стандартная начальная ориентация объекта для каждой определенной манипуляции.

На Фиг. 31 изображено выполнение процесса 1000, используемого для проверки качества ингредиентов, используемых в рамках части процесса воспроизведения рецепта стандартизованной роботизированной кухней. Видеоэлемент мультимодальной системы датчиков может реализовывать процесс 1006, который использует обнаружение цвета и спектральный анализ для детектирования изменения цвета, указывающего на возможные признаки порчи. Аналогичным образом использование чувствительных к аммиаку датчиков, встроенных в кухню или являющихся частью мобильного зонда, управляемого роботизированными кистями, также позволяет обнаружить возможные признаки порчи. Дополнительные тактильные датчики в роботизированных кистях и пальцах позволяют проверять свежесть ингредиентов с помощью контактной методики 1004, в соответствии с которой выполняется измерение твердости и сопротивления усилиям контакта (величина и скорость прогибания в виде функции расстояния сжатия). В качестве примера цвет рыбы (темно-красный) и содержание влаги в жабрах является признаком свежести, при этом глаза должны быть прозрачными (не замутненными), а температура тела правильно размороженной рыбы не должна превышать 40°F. Дополнительные датчики контакта на концах пальцев позволяют выполнить дополнительную проверку качества (процесс 1002) с точки зрения температуры, текстуры и общего веса ингредиента путем прикосновения, трения и удерживания/захвата. Все данные, собранные с помощью данных тактильных датчиков и видеоизображений могут быть использованы в алгоритме обработки для определения свежести ингредиента и принятия решения о возможности его использования или необходимости выбрасывания.

На Фиг. 32 изображен процесс 1010 роботизированного воспроизведения сценария рецепта, где голова 20 с мультимодальными датчиками, а также две руки и кисти 72 с несколькими пальцами, удерживающие ингредиенты и утварь, взаимодействуют с кухонным оборудованием 1012. Сенсорная голова робота 20 с блоком мультимодальных датчиков используется для непрерывного моделирования и контроля трехмерного пространства для выполнения задачи, в которой работают обе роботизированные руки, при этом данные также подаются на модуль абстрагирования задачи для идентификации инструментов и утвари, приспособлений, их содержимого и переменных в таком виде, чтобы их можно было сравнивать с последовательностью сгенерированных этапов процесса приготовления по рецепту для обеспечения выполнения происходило в соответствии с данными последовательности выполнения рецепта, сохраненной на компьютере. Дополнительные датчики на голове робота 20 с датчиками используются для прослушивания и контроля запахов во время значимых этапов процесса приготовления. Роботизированные кисти 72 и их тактильные датчики используются для правильного выполнения операций с соответствующими ингредиентами, например, с яйцом; датчики на пальцах и ладонях могут определять пригодность яиц с помощью текстуры поверхности, веса (его распределения), а также удерживать и располагать яйца в определенной ориентации без их повреждения. Роботизированные кисти 72 с несколькими пальцами также способны захватывать и выполнять операции с определенной кухонной посудой, в т.ч. чашей (в данном примере), захватывать и выполнять операции с утварью для приготовления (в данном примере показана взбивалка), с правильными движениями и прилагаемыми усилиями таким образом, чтобы правильно выполнить обработку пищевых ингредиентов (например, разбивание яйца, отделение желтков и взбивание яичного белка до получения густой консистенции), как указано в сценарии рецепта.

На Фиг. 33 изображен принцип 1020 системы хранения ингредиентов, где контейнеры 1022 для хранения пищевых продуктов, предназначенные для хранения всех необходимых ингредиентов, которые используются во время приготовления (например, мясо, рыба, дичь, моллюски, овощи и т.д.), имеют датчики для измерения и контроля свежести соответствующего ингредиента. Датчики управления, встроенные в контейнеры 1022 для хранения пищевых продуктов, включают в себя, не ограничиваясь этим, датчики аммиака 1030, датчики летучих органических соединений 1032, датчики температуры 1026 внутри контейнера и датчики влажности 1028. Кроме того, человек-повар или роботизированные кисти и руки могут использовать ручной зонд для выполнения ключевых измерений (например, температуры) внутри большого ингредиента (например, температуры внутри мяса).

На Фиг. 34 изображен процесс 1040 измерений и анализа в рамках проверки свежести и качества ингредиентов, находящихся в контейнерах 1042 для хранения пищевых продуктов, в которых установлены датчики и устройства обнаружения (например, датчик/игла для измерения температуры). Контейнер может передавать наборы данных с меткой 1044 промежуточных данных, соответствующей идентификатору контейнера, которые могут включать в себя данные о температуре 1046, данные о влажности 1048, данные об уровне аммиака 1050, данные о летучих органических соединениях 1052, по беспроводной сети передачи данных на этапе передачи данных 1056 на главный сервер, на котором механизм контроля качества пищевых продуктов обрабатывает данные о контейнере. Этап обработки 1060 использует данные 1044 о контейнере и сравнивает их с приемлемыми значениями и диапазонами значений, которые хранятся и считываются с носителя 1058 в рамках процесса считывания и сохранения данных 1054. Набор алгоритмов принимает решение о возможности использования ингредиента, передавая результат анализа качества пищевых продуктов в режиме реального времени по сети передачи данных с помощью отдельного процесса обмена данными 1062. Результаты анализа качества затем используются в соответствии с другим процессом 1064, где результаты направляются на роботизированные руки для выполнения дальнейших действий и могут удаленно отображаться на экране (например, на экране смартфона или на другом экране) пользователю, который принимает решение о возможности использования ингредиента для приготовления и последующего употребления или о его выбрасывании.

На Фиг. 35 изображены функции и этапы работы с заранее наполненными контейнерами 1070 для ингредиентов при использовании на стандартизованной кухне, стандартизованной роботизированной кухне или студии шеф-повара. Контейнеры 1070 для ингредиентов имеют различные размеры 1082 и разное назначение, они подходят для обеспечения правильных условий 1080 хранения скоропортящихся продуктов путем охлаждения, замораживания и т.д. при определенных диапазонах температуры хранения. Также используются контейнеры 1070 для хранения ингредиентов, предназначенные для размещения в них различных типов ингредиентов 1072, а также контейнеры с нанесенной маркировкой и контейнеры, заранее наполненные твердыми (соль, мука, рис и т.д.), вязкими/пастообразными (горчица, майонез, марципан, джемы и т.д.) или жидкими (вода, масло, молоко, сок и т.д.) ингредиентами, при этом процессы 1074 дозирования используют множество различных устройств подачи (питатель, желоб, перистальтический дозировочный насос и т.д.) для разных типов ингредиентов с точным дозированием, управляемым компьютером и выполняемым с помощью механизма 1084 управления дозированием, использующим процесс 1076 контроля дозирования для обеспечения подачи правильного количества ингредиентов в нужное время. Следует отметить, что для обеспечения соответствия персональным вкусам или диетам (низкое содержание натрия и т.д.) дозирование при выполнении определенного рецепта регулируется с помощью меню-ориентированного интерфейса или даже с помощью удаленного телефонного приложения. Процесс 1078 определения дозы выполняется с помощью механизма 1084 управления дозированием на основании количества, указанного в рецепте, с дозированием, выполняемым с помощью выдачи команды в ручном режиме или от удаленного компьютера на основании обнаружения определенного дозирующего контейнера у выхода дозатора.

На Фиг. 36 представлена блок-схема, иллюстрирующая структуру 1000 системы приготовления по рецепту, используемой на стандартизованной роботизированной кухне 50. Процесс 1100 приготовления пищи разделен на несколько стадий относительно временного графика процесса приготовления, при этом каждая стадия имеет один или несколько блоков необработанных данных для стадии 1102, стадии 1004, стадии 1106 и стадии 1108. Блоки данных могут содержать такие элементы, как видеоизображения, звуковые записи, текстовые описания, а также машиночитаемый и понятный набор инструкций и команд, которые формируют часть программы управления. Набор необработанных данных содержится в структуре рецепта и охватывает каждую стадию приготовления относительно временной последовательности, разделенной на множество стадий последовательных стадий, с изменяющимися временными интервалами и временными последовательностями, от начала процесса воспроизведения рецепта до конца процесса приготовления, или любой подпроцесс каждой стадии.

На Фиг. 37А-С представлены блок-схемы, иллюстрирующие меню поиска рецепта для использования на стандартизованной роботизированной кухне. Как показано на Фиг. 37А, меню 1120 поиска рецепта содержит наиболее популярные категории, такие как вид кухни (например, итальянская, французская, китайская), основные ингредиенты блюда (например, рыба, свинина, говядина, паста) или критерий/диапазон, например, временной диапазон приготовления (например, менее 60 минут, от 20 до 40 минут), а также выполнение поиска по ключевым словам (например, рикотта кавателли, пирог мильяччо). Выбранный персонализированный рецепт может представлять собой рецепт без аллергенных ингредиентов, при этом в персональном пользовательском профиле пользователь может указать аллергенные ингредиенты, которые он не употребляет. На Фиг. 37В показано, что пользователь может выбрать критерий поиска, включая следующие требования: время приготовления менее 44 минут, подача порций на 7 человек, вегетарианские блюда, общее содержание калорий не более 4521 ккал. На Фиг. 37С показаны различные типы блюд 1122, при этом меню 1120 имеет иерархические уровни, с помощью которых пользователь может выбрать категорию (например, тип блюда) 1122, а затем перейти на следующий уровень подкатегорий (например, закуски, салаты, закуски…) для уточнения выбора. Скриншот выполняемого создания и отправки выбранного рецепта показан на Фиг. 37D. На Фиг. 37N-V показаны дополнительные скриншоты для различных графических пользовательских интерфейсов и пунктов меню.

Один вариант блок-схем функционирования в качестве фильтра по рецептам, фильтра по ингредиентам, фильтра по оборудованию, доступа с помощью учетной записи и социальных сетей, персональной страницы партнера, страницы корзины, информации о приобретенном рецепте, настроек регистрации, создания рецепта показаны на Фиг. 37Е-37М, где изображены различные функции, которые программное обеспечение 14 для роботизированного приготовления пищи может выполнять на основании фильтрации базы данных и предоставления информации пользователю. Как показано на Фиг. 37Е, пользователь платформы может получить доступ к разделу рецептов и выбрать желательные фильтры 1130 рецептов для автоматического роботизированного приготовления. К наиболее общим типам фильтров можно отнести фильтрацию по кухням (например, китайская, французская, итальянская), по типу приготовления (например, выпекание, варка, жарка), вегетарианские блюда и диабетические пищевые продукты. Пользователь может просмотреть подробную информацию о рецепте, такую как описание, фотографии, ингредиенты, цену и оценки, для отфильтрованных результатов поиска. На Фиг. 37F показано, как пользователь может выбрать нужные фильтры 1132 ингредиентов, таких как органические ингредиенты, тип ингредиентов или марку ингредиентов для собственных целей. На Фиг. 37G показано, как пользователь может использовать фильтры 1134 по оборудованию для модулей автоматической роботизированной кухни, такие как тип, марка и изготовитель оборудования. После принятия решения пользователь сможет приобрести рецепты, ингредиенты или оборудование непосредственно через портал у соответствующих продавцов. Платформа позволяет пользователям создавать дополнительные фильтры и параметры для собственных целей, чтобы сделать систему настраиваемой и постоянно обновляемой. Фильтры и параметры, добавленные пользователями, появятся в системе после прохождения проверки модератором.

На Фиг. 37Н показано, как пользователь может обратиться к другим пользователям и продавцам с помощью профессиональной социальной сети платформы, войдя в систему с помощью своей учетной записи 1136. Личность пользователя сети может проверяться с помощью реквизитов кредитной карты и адреса. Портал учетных записей также используется как торговая платформа для пользователей, которые хотят совместно использовать или продавать свои рецепты, а также рекламировать их другим пользователям. Пользователь может управлять балансом и оборудованием для своей учетной записи с помощью портала учетных записей.

Пример сотрудничества между пользователями платформы представлен на Фиг. 37I. Один пользователь может предоставить всю информацию и подробности об ингредиентах, а другой пользователь делает то же самое для своего оборудования. Перед добавлением на платформу/ в базу данных сайта вся информация должна быть отфильтрована модератором. На Фиг. 37J показано, как пользователь может просматривать информацию о своих покупках в корзине 1140. Также можно выбрать другие опции, такие как способ доставки и оплаты. Пользователь также может приобрести ингредиенты или оборудование на основании рецептов в своей корзине.

На Фиг. 37K представлена другая информация о приобретенных рецептах, доступ к которой может быть получен со страницы 1560 с рецептами. Пользователь может прочитать, послушать и посмотреть процесс приготовления, а также запустить автоматический процесс роботизированного приготовления. Переписка с продавцами или сотрудниками технической поддержкой по поводу рецептов также может вестись со страницы с рецептами.

На Фиг. 37L представлена блок-схема, иллюстрирующая различные уровни платформы, доступные со страницы «Му account» (Моя учетная запись) 1136 и страницы «Settings» (Настройки) 1138. На странице «Му account» пользователь может прочитать профессиональные новости или блоги по готовке, а также может написать публикуемую статью. С помощью страницы с рецептами в меню «Му account» пользователь может создать собственный рецепт 1570 различными способами, как показано на Фиг. 37М. Пользователь может создать рецепт путем создания сценария автоматического роботизированного приготовления или путем захвата движений шеф-повара при приготовлении или путем выбора последовательности манипуляций из библиотеки программ. Пользователь также может создать рецепт путем простого перечисления ингредиентов/оборудования, затем добавить аудиоданные, видеоданные или изображение. Пользователь может отредактировать все рецепты на странице с рецептами.

На Фиг. 38 представлена блок-схема, иллюстрирующая меню поиска рецепта 1150 выбором различных полей для использования на стандартизованной роботизированной кухне. После выбора категории и критериев или некоторого диапазона поиска пользователю 60 отображается страница, где будут указаны результаты различных рецептов. Пользователь 60 может отсортировать результаты по определенным критериям, например, по оценкам пользователя (например, от высоких к низким), оценкам экспертов (например, от высоких к низким) или продолжительности приготовления пищи (например, от коротких к длинным). На дисплее компьютера могут отображаться фотографии/медиаданные, заголовок, описание, оценки и цена рецепта, а также дополнительная вкладка «read more» (подробно), при нажатии на которую отобразится вся страница рецепта, на которой можно будет ознакомиться с подробной информацией о рецепте.

На Фиг. 39 изображена возможная конфигурация стандартизованной роботизированной кухни 50 для использования дополнительной системы датчиков 1854. Дополнительная система датчиков 1854 представляет собой отдельную систему 1854, расположенную на подвижном линейном рельсе с компьютерным управлением, проходящем вдоль всей оси кухни для обеспечения возможности работы во всем видимом трехмерном рабочем пространстве стандартизованной кухни.

Правильное расположение дополнительной системы 1854, установленной на роботизированной кухне, например, на рельсе с компьютерным управлением или на торсе робота с руками и кистями, позволяет выполнять трехмерное отслеживание и генерирование необработанных данных как во время контроля действий шеф-повара для создания сценария рецепта для системы, так и во время выполнения контроля и успешного завершения выполняемых роботом этапов при воспроизведении блюда на стандартизованной роботизированной кухне 50.

На Фиг. 39 изображена возможная конфигурация стандартизованной роботизированной кухни 50 для использования дополнительной системы датчиков 20. Изображенная стандартизованная роботизированная кухня 50 имеет одну дополнительную систему датчиков 20, расположенную на подвижном линейном рельсе с компьютерным управлением, проходящем вдоль всей оси кухни для обеспечения возможности работы во всем видимом трехмерном рабочем пространстве стандартизованной кухни.

На Фиг. 40 представлена блок-схема, иллюстрирующая модуль стандартизованной кухни 50 с несколькими датчиками камер и/или лазерами 20 для трехмерного моделирования 1160 среды для приготовления пищи в режиме реального времени. Бытовая роботизированная кухня 48 включает в себя трехкоординатный электронный датчик, способный отправлять в режиме реального времени необработанные данные на компьютер, чтобы создать трехмерную модель рабочей среды на кухне. Один возможный вариант процесса трехмерного моделирования в режиме реального времени включает в себя использование трехмерного лазерного сканирования. В соответствии с альтернативным вариантом осуществления трехмерное моделирование в режиме реального времени выполняется за счет использования одной или нескольких видеокамер. Третий способ основан на использовании проецируемого оптического изображения, получаемого с помощью камеры, так называемого изображения, полученного с помощью структурированного света. Трехкоординатный электронный датчик сканирует рабочую среду на кухне в режиме реального времени для создания визуального представления (данных о форме и габаритах) 1162 рабочего пространства в кухонном модуле. Например, трехкоординатный электронный датчик может захватывать в режиме реального времени трехмерные изображения с информацией о том, взяла ли роботизированная рука/кисть мясо или рыбу. Трехмерная модель кухни также используется как аналог «человеческого глаза» для внесения регулировок при захвате объекта в случае нестандартных габаритов некоторых объектов. Компьютерная система обработка 16 генерирует компьютерную модель трехмерной геометрии и объектов в рабочем пространстве, а также передает сигналы управления 1164 обратно для стандартизованной роботизированной кухни 50. Например, трехмерное моделирование кухни может использоваться для создания трехмерной сетки с нужным интервалом, например, с интервалом в 1 сантиметр между точками сетки.

Стандартизованная роботизированная кухня 50 показана в другой возможной конфигурации для использования одной или нескольких дополнительных систем датчиков 20. Стандартизованная роботизированная кухня 50 имеет несколько дополнительных систем датчиков 20, расположенных в углах над рабочей поверхностью кухни вдоль всей оси кухни для обеспечения возможности работы во всем видимом трехмерном рабочем пространстве стандартизованной кухни 50.

Правильное расположение дополнительной системы датчиков 20 на стандартизованной роботизированной кухне 50 позволяет выполнять трехмерное считывание, используя видеокамеры, лазеры, акустические датчики и другие двухкоординатные и трехкоординатные системы датчиков для обеспечения помощи при создании обработанных данных из набора необработанных данных в режиме реального времени для динамических моделей формы, места, ориентации и действий роботизированных рук, кистей, инструментов, оборудования и приспособлений для различных этапов в нескольких последовательных стадиях воспроизведения приготовления блюда на стандартизованной роботизированной кухне 50.

На этапе 1162 необработанные данные собираются в каждый момент времени для обеспечения возможности обработки необработанных данных для извлечения данных о форме, габаритах, месте и ориентации всех важных объектов на различных этапах нескольких последовательных стадий воспроизведения блюда на стандартизованной роботизированной кухне 50. Обработанные данные дополнительно анализируются компьютерной системой для обеспечения возможности управления роботизированными траекториями и мини-манипуляциями руки и кисти с помощью контроллера стандартизованной роботизированной кухни путем изменения сигналов управления, заданных в роботизированном сценарии. Адаптация выполнения сценария рецепта и сигналы управления играют важную роль для успешного выполнения каждой стадии воспроизведения определенного блюда, обеспечивая возможность внесения изменений в различные переменные (ингредиенты, температура и т.д.). Процесс выполнения сценария рецепта на основании ключевых измеряемых переменных является важной частью использования дополненной (так называемой мультимодальной) системы датчиков 20 во время воспроизведения этапов для приготовления определенного блюда на стандартизованной роботизированной кухне 50.

На Фиг. 41А приведено схематическое изображение прототипа роботизированной кухни. Прототип кухни имеет три уровня: верхний уровень, имеющий рельсовую систему для перемещения двух рук по нему во время приготовления, съемный кожух для возврата двух роботизированных рук к станции загрузки и обеспечения их защиты при неиспользовании для приготовления или при использовании кухни в ручном режиме. Средний уровень включает в себя раковины, плиту, гриль, печь и рабочую поверхность с доступом к месту хранения ингредиентов. Средний уровень также имеет компьютерный монитор для управления оборудованием, выбора рецепта, просмотра видео и текстовых инструкций, а также для прослушивания голосовых инструкций. Нижний уровень включает в себя автоматическую систему контейнеров для хранения пищевых продуктов/ингредиентов при оптимальных условиях с возможностью автоматической подачи ингредиентов в пространство для приготовления в соответствии с рецептом. Прототип кухни также включает в себя печь, посудомоечную машину, инструменты для приготовления, дополнительные приспособления, подставку для кухонной посуды, ящики и мусорный бак.

На Фиг. 41В представлено схематическое изображение прототипа роботизированной кухни с корпусом из прозрачного материала, который обеспечивает защиту во время выполнения роботизированного приготовления во избежание возможного травмирования окружающих людей. Корпус из прозрачного материала может быть изготовлен из различных прозрачных материалов, таких как стекло, стеклопластик, пластик или любой другой подходящий материал. В одном примере корпус из прозрачного материала оборудован автоматической стеклянной дверью (дверями). В этом варианте автоматические стеклянные двери способны перемещаться сверху вниз или снизу вверх (из нижней секции) для закрывания и обеспечения безопасности во время процесса приготовления с помощью роботизированных рук. В конструкцию корпуса из прозрачного материала могут быть внесены изменения, например предусмотрена возможность перемещения по вертикали вниз, перемещения по вертикали вверх, перемещения по горизонтали слева направо, перемещения по горизонтали справа налево, а также другие способы, позволяющие использовать корпус из прозрачного материала на кухне в качестве защитного механизма.

На Фиг. 41С изображен вариант стандартизованной роботизированной кухни, где объем, ограниченный верней стороной рабочей поверхности и нижней стороной кожуха, имеет горизонтальные раздвижные стеклянные двери 1190, которые могут перемещаться влево или вправо (вручную или с помощью компьютерного управления) для отделения рабочего пространства роботизированных рук/кистей от окружающей области для обеспечения безопасности человека, находящегося рядом с кухней, или для ограничения загрязнения рабочей области кухни и области вокруг нее, а также обеспечивать лучший климат-контроль в закрытом объеме. Автоматические раздвижные стеклянные двери перемещаются слева направо для закрытия и обеспечения безопасности во время приготовления при помощи роботизированных рук.

На Фиг. 41D изображен вариант стандартизованной роботизированной кухни, где рабочая поверхность имеет область с раздвижными дверями 1200 для доступа к объему хранения ингредиентов в нижних ящиках столешницы на роботизированной кухне. Двери могут открываться вручную или с помощью компьютерного управления для обеспечения доступа к контейнерам с ингредиентами. Вручную или с помощью компьютерного управления один или несколько контейнеров могут быть перемещены на уровень столешницы с помощью блока хранения и подачи ингредиентов, что позволит обеспечить доступ (в данном случае для роботизированных рук/кистей) к контейнеру, его крышке и содержимому контейнера. Роботизированные руки/кисти могут открыть крышку, при необходимости проанализировать ингредиент (ингредиенты) и поместить ингредиент (ингредиенты) в соответствующее место (противень, сковорода, кастрюля и т.д.), а затем герметично закрыть контейнер и вернуть его в блок хранения и подачи ингредиентов. Блок хранения и подачи ингредиентов затем перемещает контейнер обратно в соответствующее место внутри блока для последующего использования, чистки или загрузки ингредиентов. Данный процесс перемещения и возврата контейнеров для ингредиентов для доступа к ним роботизированных рук/кистей представляет собой встроенный повторяющийся процесс, который является частью сценария рецепта и описывается в виде отдельных этапов процесса воспроизведения рецепта для одного или нескольких ингредиентов определенного типа, используя стадию выполнения сценария рецепта на стандартизованной роботизированной кухни 50.

Для получения доступа к блоку хранения и подачи ингредиентов часть рабочей поверхности с раздвижными дверями может быть открыта, при этом программа рецепта управляет дверями и перемещает специальные контейнеры и ингредиенты таким образом, чтобы обеспечить доступ к месту, где роботизированная рука (руки) сможет захватить контейнеры, открыть крышку, извлечь ингредиенты из контейнеров и положить их в определенное место, закрыть крышку и переместить контейнеры обратно в отсек хранения. Контейнер перемещается из области доступа назад в исходное место в блоке хранения, после чего новый/следующий контейнер выгружается для выполнения соответствующих операций в области доступа.

На Фиг. 41Е показан альтернативный вариант блока хранения и подачи ингредиентов 1210. Особые или периодически используемые ингредиенты (соль, сахар, мука, масло и т.д.) могут либо дозироваться с помощью механизмов подачи с компьютерным управлением, либо определенное количество каждого ингредиента может подаваться с помощью кисти (человеческой или роботизированной кисти или пальцев). Задание подаваемого количества ингредиентов может осуществляться либо вручную через сенсорную панель с помощью человеческой или роботизированной кисти, либо с помощью компьютерного управления. Дозируемый ингредиент может собираться или подаваться к некоторому элементу кухонного оборудования (чаше, сковороде, кастрюле и т.д.) в любой момент времени во время процесса воспроизведения рецепта. Данный вариант системы подачи и дозирования ингредиентов обеспечивает максимальную экономичность, компактность, упрощение выполнения операций с контейнером, а также сокращение времени, необходимого для перемещения ингредиентов с помощью рук/кистей робота.

На Фиг. 41F представлен вариант стандартизованной роботизированной кухни, который включает в себя область фартука 1220, где установлен виртуальный монитор/дисплей с сенсорным экраном, чтобы человек мог управлять кухней в ручном режиме и взаимодействовать с роботизированной кухней и ее элементами. Проецируемое компьютером изображение и отдельная камера, контролирующая область проекции, могут быть использованы для определения того, где находится кисть и палец человека при осуществлении конкретного выбора на основании локации на проецируемом изображении, после чего система выполняет соответствующие действия. Виртуальный сенсорный экран позволяет получить доступ ко всем функциям управления и контроля всеми типами оборудования на стандартизованной роботизированной кухне 50, считать и сохранить рецепты, полностью или частично просмотреть сохраненные видео для этапов рецепта, выполняемых человеком-поваром, а также прослушать речевые описания и инструкции человека-повара, касающиеся определенного этапа или операции в определенном рецепте.

На Фиг. 41G изображено отдельное жестко автоматизированное роботизированное устройство 1230 или группа таких устройств, которые встроены в стандартизованную роботизированную кухню. Устройство или устройства программируются и управляются удаленно с помощью компьютера, они предназначены для подачи или предоставления доступа к заранее упакованным или заранее дозированным объемам определенных ингредиентов, необходимых для воспроизведения рецепта, таких как специи (соль, перец и т.д.), жидкости (вода, масло и т.д.) или другие сухие ингредиенты (мука, сахар, разрыхлитель и т.д.). Эти роботизированные автоматические устройства 1230 расположены таким образом, чтобы роботизированные руки/кисти могли получить к ним доступ для последующего выполнения соответствующих операций с помощью рук/кистей робота или человека, для настройки и/или запуска выгрузки определенного количества нужного ингредиента на основании сценария рецепта.

На Фиг. 41Н изображено единичное жестко автоматизированное роботизированное устройство 1340 или группа таких устройств, которые встроены в стандартизованную роботизированную кухню. Устройство или устройства программируются и управляются удаленно с помощью компьютера, они предназначены для подачи или предоставления доступа к заранее упакованным или заранее дозированным объемам общих или периодически используемых ингредиентов, необходимых для воспроизведения рецепта, при этом механизм/система управления дозированием способна подавать правильное количество к определенной части оборудования, такой как чаша, кастрюля или сковорода. Данные роботизированные автоматические устройства 1340 расположены таким образом, чтобы роботизированные руки/кисти могли получить к ним доступ для последующего выполнения соответствующих операций с помощью рук/кистей робота или человека, для настройки и/или запуска выгрузки определенного количества нужного ингредиента с помощью механизма дозирования на основании сценария рецепта. Данный вариант системы подачи и дозирования ингредиентов обеспечивает максимальную экономичность, компактность, упрощение выполнения операций с контейнером, а также сокращение времени, необходимого для перемещения ингредиентов с помощью рук/кистей робота.

На Фиг. 41I изображены стандартизованная роботизированная кухня, оборудованная системой 1250 вентиляции для удаления дыма и пара, которые могут образовываться во время автоматизированного приготовления, а также система 1252 автоматического обнаружения дыма/огня и пожаротушения для ликвидации источника вредного дыма и опасного огня, что также создает защитный экран из раздвижных дверей для закрытия стандартизованной роботизированной кухни 50 и локализации соответствующей области.

На Фиг. 41J изображена стандартизованная роботизированная кухня 50 с системой 1260 обработки отходов, которая находится в нижнем ящике, что гарантирует легкое и быстрое удаление перерабатываемых (стекла, алюминия и т.д.) и неперерабатываемых (остатков пищи и т.д.) отходов с помощью набора мусорных контейнеров со съемными крышками, которые имеют уплотнительные элементы (прокладки, кольцевые уплотнения и т.д.) для обеспечения воздухонепроницаемого уплотнения и исключения возможности проникновения запахов за пределы стандартизованной роботизированной кухни 50.

На Фиг. 41K изображена стандартизованная роботизированная кухня 50 с посудомоечной машиной 1270 с вертикальной загрузкой, расположенной в определенном месте кухни для упрощения роботизированной загрузки и выгрузки. Посудомоечная машина имеет герметичную крышку, которая во время выполнения этапа автоматизированного воспроизведения рецепта также может быть использована в качестве разделочной доски или рабочего пространства с встроенным сливным желобом.

На Фиг. 41L изображена стандартизованная кухня с системой 1280 проверки качества ингредиентов с измерительной аппаратурой, состоящей из инструментальной панели с датчиками и зондом для пищи. Данная область включает в себя датчики на фартуке, способные анализировать несколько физических и химических параметров ингредиентов, находящихся в данной области, включая, но не ограничиваясь этим, признаки порчи (датчик аммиака), температуры (термопара), летучих органических соединений (выделяемых при разложении биомассы), а также содержания влаги/влажности (гигрометр). Зонд для пищи, использующий датчик температуры (термопару), также может быть заранее настроен на использование роботизированными руками/кистями для анализа внутренних свойств определенных ингредиентов или элементов (таких как внутренняя температура красного мяса, дичи и т.д.).

На Фиг. 42А изображен вариант стандартизованной роботизированной кухни 50 (в плане), при этом следует понимать, что фактически элементы могут быть расположены по-другому. Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень 1292-1, уровень столешницы 1292-2 и нижний уровень 1292-3.

Верхний уровень 1292-1 содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется полка/ящик 1294 для хранения, ящик 1296, используемый для хранения и доступа к инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зоны 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфет 1304 для хранения других ингредиентов и редко используемых специй и т.д.

На уровне столешницы 1292-2 имеются не только роботизированные руки 70, но и поверхность 1306 для сервировки, область столешницы с раковиной 1308, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу.

На нижнем уровне 1292-3 расположены комбинированная конвекционная печь и микроволновая печь 1316, посудомоечная машина 1318 и большой ящик 1320, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, упаковочные материалы и столовые приборы.

На Фиг. 42В изображен общий вид 50 стандартизованной роботизированной кухни, где показаны расположения верхнего уровня 1292-1, уровня столешницы 1292-2 и нижнего уровня 1294-3 в системе координат XYZ с осями X 1322, Y 1324 и Z 1326 для обеспечения правильного геометрического представления о расположении роботизированных рук 34 на стандартизованной роботизированной кухне.

На общем виде роботизированной кухни 50 наглядно показан один из множества возможных вариантов и мест расположения оборудования на всех трех уровнях, включая верхний уровень 1292-1 (буфеты 1304, стандартизованные инструменты и посуда для приготовления 1320, зона созревания 1298, зона 1300 для хранения в охлажденном виде и зона 1302 для хранения в замороженном виде), уровень столешницы 1292-2 (роботизированные руки 70, раковина 1308, область 1310 для резки/рубки, угольный гриль 1312, приспособления 1314 для приготовления и поверхность 1306 для сервировки), а также нижний уровень (посудомоечная машина 1318, печь и микроволновая печь 1316).

На Фиг. 43А изображен вид в плане одного возможного варианта стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с встроенным монитором 1328, с помощью которого пользователь может управлять оборудованием, выбирать рецепт, просматривать видео и прослушивать записанные шеф-поваром инструкции, и с автоматическими прозрачными дверями 1330 с компьютерным управлением, способными перемещаться вправо-влево для закрывания открытых поверхностей стандартизованного роботизированного пространства для приготовления во время работы роботизированных рук.

На Фиг. 43В изображен общий вид одного возможного варианта расположения стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с встроенным монитором 1332, с помощью которого пользователь может управлять оборудованием, выбирать рецепт, просматривать видео и прослушивать записанные шеф-поваром инструкции, и с автоматическими прозрачными дверями 1334 с компьютерным управлением, способными перемещаться вправо-влево для закрывания открытых поверхностей стандартизованного роботизированного пространства для приготовления во время работы роботизированных рук. Примеры изображений стандартизованной роботизированной кухни представлены на Фиг. 43С-Е, а на Фиг. 43F указаны примерные характеристики кухонного модуля.

На Фиг. 44А изображен вид в плане другого возможного варианта стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с встроенным монитором 1336, с помощью которого пользователь может управлять оборудованием, выбирать рецепт, просматривать видео и прослушивать записанные шеф-поваром инструкции, и с автоматическими прозрачными дверями 1338 с компьютерным управлением, способными перемещаться вверх-вниз для закрывания открытых поверхностей стандартизованного роботизированного пространства для приготовления во время работы роботизированных рук.

На Фиг. 44В изображен общий вид другого возможного варианта расположения стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с встроенным монитором 1340, с помощью которого пользователь может управлять оборудованием, выбирать рецепт, просматривать видео и прослушивать записанные шеф-поваром инструкции, и с автоматическими прозрачными дверями 1342 с компьютерным управлением, способными перемещаться вверх-вниз для закрывания открытых поверхностей стандартизованного роботизированного пространства для приготовления во время работы роботизированных рук.

На Фиг. 45 изображен общий вид расположения телескопического робота 1350 на стандартизованной роботизированной кухне 50, где пара роботизированных рук, запястий и кистей с несколькими пальцами перемещается как единое целое на призматическом (путем линейного ступенчатого удлинения) телескопическом торсе, способном перемещаться вдоль вертикальной оси Y 1352 и горизонтальной оси X 1354, а также вращаться вокруг вертикальной оси Y, проходящей через центральную линию торса робота. В торс встроены исполнительные механизмы, при этом верхний уровень позволяет двигаться по прямой и вращаться таким образом, чтобы роботизированные руки могли перемещаться в различные места на стандартизованной роботизированной кухне во время воспроизведения рецепта по сценарию. Данные типы движений используются для правильного воспроизведения движений человека-повара 49, выполняемых им в студии шеф-повара во время создания блюда при приготовлении человеком-поваром.

На Фиг. 46А изображен вид в плане одного возможного варианта 1356 стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с набором из двух роботизированных рук с запястьями и кистями с несколькими пальцами, при этом основание каждой руки не установлено ни на набор подвижных рельсов, ни на вращающийся торс, вместо этого оно надежно и неподвижно прикреплено к одной из вертикальных поверхностей роботизированной кухни, что позволяет задать и зафиксировать место расположения и габариты роботизированного торса, а также позволяет обеим роботизированным рукам работать согласованно и дотягиваться до всех поверхностей и оборудования для приготовления.

На Фиг. 46В изображен общий вид одного возможного варианта осуществления 1358 стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с набором из двух роботизированных рук с запястьями и кистями с несколькими пальцами, при этом основание каждой руки не установлено ни на набор подвижных рельсов, ни на вращающийся торс, вместо этого оно надежно и неподвижно прикреплено к одной из вертикальных поверхностей роботизированной кухни, что позволяет задать и зафиксировать место расположения и габариты роботизированного торса, а также позволяет обеим роботизированным рукам работать согласованно и дотягиваться до всех поверхностей и оборудования для приготовления (до печи на задней стенке, варочной поверхности под роботизированными руками и раковины с одной стороны от роботизированных рук).

На Фиг. 46С изображен вид спереди с размерами для одного возможного варианта 1360 стандартизованной роботизированной кухни, где обозначена ее высота вдоль оси Y и ширина вдоль оси X, составляющая 2284 мм.

На Фиг. 46D изображен боковой разрез с размерами одного возможного варианта 1362 стандартизованной роботизированной кухни, где ее высота вдоль оси Y составляет 2164 мм и 3415 мм, соответственно.

На Фиг. 46Е изображен вид сбоку с размерами одного варианта 1364 стандартизованной роботизированной кухни, где ее высота вдоль оси Y равна 2284 мм, а глубина вдоль оси Z составляет 1504 мм.

На Фиг. 46F изображен разрез на виде сверху с размерами одного варианта 1366 стандартизованной роботизированной кухни, включающей в себя пару роботизированных рук 1368, где глубина всего модуля роботизированной кухни вдоль оси Z составляет 1504 мм.

На Фиг. 46G изображено три вида, дополненных поперечным разрезом одного варианта осуществления стандартизованной роботизированной кухни, на котором общая длина вдоль оси X составляет 3415 мм, общая высота вдоль оси Y составляет 2164 мм, а общая глубина вдоль оси Z составляет 1504 мм, при этом общая высота на боковом разрезе обозначена как общая высота вдоль оси Z, составляющая 2284 мм.

На Фиг. 47 представлена блок-схема, иллюстрирующая программируемую систему хранения 88 для использования со стандартизованной роботизированной кухней 50. Программируемая система хранения 88 структурирована в стандартизованной роботизированной кухне 50 на основании относительных координат XY в системе хранения 88. В данном примере программируемая система хранения 88 имеет двадцать семь (27; расположенных в виде матрицы 9 X 3) мест хранения, которые расположены в виде девяти столбцов и трех рядов. Программируемая система хранения 88 может использоваться в качестве морозильника или холодильника. В соответствии с данным вариантом осуществления каждое из двадцати семи программируемых мест хранения включает в себя четыре типа датчиков: датчик давления 1370, датчик влажности 1372, датчик температуры 1374 и датчик запаха (обоняния) 1376. С помощью каждого места хранения, распознаваемого по координатам XY, роботизированное приспособление может получить доступ к выбранному программируемому месту хранения, в котором хранится пищевой продукт (продукты), необходимый для приготовления блюд. Компьютер 16 также может контролировать правильность профилей температуры, правильность профилей влажности, правильность профилей давления и правильность профилей запаха в каждом программируемом месте хранения для осуществления контроля и поддержания оптимальных условий хранения определенных пищевых продуктов или ингредиентов.

На Фиг. 48 изображен вид в вертикальном разрезе станции 86 хранения контейнеров, где температура, влажность и относительное содержание кислорода (и другие комнатные условия) могут контролироваться и управляться с помощью компьютера. Такой контейнер для хранения может представлять собой, не ограничиваясь этим, буфет/область сухого хранения 1304, область созревания 1298 с индивидуальным контролем температурой и влажностью (для фруктов/овощей), а также для вина, зона 1300 для хранения в охлажденном виде для продуктов/фруктов/мяса таким образом, чтобы максимально продлить их срок годности, а также зона 1302 для хранения в замороженном виде других продуктов (мяса, хлебобулочных изделий, морепродуктов, мороженого и т.д.).

На Фиг. 49 изображен вид в вертикальном разрезе контейнеров 1380 с ингредиентами для обеспечения доступа человека-повара и роботизированных рук/кистей с несколькими пальцами. Данная часть стандартизованной роботизированной кухни включает в себя, но не обязательно ограничиваясь этим, несколько установок, включая панель (дисплей) 1382 для контроля качества ингредиентов, блок 1384 для компьютеризированных измерений, который включает в себя сканер штрихкодов, камеру и весы, отдельную рабочую поверхность 1386 с автоматизированными стеллажами для загрузки и выгрузки ингредиентов, а также блок утилизации 1388 для удаления перерабатываемых твердых (стекла, алюминия, металлов и т.д.) и мягких материалов (остатков и отходов пищи и т.д.), пригодных для утилизации.

На Фиг. 50 изображена панель 1390 для контроля качества ингредиентов, которая является дисплеем, управляемым компьютером и может использоваться человеком-поваром. Дисплей позволяет пользователю просматривать несколько важных аспектов для подачи ингредиентов и качества ингредиентов при приготовлении человеком и роботом. Сюда можно отнести общий перечень ингредиентов 1392, в котором будут указаны доступные ингредиенты, выбранные ингредиенты, их пищевая ценность и относительное распределение 1394, количества и требования к хранению в зависимости от категории хранения 1396 (мясо, овощи и т.д.), план 1398, в котором будут указаны истекающие сроки годности, даты пополнения/добавления и наименования продуктов, область для всех типов предупреждений 1400 (обнаружение признаков порчи, ненормальные температуры, неисправности и т.д.), а также опция ввода команд с помощью речевого анализатора 1402, что позволит пользователю взаимодействовать с компьютеризированной системой управления запасами через панель 1390.

На Фиг. 51 представлена таблица, иллюстрирующая базу данных 1410 библиотек параметров рецепта. База данных 1410 библиотек параметров рецепта включает в себя множество категорий: профиль питания 1402, виды кухни 1404, библиотека медиаданных 1406, данные 1408 о рецептах, инструменты и оборудование 1410 на роботизированной кухне, группы ингредиентов 1412, данные 1414 об ингредиентах, техники приготовления 1416. В каждой указанной категории содержится перечень подробных вариантов выбора, доступных при выборе рецепта. Профиль питания включает в себя такие параметры, как возраст, пол, вес, наличие аллергии, принимаемые лекарства и образ жизни. Профиль группировки вида кухни 1404 включают в себя вид кухни по региону, культуре или религии, а профиль группировки типов оборудования 1410 для приготовления включает в себя предметы, такие как сковорода, гриль или печь, а также продолжительность приготовления. Профиль группировки данных 1408 о рецептах содержит такие параметры, как название рецепта, версию, время приготовления и подготовки, необходимые инструменты и приспособления и т.д. Профиль группировки ингредиентов 1412 содержит ингредиенты, сгруппированные по предметам, такие как молочные продукты, фрукты и овощи, крупы и другие углеводороды, жидкости различных типов, а также белки различных типов (мясо, бобы) и т.д. Профиль группировки данных 1414 об ингредиентах содержит описание ингредиентов, такое как название, описание, информация о пищевой ценности, инструкции для хранения и выполнения операций и т.д. Профиль группировки техник приготовления 1416 содержит информацию об определенной технике приготовления, разделенной на техники механической обработки (зажарка с поливом, нарезка, измельчение на терке, рубка и т.д.) и техники химической обработки (маринование, засолка, ферментирование, копчение и т.д.).

На Фиг. 52 представлена блок-схема, иллюстрирующая один вариант процесса 1420 для одного варианта записи процесса приготовления пищи шеф-поваром. На этапе 1422 в студии 44 шеф-повара мультимодальные трехкоординатные датчики 20 сканируют пространство кухонного модуля для определения положений и ориентаций стандартизованного кухонного оборудования и всех (статических и динамических) объектов в системе координат XYZ. На этапе 1424 мультимодальные трехкоординатные датчики 20 сканируют пространство кухонного модуля для определения положений нестандартизованных объектов, таких как ингредиенты, в системе координат XYZ. На этапе 1426 компьютер 16 создает трехмерные модели всех нестандартизованных объектов и сохраняет их тип и атрибуты (размер, габариты, назначение и т.д.) на запоминающем устройстве компьютера, на вычислительном устройстве или в удаленном облачном хранилище, а также определяет форму, размер и тип нестандартизованных объектов. На этапе 1428 модуль 98 записи движений шеф-повара определяет и захватывает движения руки, запястья и кисти с помощью перчаток шеф-повара для последовательных временных интервалов (предпочтительно, чтобы движения кисти шеф-повара были идентифицированы и классифицированы в соответствии со стандартными мини-манипуляциями). На этапе 1430 компьютер 16 сохраняет обнаруженные и зарегистрированные данные о движениях шеф-повара при приготовлении блюда на запоминающее устройство (устройства) компьютера.

На Фиг. 53 представлена блок-схема, иллюстрирующая порядок работы 1440 одного варианта роботизированного приспособления во время приготовления блюда. На этапе 1442 мультимодальные трехкоординатные датчики 20 на роботизированной кухне 48 сканируют пространство кухонного модуля для определения координат нестандартизованных объектов (ингредиентов и т.д.) в системе координат XYZ. На этапе 1444 мультимодальные трехкоординатные датчики 20 на роботизированной кухне 48 создают трехмерные модели нестандартизованных объектов, обнаруженных на стандартизованной роботизированной кухне 50, и сохраняют форму, размер и тип нестандартизованных объектов на запоминающее устройство компьютера. На этапе 1446 роботизированный модуль 110 приготовления запускает выполнение рецепта в соответствии с преобразованным файлом рецепта путем воспроизведения процесса приготовления пищи шеф-поваром с использованием аналогичной позы, аналогичных движений и аналогичной продолжительности. На этапе 1448 роботизированное приспособление выполняет роботизированные инструкции из преобразованного файла рецепта, используя одну или несколько мини-манипуляций и элементарных действий, в результате чего роботизированное приспособление на роботизированной стандартизованной кухне приготавливает блюдо, идентичное или практически идентичное блюду, приготовленному шеф-поваром 49.

На Фиг. 54 представлена блок-схема, иллюстрирующая один вариант процедуры контроля качества и регулировки работы 1450 для достижения результата при приготовлении блюда с помощью робота, идентичного или практически идентичного результату, который достигается при приготовлении блюда шеф-поваром. На этапе 1452 модуль 96 проверки качества выполняет проверку качества путем контроля и подтверждения правильности воспроизведения рецепта роботизированным устройством с помощью одного или нескольких мультимодальных датчиков, датчиков на роботизированном устройстве, а также использования программного абстрагирования для сравнения выходных данных роботизированного приспособления и проверенных данных из программного файла с рецептом, созданного во время контроля и абстрагирования процессов приготовления, выполняемых человеком-поваром на стандартизованной роботизированной кухне, представляющей собой студию шеф-повара, при приготовлении по такому же рецепту. На этапе 1454 роботизированный механизм 56 приготовления пищи обнаруживает и определяет наличие различия (различий), который могут потребовать от роботизированного устройства внесения регулировок в процесс приготовления пищи, в частности, сюда можно отнести контроль различий в размере, форме или ориентации ингредиента. При наличии различий роботизированный механизм 56 приготовления пищи изменяет процесс приготовления пищи путем регулировки одного или нескольких параметров для определенного этапа обработки блюда на основании необработанных и обработанных входных данных от датчиков. На этапе 1454 выполняется определение влияния на возможные различия между обнаруженным и абстрагированным выполнением процесса по сравнению с сохраненным процессом изменений в сценарии рецепта. Если результаты процесса приготовления на стандартизованной роботизированной кухне идентичны результатам, указанным в сценарии рецепта для определенного этапа процесса, процесс приготовления пищи продолжается в соответствии со сценарием рецепта. При необходимости модификации и адаптации процесса на основании необработанных и обработанных входных данных датчиков используется процесс адаптации 1556, основанный на регулировке параметров для обеспечения соответствия переменных процесса значениям, указанным в сценарии рецепта для данного этапа процесса. После успешного завершения процесса адаптации 1456 процесс приготовления пищи 1458 продолжается, как указано в последовательности сценария рецепта.

На Фиг. 55 представлена блок-схема, иллюстрирующая первый вариант процедуры приготовления блюда 1460 на роботизированной кухне путем воспроизведения движений шеф-повара из записанного программного файла на роботизированной кухне. На этапе 1462 пользователь выбирает с помощью компьютера определенный рецепт, который должен будет использоваться роботизированным приспособлением при приготовлении. На этапе 1464 роботизированный механизм 56 считывает абстрагированный рецепт для выбранного рецепта приготовления блюда. На этапе 1468 роботизированный механизм 56 выгружает выбранный сценарий рецепта в запоминающее устройство компьютера. На этапе 1470 роботизированный механизм 56 определяет доступность ингредиентов и необходимое время приготовления. На этапе 1472 роботизированный механизм 56 выдает предупреждение или уведомление при недостаточном количестве ингредиентов или недостаточном времени для приготовления блюд в соответствии с выбранным рецептом и правилами сервировки. На этапе 1472 роботизированный механизм 56 отправляет предупреждение для добавления отсутствующих или заканчивающихся ингредиентов в список покупок или выбирает альтернативный рецепт. На этапе 1474 пользователь подтверждает выбор рецепта. На этапе 1476 роботизированный механизм 56 проверяет наступление времени начала приготовления по рецепту. Процесс 1460 не выполняется до наступления времени начала приготовления на этапе 1476. На этапе 1460 роботизированное приспособление проверяет свежесть и состояние (например, дату покупки, срок годности, запах, цвет) каждого ингредиента. На этапе 1462 роботизированный механизм 56 отправляет инструкции на роботизированное приспособление для перемещения пищи или ингредиентов из стандартизованных контейнеров в положение для приготовления пищи. На этапе 1464 роботизированный механизм 56 выдает инструкции роботизированному устройству для начала приготовления пищи в начальный момент времени «0» путем воспроизведения действий по приготовлению блюда из программного файла со сценарием рецепта. На этапе 1466 роботизированное приспособление на стандартизованной кухне 50 воспроизводит блюдо с помощью таких же движений рук и пальцев, таких же ингредиентов, такой же позы, таких же стандартизованных кухонных инструментов и оборудования, которые использовал шеф-повар. На этапе 1468 роботизированное приспособление выполняет проверку качества во время приготовления пищи для выполнения необходимых регулировок параметров. На этапе 1470 роботизированное приспособление завершает воспроизведение и приготовление блюда, после чего блюдо может быть украшено и сервировано.

На Фиг. 56 изображен процесс загрузки и идентификации 1480 контейнеров для хранения. С помощью панели для контроля качества на этапе 1482 пользователь выбирает загружаемый ингредиент. На этапе 1484 пользователь сканирует упаковку с ингредиентом на приемной станции или рабочей поверхности. С помощью дополнительных данных сканера штрих-кода, весов, камеры и лазерных сканеров на этапе 1486 роботизированный механизм приготовления обрабатывает данные об ингредиентах и соотносит их с библиотекой ингредиентов и рецептов, а также анализирует наличие угроз аллергии. При обнаружении на этапе 1488 опасности аллергенной реакции на этапе 1490 система принимает решение об уведомлении пользователя и отбраковке ингредиента по соображениям безопасности. Если ингредиент считается приемлемым, то на этапе 1492 он принимается и подтверждается системой. На этапе 1494 пользователь может распаковать (если это еще не сделано) и выложить предмет. На этапе 1496 предмет упаковывается (в фольгу, вакуумную упаковку и т.д.), маркируется с помощью напечатанного на компьютере ярлыка со всеми необходимыми данными об ингредиентах и помещается в контейнер хранения и/или место хранения на основании результатов идентификации. На этапе 1498 роботизированный механизм приготовления обновляет внутреннюю базу данных и отображает доступные ингредиенты на панели для контроля качества.

На Фиг. 57 представлена блок-схема, иллюстрирующая процесс 1500 выгрузки ингредиентов и приготовления. На первом этапе 1502 пользователь выбирает опцию выгрузки ингредиента с помощью панели для контроля качества. На этапе 1504 пользователь выбирает опцию проверки одного продукта, необходимого для одного или нескольких рецептов. После этого компьютеризированная кухня переходит на этап 1506 и перемещает определенный контейнер, содержащий выбранный продукт из места хранения на рабочую поверхность. Если на этапе 1508 пользователь берет продукт, то он выполняет с ним действия на этапе 1510, соответствующие одному или нескольким возможным способам (приготовление, выбрасывание, возврат и т.д.), после чего на этапе 1512 оставшийся продукт (продукты) возвращается в систему, что соответствует завершению взаимодействия пользователя с системой 1514. Если с выгруженным ингредиентом (ингредиентами) работают роботизированные руки на стандартизованной роботизированной кухне, то выполняется этап 1516, на котором руки и кисти проверяют каждый ингредиент в контейнере с точки зрения их идентификационных данных (типа и т.д.) и состояния (срока годности, цвета, запаха и т.д.). На этапе контроля качества 1518 роботизированный механизм приготовления принимает решение о возможном несоответствии предмета или обнаруженного состояния качества. Если предмет не соответствует предъявляемым требованиям, на этапе 1520 выдается предупреждение для того, чтобы механизм приготовления выполнил соответствующее действие. Если ингредиент имеет приемлемый тип и качество, роботизированные руки перемещают продукт (продукты) для использования на следующей стадии процесса приготовления на этапе 1522.

На Фиг. 58 изображен автоматизированный процесс подготовки к приготовлению 1524. На этапе 1530 роботизированный механизм приготовления определяет оставшиеся и/или израсходованные ингредиенты для определенного рецепта. Затем на этапе 1532 роботизированный механизм приготовления ищет все возможные техники и способы для выполнения рецепта, в котором используется каждый ингредиент. На этапе 1534 роботизированный механизм приготовления анализирует и оптимизирует использование ингредиентов и способов с точки зрения времени и потребления энергии, в частности, при приготовлении блюда (блюд), требующего параллельного выполнения нескольких задач. Затем роботизированный механизм приготовления создает многоуровневый план приготовления 1536 для выбранных блюд и отправляет запрос для выполнения приготовления на роботизированную кухонную систему. На следующем этапе 1538 роботизированная кухонная система перемещает необходимые для приготовления ингредиенты и посуду для приготовления/выпекания из автоматизированного стеллажа, собирает инструменты и оборудование и настраивает различные рабочие станции на этапе 1540.

На Фиг. 59 представлена процедура 1542 разработки и записи сценария рецепта на роботизированной кухне. На первом этапе 1544 шеф-повар выбирает определенный рецепт, для которого на этапе 1546 он вводит или изменяет данные о рецептах, включая, но не ограничиваясь этим, название и другие метаданные (предварительные условия, техники и т.д.). На этапе 1548 шеф-повар вводит или изменяет необходимые ингредиенты на основании базы данных и соответствующих библиотек, а также вводит необходимое для рецепта количество (вес/объем/штуки). На этапе 1550 шеф-повар выбирает необходимые техники, используемые при приготовлении рецепта, на основании доступных вариантов в базе данных и соответствующих библиотеках. На этапе 1552 шеф-повар выполняет аналогичные действия, но в этот раз он (она) выбирает способы приготовления, необходимые для выполнения рецепта. На завершающем этапе 1554 система генерирует идентификатор рецепта, который будет использоваться при последующем сохранении и считывании из базы данных.

На Фиг. 60 изображен процесс 1556 выбора рецепта пользователем. На первом этапе 1558 пользователь приобретает рецепт или оформляет подписку на рецепты на торговой онлайн-площадке с помощью компьютера или мобильного приложения, чтобы загрузить воспроизводимый сценарий рецепта. На этапе 1560 пользователь ищет и выбирает в онлайн-базе данных определенный рецепт из рецептов, приобретенных ранее или доступных ему в рамках подписки, на основании персональных настроек предпочтений и имеющихся ингредиентов. На последнем этапе 1562 пользователь вводит время и дату, когда он (она) хочет, чтобы блюдо было готово к сервировке.

На Фиг. 61А изображена блок-схема, иллюстрирующая процедуру 1570 поиска рецепта, приобретения и/или оплаты подписки на портал услуг, так называемую коммерческую платформу с рецептами. На первом этапе 1572 новый пользователь должен зарегистрироваться в системе (выбрать возраст, пол, пищевые предпочтения и т.д., а также общие предпочтительные способы приготовления или виды кухонь), после чего он сможет начать искать и просматривать рецепты путем их загрузки через приложение на портативном устройстве или с помощью телевизора и/или модуля роботизированной кухни. На этапе 1574 пользователь может выполнить поиск по критериям, например, по типу рецепта 1576 (включая рецепты с ручным выполнением операций), или на основании определенных видов кухни или оборудования 1578 (сковорода-вок, пароварка, коптильный аппарат и т.д.). На этапе 1580 пользователь может выбрать или настроить поиск для использования заранее заданных критериев, а затем использовать этап фильтрации 1582 для сужения области поиска и проверки результатов. На этапе 1584 пользователь выбирает рецепт из предлагаемых результатов поиска, информации и рекомендаций. Затем пользователь может поделиться, совместно использовать или обменяться с друзьями или группой в режиме реального времени выбранным рецептом на этапе 1586.

На Фиг. 61В изображено продолжение способа 1590 поиска рецепта, приобретения и/или оплаты подписки на портал услуг с Фиг. 61А. На этапе 1592 пользователю предлагается выбрать определенный рецепт для роботизированного приготовления или рецепт с контролируемыми параметрами. При выборе рецепта с контролируемыми параметрами на этапе 1594 система указывает подробную информацию об оборудовании для таких объектов, как кухонная посуда и приспособления, и требования к роботизированным рукам, а на этапе 1602 выдает информацию об источниках ингредиентов и поставщиков оборудования с подробными инструкциями по заказу. На этапе 1596 портал выполняет проверку типа рецепта, после чего можно будет напрямую загрузить и установить программный файл рецепта на удаленное устройство (этап 1598) или понадобится ввести информацию для оплаты (этап 1600) разовой покупки или подписки, используя один из множества возможных вариантов оплаты (PayPal, BitCoin, кредитная карта и т.д.).

На Фиг. 62 изображен процесс 1610, используемый при создании приложения для работы с рецептами роботизированного приготовления («приложение»). На первом этапе 1612 необходимо создать учетную запись разработчика на Арр Store, Google Play, Windows Mobile или другой аналогичной торговой площадке, указав банковские реквизиты и реквизиты компании. На этапе 1614 пользователю предлагается получить доступ и загрузить последнее обновление документации по интерфейсу прикладных программ (API), специфической для каждого магазина приложений. Затем разработчик должен будет следовать требованиям, прописанным в документации по API и создать программу рецепта на этапе 1618. На этапе 1620 разработчику нужно предоставить название и другие метаданные для рецепта, подходящие и предусмотренные различными площадками (Apple, Google, Samsung и т.д.). На этапе 1622 разработчику требуется загрузить программу рецепта и файлы с метаданными для утверждения. После этого на этапе 1624 соответствующие торговые сайты просмотрят, проверят и одобрят программу рецепта, а затем на этапе 1626 соответствующий сайт (сайты) добавит и сделает программу рецепта доступной для поиска, просмотра и приобретения в режиме реального времени с помощью интерфейса для совершения покупок.

На Фиг. 63 изображен процесс 1628 приобретения определенного рецепта или оформления подписки для получения доступа к рецептам. На первом этапе 1630 пользователь ищет определенный рецепт, который он хочет заказать. Пользователь может использовать просмотр по ключевому слову (этап 1632) и отфильтровать результаты в соответствии с предпочтениями (этап 1634), просмотр с помощью заранее заданных критериев (этап 1636) или просмотр рекламируемых, последних добавленных или заранее заказанных рецептов, а также наблюдать за процессом приготовления шеф-поваром в прямом эфире (этап 1638). На этапе 1640 пользователь сможет просмотреть результаты поиска рецептов. Потом пользователь сможет ознакомиться с указанными рецептами, а также предварительно просмотреть рецепт в виде короткого аудио- или видеоклипа (этап 1642). На этапе 1644 пользователь выбирает устройство и операционную систему и получает ссылку для загрузки с определенной торговой онлайн-площадки (веб-сайта). Если на этапе 1648 пользователь захочет подключиться к площадке нового поставщика, площадка попросит нового пользователя выполнить аутентификацию и принять условия (этап 1650), разрешая площадке загружать и устанавливать специальное интерфейсное программное обеспечение на этапе 1652, чтобы можно было продолжить процесс предоставления рецепта. На этапе 1646 площадка поставщика выдаст пользователю запрос создания списка покупок для роботизированного приготовления, после чего при получении согласия пользователя на этапе 1654 она предложит приобрести определенный рецепт в рамках разовой покупки или подписки, а также указать определенную дату и время подачи блюда. На этапе 1656 будет сформирован и отображен список покупок с необходимыми ингредиентами и оборудованием, включая информацию о самых близких и оперативно работающих поставщиках и их адресах, о наличии ингредиентов и оборудования, а также о соответствующих сроках поставки и ценах. На этапе 1658 пользователю предлагается просмотреть описание каждого продукта и стандартные или рекомендованные источники или марки. После этого на этапе 1660 пользователь сможет просмотреть соответствующую стоимость всех ингредиентов и оборудования из списка, включая все соответствующие цены каждого продукта (доставка, налоги и т.д.). Если на этапе 1662 пользователь или покупатель захочет просмотреть альтернативные варианты для предлагаемого списка покупок, то на этапе 1664 пользователю или покупателю будут предложены ссылки на альтернативные источники, по которым можно будет перейти и просмотреть альтернативные варианты покупки и заказа. Если пользователь или покупатель подтверждает предлагаемый список покупок, система не только сохраняет данные варианты выбора как персональный выбор для будущих покупок (этап 1666) и обновляет текущий список покупок (этап 1668), но и переходит на этап 1670, на котором она выбирает альтернативные варианты из списка покупок на основании дополнительные критериев, таких как местные/ближайшие поставщики, доступность товаров в определенное время года и степень созревания или цен на оборудование у различных поставщиков, которые имеют практически одинаковую производительность, но значительную разницу в стоимости поставки пользователю или покупателю.

На Фиг. 64А-В представлены блок-схемы, иллюстрирующие примеры заранее заданных критериев поиска рецепта 1672. В данном примере заранее заданные критерии поиска рецепта включают в себя такие категории, как основные ингредиенты, продолжительность приготовления, кухня по географическим регионам и видам, имя шеф-повара, фирменное блюдо и примерная стоимость ингредиентов для приготовления блюда. Другие возможные поля поиска рецепта включают в себя типы пищи, специальные диеты, исключаемые ингредиенты, типы блюд и способы приготовления, мероприятия и времена года, количество просмотров и рекомендации, а также оценки.

На Фиг. 66 представлено схематическое изображение нескольких заранее заданных контейнеров на роботизированной стандартизованной кухне 50. Каждый контейнер на стандартизованной роботизированной кухне 50 имеет номер или штрих-код контейнера, ссылающийся на специальное содержимое, хранящееся в данном контейнере. Например, в первом контейнере хранятся большие и объемные продукты, такие как белокочанная капуста, краснокочанная капуста, савойская капуста, репа и цветная капуста. В шестом контейнере хранятся большие объемы измельченных твердых продуктов, например, стружка миндаля, семена (подсолнечник, тыква, горчица), курага без косточек, сушеная папайя и урюк. На Фиг. 66 представлена блок-схема, на иллюстрирующая первый вариант роботизированного ресторанного кухонного модуля, имеющего прямоугольную конфигурацию с несколькими парами роботизированных кистей для одновременного приготовления пищи. В соответствии с другим вариантом осуществления настоящего изобретения предлагается многоступенчатая конфигурация из нескольких последовательно или параллельно работающих станций роботизированных рук и кистей в профессиональных условиях или на кухне ресторана, как показано на Фиг. 66. Данный вариант представляет более линейную конфигурацию, хотя может быть использована другая геометрическая форма с несколькими модулями роботизированных рук/кистей, каждый из которых предназначен для создания определенного продукта, блюда или выполнения определенного этапа сценария рецепта (например, шесть пар роботизированных рук/кистей могут выполнять различные роли на коммерческих кухнях, например, помощник шеф-повара, приготовление мяса, жарка/пассирование, контроль запасов, приготовление кондитерских изделий, приготовление супов и соусов и т.д.). Конфигурация роботизированной кухни является таковой, чтобы доступ/взаимодействие с любым человеком или между соседними модулями рук/кистей осуществлялась вдоль одной передней поверхности. Структура может управляться компьютером, позволяя всей роботизированной кухне с несколькими руками/кистями выполнять соответствующие задачи воспроизведения приготовления независимо от того, выполняют ли руки/кисти роботизированного модуля один рецепт последовательно (конечный продукт одной станции поступает на следующую станцию для выполнения следующего этапа в сценарии рецепта) или несколько рецептов/этапов параллельно (например, подготовка полуфабрикатов/ ингредиентов для последующего использования в ходе воспроизведения блюда для работы в жестких временных рамках во время наплыва клиентов).

На Фиг. 67 представлено схематическое изображение второго варианта модуля роботизированной кухни ресторана, имеющего U-образную форму, с несколькими парами роботизированных кистей для одновременного приготовления пищи. В еще одном варианте осуществления настоящего изобретения используется другая многоступенчатая конфигурация для нескольких последовательно или параллельно работающих станций роботизированных рук и кистей для использования в профессиональной среде или на кухне ресторана, как показано на Фиг. 67. В данном варианте кухня имеет прямоугольную конфигурацию, хотя может быть использована и другая геометрическая форма с несколькими модулями роботизированных рук/кистей, каждый из которых предназначен для создания определенного продукта, блюда или выполнения определенного этапа сценария рецепта. Конфигурация роботизированной кухни такова, чтобы доступ/взаимодействие с любым человеком или между соседними модулями рук/кистей осуществлялись вдоль U-образного набора направленных наружу поверхностей и вдоль центральной части U-образной формы, за счет чего модули рук/кистей смогут пройти/достать до противоположных рабочих областей и взаимодействовать с противоположными модулями рук/кистей во время выполнения разных стадий воспроизведения рецепта. Система может иметь компьютерное управление, что позволит всей роботизированной кухне с несколькими руками/кистями выполнять задачи воспроизведения приготовления независимо от того, выполняют ли руки/кисти роботизированного модуля один рецепт последовательно (конечный продукт одной станции поступает на следующую станцию по U-образной траектории для выполнения следующего этапа в сценарии рецепта) или несколько рецептов/этапов параллельно (например, подготовка полуфабрикатов/ ингредиентов для последующего использования в ходе воспроизведения блюда для работы в жестких временных рамках во время наплыва клиентов, с возможным хранением приготовленных ингредиентов в контейнерах или приспособлениях (морозильнике и т.д.), установленных в основании кухни U-образной формы).

На Фиг. 68 изображен второй вариант роботизированной системы 1680 приготовления пищи. Студия 1682 шеф-повара со стандартизованной роботизированной кухонной системой подразумевает участие человека-повара 49, который готовит или выполняет действия по рецепту, при этом датчики на кухонном оборудовании записывают важные переменные (температуру и т.д.) в течение некоторого периода времени и сохраняют их в компьютерной памяти 1684 в виде кривых данных датчиков и параметров, которые являются частью файла с необработанными данными для сценария рецепта. Эти сохраненные файлы кривых данных датчиков и данных о параметрах из студии 1682 шеф-повара передаются на стандартизованную (удаленную) роботизированную кухню при разовой покупке или оформления подписки 1686. Бытовая стандартизованная роботизированная кухня 1688 подразумевает участие пользователя 60 и включает в себя управляемую компьютером систему 1690 для обеспечения работы оборудования автоматизированной и/или роботизированной кухни на основании принятых необработанных данных из файлов с кривыми измеренных данных датчиков и с данными о параметрах.

На Фиг. 69 изображен другой вариант стандартизованной роботизированной кухни 48. Компьютер 16, который управляет (программным) роботизированным механизмом 56 приготовления, включающим в себя модуль 1692 управления процессом приготовления, который обрабатывает записанные, проанализированные и абстрагированные данные датчиков из сценария рецепта, а также соответствующий накопитель и память 1694 для хранения программных файлов, которые состоят из кривых данных датчиков и данных о параметрах, взаимодействует с несколькими внешними устройствами. Данные внешние устройства могут представлять собой, не ограничиваясь этим, убирающийся защитный экран 68 с компьютерным управлением, отсек хранения 88 с компьютерным контролем и управлением, набор датчиков 198, передающих информацию о качестве и подаче сырых пищевых продуктов, жестко автоматизированные модули 82 для дозирования ингредиентов, стандартизованные контейнеры 86 с ингредиентами, а также «умную» кухонную посуду 1700 с датчиками.

На Фиг. 71 изображена «умная» кухонная посуда 1700 (в данном случае соусник), которая имеет встроенные температурные датчики, работающие в режиме реального времени, которые способны генерировать и передавать по беспроводному каналу связи температурный профиль для нижней поверхности посуды по меньшей мере (но не ограничиваясь этим) для трех плоских зон, например, для зоны 1 1702, зоны 2 1704 и зоны 3 1706, границы которых представляют собой концентрические окружности на всей нижней поверхности кухонной посуды. Каждая из этих трех зон способна передавать по беспроводному каналу связи данные 1 1708, данные 2 1710 и данные 3 1712 соответственно от подключенных датчиков 206-1, 206-2, 206-3, 206-4 и 206-5.

На Фиг. 71 изображен стандартный набор кривых 220 показаний датчиков с записанными температурными профилями для данных 1 1720, данных 2 1722 и данных 3 1724, при этом каждый профиль относится к температуре в каждой из трех зон на нижней стороне кухонной посуды. В качестве единиц измерения времени (от начала до конца приготовления) используются минуты (независимая переменная), а температура выражается в градусах Цельсия (зависимая переменная).

На Фиг. 72 изображен множественный набор кривых 1730 показаний датчиков с записанными профилями температур 1732 и влажности 1734, полученными на основании показаний каждого датчика, т.е. данных 1 1736, данных 2 1738 и т.д. до данных N 1740. Массивы необработанных данных направляются на рабочий блок управления 274 и обрабатываются им. В качестве единиц измерения времени (от начала до конца приготовления) используются минуты (независимая переменная), а температура и влажность выражаются в градусах Цельсия и процентах относительной влажности соответственно (зависимые переменные).

На Фиг. 73 изображена система 1700 контроля температуры в режиме реального времени с помощью «умной» сковороды (для жарки). Источник питания 1750 использует три отдельных блока управления (однако их количество может быть другим), включая блок управления 1 1752, блок управления 2 1754 и блок управления 3 1756, для активного нагрева ряда индукционных катушек. Фактически управление осуществляется на основании температуры для каждой (из трех) зоны 1758 (зона 1), 1760 (зона 2) и 1762 (зона 3) сковороды, при этом датчики температуры 1770 (датчик 1), 1772 (датчик 2) и 1774 (датчик 3) по беспроводному каналу связи передают данные о температуре в виде потока данных 1776 (данные 1), 1778 (данные 2) и 1780 (данные 3) обратно рабочему блоку управления 274, который, в свою очередь, выдает команду источнику питания 1750 для независимого контроля блоков управления 1752, 1754 и 1756 для нагревательных элементов в отдельных зонах. Это необходимо для достижения и воспроизведения желаемых кривых температуры от времени, когда данные кривых датчиков зарегистрированы во время выполнения определенного этапа (жарки) человеком-поваром при приготовлении блюда.

На Фиг. 74 изображена «умная» печь и система компьютерного управления, подключенная к рабочему блоку управления 1790, что позволяет контролировать температурный профиль печи 1792 в режиме реального времени на основании заранее сохраненной кривой показаний датчиков (температуры). Рабочий блок управления 1790 может управлять дверями (открывать/закрывать) печи, повторять температурный профиль с помощью кривой показаний датчиков, а также выполнять соответствующие процедуры после приготовления и самостоятельную чистку. Температура и влажность внутри печи контролируются с помощью встроенных температурных датчиков 1794 в различных местах, генерирующих поток данных 268 (данные 1), в частности, датчиком температуры, который представляет собой зонд, вставляемый в приготавливаемый ингредиент (мясо, дичь и т.д.) для контроля температуры приготовления путем определения степени готовности, и дополнительные датчики влажности 1796, создающие поток данных. Рабочий блок управления 1790 принимает все эти показания датчиков и регулирует параметры печи для правильного повторения кривых показаний датчиков, описанных в заранее сохраненном и загруженном наборе кривых для обеих (зависимых) переменных.

На Фиг. 75 изображена управляемая компьютером система 1798 поджига и управления для блока управления, который изменяет электрическую мощность 1858, подаваемую на угольный гриль для правильного повторения сенсорной кривой для одного или нескольких датчиков температуры и влажности, размещенных внутри гриля. Блок 1800 управления мощностью использует электронные управляющие сигналы 1802 для включения гриля и сигналы 1804 и 1806 для регулировки расстояния между поверхностью гриля и углем и подачи водяного тумана 1808 на уголь 1810, чтобы регулировать температуру и влажность подвижного (вверх/вниз) яруса 1812 соответственно. Блок управления 1800 основывает свои выходные сигналы 1804, 1806 на наборе потоков данных 1814 (здесь показано пять потоков) для параметров влажности 1816, 1818, 1820, 1822, 1824 от набора распределенных датчиков влажности (1-5) 1826, 1828, 1830, 1832 и 1834 внутри гриля, а также для потока данных 1836 для параметров температуры 1840, 1842, 1844, 1846 и 1846 от распределенных температурных датчиков (1-5) 1848, 1850, 1852, 1854 и 1856.

На Фиг. 76 изображен водопроводный кран 1860 с компьютерным управлением, позволяющий компьютеру управлять скоростью потока, температурой и напором воды из водопроводного крана в раковину (или кухонную посуду). Водопроводный кран управляется с помощью блока управления, который принимает отдельные потоки данных 1862 (данные 1), 1864 (данные 2) и 1866 (данные 3), от датчика скорости потока воды 1868, собирающего данные 1, датчика температуры 1870, собирающего данные 2, и датчика напора воды 1872, собирающего данные 3, соответственно. Блок управления контролирует подачу холодной воды 1874 (с соответствующей температурой и напором холодной воды, отображаемыми в виде числовых значений на дисплее 1876) и горячей воды 1878 (с соответствующей температурой и напором горячей воды, отображаемыми в виде числовых значений на дисплее 1880) для достижения желаемого напора, расхода и температуры воды, выходящей из крана.

На Фиг. 77 изображен вид в плане сверху одного варианта роботизированной кухни 1882 с полным набором измерительной аппаратуры. Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень, уровень столешницы и нижний уровень, при этом каждый уровень содержит оборудование и приспособления, которые имеют полностью встроенные датчики 1884 и блоки 1886 компьютерного управления.

Верхний уровень содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется полка/ящик 1294 для хранения, ящик 1296, используемый для хранения и доступа к инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфет 1304 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1894, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы имеются не только контролирующие датчики 1884 и блоки управления 1886, но и поверхность 1306 для сервировки, область столешницы с раковиной 1308, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На нижнем уровне имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1316, посудомоечная машина 1318, жестко автоматизированные дозаторы ингредиентов 82 и большой ящик 1320, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, упаковочные материалы и столовые приборы. Каждый модуль на нижнем уровне содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 78 изображен общий вид одного варианта роботизированной кухни 1890 для приготовления с тремя различными уровнями, расположенными друг над другом, при этом каждый из них имеет несколько распределенных сенсорных блоков 1892, которые передают данные либо напрямую на один или несколько блоков управления 1894, либо на один или несколько центральных компьютеров, которые, в свою очередь, используют и обрабатывают данные датчиков для последующей выдачи команд для одного или нескольких блоков управления для выполнения определенных действий.

Верхний уровень содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется полка/ящик 1296 для хранения, ящик 1296, используемый для хранения и доступа к инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфет 1294 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1892, передающие данные для одного или нескольких блоков управления 1894 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы имеются не только контролирующие датчики 1892 и блоки управления 1894, но и область столешницы 1308 с раковиной и водопроводным краном с компьютерным управлением, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики 1892, передающие данные для одного или нескольких блоков управления 1894 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На нижнем уровне имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1316, посудомоечная машина 1318, жестко автоматизированные дозаторы ингредиентов 82 и большой ящик 1310, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, столовые приборы, утварь (взбивалки, ножи и т.д.). Каждый модуль на нижнем уровне содержит датчики 1892, передающие данные для одного или нескольких блоков управления 1894 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 79 представлена блок-схема, иллюстрирующая второй вариант 1900 процесса приготовления блюда на роботизированной кухне на основании одной или нескольких предварительно записанных кривых параметров на стандартизованной роботизированной кухни. На этапе 1902 пользователь выбирает с помощью компьютера определенный рецепт, который должен будет использоваться роботизированным приспособлением при приготовлении. На этапе 1904 роботизированный механизм приготовления пищи считывает абстрагированный рецепт для выбранного рецепта приготовления блюда. На этапе 1906 роботизированный механизм приготовления пищи выгружает выбранный сценарий рецепта в запоминающее устройство компьютера. На этапе 1908 роботизированный механизм приготовления пищи решает, имеет ли место недостаточное количество или отсутствие некоторых ингредиентов для приготовления блюда в соответствии с выбранным рецептом и правилами сервировки. На этапе 1912 роботизированный механизм приготовления пищи отправляет предупреждение для добавления отсутствующих или заканчивающихся ингредиентов в список покупок или выбирает альтернативный рецепт. На этапе 1914 пользователь подтверждает выбор рецепта. На этапе 1916 роботизированный механизм приготовления пищи отправляет роботизированные инструкции пользователю для помещения пищи или ингредиентов в стандартизованные контейнеры и их перемещения в положение для приготовления пищи. На этапе 1918 пользователь может вывести видеопроекцию в режиме реального времени на специальный монитор или голографическую лазерную проекцию для просмотра каждого этапа воспроизведения рецепта на основании всех движений и процессов, выполняемых шеф-поваром во время записи для последующего использования. На этапе 1920 роботизированный механизм приготовления пищи позволяет пользователю запустить процесс приготовления пищи в начальный момент времени «0» после выбора соответствующей опции и включения компьютерной системы управления для стандартизованной роботизированной кухни. На этапе 1922 пользователь выполняет воспроизведение всех действий шеф-повара при отображении всего рецепта создания процесса человеком-поваром на мониторе/проекционном экране, с помощью которого полуфабрикаты перемещаются в специальную кухонную посуду и приспособления или промежуточные контейнеры хранения для последующего использования. На этапе 1924 роботизированное приспособление на стандартизованной кухне выполняет отдельные этапы обработки в соответствии с кривыми данных датчиков или на основании параметров приготовления, записанных во время выполнения шеф-поваром аналогичного этапа в процессе приготовления по рецепту на стандартизованной роботизированной кухне в студии шеф-повара. На этапе 1926 компьютер для роботизированного приготовления пищи управляет всеми настройками кухонной посудой и приспособлений, т.е. температурой, давлением и влажностью, таким образом, чтобы воспроизводить необходимые кривые данных в течение всего времени приготовления на основании данных, зарегистрированных и сохраненных во время приготовления блюда шеф-поваром по рецепту на стандартизованной роботизированной кухни в студии шеф-повара. На этапе 1928 пользователь выполняет все простые движения таким образом, чтобы воспроизвести этапы и движения шеф-повара в соответствии с аудио- и видеоинструкциями, передаваемыми пользователю с помощью монитора или проекционного экрана. На этапе 1930 механизм приготовления роботизированной кухни предупреждает пользователя, когда будет завершен определенный этап приготовления на основании кривой данных датчиков или набора параметров. Когда взаимодействие пользователя и компьютерного органа управления приведет к завершению всех этапов приготовления в рецепте, на этапе 1932 роботизированный механизм приготовления отправит запрос завершения части процесса воспроизведения, управляемого компьютером. На этапе 1934 пользователь либо убирает готовое блюдо и тарелки для сервировки, либо продолжает выполнять оставшиеся этапы приготовления или процессы вручную.

На Фиг. 80 изображен процесс 1936 регистрации сенсорных данных в студии шеф-повара. На первом этапе 1938 шеф-повар создает или разрабатывает рецепт. На следующем этапе 1940 шеф-повар должен ввести в роботизированный механизм приготовления название, ингредиенты, значения измеряемых параметров и описания процесса для рецепта. На этапе 1942 шеф-повар сначала загружает все необходимые ингредиенты в специальные стандартизованные контейнеры для хранения и приспособления, а затем выбирает соответствующую кухонную посуду. На следующем этапе 1944 шеф-повар настраивает начальный момент времени и включает системы датчиков и системы обработки для записи всех полученных необработанных данных и их обработки. После того как шеф-повар начнет приготовление на этапе 1946, все встроенные управляющие датчики и приспособления будут собирать и отправлять необработанные данные в центральную компьютерную систему для обеспечения записи всех соответствующих данных в режиме реального времени в рамках всего процесса приготовления (этап 1948). На этапе 1950 дополнительные параметры приготовления и голосовые комментарии шеф-повара также записываются и сохраняются в виде необработанных данных. (Программный) механизм абстрагирования роботизированного приготовления обрабатывает все необработанные данные, включая двух- и трехмерные данные о движении геометрических объектов и данные о распознавании объекта, для создания машиночитаемого и исполняемого сценария рецепта в рамках этапа 1952. После завершения создания рецепта в студии шеф-повара и процесса приготовления шеф-поваром роботизированный механизм приготовления генерирует программу моделирования и визуализации 1954 для воспроизведения движений и медиаданных при последующем воспроизведении рецепта с помощью удаленной стандартизованной роботизированной кухонной системе. На основании необработанных и обработанных данных, а также подтверждения результатов моделирования и визуализации рецепта шеф-поваром выполняется разработка и интегрирование приложений для аппаратных средств в различные (мобильные) операционные системы, а также их отправка в магазины приложений и/или торговые площадки (этап 1956), после чего пользователи смогут напрямую приобрести один рецепт или несколько рецептов по подписке.

На Фиг. 81 изображен процесс и блок-схема процесса 1960 роботизированного приготовления в домашних условиях. На первом этапе 1962 пользователь выбирает рецепт и запрашивает рецепт в цифровом формате рецепта. На этапе 1964 роботизированный механизм приготовления принимает сценарий рецепта, содержащий машиночитаемые команды для приготовления по выбранному рецепту. На этапе 1966 рецепт выгружается в роботизированный механизм приготовления со сценарием, хранящемся на запоминающем устройстве. После сохранения на этапе 1968 выполняется расчет необходимого количества ингредиентов и определение их доступности. На этапе принятия решения 1970 система определяет, нужно ли на этапе 1972 предупредить пользователя, отправить ему предложение добавления недостающих ингредиентов в список покупок или предложить ему альтернативный рецепт, в котором используются имеющиеся ингредиенты, или имеется же имеющееся количество ингредиентов достаточно. После того, как на этапе 1974 будет подтверждена доступность необходимых ингредиентов, на этапе 1976 система подтвердит выбор рецепта и выдаст запрос пользователю для размещения необходимых ингредиентов в специальных стандартизованных контейнерах в положения, в которых они находились в начале процесса создания рецепта шеф-поваром (в студии шеф-повара). Пользователю предлагается указать время начала процесса приготовления и настроить систему приготовления для перехода на этап 1978. После запуска роботизированная система приготовления начинает выполнение процесса приготовления 1980 в режиме реального времени в соответствии с кривыми данных датчиков и данных о параметрах приготовления, указанных в файлах данных о сценарии рецепта. Во время приготовления на этапе 1982 компьютер управляет всеми приспособлениями и оборудованием на основании файлов кривых данных датчиков и данных о параметрах, изначально зарегистрированных и сохраненных во время создания рецепта в студии шеф-повара. После завершения процесса приготовления на этапе 1984 роботизированный механизм приготовления отправляет напоминание об обнаружении завершения процесса приготовления. После этого роботизированный механизм приготовления отправляет запрос завершения 1986 в компьютерную систему управления для завершения всего процесса приготовления, затем на этапе 1988 пользователь убирает блюдо с поверхности для сервировки или выполняется оставшиеся этапы приготовления вручную.

На Фиг. 82 изображен другой вариант стандартизованной роботизированной кухни 48 для приготовления пищи. Компьютер 16, который управляет (программным) роботизированным механизмом приготовления 56, включающим в себя модуль 1990 управления процессом приготовления, который обрабатывает записанные, проанализированные и абстрагированные данные датчиков из сценария рецепта, а также модуль 1992 визуального контроля, соответствующий накопитель и память 1994 для хранения программных файлов, состоящих из кривых показаний датчиков и данных о параметрах, взаимодействует с несколькими внешними устройствами. Данные внешние устройства могут представлять собой, не ограничиваясь этим, кухонную столешницу 90 с измерительной аппаратурой, убирающийся защитный экран 68, водопроводный кран 92 с измерительной аппаратурой, приспособления для приготовления с встроенными датчиками 74, кухонную посуду 1700 с встроенными датчиками (хранящуюся на полке или в ящике), стандартизованные контейнеры и блоки хранения ингредиентов 78, отсек хранения 88 с компьютерным контролем и управлением, несколько датчиков 1996, передающих информацию о качестве и подаче сырых пищевых продуктов, жестко автоматизированные модули 82 для дозирования ингредиентов, а также рабочий блок управления 1998.

На Фиг. 83 изображен вид в плане сверху варианта полностью оборудованной роботизированной кухни 2000. Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень, уровень столешницы и нижний уровень, при этом каждый уровень содержит оборудование и приспособления, которые имеют полностью встроенные датчики 1884 и блоки 1886 компьютерного управления.

Верхний уровень содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется ящик 1296, используемый для хранения и доступа к инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфетную зону 1304 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы имеются не только датчики контроля 1884 и блоки управления 1886, но и одна или несколько роботизированных кистей, запястий и рук 70 с несколькими пальцами, поверхность 1306 для сервировки, область столешницы 1308 с раковиной, дополнительная область столешницы 1310 со съемными рабочими поверхностями для резки/рубки продуктов на доске и т.д., решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На нижнем уровне имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1316, посудомоечная машина 1318, жестко автоматизированные дозаторы ингредиентов 82 и большой ящик 378, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, столовые приборы, утварь (взбивалки, ножи и т.д.). Каждый модуль на нижнем уровне содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 84 изображен перспективный вид варианта полностью оборудованной роботизированной кухни 2000 с наложенной системой координат, имеющей ось X 1322, ось Y 1324 и ось Z 1326, в которой все движения и положения будут определяться относительно начала отсчета (0,0,0). Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень, уровень столешницы и нижний уровень, при этом каждый уровень содержит оборудование и приспособления, которые имеют полностью встроенные датчики 1884 и блоки 1886 компьютерного управления.

Верхний уровень содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования.

На самом простом уровне имеется ящик 1294, используемый для хранения и доступа к стандартизованным инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфет 1294 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы имеются не только датчики контроля 1884 и блоки управления 1886, но и одна или несколько роботизированных кистей, запястий и рук 70 с несколькими пальцами, область столешницы 1308 с раковиной и водопроводным краном с компьютерным управлением, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На нижнем уровне имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1315, посудомоечная машина 1318, жестко автоматизированные дозаторы ингредиентов 82 (не показаны) и большой ящик 1310, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, столовые приборы, утварь (взбивалки, ножи и т.д.) и сервизы. Каждый модуль на нижнем уровне содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 85 изображен вид сверху варианта полностью оборудованной роботизированной кухни 2020. Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень, уровень столешницы и нижний уровень, при этом верхний и нижний уровни содержат оборудование и приспособления, которые имеют полностью встроенные датчики 1884 и блоки 1886 компьютерного управления, а уровень столешницы оборудован одним или несколькими устройствами 2022 обработки команд и визуального контроля.

Верхний уровень содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется ящик 1296, используемый для хранения и доступа к стандартизованным инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфетная зона 1304 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы имеются не только датчики контроля 1884 и блоки управления 1886, но и устройства визуального контроля 2020, поверхность 1306 для сервировки, а также область столешницы 1308 с раковиной, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера. Дополнительно на уровне столешницы установлено одно или несколько устройств визуального контроля 2022 для контроля визуальных операций человека-повара в кухонной студии и роботизированных рук или рук человека на стандартизованной роботизированной кухне, где данные подаются на одну или несколько центральных или распределенных компьютерных систем управления для обработки и последующей корректирующей или подкрепляющей обратной связи и команд, отправляемых обратно на роботизированную кухню для отображения и выполнения сценария.

На нижнем уровне имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1316, посудомоечная машина 1318, жестко автоматизированные дозаторы ингредиентов 86 (не показаны) и большой ящик 1320, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, столовые приборы, утварь (взбивалки, ножи и т.д.) и сервизы. Каждый модуль на нижнем уровне содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 86 изображен перспективный вид варианта полностью оборудованной роботизированной кухни 2020. Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень, уровень столешницы и нижний уровень, при этом верхний и нижний уровни содержат оборудование и приспособления, которые имеют полностью встроенные датчики 1884 и блоки 1886 компьютерного управления, а уровень столешницы оборудован одним или несколькими устройствами 2022 обработки команд и визуального контроля.

Верхний уровень содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется ящик 1296, используемый для хранения и доступа к стандартизованным инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфетная зона 1304 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы имеются не только датчики контроля 1884 и блоки управления 1886, но и устройства визуального контроля 476, а также область столешницы 1308 с раковиной и водопроводным краном с компьютерным управлением, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), («умный») решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера. Дополнительно на уровне столешницы установлено одно или несколько устройств визуального контроля (не показаны) для контроля визуальных операций человека-повара в кухонной студии и роботизированных рук или рук человека на стандартизованной роботизированной кухне, где данные подаются на одну или несколько центральных или распределенных компьютерных систем управления для обработки и последующей корректирующей или подкрепляющей обратной связи и команд, отправляемых обратно на роботизированную кухню для отображения и выполнения сценария.

На нижнем уровне имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1316, посудомоечная машина 1318, жестко автоматизированные дозаторы ингредиентов 86 (не показаны) и большой ящик 1309, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, столовые приборы, утварь (взбивалки, ножи и т.д.) и сервизы. Каждый модуль на нижнем уровне содержит датчики 1307, передающие данные для одного или нескольких блоков управления (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 87А изображен другой вариант стандартизованной роботизированной кухни 48. Компьютер 16, который управляет (программным) роботизированным механизмом 56 и запоминающим устройством 102 для хранения программных файлов, которые состоят из данных сценария рецепта, кривых данных датчиков и данных о параметрах, взаимодействует с несколькими внешними устройствами. Данные внешние устройства могут представлять собой, не ограничиваясь этим, станции роботизированной кухни 2030 с измерительной аппаратурой, станции сервировки 2032 с измерительной аппаратурой, станцию мойки и чистки 2034 с измерительной аппаратурой, кухонную посуду 2036 с измерительной аппаратурой, устройства для приготовления 2038 с компьютерным управлением и контролем, специальные инструменты и утварь 2040, станцию автоматического стеллажа 2042, станцию хранения 2044 с измерительной аппаратурой, станцию извлечения ингредиентов 2046, интерфейс пользовательского пульта 2048, две роботизированные руки 70, жестко автоматизированные модули 82 для дозирования ингредиентов, а также устройства записи действий шеф-повара 2050.

На Фиг. 87В представлен вид в плане одного варианта стандартизованной роботизированной кухни 2060, на которой шеф-повар 49 или пользователь 60 может получить доступ к различным станциям приготовления с нескольких (в данном примере с четырех) сторон. Центральная станция хранения 2062 создает различные области хранения для разных пищевых продуктов, хранящихся при различных температурах (в охлажденном/замороженном виде) для обеспечения свежести и предоставления доступа со всех сторон. Перемещаясь вдоль периметра квадратной системы, соответствующей данному варианту осуществления, шеф-повар 49 или пользователь 60 может получить доступ к различным областям приготовления с модулями, которые могут представлять собой, не ограничиваясь этим, пульт пользователя/шеф-повара 2064 для просмотра рецепта и контроля процессов, станцию доступа 2066 к ингредиентам, включая сканер, камеру и другие системы идентификации ингредиентов, систему автоматического стеллажа 2068 для кухонной посуды/посуды для выпекания/столовых приборов, станцию мойки и чистки 2070, включающую в себя, по меньшей мере, раковину и посудомоечную машину, станцию для специализированных инструментов и утвари 2072 для использования определенных техник для приготовления пищи или ингредиентов, станцию нагрева 2074 для нагрева или охлаждения подаваемых блюд и станцию 2076 для приспособлений для приготовления, состоящую из нескольких устройств, включая, но не ограничиваясь этим, печь, плиту, гриль, пароварку, фритюр, микроволновую печь, блендер, сушилку и т.д.

На Фиг. 87С изображен общий вид такого же варианта осуществления роботизированной кухни 48, на которой шеф-повар 49 или пользователь 60 может получить доступ к нескольким станциям и оборудованию для приготовления по меньшей мере с четырех различных сторон. Центральная станция хранения 2062 создает различные области хранения для разных пищевых продуктов, хранящихся при различных температурах (в охлажденном/замороженном виде) для обеспечения свежести и предоставления доступа со всех сторон, при этом она расположена на верхнем уровне. Система автоматического стеллажа 2068 для кухонной посуды/утвари для выпекания/столовых приборов расположена на среднем уровне под центральной станцией хранения 2062. На нижнем уровне расположены станции и оборудование для приготовления, которые включают в себя, не ограничиваясь этим, пульт пользователя/шеф-повара 2064 для просмотра рецепта и контроля процессов, станцию доступа 2066 к ингредиентам, включая сканер, камеру и другие системы идентификации ингредиентов, систему автоматического стеллажа 2068 для кухонной посуды/посуды для выпекания/столовых приборов, станцию мойки и чистки 2070, включающую в себя, по меньшей мере, раковину и посудомоечную машину, станцию для специализированных инструментов и утвари 2072 для использования определенных техник для приготовления пищи или ингредиентов, станцию нагрева 2074 для нагрева или охлаждения подаваемых блюд и станцию 2076 для приспособлений для приготовления, состоящую из нескольких устройств, включая, но не ограничиваясь этим, печь, плиту, гриль, пароварку, фритюр, микроволновую печь, блендер, сушилку и т.д.

На Фиг. 88 представлена блок-схема, иллюстрирующая библиотеку 2100 электронной интеллектуальной собственности (IP) для робота, имитирующего человека. Библиотека 2100 электронной IP использует различные концепции, в которых роботизированное приспособление используется для воспроизведения определенного набора навыков человека. В частности, роботизированное приспособление, которое включает в себя пару роботизированных кистей 72 и роботизированных рук 70, может быть предназначено для воспроизведения набора навыков человека. В некоторых случаях переход от навыков человека к роботизированному исполнению может быть осуществлен за счет использования человеческих кистей; после этого роботизированное приспособление воспроизводит точные записанные движения для достижения идентичного результата. Библиотека 2100 IP включает в себя роботизированный механизм 56, воспроизводящий навыки человека в кулинарии, роботизированный механизм 2101 воспроизведения навыков человека в живописи, роботизированный механизм 2102 воспроизведения навыков человека в музыке, роботизированный механизм 2104 воспроизведения навыков человека для медицинского ухода, роботизированный механизм 2106 распознавания эмоций человека, роботизированный механизм 2108 воспроизведения действий человека, модуль ввода / вывода 2110 и модуль связи 2112. Роботизированный механизм распознавания эмоций человека 2106 подробно описан со ссылкой на Фиг. 90, 91, 92 и 92.

На Фиг. 89 представлен роботизированный механизм распознавания (или реакции) эмоций человека 2106, который включает в себя блок обучения, подключенный к функциональному блоку с помощью шины 2120. Блок обучения содержит модуль входного сигнала 2122 от человека, модуль датчиков 2124, модуль реакции на эмоции человека (на входной сигнал) 2126, модуль записи реакции на эмоции 2128, модуль проверки качества 2130, а также модуль машинного обучения 2132. Функциональный блок содержит модуль анализа входного сигнала 2134, модуль датчиков 2136, модуль генерирования реакции 2138, а также модуль регулировки обратной связи 2140.

На Фиг. 90 представлена блок-схема, на которой показан процесс и логика работы роботизированной системы 2150 для работы с эмоциями человека. На первом этапе 2151 (программный) механизм принимает входной сигнал датчика из нескольких источников, аналогично органам чувств человека, включая визуальные данные, звуковые данные, тактильные данные и данные о запахе от датчиков из внешних условий. На этапе 2152 принимается решение относительно того, нужно ли генерировать реакцию на движение, инициируя ответное движение 2153, или перейти на этап 2154 (при отсутствии необходимости выполнения ответного движения), на котором специфическая входная информация и/или шаблоны распознаются на основании информации или шаблонов, сохраненных на запоминающем устройстве, а потом преобразуются в абстрагированное или символическое представление. Абстрагированная и/или символическая информация обрабатывается с помощью интеллектуальной системы, например, на основании опытных данных. На другом этапе 2156 принимается решение о том, нужно ли генерировать реакцию 2157 на движение на основании известной и заранее заданной модели поведения; при получении отрицательного ответа выполняется этап 2158. На этапе 2158 абстрагированная и/или символическая информация обрабатывается с помощью систем поведения для реагирования на эмоции и настроение с входными данными из внутренней среды, которая может быть сформирована в ходе обучения. Эмоция преобразуется в математическую формулу и программируется внутри робота с помощью механизмов, которые могут быть описаны, с величинами, которые могут быть измерены и проанализированы (например, путем захвата выражений лица, скорости появления улыбки и ее продолжительности для различения искренней и вежливой улыбки или путем обнаружения эмоции на основании особенностей голоса говорящего, когда компьютер измеряет тон, силу и громкость голоса, а также колебания громкости и тона в течение некоторого времени). Это позволит задать определенные обнаруживаемые и измеряемые характеристики для эмоционального выражения, при этом данные характеристики поведения животного или голоса говорящего или поющего человека будут иметь идентифицируемые и измеряемые атрибуты эмоций. На основании данных идентифицируемых и измеряемых характеристик эмоциональный механизм может принимать решение (этап 2159), касающееся необходимой модели поведения (запомненной ранее или сохраняемой как новая). Используемое или исполняемое поведение и его эффективный результат обновляются на запоминающем устройстве и добавляются в базу данных о выражаемых эмоциях человека и естественном поведении 2160. На следующем этапе 2161 данные о выражаемых эмоциях человека преобразуются в более понятную для человека информацию, которая впоследствии позволит выполнить ожидаемое или конечное движение на этапе 2162.

На Фиг. 91А-С представлены блок-схемы, иллюстрирующие процедуру сравнения профиля эмоций человека с совокупностью профилей эмоций на основании набора гормонов, набора феромонов и т.д. На Фиг. 91А показан процесс использования профиля эмоций, в котором на этапе 2182 параметры эмоций человека контролируются и считываются из общего профиля пользователя 2184, после чего на основании входного сигнала значение параметра меняется с базисного значения, выведенного из отдельного временного графика, взятого и сравненного со значениями для больших групп при аналогичных условиях. На этапе 2186 выполняется разгруппировка первого уровня на основании параметров одного или нескольких критериев (например, разгруппировка на основании скорости изменения состояния для людей с похожими параметрами эмоций). Затем процесс продолжается выполнением разгруппировки и разделения параметров эмоций на дополнительных этапах сравнения параметров эмоций, которые могут включать в себя дополнительные уровни, основанные на наборе феромонов, наборе микровыражений лица, частоте сердечных сокращений и потоотделении человека, расширении зрачка, наблюдаемых рефлективных движений, повышении температуры тела, а также субъективном восприятии нагрузки. Затем разгруппированные параметры эмоций используются для сравнения при определении аналогичных параметров.

На Фиг. 91В изображены все отдельные группы эмоций, включая немедленные эмоции 2190, такие как гнев, вторичные эмоции 2191, такие как страх, всего до N существующих эмоций 2192. На следующем этапе 2193 в каждой группе анализируется реальная эмоция (эмоции) в соответствии с соответствующими данными профиля эмоций, после чего выполняется оценка уровня интенсивности эмоционального состояния (этап 2194), на основании которой механизм может выбрать соответствующее действие.

На Фиг. 91С изображен автоматизированный процесс разработки и запоминания крупной группы профилей эмоций. Процесс включает в себя получение нового профиля эмоций из разных источников и входных состояний из разных источников (этап 2202) и соответствующую проверку качества профиля/изменение данных о параметрах (этап 2208). На этапе 2204 происходит сохранение множества данных для профилей эмоций, используя различные техники машинного обучения 2210, и выполняется итерационный цикл (этап 2206) анализа и классификации каждого профиля и набора данных в различных группах с совпадающими (под-) наборами в центральной базе данных.

На Фиг. 92А представлено схематическое изображение, на котором показано обнаружение эмоций и анализ эмоционального состояния человека 2220 на основании контроля набора гормонов, набора феромонов и других ключевых параметров. Эмоциональное состояние человека может быть определено путем контроля и анализа физиологических показателей человека по определенному состоянию с внутренними и/или внешними входными сигналами, а также оценки того, как данные физиологические показатели меняются в течение определенного временного периода. Один вариант процесса разгруппировки основан на одном или нескольких параметров критериев (например, разгруппировка может выполняться на основании скорости изменения состояния для людей с похожими параметрами эмоций).

В одном вариантепрофиль эмоций может быть обнаружен с помощью способов машинного обучения на основании статистических классификаторов, где в качестве входов используются измеренные уровни феромонов, гормонов или других показателей, в т.ч. визуальные или звуковые признаки. Если набор особенностей: {x1, х2, х3, xn} представляют собой вектор, а у представляют собой эмоциональное состояние, то общую форму статистического классификатора обнаружения эмоций можно описать следующим образом:

где функция f - дерево решений, нейросеть, логистический регрессор или другой статистический классификатор, описанный в литературе по машинному обучению. Первый член минимизирует эмпирическую ошибку (погрешность, обнаруженную при обучении классификатора), а второй член минимизирует сложность - например, бритва Оккама, поиск простейшей функции и набор параметров р для такой функции, который позволяет получить желаемый результат.

Кроме того, для того чтобы определить, какие феромоны или другие особенности дают наибольшую разницу (являются наиболее ценными) для определения эмоционального состояния, может быть добавлен критерий активного обучения, который в общем виде можно описать следующим образом:

где L - «функция потерь», f - аналогичный статистический классификатор, как и в предыдущем уравнении, а у с крышкой - известный результат. Это позволяет определить, работает ли статистический классификатор лучше (функция меньших потерь) при добавлении новых признаков: если да, то его нужно оставить, в противном случае - убрать.

Параметры, значения и величины которых возникают с течением времени, могут быть оценены для создания профиля эмоций человека путем обнаружения изменений или преобразования для разных моментом времени. Для эмоционального выражения имеются идентифицируемые качества. Робот с эмоциями в ответ на внешние условия может принять более быстрые и более эффективные решения, например, когда робот мотивирован страхом, весельем или желанием, он может принять лучшие решения и достичь поставленных целей более эффективным и эффектным способом.

Механизм роботизированных эмоций воспроизводит эмоции, на которые влияют гормоны, и/или эмоции, на которые влияют феромоны человека. Эмоции, на которые влияют гормоны, определяют, как изменяется уровень гормонов внутри человеческого тела и как это влияет на эмоции человека. Эмоции, на которые влияют феромоны, определяют, как изменяется уровень феромонов снаружи человеческого тела, такие как запах, и как это влияет на эмоции человека. Профиль эмоций человека может быть построен путем определения и анализа эмоций, на которые влияют гормоны и феромоны. Механизм роботизированных эмоций пытается понять эмоции человека, такие как гнев и страх, за счет использования датчиков для определения профиля гормонов и феромонов человека.

Существует девять ключевых параметров физиологических показателей, измеряемых для того, чтобы составить профиль эмоций человека: (1) наборы гормонов 2221, которые выделяются внутри и используют различные биохимические пути, которые оказывают определенное влияние, например, адреналин и инсулин являются гормонами, (2) наборы феромонов 2222, которые выделяются снаружи и оказывают влияние на другого человека аналогичным способом, например, андростенол, андростенон и андростадиенон, (3) микровыражение лица 2223, которое представляет собой непродолжительное непроизвольное выражение лица, появляющееся у людей в соответствии с испытываемыми эмоциями, (4) частота сердечных сокращений 2224 или биения сердца, например, при увеличении частоты сердечных сокращений человека, (5) потоотделение 2225 (например, гусиная кожа), например, румянец на лице и потливость ладоней в состоянии возбуждения или нервозности, (6) расширение зрачка 2226 (а также мышца радужной оболочки, ресничная мышца), например, расширение зрачка на короткий период времени в ответ на страх, (7) рефлекторное движение 2227, т.е. движение/действие, контролируемое спинальной дугой, в ответ на внешние входные сигналы, например, челюстной рефлекс, (8) температура тела 2228, (9) давление 2229. Анализ 2230 того, как данные параметры изменяются в течение определенного времени 2231 может помочь определить эмоциональное состояние и профиль человека.

На Фиг. 92В представлена блок-схема, иллюстрирующая процедуру 2240 оценки и запоминания роботом эмоционального поведения человека. Значения параметров анализируются и делятся на эмоциональные и/или неэмоциональные реакции, с внутренними входными сигналами (2242) и/или внешними входными сигналами (2244), например, зрачковый световой рефлекс только на уровне спинного мозга, размер зрачка может меняться, когда человек зол, испытывает боль или влюблен, при этом непроизвольные реакции в целом задействуют также головной мозг. К расширению зрачков может привести использование средств, стимулирующих центральную нервную систему, и некоторых галлюциногенных наркотиков.

На Фиг. 93 представлено схематическое изображение соединительного устройства 2230, имплантируемое в организм человека для обнаружения и записи профиля эмоций человека. При обнаружении изменений физиологических показателей человек может контролировать и записывать профиль эмоций за некоторый временной период путем нажатия на кнопку для задания первой метки времени, когда началось изменение эмоции, и повторного нажатия на кнопку для задания второй метки времени, когда закончилось изменение эмоции. Данный процесс позволит компьютеру проанализировать и запомнить профиль эмоций человека на основании изменения параметров эмоции. На основании данных/информации, собранной у большого количества пользователей, компьютер классифицирует все изменения, связанные с каждой эмоцией и математически находит значимые и специфические изменения параметров, которые относятся к определенным характеристикам эмоций.

Когда пользователь испытывает эмоции или перепады настроения, физиологические параметры, такие как уровень гормонов, частота сердечных сокращений, потоотделение, уровень феромонов можно обнаружить и записать с помощью соединительного устройства, соединенного с человеческим телом (установленного на коже и введенного в вену). Моменты начала и завершения изменения настроения могут быть определены самим человеком во время смены эмоционального состояния человека. Например, человек испытывает четыре эмоциональных цикла и создает четыре временных графика в течение недели, при этом, по мнению человека, между началом и концом отсчета времени для первого цикла проходит 2,8 часа. Для второго цикла проходит 2 часа, для третьего цикла - 0,8 часа, а для четвертого цикла - 1,6 часа.

На Фиг. 94А показан роботизированный интеллектуальный механизм 2250, имитирующий человека. В механизме воспроизведения имеется две основных блока, включая блок обучения и функциональный блок, оба этих блока содержат несколько дополнительных модулей, соединенных друг с другом с помощью общей межмодульной шины связи 2252. Блок обучения интеллектуального механизма робота, имитирующего человека, содержит дополнительные модули, включая, но не ограничиваясь этим, модуль ввода 2522 для датчиков, модуль входного сигнала 2254 от человека, модуль реакции 2256 робота, имитирующего человека, который реагирует на входной сигнал, интеллектуальный модуль записи реакции 2258, модуль проверки качества 2260 и модуль машинного обучения 2262. Функциональный блок интеллектуального механизма робота, имитирующего человека, содержит дополнительные модули, включая, но не ограничиваясь этим, модуль анализа входных сигналов 2264, модуль ввода 2266 для датчиков, модуль генерирования реакции 2268 и модуль регулировки обратной связи 2270.

На Фиг. 94В изображена архитектура интеллектуальной системы 2108 робота, имитирующего человека. Система разделена на когнитивный агент робота и модуль воспроизведения навыков человека. Оба модуля используют обнаруженные данные обратной связи 1482, полученные данные 2280 о движении, а также смоделированные данные 2282 о движении. Модуль когнитивного агента робота включает в себя, не обязательно ограничиваясь этим, модули, которые представляют собой базу знаний 2284, соединенную с модулем регулировки и корректировки 2286, которые совершенствуются с помощью модуля обучения 2288. Существующие знания 2290 передаются на модуль контроля выполнения 2292, а существующие знания 2294 передаются на модуль автоматизированного анализа и принятия решений 2296, при этом оба набора пополняются данными датчиков обратной связи 1482 от модуля воспроизведения навыков человека, при этом они оба передают информацию на модуль обучения 2288. Модуль воспроизведения навыков человека включает в себя модуль управления 2209, который выдает сигналы управления для сбора и обработки нескольких источников обратной связи (визуальной и звуковой), и модуль 2230 со стандартизованным оборудованием, инструментами и дополнительными приспособлениями робота.

На Фиг. 95А изображена архитектура роботизированной системы рисования 2101. Она включает в себя студию роботизированной системы рисования 1441 и коммерческую роботизированную систему рисования 2334, соединенные с помощью линии связи 2336 для обеспечения передачи программных файлов или приложений для роботизированного рисования из студии роботизированной системы рисования 2332 в коммерческую роботизированную систему рисования 2334 на основании разовых покупок или оформленной подписки. Студия роботизированной системы рисования 2332 подразумевает участие художника (человека) 2336 и использование компьютера 2338, подключенного к устройствам обнаружения движений и действий и датчикам захвата на мольберте для захвата и записи движений и действий художника, а также хранит программные файлы для рисования в памяти 2340. Коммерческая роботизированная система рисования 2334 подразумевает участие пользователя 2342 и использование компьютера 2344 с роботизированным механизмом рисования, способным взаимодействовать и управлять роботизированными руками для воспроизведения движений художника 2336 во время рисования в соответствии с программными файлами или приложениями для рисования с визуальной обратной связью для калибровки модели моделирования.

На Фиг. 95В изображена архитектура роботизированной системы рисования 2350. Она включает в себя компьютер 2374, который соединен/взаимодействует с несколькими внешними устройствами, включая, но не ограничиваясь этим, устройства ввода для обнаружения движения и сенсорный экран 2354, стандартизованную рабочую станцию 2356, включающую в себя мольберт 2384, палитру 2360 для смешивания красок, скамью 2362 для рисования, отдел для хранения 2634 и контейнеры с материалами 2366 (краска, растворители и т.д.), а также стандартизованные инструменты и дополнительные приспособления (кисти, краски и т.д.) 2368, устройства ввода визуальных данных (камера и т.д.) 2370, а также одну или несколько роботизированных рук 70.

Компьютерный модуль 2374 включает в себя модули, к которым можно отнести, не ограничиваясь этим, роботизированный механизм рисования 2376, подключенный к устройству воспроизведения движений рисования 2378, модуль управления рисованием 2380, который использует визуальную обратную связь для рисования, модуль запоминающего устройства 2386 для хранения программных файлов для рисования, алгоритмов 1423 для запоминания выбора и использования соответствующих инструментов для рисования, а также дополнительный модуль проверки воспроизведения и калибровки 2382.

На Фиг. 95С изображен роботизированный механизм воспроизведения навыков человека 2101 в живописи. В механизме воспроизведения 2101 имеется несколько дополнительных модулей, соединенных друг с другом с помощью общей межмодульной шины связи 2390. Механизм воспроизведения содержит дополнительные модули, включая, но не ограничиваясь этим, модуль ввода 2392, модуль 2394 записи движений при рисовании, модуль 2396 записи для вспомогательных/дополнительных данных датчиков, модуль 2398 программирования движений при рисовании, модуль памяти 2399 с программными файлами для рисования, модуль 2400 выполнения процедур, который генерирует выполнение команд на основании записанных данных датчиков, модуль 2402, содержащий стандартизованные параметры рисования, модуль вывода 2404, а также модуль (выходной) проверки качества 1378, каждый из которых контролируется программным модулем обслуживания 2406.

Ниже описан один вариант стандартизованной платформы для рисования. Сначала определяются стандартизованное положение и ориентация (в системе координат XYZ) художественных инструментов любого типа (кистей, красок, холстов и т.д.) на платформе для рисования. Во-вторых, определяются стандартизированные размеры и архитектура рабочей области для каждой платформы для рисования. В-третьих, определяется стандартизованной набор инструментов для рисования для каждой платформы для рисования. В-четвертых, определяются параметры стандартизованных роботизированных кистей и рук с помощью библиотеки манипуляций для каждой платформы для рисования. В-пятых, определяются стандартизованные устройства трехмерного зрения для формирования динамических трехмерных визуальных данных для записи, выполнения отслеживания и проверки качества процесса рисования для каждой платформы для рисования. В-шестых, определяются стандартизованный тип/изготовитель/маркировка всех красок, используемых во время написания определенной картины. В-седьмых, определяются стандартизованный тип/изготовитель/маркировка/размер всех холстов, используемых во время написания определенной картины.

Одной основной целью стандартизованной платформы для рисования является достижение результата процесса рисования, идентичного результату, полученному художником (т.е. идентичной картины), путем воспроизведения роботизированной платформой для рисования. Несколько основных моментов, на которые делается упор при использовании стандартизованной платформы для рисования: (1) идентичная временная последовательность (идентичная последовательность манипуляций, идентичное время начала и завершения выполнения каждой манипуляции, идентичная скорость перемещения объекта между манипуляциями) для художника и робота; (2) выполнение проверок качества (трехмерное зрение, датчики) во избежание получения плохого результата после выполнения каждой манипуляция во время рисования. Данный подход позволяет снизить риск недостижения идентичного результата при выполнении рисования с помощью стандартизованной платформы для рисования. Использование нестандартизованной платформы для рисования приведет к увеличению риска недостижения идентичного результата (т.е. неидентичной картины) из-за необходимости использования алгоритмов регулировки, когда в роботизированной платформе для рисования нужно получить картину другого размера, использовать другие инструменты для рисования, использовать другие краски или другой холст по сравнению со студией художника.

На Фиг. 96А изображен процесс 2410 функционирования системы в студии для рисования и коммерческой системы. На первом этапе 2451 человек-художник вводит параметры для картины, создаваемой в студии роботизированной системы рисования, которые включают в себя ответы на такие вопросы, как объект, композиция, среда, инструменты и оборудование и т.д. На этапе 2452 художник вводит все эти данные в роботизированный механизм рисования, после чего на этапе 2453 художник настраивает стандартизованную рабочую станцию, инструменты, оборудование, дополнительные приспособления и материалы, а также устройства ввода движений и визуальной информации в соответствии с требованиями и инструкциями по процедуре установки. На этапе 2454 художник устанавливает точку начала процесса и запускает систему рисования в студии, после чего художник приступает к этапу рисования 2455. На этапе 2456 система рисования в студии записывает движения и видео с движениями художника в режиме реального времени в известной системе координат XYZ в течение всего процесса рисования. После этого данные, собранные в студии для рисования, сохраняются на этапе 2457, что позволяет роботизированному механизму рисования сгенерировать программу имитации 2458 на основании сохраненных данных о движениях и медиаданных. Файлы выполнения роботизированного рисования или приложения для создания картин разрабатываются и интегрируются для использования различными операционными системами и мобильными системами, а также отправляется в магазины приложений или другие торговые площадки, после чего пользователи смогут напрямую приобрести один рецепт или несколько рецептов по подписке.

На Фиг. 96В изображена логическая схема работы 2460 роботизированного механизма рисования. Сначала на этапе 2461 пользователь выбирает название картины, после этого на этапе 2462 роботизированный механизм рисования получает введенную информацию. На этапе 2463 роботизированный механизм рисования выгружает программные файлы для выполнения рисования во встроенное запоминающее устройство, после чего выполняется переход на этап 2464, на котором определяются необходимые инструменты и дополнительные приспособления. На этапе принятия решения 2465 определяется, имеет ли место нехватка инструментов или дополнительных приспособлений и материалов; при обнаружении недостаточного количества на этапе 2466 система отправляет предупреждение или предложение пользователю добавить соответствующие позиции в список покупок или выбрать другую картину. При достаточном количестве на этапе 2467 механизм подтверждает выбор, переходит на этап 2468, включающий в себя настройку стандартизованной рабочей станции, устройств ввода движений и визуальных данных с помощью поэтапных инструкций, указанных в программных файлах выполнения рисования. После завершения данных операций роботизированный механизм рисования переходит на этап проверки 2469, где проверяется правильность настроек; при обнаружении ошибки на этапе 2470 механизм отправляет предупреждение об ошибке (этап 2472) пользователю, предлагает ему повторно проверить настройки и исправить возможные неточности. При прохождении проверки без ошибок механизм подтверждает настройки на этапе 2471, после чего на этапе 2473 пользователю будет предложено указать начальную точку и включить систему воспроизведения, визуальной обратной связи и управления. На этапе 2474 роботизированная рука (руки) выполнят этапы, указанные в программном файле выполнения рисования, включая движения, использование инструментов и оборудования в соответствующих позах, как указано в файлах выполнения программы рисования. На этапе визуальной обратной связи 2475 выполняется контроль процесса воспроизведения рисования по контролируемым данным параметров, которые определяют успешное выполнение процесса рисования и достижение желаемых результатов. На этапе 2476 роботизированный механизм рисования также выполняет проверку модели имитации для повышения качества процесса воспроизведения и достижения процессом воспроизведения идентичного конечного состояния, которое было захвачено и сохранено студийной системой рисования. После завершения рисования на этапе 2477 пользователь получает уведомление с указанием времени высыхания и закрепления нанесенных материалов (краска, паста и т.д.)

На Фиг. 97А изображен роботизированный механизм воспроизведения навыков человека 2102 в музыке. В механизме воспроизведения 2102 имеется несколько дополнительных модулей, соединенных друг с другом с помощью общей межмодульной шины связи 2478. Механизм воспроизведения содержит дополнительные модули, включая, но не ограничиваясь этим, звуковой (цифровой) модуль 2480 ввода аудиоданных, модуль записи движений человека 2482, играющего на музыкальном инструменте, вспомогательный/дополнительный модуль 2484 записи данных датчиков, модуль 2486 программирования движений при игре на музыкальных инструментах, модуль памяти 2488, содержащий программные файлы для выполнения процедуры, модуль 2490 выполнения процедуры, который генерирует выполняемые команды на основании записанных данных датчиков, модуль 2492, содержащий стандартизованные параметры игры на музыкальном инструменте (например, поза, давление, углы и т.д.), модуль вывода 2494 и (выходной) модуль проверки качества 2496, каждый из которых контролируется программным модулем обслуживания 2498.

На Фиг. 97В изображен процесс выполнения и логическая схема механизма 2102 воспроизведения навыков человека в музыке. Сначала на этапе 2501 пользователь выбирает название музыкального произведения и/или имя композитора, а затем на этапе 2502 получает запрос, нужно ли сделать выбор с помощью роботизированного механизма или путем взаимодействия с человеком.

Если на этапе 2502 пользователь позволяет выбрать название/композитора роботизированному механизму, то на этапе 2512 механизм использует собственное интерпретирование креативности, предлагая на этапе 2513 пользователю ввести входные данные для процесса выбора. Если человек отказывается вводить данные, то на этапе 2519 роботизированный механизм воспроизведения навыков человека в музыке использует настройки, такие как ручные входные данные о тональности, тоне и исполнении, а также изменениях мелодии, для получения нужных входных данных на этапе 1500, чтобы на этапе 1501 сгенерировать и выгрузить выбранные программные файлы игры на музыкальных инструментах, после чего на этапе 1503 пользователь сможет использовать предпочтительные настройки, подтвержденные роботом-музыкантом на этапе 1502. На этапе 1504 выбор, сделанный человеком, сохраняется в качестве персонального выбора в базе данных персональных профилей. Если на этапе 2513 человек решает ввести собственные данные, то на этапе 2514 он может ввести дополнительные эмоциональные данные для выбора (выражения лица, фотографии, новостные статьи и т.д.). Информация, введенная на этапе 2514, принимается роботом-музыкантом на этапе 2515, позволяя перейти к этапу 2516, на котором механизм выполняет анализ эмоций, относящихся ко всем доступным входным данным, и выгружает выбор музыки на основании настроения, стиля и соответствующих входных данных об эмоциях человека. После подтверждения выбранной выгружаемой музыки на этапе 2517 с помощью робота-музыканта пользователь может нажать на кнопку «start» (пуск), чтобы запустить воспроизведение выбранного программного файла на этапе 2518.

Если человек хочет самостоятельно выбрать название/композитора, то на этапе 2503 система выводит на экран перечень исполнителей для выбранного названия. На этапе 2504 пользователь выбирает нужного исполнителя, после чего на этапе 2505 выбранный вариант передается в систему. На этапе 2506 робот-музыкант генерирует и выгружает программные файлы исполнения произведения на музыкальном инструменте, после чего на этапе 2507 он сравнивает возможные функциональные ограничения между человеком и роботом-музыкантом на определенном инструменте, чтобы рассчитать вероятность возникновения различий в результате. На этапе 2508 принимается решение о том, существуют ли данные различия. При наличии различий на этапе 2509 система предлагает выбрать другой вариант на основании профиля предпочтений пользователя. При отсутствии различий в эффективности на этапе 2510 робот-музыкант подтверждает выбор и переходит на этап 2511, на котором пользователь может нажать на кнопку «start» (пуск) для начала воспроизведения выбранного программного файла.

На Фиг. 98 изображен роботизированный механизм 2104 воспроизведения навыков человека для медицинского ухода. В механизме воспроизведения 2104 имеется несколько дополнительных модулей, соединенных друг с другом с помощью общей межмодульной шины связи 2519. Механизм воспроизведения содержит дополнительные модули, включая, но не ограничиваясь этим, модуль 2520 ввода, модуль 2522 записи движений для осуществления медицинского ухода, вспомогательный/ дополнительный модуль 2524 записи данных датчиков, модуль 2526 программирования движений для осуществления медицинского ухода, модуль памяти 2528, содержащий программные файлы для выполнения процедуры, модуль 2530 выполнения процедур, который генерирует выполняемые команды на основании записанных данных датчиков, модуль 2532, содержащий стандартизованные параметры медицинского ухода, модуль вывода 2534, (выходной) модуль проверки качества 2536, каждый из которых контролируется программным модулем обслуживания 2538.

На Фиг. 99А изображен процесс работы роботизированной системы 2550 воспроизведения навыков человека для осуществления медицинского ухода. На первом этапе 2551 пользователь (лицо, нуждающееся в уходе, или семья/друзья) создает учетную запись для лица, нуждающегося в уходе, с указанием персональных данных (имени, возраста, идентификационного номера и т.д.). Этап настройки биометрических данных 2552 включает в себя набор персональных данных, включая изображения лица, отпечатки пальцев, речевые шаблоны и т.д. На этапе 2553 пользователь вводит контактную информацию для вызова скорой помощи. На этапе 2554 роботизированный механизм получает все указанные входные данные и использует их для заполнения учетной записи и профиля пользователя. Если пользователь не участвует в программе дистанционного мониторинга здоровья, что определяется на этапе 2555, роботизированный механизм отправляет сообщение с подтверждением создания учетной записи и самостоятельно загружаемый файл/приложение на планшет, телевизор, смартфон или другое устройство пользователя для будущего взаимодействия посредством сенсорного экрана или речевого управления в рамках этапа 2561. Если пользователь участвует в программе дистанционного мониторинга здоровья, на этапе 2556 роботизированный механизм запрашивает разрешение для доступа к медицинским картам. В рамках этапа 2557 роботизированный механизм подключается к базам данных больницы пользователя и кабинетов врачей, лабораторий и организаций медицинского страхования для получения информации о медицинских картах, предписаниях, курсах лечения и назначениях для пользователя и генерирования программы осуществления медицинского ухода, а затем сохраняет ее в файле пользователя. На следующем этапе 2558 роботизированный механизм подключается ко всем носимым медицинским устройствам пользователя (например, к тонометру, датчикам пульса и датчикам уровня кислорода в крови), или даже к системе подачи лекарств с электронным управлением (перорально или путем инъекций) для обеспечения непрерывного контроля. На этапе 2559 роботизированный механизм получает входные данные из файла с медицинскими данными и от датчиков, на основании которых он генерирует один или несколько программных файлов для осуществления медицинского ухода в соответствии с учетной записью пользователя. Следующий этап 2560 включает в себя создание защищенного облачного хранилища для пользовательской информации, ежедневных действий, соответствующих параметров, а также всех выполненных или запланированных медицинских процедур или назначений. Как и ранее на этапе 2561, роботизированный механизм отправляет сообщение с подтверждением создания учетной записи и самостоятельно загружаемый файл/приложение на планшет, телевизор, смартфон или другое устройство пользователя для будущего взаимодействия посредством сенсорного экрана или речевого управления.

На Фиг. 99В изображено продолжение процесса 2550 функционирования роботизированной системы воспроизведения навыков человека для осуществления медицинского ухода, начинающегося на Фиг. 99А, но который относится к физическим операциям, выполняемым роботом пользовательской среде. На первом этапе 2562 пользователь включает робота с конфигурацией и местом по умолчанию (например, на станции зарядки). На этапе 2563 робот принимает команды пользователя посредством сенсорного экрана или речевого управления для выполнения одной или нескольких команд или действий. На этапе 2564 робот выполняет определенные задачи и действия на основании взаимодействия с пользователем, используя команды распознавания голоса и лица, условные сигналы, реакцию или модель поведения пользователя, основываясь на таких факторах, как срочность и приоритетность выполнения задачи на основании знаний об определенных или общих ситуациях. На этапе 2565 робот выполняет стандартные операции для выбора, захвата и транспортировки одного или нескольких предметов, выполняя задачи на основании алгоритмов распознавания обнаруженных объектов и внешних условий, определения места и преобразования с целью оптимизации движений по произвольной траектории, возможно, даже для отображения видеообраза человека во время аудио-/видеоконференции для пользователя, а также для взаимодействия с любым контролируемым домашним устройством. Робот непрерывно контролирует медицинское состояние пользователя на основании входных данных датчиков и данных профиля пользователя и следит за возможным проявлением симптомов потенциально опасного медицинского состояния, а также может проинформировать сотрудников неотложной помощи или членов семьи о любой возможной ситуации, требующей немедленного вмешательства. На этапе 2566 робот непрерывно проверяет наличие незавершенных или оставшихся задач и всегда находится в состоянии готовности отреагировать на входные данные пользователя, полученные на этапе 2562.

На Фиг. 100 представлена блок-схема, на которой показан пример компьютерного устройства, обозначенного ссылочной позицией 16, на который могут быть установлены и выполнены инструкции, исполняемые компьютером для осуществления подходов, описанных в настоящем документе. Как было сказано выше, различные компьютерные устройства, описанные со ссылкой на настоящее изобретение, могут использовать общие атрибуты. Все компьютерных устройства способны выполнять набор инструкций для выполнения компьютерным устройством одной или нескольких методик, описанных в настоящем документе. Некоторые или все компьютерные устройства 16 могут представлять собой сервер или любое сетевое интерфейсное устройство. Более того, при использовании термина «система» для одной системы подразумевается набор систем, которые отдельно или вместе друг с другом способны выполнить набор (или несколько наборов) инструкций для осуществления одной или нескольких методик, описанных в настоящем документе. Компьютерная система 16 может представлять собой процессор 2580 (например, центральный процессор (ЦП) и/или графический процессор (ГП)), основное запоминающее устройство 2582 и статическое запоминающее устройство 230, которые могут обмениваться данными друг с другом с помощью шины 2584. Компьютерная система 16 также может включать в себя видеодисплей 2588 (например, жидкокристаллический дисплей (ЖК-дисплей)). Компьютерная система 16 также включает в себя устройство буквенно-цифрового ввода 2590 (например, клавиатуру), устройство контроля положения курсора 2592 (например, мышь), дисковый накопитель 2594, генератор сигналов 2596 (например, динамик), а также сетевое интерфейсное устройство 2604.

Дисковый накопитель 2594 включает в себя машиночитаемый носитель 2598, на котором хранятся один или несколько наборов инструкций (например, программное обеспечение) для осуществления одной или нескольких методик или функций, описанных в настоящем документе. Программное обеспечение может полностью или, по меньшей мере, частично храниться на основном запоминающем устройстве 2582 и/или внутри процессора 2580 во время ее выполнения в компьютерной системе 16, основном запоминающем устройстве 2582 и процессоре для хранения инструкций 2580 с машиночитаемым носителем. Программное обеспечение также может быть передано и принято по сети 2602 с помощью сетевого интерфейсного устройства 2604.

Хотя в иллюстративном варианте осуществления машиночитаемый носитель показан в виде одного носителя, термин «машиночитаемый носитель» должен включать в себя один носитель или несколько носителей (например, централизованная или распределенная база данных и/или соответствующие кэши и серверы), на которых хранится один или несколько наборов инструкций. Термин «машиночитаемый носитель» относится к любому материальному носителю, способному хранить набор инструкций, выполняемых компьютером, с помощью которых система осуществляет одну или несколько методик в соответствии с настоящем изобретении. Термин «машиночитаемый носитель» включают в себя, не ограничиваясь этим, твердотельную память, оптические носители и магнитные носители.

В обобщенном случае способ захвата и анализа движения для роботизированных систем включает в себя определение последовательности движений человека с помощью множества роботизированных датчиков при приготовлении человеком продукта с помощью технологического оборудования; обнаружение в данной последовательности мини-манипуляций, представляющих собой последовательности движений, выполняемых на каждой стадии приготовления продукта; преобразование полученной последовательности данных в машиночитаемые инструкции для управления роботизированным устройством, способным выполнять последовательности мини-манипуляций; хранение, по меньшей мере, последовательности инструкций для мини-манипуляций на электронном носителе для продукта. Данная процедура может быть повторно выполнена для нескольких продуктов. Предпочтительно, чтобы последовательность мини-манипуляций для продукта хранилась в виде электронного документа. Мини-манипуляции могут представлять собой абстрагированные части многоступенчатого процесса, такие как резка объекта, нагрев объекта (в печи или на плите, с маслом или водой) и т.д. Способ также может включать в себя передачу электронного документа для продукта на роботизированное приспособление, способное воспроизводить последовательность сохраненных мини-манипуляций, соответствующих оригинальным действиям человека. Более того, способ также может включать в себя выполнение последовательности инструкций для мини-манипуляций с продуктом при помощи роботизированного приспособления для получения результата, практически идентичного результату, полученному человеком.

В соответствии с другим обобщенным аспектом можно использовать способ работы робототехнического устройства, включающий в себя создание последовательности заранее запрограммированных инструкций для стандартных мини-манипуляций, в которых каждая мини-манипуляция будет приводить к достижению по меньшей мере одного идентифицируемого результата на стадии приготовления продукта; определение последовательности данных, соответствующих движениям человека, с помощью множества роботизированных датчиков при приготовлении человеком с использованием оборудования; обнаружение стандартных мини-манипуляций в последовательности данных, при этом мини-манипуляция соответствует одному или нескольким результатам наблюдений, а последовательность мини-манипуляций соответствует приготовлению продукта; преобразование последовательности данных в роботизированные инструкции с помощью программного обеспечения, использующего способы распознавания последовательностей заранее запрограммированных стандартных мини-манипуляций на основании обнаруженных последовательностей движений человека, при этом каждая мини-манипуляция содержит последовательность роботизированных инструкций, а роботизированные инструкции включают в себя динамическое обнаружение и роботизированные действия; сохранение последовательности мини-манипуляций и соответствующих роботизированных инструкций на электронном носителе. Предпочтительно, чтобы последовательность инструкций и соответствующих мини-манипуляций для продукта хранилась в виде электронного документа для приготовления продукта. Данная процедура может быть повторена для нескольких продуктов. Способ также может включать в себя передачу последовательности инструкций (предпочтительно в виде электронного документа) на роботизированное приспособление, способное воспроизводить и выполнять последовательность роботизированных инструкций. Способ также может включать в себя выполнение роботизированных инструкций для продукта с помощью роботизированного приспособления для достижения результата, практически идентичного результату, полученному человеком. При повторении способа для нескольких продуктов способ может дополнительно включать в себя создание библиотеки с электронными описаниями для одного или нескольких продуктов, включающую название продукта, ингредиенты продукта и способ (в т.ч. рецепт) приготовления продукта из ингредиентов.

Другой обобщенный аспект относится к способу работы роботизированного приспособления, включающему в себя получение набора инструкций для приготовления продукта, который состоит из нескольких указаний по мини-манипуляциям, соответствующим оригинальным действиям человека, при этом каждое указание содержит последовательность роботизированных инструкций, включающих в себя операции динамического определения и роботизированные операции; передачу набора инструкций для роботизированного приспособления, способного воспроизвести последовательность мини-манипуляций; выполнение последовательности инструкций для мини-манипуляций с продуктом при помощи роботизированного приспособления для достижения результата, практически идентичного результату, достигнутому человеком.

В виде другого аспекта может быть рассмотрен дополнительный обобщенный способ работы роботизированного приспособления, включающий в себя выполнение сценария роботизированных инструкций для воспроизведения рецепта, состоящего из множества движений для приготовления продукта; определение того, может ли каждое движение для приготовления идентифицироваться как стандартное действие захвата стандартного инструмента или стандартного объекта, стандартная манипуляция с кистью или объект, или нестандартный объект; для каждого движения приготовления выполняется одно или несколько действий: выдача инструкций роботизированному устройству управления процессом приготовления для получения доступа к первой базе данных библиотек, если движение приготовления включает в себя стандартное действие захвата стандартного объекта; выдача инструкций роботизированному устройству управления процессом приготовления для получения доступа ко второй базе данных библиотек, если движение для приготовления пищи включает в себя стандартную манипуляцию с кистью или объект; выдача инструкций роботизированному устройству управления процессом приготовления для создания трехмерной модели нестандартного объекта, если движение для приготовления пищи касается нестандартного объекта. Этапы определения и/или выдачи инструкций могут, в частности, использоваться или управляться компьютерной системой. Компьютерная система может иметь процессор и запоминающее устройство.

Другой аспект может относиться к способу приготовления продукта с помощью роботизированного приспособления, включающему в себя воспроизведение рецепта для приготавливаемого продукта (блюда) с помощью роботизированного приспособления, при этом рецепт разделен на одну или нескольких стадий приготовления, каждая стадия приготовления разделена на последовательность мини-манипуляций и элементарные действия, а каждая мини-манипуляция разделена на последовательность элементарных действий. Предпочтительно, чтобы каждая мини-манипуляция была (успешно) проверена для получения оптимального результата выполнения мини-манипуляции с точки зрения изменения положения, ориентации, формы используемого объекта, а также одного или нескольких используемых ингредиентов.

Еще один аспект может относиться к способу создания сценария рецепта, содержащего прием отфильтрованных необработанных данных датчиков в модуле стандартизованных рабочих внешних условий, например, на кухне; генерирование последовательности данных сценария от отфильтрованных необработанных данных; преобразование последовательности данных сценария в машиночитаемые и исполняемые команды для приготовления продукта, машиночитаемые и исполняемые команды включают в себя команды для управления парой роботизированных рук и кистей с целью выполнения определенной функции. Данная функция может представлять собой одну или несколько стадий приготовления, одну или несколько мини-манипуляций, а также одно или несколько элементарных действий. Система создания сценария рецепта, содержащая аппаратное обеспечение и/или программное обеспечение, способна работать в соответствии с данным способом.

В соответствии со всеми аспектами необходимо учитывать следующее. При приготовлении продуктов обычно используются ингредиенты. Выполнение инструкций обычно включает в себя определение свойств ингредиентов, используемых для приготовления продукта. Продукт может представлять собой блюдо в соответствии с рецептом (для приготовления пищи) (который может храниться в виде электронного описания), а человек может быть шеф-поваром. Технологическое оборудование может включать в себя кухонное оборудование. Данные способы могут быть использованы в сочетании с любой одной или несколькими другими особенностями, описанными в настоящем документе. Одна, несколько или все особенности аспектов могут быть объединены таким образом, чтобы объединить особенность одного аспекта с особенностью другого аспекта. Каждый аспект может быть выполнен компьютером и может иметь компьютерную программу для выполнения каждого способа с помощью компьютера или процессора. Каждая компьютерная программа может быть сохранена на машиночитаемом носителе. В качестве дополнения или альтернативы программы могут быть частично или полностью выполнены при помощи аппаратных средств. Аспекты могут быть объединены. Также можно использовать роботизированные системы для работы в соответствии со способом, описанным со ссылкой на любые указанные аспекты.

В соответствии с другим аспектом можно использовать роботизированные системы, содержащие: мультимодальные системы датчиков, способные следить за движениями человека и генерировать данные о движении человека в первой среде с измерительной аппаратурой; процессор (который может представлять собой компьютер), соединенный и способный обмениваться данными с мультимодальными системами датчиков, для записи данных о движениях человека, полученных от мультимодальных систем датчиков, и обработки данных о движениях человека для извлечения элементарных движений, предпочтительно, чтобы элементарные движения соответствовали операциям роботизированных систем. Элементарные движения могут представлять собой мини-манипуляции, описанные в настоящем документе (например, в предыдущих абзацах), и могут иметь стандартный формат. Элементарное движение может задавать определенные типы действий и параметры типа действий, например, действие толкания с определенными начальной точкой, конечной точкой, усилием и типом захвата. Кроме того, может быть предусмотрено роботизированное приспособление, соединенное и способное обмениваться данными с процессором и/или мультимодальной системой датчиков. Робототехнические приспособления могут быть способны использовать элементарные движения и/или данные о движениях человека для воспроизведения обнаруженных движений человека во второй среде с измерительной аппаратурой.

В соответствии со следующим аспектом могут использоваться роботизированные системы, содержащие следующие элементы: процессор (который может представлять собой компьютер) для приема элементарных движений, задающих операции роботизированных систем, при этом элементарные движения основаны на данных о движениях человека, полученных в результате захвата движений человека; роботизированная система, соединенная и способная обмениваться данными с процессором, который может использовать элементарные движения для воспроизведения движений человека в среде с измерительной аппаратурой. Следует понимать, что данные аспекты могут быть объединены.

Дополнительный аспект может относиться к робототехническим системам, содержащим: первую и вторую роботизированные руки; первую и вторую роботизированные кисти, при этом каждая кисть имеет запястье, соединенное с соответствующей рукой, каждая кисть имеет ладонь и несколько пальцев с шарнирами, каждый палец с шарнирами на соответствующей кисти имеет по меньшей мере один датчик; первую и вторую перчатки, при этом каждая перчатка надета на соответствующую кисть с множеством встроенных датчиков. Предпочтительно, чтобы роботизированная система представляла собой роботизированную кухонную систему.

В другом соответствующем аспекте система захвата движений может содержать: модуль стандартизованной рабочей среды, предпочтительно кухни; множество мультимодальных датчиков, включая первый тип датчиков контактирующих с человеком, и второй тип датчиков, расположенных на некотором расстоянии от человека. Возможно использование одного или нескольких следующих вариантов: первый тип датчиков может быть предназначен для измерения позы человеческих конечностей и для обнаружения данных о движениях человеческих конечностей; второй тип датчиков может быть предназначен для пространственной регистрации трехмерных конфигураций среды, объектов, движений и/или положений человеческих конечностей; второй тип датчиков может быть предназначен для определения данных о действиях; стандартизованная рабочая среда может иметь соединители для взаимодействия со вторым типом датчиков; первый тип датчиков и второй тип датчиков обнаруживают данные о движении и данные о действиях, а также отправляют данные о движении и данные о действиях на компьютер для хранения и выполнения обработки при приготовлении продукта (пищи).

В качестве дополнения или альтернативы аспект может относиться к роботизированной кисти, на которую надета перчатка с датчиками, содержащей: пять пальцев; ладонь, соединенную с пятью пальцами, ладонь с внутренними шарнирами и деформируемым поверхностным материалов в трех областях; при этом первая деформируемая область расположена на радиальной стороне ладони и рядом с основанием большого пальца; вторая деформируемая область расположена на ульнарной стороне ладони, удаленной от радиальной стороны; третья деформируемая область расположена на ладони и проходит поперек основания пальцев. Предпочтительно, чтобы сочетание первой деформируемой области, второй деформируемой области, третьей деформируемой области и внутренних шарниров использовалось для выполнения мини-манипуляций, в частности, для приготовления пищи.

Что касается аспектов описанных выше системы, устройства или приспособления, также могут быть использованы аспекты способов, включающих в себя этапы для выполнения функций системы. В качестве дополнения или альтернативы на основании одной или нескольких отличительных особенностей, описанных в настоящем документе со ссылкой на другие аспекты, могут быть обнаружены дополнительные особенности.

В таблице A приводятся типы оборудования (см. в графической части). В таблице B представлены типы ингредиенов (см. в графической части). Таблица C – перечень методов приготовления пищи, оборудования и основных ингредиентов блюда (см. в графической части), таблица D – виды кухонь и блюд (см. в графической части). В таблице E приводится перечень роботизированных систем приготовления пищи, один вариант осуществления (см. в графической части).

Описание настоящего изобретения приведено применительно к возможным вариантам осуществления. Специалистам в данной области должно быть понятно, что изобретение может быть реализовано в виде других вариантов. Конкретные названия компонентов, использование заглавных букв в словах, атрибуты, структуры данных и любые другие аспекты программирования или структурные аспекты не являются обязательными или существенными, а механизмы, с помощью которые реализуется изобретение или его особенности, могут иметь другие названия, форматы или протоколы. Система может быть реализована с помощью комбинации аппаратного и программного обеспечения, как описано в настоящем документе, полностью аппаратным способом или полностью программным способом. Разделение функциональности между различными компонентами системы, описанными в настоящем документе, представлено лишь в качестве примера и не является обязательным; функции, выполняемые одним компонентом системы, могут вместо этого выполняться несколькими компонентами, а функции, выполняемые несколькими компонентами, могут вместо этого выполняться с помощью одного компонента.

В соответствии с различными вариантами осуществления настоящее изобретение может быть реализовано в виде системы или способа для выполнения вышеописанных техник, отдельно или в любом сочетании. Любые отдельные особенности, описанные в настоящем документе, также могут быть объединены, даже если такое сочетание не было описано в явном виде. В соответствии с другим вариантом осуществления настоящее изобретение может быть реализовано в виде компьютерного программного продукта, хранящегося на машиночитаемом носителе, и компьютерного программного кода, хранящегося на носителе, для выполнения вышеописанных техник процессором в компьютерном устройстве или другом электронном устройстве.

Используемые в данном документе ссылки на «один из вариантов осуществления» или «вариант осуществления» означают, что конкретный элемент, особенность, структура или характеристика, описанные в отношении такого варианта, характерны по меньшей мере для одного варианта осуществления. Фраза «в одном из вариантов осуществления», присутствующая в различных местах в описании, необязательно относится к одному варианту осуществления.

Некоторые части приведенного выше описания представлены в виде алгоритмов и символических представлений операций с битами данных на запоминающем устройстве компьютера. Данные описания и представления алгоритмов используется специалистами в обработке данных для передачи сути их работы другим специалистам в соответствующих областях. Алгоритм в целом выступает в роли самостоятельной последовательности этапов (инструкций), позволяющих достичь желаемого результата. Этапы требуют выполнения физических манипуляций определенное количество раз. Обычно, хотя это и не обязательно, данные количества выражаются в виде электрических, магнитных или оптических сигналов, которые могут быть сохранены, переданы, объединены, сравнены, преобразованы и иным образом использованы. В данном случае для понимания общего принципа удобно обозначать данные сигналы как биты, значения, элементы, символы, знаки, термины, числа и т.д. Более того, их удобно использовать при описании определенных сочетаний этапов, требующих выполнения физических манипуляций с физическими величинами при помощи механизмов или устройств кодирования, без нарушения их применимости.

Однако следует помнить, что все указанные и аналогичные термины относятся к соответствующим физическим величинам и представляют собой удобные обозначения для данных величин. Если иное явно не указано или не следует из приведенного описания, следует понимать, что при использовании в описании таких терминов, как «обработка», «вычисление», «расчет», «отображение» или «определение» и т.д., они относятся к действиям и процессам в компьютерной системе или аналогичном электронном вычислительном модуле и/или устройстве, которые используют и преобразовывают данные как физические (электронные) величины в памяти компьютерной системы, регистрах, другом носителе информации, устройстве передачи или отображения.

Отдельные аспекты настоящего изобретения включают в себя этапы и инструкции способа, описанные в настоящем документе в виде алгоритма. Следует отметить, что этапы и инструкции способа, соответствующего настоящему изобретению, могут быть реализованы с помощью программного обеспечения, аппаратно-программного обеспечения и/или аппаратного обеспечения, при этом в случае их реализации с помощью программного обеспечения они могут быть загружены для хранения и обработки на различных платформах, используемых разными операционными системами.

Настоящее изобретение также относится к устройству для выполнения операций, описанных в настоящем документе. Данное устройство может иметь специальную конструкцию для выполнения требуемых функций или может включать в себя стандартный компьютер, выборочно включаемый или перенастраиваемый с помощью компьютерной программы, которая хранится на компьютере. Такая компьютерная программа может храниться на машиночитаемом носителе, включая, но не ограничиваясь этим, любой тип дисков, включая гибкие диски, оптические диски, компакт-диски, магнитно-оптические диски, постоянные запоминающие устройства (ПЗУ), оперативные запоминающие устройства (ОЗУ), стираемые программируемые постоянные запоминающие устройства, электрически стираемые программируемые постоянные запоминающие устройства, магнитные или оптические платы, специализированные интегральные схемы, или любые носители, подходящие для хранения электронных инструкций, при этом все они подключены к шине компьютерной системы. Более того, компьютеры и/или другие электронные устройства, относящиеся к настоящему описанию, могут включать в себя один процессор или могут представлять собой архитектуры, использующие несколько процессоров для повышения вычислительных возможностей.

Алгоритмы и изображения экранов, представленные в настоящем документе, не относятся к определенному компьютеру, виртуальной системе или другим устройствам. В соответствии с настоящим документом программы также могут использовать различные стандартные системы, либо удобным может оказаться создание более специализированного устройства для выполнения определенных этапов способа. Структура, необходимая для различных систем, станет очевидной после ознакомления с описанием, приведенным в настоящем документе. Настоящее изобретение не ссылается на определенный язык программирования. Следует понимать, что для осуществления положений настоящего изобретения, как описано в данном документе, могут быть использованы различные языки программирования, при этом все ссылки на определенные языки программирования приведены исключительно для раскрытия возможных вариантов и оптимального способа осуществления настоящего изобретения.

В соответствии с различными вариантами осуществления настоящее изобретение может быть реализовано в виде программного обеспечения, аппаратного обеспечения и/или других элементов для управления компьютерной системой, компьютерным устройством, другими электронными устройствами или любым их сочетанием. Электронное устройство может включать в себя, например, процессор, устройство ввода (в т.ч. клавиатуру, мышь, сенсорную панель, трекпад, джойстик, шаровой указатель, микрофон и/или любое их сочетание), устройство вывода (в т.ч. экран, динамик и/или их аналоги), запоминающее устройство, долговременного хранения (в т.ч. магнитный носитель, оптический носитель и/или их аналоги), и/или сетевое соединение, в соответствии с технологиями, известными из уровня техники. Такие электронные устройства могут быть портативными или непортативными. В качестве примеров электронных устройств, которые могут быть использованы для осуществления изобретения, можно привести мобильный телефон, карманный персональный компьютер, смартфон, терминал, настольный компьютер, ноутбук, электронное потребительское устройство, телевизор, телевизионную приставку и т.д. Электронное устройство для реализации настоящего изобретения может работать под управлением таких операционных систем, как iOS компании Apple Inc., Купертино, штат Калифорния, Android компании Google Inc., Маунтин-Вью, штат Калифорния, Microsoft Windows компании Microsoft Corporation, Редмонд, штат Вашингтон, webOS компании Palm, Inc., Саннивейл, штат Калифорния, или других операционных систем, адаптированных для использования на устройстве. В соответствии с некоторыми вариантами осуществления электронное устройство для осуществления настоящего изобретения включает в себя функции для обмена данными по одной или нескольким сетям, включая, например, сотовую телефонную сеть, беспроводную сеть и/или компьютерную сеть, в т.ч. Интернет.

Некоторые варианты осуществления могут быть описаны с использованием выражения «соединенный» или «связанный», а также его производных. Следует понимать, что такие термины не являются синонимами друг друга. Например, некоторые варианты осуществления могут быть описаны с использованием термина «связанный» с целью указать, что два или более элемента находятся в прямой физической или электрической связи друг с другом. В другом примере некоторые варианты осуществления могут быть описаны с использованием термина «соединенный» с целью указать, что два или более элемента находятся в прямой физической или электрической связи. Тем не менее, термин «соединенный» может означать, что два или более элемента не находятся в прямой связи друг с другом, но при этом взаимодействуют друг с другом. Варианты осуществления не ограничиваются данным контекстом.

Используемые в данном документе термины «включает в себя», «включающий в себя», «содержит», «содержащий», «имеет», «имеющий» или любые их варианты предназначены для неисключительного использования. Например, процесс, способ, предмет или аппаратура, включающие в себя перечень элементов, не обязательно ограничиваются только этими элементами, а могут содержать другие элементы, не перечисленные явно или не имеющие связи с данным процессом, способом, предметом или аппаратурой. Кроме того, если обратное явно не указано, «или» обозначает «включающее или» и «не исключающее или». Например, условие А или В выполняется в одном из перечисленных случаев: А верно (или присутствует) и В неверно (или отсутствует), А неверно (или отсутствует) и В верно (или присутствует), а также А и В верны (или присутствуют).

Используемые в настоящем документе термины «некоторый» относятся к одному или нескольким предметам. Используемый в данном документе термин «совокупность» относится к двум предметам или более. Используемый в данном документе термин «другой» относится, как минимум, ко второму предмету или более.

Среднему специалисту не должно потребоваться никаких дополнительных объяснений при разработке способов и систем, описанных в данном документе, но, возможно, существуют какие-либо полезные инструкции по подготовке данных способов и систем в стандартных исходниках в соответствующей области техники.

Хотя описание настоящего изобретения приведено для ограниченного количества вариантов осуществления, специалисты в данной области техники после ознакомления с приведенным описанием должны понять, что другие варианты осуществления могут быть реализованы без отступления от объема настоящего изобретения, описанного в данном документе. Следует отметить, что язык, используемый в описании, выбран для обеспечения читаемости и предоставления инструкций и не может рассматриваться как определение границ или ограничения сущности изобретения. Используемые термины не должны рассматриваться как ограничение определенными вариантами осуществления, раскрытыми в настоящем описании и формуле изобретения, при этом они должны включать в себя все способы и системы, работающие в соответствии с формулой изобретения, приведенной ниже. Таким образом, изобретение не ограничивается настоящим описанием, напротив, его сущность полностью определяется с помощью следующей формулы изобретения.

1. Выполняемый компьютером способ эксплуатации роботизированного приспособления, включающий в себя:

выполнение электронного описания одного или нескольких блюд, включая рецепты приготовления шеф-поваром каждого блюда из определенных ингредиентов;

для каждого блюда считывание последовательности движений шеф-повара с помощью мультимодальных сенсорных систем во время приготовления блюда шеф-поваром с использованием ингредиентов и кухонного оборудования;

обнаружение в последовательности наблюдений мини-манипуляций, соответствующих последовательности движений, выполняемых на каждой стадии приготовления определенного блюда;

преобразование считанной последовательности наблюдений в машиночитаемые инструкции для управления роботизированным устройством, способным выполнять последовательности мини-манипуляций;

сохранение на электронном носителе, по меньшей мере, последовательности инструкций для мини-манипуляций по приготовлению каждого блюда, причем последовательность мини-манипуляций для каждого блюда сохраняют в виде соответствующего электронного документа;

передачу соответствующего электронного документа для блюда на роботизированное приспособление, способное воспроизводить последовательность сохраненных мини-манипуляций, соответствующих оригинальным действиям шеф-повара; и

выполнение последовательности инструкций для мини-манипуляций по приготовлению определенного блюда с помощью роботизированного приспособления, с получением результата, практически идентичного оригинальному блюду, приготовленному шеф-поваром, причем выполнение инструкций включает в себя сенсорное обнаружение свойств ингредиентов, используемых при приготовлении блюда.

2. Способ по п. 1, который дополнительно содержит этап предварительного программирования каждой стадии мини-манипуляции в последовательность действий роботизированных датчиков, действий по выполнению роботизированных манипуляций и действий по роботизированной регулировке, причем заранее запрограммированная последовательность роботизированных действий извлекают с электронного носителя и вставляют в последовательность роботизированных инструкций.

3. Способ по п. 1, в котором между этапами считывания и сохранения трансформируют считанные данные от совокупности датчиков, соответствующие стадиям приготовления пищи, в набор машиночитаемых инструкций для управления роботизированным приспособлением, причем инструкции задают выполнение серий движений роботизированным приспособлением при приготовлении блюда.

4. Способ по п. 3, в котором набор машиночитаемых инструкций включает в себя регулировку одного или нескольких параметров в зависимости от свойств ингредиентов, связанных с приготовлением определенного блюда.

5. Способ по п. 4, в котором один или несколько параметров включают в себя переменные, которые могут принимать численные значения или диапазоны численных значений.

6. Способ по п. 5, в котором один или несколько параметров включают в себя одну или несколько переменных для корректировки инструкций для определенного ингредиента.

7. Способ по п. 5, в котором один или несколько параметров включают в себя одну или несколько переменных для корректировки инструкций для определенных мини-манипуляций.

8. Способ по п. 5, в котором один или несколько параметров включают в себя одну или несколько переменных для корректировки инструкций для определенной стадии приготовления.

9. Способ по п. 5, в котором один или несколько параметров включают в себя одну или несколько переменных для корректировки инструкций для элементарного действия.

10. Способ по п. 5, в котором один или несколько параметров включают в себя параметры инструкций для управления роботизированным приспособлением, включая инструкции для роботизированного устройства.

11. Способ по п. 5, в котором один или несколько параметров включают в себя совокупность параметров, задаваемых шеф-поваром.

12. Способ по п. 5, в котором один или несколько параметров включают в себя совокупность настраиваемых пользователем параметров.

13. Способ по п. 4, в котором регулировку параметров роботизированных действий выполняют динамически на основании значений датчиков ингредиентов, определенных роботизированным приспособлением в процессе приготовления блюда.

14. Способ по п. 4, в котором регулировки параметров оборудования выполняют с помощью роботизированного приспособления на основании значений параметров оборудования, установленных шеф-поваром при выполнении приготовления оригинального блюда.

15. Способ по п. 1, в котором этап выполнения включает в себя приготовления роботизированным приспособлением идентичного блюда практически за то же время, как и шеф-повар, готовящий оригинальное блюдо.

16. Способ по п. 1, в котором этап выполнения содержит каждую соответствующую стадию приготовления блюда, выполняемую роботизированным приспособлением и имеющую примерно ту же продолжительность по времени, что и соответствующая стадия в ходе приготовления оригинального блюда шеф-поваром.

17. Способ по п. 3, в котором каждая стадия содержит одну или несколько специальных мини-манипуляций для приготовления пищи, где мини-манипуляции распознают как последовательность стандартизованных заранее запрограммированных элементарных действий роботизированного приспособления, причем последовательности элементарных действий вставляют в общую последовательность машиночитаемых инструкций для управления роботизированным приспособлением.

18. Способ по п. 3, в котором все специфические мини-манипуляции в процессе приготовления пищи распознают как последовательность стандартизованных заранее запрограммированных элементарных действий роботизированного приспособления, причем последовательности элементарных действий вставляют в общую последовательность машиночитаемых инструкций для управления роботизированным приспособлением.

19. Способ по п. 1, в котором используют роботизированное приспособление, содержащее:

первую и вторую роботизированные руки, каждая из которых имеет заранее заданное количество степеней свободы;

первую и вторую роботизированные кисти, каждая из которых имеет запястье, соединенное с соответствующей роботизированной рукой, и каждое запястье имеет заранее заданное количество степеней свободы;

первую и вторую роботизированные кисти, каждая из которых имеет несколько пальцев, а каждый палец на каждой кисти имеет заранее заданное количество степеней свободы и по меньшей мере один тактильный датчик.

20. Способ по п. 19, в котором заранее заданное количество степеней свободы для каждой руки равно, по меньшей мере, шести.

21. Способ по п. 19, в котором заранее заданное количество степеней свободы для каждого запястья равно, по меньшей мере, двум.

22. Способ по п. 19, в котором заранее заданное количество степеней свободы для каждого пальца равно, по меньшей мере, четырем, при этом каждый палец имеет три шарнира.

23. Способ по п. 1, в котором роботизированные датчики включают в себя, по меньшей мере, одну видеокамеру.

24. Способ по п. 1, в котором роботизированные датчики включают в себя, по меньшей мере, один дальномер.

25. Способ по п. 1, в котором роботизированные датчики включают в себя, по меньшей мере, один тактильный датчик.

26. Способ по п. 25, в котором один или несколько тактильных датчиков встроены в перчатки, носимые шеф-поваром во время приготовления каждого блюда.

27. Способ по п. 1, в котором перчатки, носимые шеф-поваром, имеют встроенные отметки на поверхности, при этом отметки на поверхности указывают деформацию поверхности ладони на каждой перчатке во время приготовления пищи шеф-поваром.

28. Способ по п. 1, в котором перчатки, носимые шеф-поваром, имеют встроенные магнитные датчики, при этом магнитные датчики измеряют деформацию поверхности ладони на каждой перчатке во время приготовления пищи шеф-поваром.

29. Способ по п. 1, в котором роботизированные датчики включают в себя лазерные датчики для определения ориентации, расстояния, формы и размера объектов, используемых по меньшей мере на одной стадии приготовления блюда.

30. Способ по п. 25, в котором тактильные датчики на перчатках расположены на кончиках пальцев и на ладони роботизированной кисти.

31. Выполняемый компьютером способ эксплуатации роботизированного приспособления, который включает в себя:

создание библиотеки электронных описаний одного или нескольких блюд, включающих название блюда, ингредиенты блюда и рецепты для приготовления блюд из ингредиентов;

создание последовательностей заранее запрограммированных инструкций для стандартизованных мини-манипуляций, где каждая мини-манипуляция имеет, по меньшей мере, один идентифицируемый результат на стадии приготовления, по меньшей мере, одного блюда;

сенсорное считывание последовательности наблюдений, соответствующих движениям шеф-повара, при помощи множества роботизированных датчиков в процессе приготовлении блюда шеф-поваром с использованием ингредиентов и кухонного оборудования;

обнаружение стандартизированных мини-манипуляций в последовательности наблюдений, причем мини-манипуляция соответствует одному или нескольким наблюдениям, а последовательность мини-манипуляций соответствует приготовлению блюда;

трансформирование последовательности данных в роботизированные инструкции на основании программных способов для определения последовательностей заранее запрограммированных стандартизованных мини-манипуляций на основании обнаруженной последовательности движений шеф-повар; при этом каждая мини-манипуляция содержит последовательность роботизированных инструкций, а роботизированные инструкции содержат динамическое определение и роботизированные действия;

сохранение последовательности мини-манипуляций и соответствующих роботизированных инструкций на электронном носителе, при этом последовательность инструкций и соответствующие мини-манипуляции для каждого блюда хранятся в виде соответствующего электронного документа для приготовления каждого блюда;

передачу соответствующего электронного документа, относящегося к блюду, на роботизированное приспособление, способное воспроизводить и выполнять последовательность роботизированных инструкций;

выполнение роботизированных инструкций для каждого отдельного блюда с помощью роботизированного приспособления для достижения результата, по существу идентичного результату приготовления оригинального блюда шеф-поваром.

32. Способ по п. 31, в котором дополнительно настраивают параметры для роботизированных инструкций на основании значений по умолчанию, предоставленных шеф-поваром.

33. Способ по п. 31, в котором дополнительно настраивают параметры для роботизированных инструкций на основании предпочтений, указанных пользователем.

34. Способ по п. 31, в котором регулируют параметры для роботизированных инструкций на основании динамических наблюдений датчиков, записанных и трансформированных в скорректированные параметры в роботизированных инструкциях при выполнении роботизированным приспособлением последовательности инструкций.

35. Способ по п. 31, в котором при регулировке параметров компенсируют изменчивость ингредиентов, чтобы достичь практически идентичного результата при приготовлении блюда.

36. Способ по п. 35, в котором с помощью регулировки параметров минимизируют ожидаемые погрешности результатов для максимизации ожидаемой точности.

37. Способ по п. 36, в котором минимизируемую суммарную погрешность оценивают по формуле , а ожидаемую результирующую точность оценивают по формуле

38. Способ по п. 35, в котором минимизируемую суммарную погрешность оценивают по формуле , а результирующую точность оценивают по формуле

39. Способ по п. 31, в котором используют один или несколько механизмов машинного обучения, реализованных программно, причем механизмы обучения обобщают последовательность роботизированных инструкций для приготовления определенного блюда.

40. Способ по п. 31, в котором обобщение роботизированных инструкций включает в себя замену значения параметра диапазоном значений параметра.

41. Способ по п. 31, в котором обобщение роботизированных инструкций обеспечивает множество альтернативных инструкций по меньшей мере для одной мини-манипуляции приготовления пищи.

42. Способ по п. 41, дополнительно содержащий этап оценки альтернативных роботизированных инструкций по меньшей мере для одной мини-манипуляции с целью определения предпочтительной мини-манипуляции.

43. Способ по п. 31, в котором механизм машинного обучения включает в себя роботизированное ситуационное обучение.

44. Способ по п. 31, в котором механизм машинного обучения включает в себя роботизированное стимулированное обучение.

45. Роботизированная система, содержащая:

мультимодальную систему датчиков, способную наблюдать за движениями человека и генерировать данные о движениях человека в первой инструментальной среде;

компьютер, соединенный и способный обмениваться данными с мультимодальной системой датчиков, для записи данных о движениях человека, полученных от мультимодальной системы датчиков, и обработки данных о движениях человека для считывания элементарных движений;

роботизированное приспособление, соединенное и способное обмениваться данными с мультимодальной системой датчиков, которая может использовать данные о движениях человека для воспроизведения обнаруженных движений человека во второй среде с измерительной аппаратурой.

46. Система по п. 45, в которой воспроизведение содержит выполнение считанных элементарных движений.

47. Система по п. 45, в которой считанные элементарные движения включают в себя множество элементарных движений, начиная элементарными движениями высокого уровня и заканчивая элементарными движениями низкого уровня.

48. Система по п. 45, в которой считанные элементарные движения включают в себя одно или несколько элементарных движений высокого уровня и одно или несколько элементарных движений низкого уровня.

49. Система по п. 45, в которой роботизированная система содержит:

первую и вторую роботизированные руки;

первую и вторую роботизированные кисти, при этом каждая кисть имеет запястье, соединенное с соответствующей рукой, каждая кисть имеет множество шарнирных пальцев и ладонь;

множество исполнительных механизмов, при этом каждый исполнительный механизм управляет одной степенью свободы или сочетанием степеней свободы, при этом каждая степень свободы содержит относительное движение вращающихся элементов и/или линейно перемещающихся элементов.

50. Система по п. 45, в которой роботизированная система содержит:

первую и вторую роботизированные руки;

первую и вторую роботизированные кисти, при этом каждая кисть имеет запястье, соединенное с соответствующей рукой, каждая кисть имеет множество шарнирных пальцев и ладонь;

множество исполнительных механизмов, при этом каждый исполнительный механизм управляет одним или несколькими подвижными шарнирами на роботизированных руках, роботизированных кистях, пальцах или запястьях.

51. Система по п. 45, в которой первая среда с измерительной аппаратурой идентична второй среде с измерительной аппаратурой.

52. Система по п. 45, в которой первая среда с измерительной аппаратурой отличается от второй среды с измерительной аппаратурой.

53. Система по п. 45, в которой вторая среда с измерительной аппаратурой содержит несколько пар роботизированных рук и несколько пар роботизированных кистей, при этом сочетание нескольких пар роботизированных кистей и рук выполняет приготовление пищи так же, как это делает несколько человек.

54. Система по п. 45, в которой данные о движениях человека содержат данные, полученные во время наблюдения за человеком-поваром во время приготовления блюда, при этом считанные элементарные движения включают в себя последовательность этапов приготовления пищи.

55. Система по п. 45, в которой данные о движениях человека содержат данные, полученные во время наблюдения за художником, рисующим картину на холсте, при этом считанные элементарные движения включают в себя последовательность этапов рисования.

56. Система по п. 45, в которой данные о движениях человека содержат данные, полученные во время наблюдения за музыкантом во время игры на музыкальном инструменте, при этом считанные элементарные движения включают в себя последовательность игры на музыкальном инструменте.

57. Система по п. 45, в которой компьютер создает сценарий рецепта, содержащий последовательность команд для выполнения движений высокого уровня и приготовления блюда по рецепту.

58. Система, содержащая:

стандартизованный кухонный модуль;

множество мультимодальных датчиков первого типа, контактирующих с человеком, и датчиков второго типа, расположенных на некотором расстоянии от человека;

первый тип датчиков предназначен для измерения позы человеческих конечностей и для обнаружения данных о движениях человеческих конечностей;

второй тип датчиков предназначен для пространственной регистрации трехмерных конфигураций среды, объектов, движений и/или положений человеческих конечностей, при этом второй тип датчиков предназначен для определения данных о действиях, стандартизованная рабочая среда может иметь соединители для взаимодействия со вторым типом датчиков;

причем первый тип датчиков и второй тип датчиков обнаруживают данные о движении и данные о действиях, а также отправляют данные о движении и данные о действиях на компьютер для хранения и выполнения обработки при приготовлении пищи.

59. Система по п. 58, в которой первый тип датчиков содержит датчики положения и скорости, предназначенные для измерения скорости перемещения суставов на человеческих конечностях.

60. Система по п. 58, в которой первый тип датчиков содержит датчики для определения расстояния, прикосновений, а также места, распределения и усилий контакта.

61. Система по п. 58, в которой второй тип датчиков содержит датчики камер, лазерные датчики, ультразвуковые датчики, емкостные датчики и инфракрасные датчики.

62. Система по п. 58, в которой второй тип датчиков содержит датчики на эффекте Холла.

63. Система по п. 58, в которой конечности человека включают в себя голову, руки, кисти и пальцы.

64. Система по п. 58, в которой второй тип датчиков непрерывно выполняет пространственную регистрацию трехмерных конфигураций среды, объектов, движений и/или положений человеческих конечностей.

65. Система по п. 58, в которой данные о движениях предварительно обрабатываются перед отправкой на компьютер, на котором данные о движениях сохраняются и обрабатываются.

66. Система по п. 58, в которой данные о действиях предварительно обрабатываются перед отправкой на компьютер, на котором данные о действиях сохраняются и обрабатываются.

67. Выполняемый компьютером способ работы роботизированного приспособления, включающий в себя:

выполнение роботизированного сценария приготовления для воспроизведения рецепта для приготовления пищи, состоящего из множества движений для приготовления пищи;

компьютерную систему, имеющую процессор и запоминающее устройство, при этом система определяет, идентифицировано ли каждое движение для приготовления пищи как стандартизованное действие захвата стандартизованного кухонного инструмента или стандартизованного объекта, как стандартизованная манипуляция с кистью или объект, или как нестандартизованный объект;

компьютерную систему для каждого движения при приготовлении пищи, которая управляет роботизированными устройствами для приготовления для получения доступа к первой базе данных библиотек, если движение для приготовления пищи включает в себя стандартизованное действие захвата или стандартизованный объект, компьютерную систему, которая управляет роботизированными устройствами для приготовления для получения доступа ко второй базе данных библиотек, если движение для приготовления пищи включает в себя стандартизованную манипуляцию кисти или объект, и компьютерную систему, которая управляет роботизированными устройствами для приготовления для создания трехмерной модели нестандартизованного объекта, если движение для приготовления пищи включает в себя нестандартизованный объект.

68. Способ по п. 67, в котором первая база данных библиотек содержит множество заранее заданных кухонных инструментов, при этом каждый кухонный инструмент сопоставлен с программным файлом, который включает в себя код для кухонного инструмента, заранее сохраненную трехмерную модель кухонного инструмента, а также свойства кухонного инструмента.

69. Способ по п. 67, в котором вторая база данных библиотек содержит множество заранее заданных мини-манипуляций кисти, связанных с определенной задачей для приготовления пищи.

70. Способ по п. 67, в котором для нестандартизованного объекта компьютерная система активирует множество датчиков на модуле кухни для построения трехмерной модели нестандартизованного объекта, чтобы определить для роботизированного устройства оптимальный способ захвата нестандартизованного объекта.

71. Способ создания сценария рецепта, включающий в себя:

прием отфильтрованных необработанных данных от датчиков в модуле стандартизованной кухни, включающий сбор необработанных данных, объединяемых во множество групп;

генерирование последовательности данных сценария на основании необработанных данных;

преобразование последовательности данных сценария в машиночитаемые и исполняемые команды для приготовления блюда, при этом машиночитаемые и исполняемые команды включают в себя команды для управления парой роботизированных рук и кистей для выполнения функций из следующей группы: одна или несколько стадий приготовления пищи, одна или несколько мини-манипуляций, одно или несколько элементарных действий.

72. Способ по п. 71, также содержащий после этапа преобразования выполнение последовательности данных сценария для управления роботизированными кистями и руками при выполнении мини-манипуляций для приготовления блюда на одной или нескольких стадиях.

73. Способ по п. 71, в котором этап выполнения включает в себя контроль роботизированных рук, роботизированных кистей, блюда для адаптации мини-манипуляций в режиме реального времени с целью оптимизации процесса получения практически идентичного блюда.

74. Способ по п. 71, в котором первая группа из множества групп содержит двухмерные необработанные данные и трехмерные необработанные данные, полученные от одного или нескольких датчиков.

75. Способ по п. 71, в котором вторая группа из множества групп содержит необработанные данные о роботизированном приспособлении, полученные от одного или нескольких датчиков.

76. Способ по п. 71, в котором необработанные данные о роботизированном приспособлении содержат данные, касающиеся внутреннего положения и скорости шарниров, а также крутящего момента роботизированного приспособления.

77. Способ по п. 71, в котором третья группа из множества групп содержит необработанные данные о состоянии кухни, полученные от одного или нескольких датчиков, при этом необработанные данные о состоянии кухни включают в себя аналоговые данные и двоичные данные.

78. Способ по п. 71, в котором этап генерирования содержит объединение обработанных данных от модуля преобразования данных, модуля извлечения данных и модуля сокращения объема и абстрагирования данных.

79. Способ по п. 78, в котором объединение включает в себя расположение обработанных данных в соответствии с временными метками и этапом процесса для соответствующих ингредиентов, используемого оборудования, ключевого способа приготовления, а также ключевых контролируемых и отслеживаемых переменных.

80. Способ по п. 78, в котором модуль преобразования данных оценивает рабочую среду стандартизованной роботизированной кухни, чтобы идентифицировать выбранные стадии приготовления пищи, выбранное оборудование, выбранные кухонные инструменты, выбранные ингредиенты и места выполнения операций в рамках приготовления определенного блюда.

81. Способ по п. 78, в котором модуль извлечения и преобразования данных обрабатывает двухмерные необработанные данные для извлечения двухмерных визуальных данных и определения контуров объектов на изображении, определения цветов и текстуры объектов в окружающей области на изображениях, определения типов и мест расположения на изображении, идентификации ингредиентов и оборудования на изображении, а также сопоставления их с определенными стадиями приготовления пищи.

82. Способ по п. 81, в котором модуль извлечения данных и преобразования принимает обработанные данные от модуля сокращения объема и абстрагирования данных, которые содержат информацию об объекте, габаритах объекта, относительном расположении и ориентации объекта в пространстве на стандартизованной роботизированной кухне.

83. Способ по п. 80, в котором модуль сокращения объема и абстрагирования данных принимает трехмерные необработанные данные и считывает часть трехмерных данных, относящихся к определенному этапу приготовления пищи.

84. Способ по п. 83, в котором модуль сокращения объема и абстрагирования данных обрабатывает считанные трехмерные данные, а также выполняет вычисления, включая считывание информации о геометрии для идентификации и сопоставления определенного объекта с набором необработанных трехмерных данных.

85. Способ по п. 79, в котором модуль сокращения объема и абстрагирования данных содержит определение размера, типа, места расположения и ориентации объекта на трехмерной стандартизованной роботизированной кухне.

86. Способ по п. 71, в котором объединение содержит прием информации от интеллектуальных устройств.