Способ и устройство для обучения суперсети
Группа изобретений относится к нейронным сетям и может быть использована для обучения суперсети. Техническим результатом является повышение точности и эффективности обучения суперсети. Способ содержит этапы, на которых выполняют отбор подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и обучают множество подсетей, полученных путем отбора, и обновляют суперсеть, при этом этап выполнения отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, содержит: этап 1, на котором, с первого слоя до последнего слоя суперсети, удаляют одну подструктуру из пула отбора каждого слоя, слой за слоем, причем удаленная подструктура больше не возвращается в пул отбора; этап 2, на котором соединяют подструктуры, выбранные из каждого слоя, чтобы сформировать одну подсеть; и повторяют этап 1 и этап 2, чтобы получить множество подсетей. 4 н. и 5 з.п. ф-лы, 10 ил.
[0001] Настоящее изобретение относится к технологиям интеллектуальной нейронной сети и, в частности, к способу и устройству для обучения суперсети.
УРОВЕНЬ ТЕХНИКИ
[0002] Нейронные сети широко используются в различных областях. В некоторых областях, таких как Поиск Нейронной Архитектуры (NAS), способ, при котором каждый поиск формирует и обучает отдельную нейронную сеть с тем, чтобы получить индекс, сталкивается с низкой эффективностью оценки, которая в значительной степени ограничивает скорость алгоритма поиска. Некоторые способы NAS обучают суперсеть, которая содержит все пространство структуры поисковой сети. Все подструктуры в суперсети совместно используют параметры при построении разных подсетей. Подсеть может быть отобрана и индекс может быть оценен только путем обучения суперсети до некоторой степени, когда нет необходимости вновь обучать подсеть.
[0003] Каждый слой суперсети имеет несколько выбираемых подструктур. Суперсеть обучается обычно путем выбора одного обучающего пути посредством способа равномерного отбора пути, как показано на Фиг. 1, которая является примером реализации для формирования подсети путем равномерного отбора. Из–за существования определенной дисперсии при равномерном отборе, разные подструктуры обучаются в разной степени, что приводит к ошибкам при оценке индикатора подсети.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0004] Для преодоления проблем в родственной области техники настоящее изобретение предоставляет способ и устройство для обучения суперсети.
[0005] В соответствии с первым аспектом вариантов осуществления настоящего изобретения предоставляется способ для обучения суперсети, включающий в себя этапы, на которых:
[0006] выполняют отбор подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и
[0007] обучают множество подсетей, полученных путем отбора, и обновляют суперсеть.
[0008] В необязательном порядке, число отобранных подсетей является точно таким же, как число подструктур в каждом слое суперсети.
[0009] В необязательном порядке, этап, на котором выполняют отбор подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, включает в себя:
[0010] этап 1, на котором, с первого слоя до последнего слоя суперсети, удаляют одну подструктуру из пула отбора каждого слоя методом слой за слоем, причем удаленная подструктура больше не возвращается в пул отбора;
[0011] этап 2, на котором соединяют подструктуры, выбранные из каждого слоя, чтобы сформировать одну подсеть; и
[0012] повторяют этап 1 и этап 2, чтобы получить множество подсетей.
[0013] В необязательном порядке, когда число отобранных подсетей является точно таким же, как число подструктур в каждом слое суперсети, после этапа, на котором выполняют отбор подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, способ дополнительно включает в себя этап, на котором:
[0014] возвращают все подструктуры всех слоев суперсети в соответствующий пул отбора соответствующих слоев.
[0015] В необязательном порядке, этап, на котором обучают множество подсетей, полученных путем отбора, и обновляют суперсеть, включает в себя этапы, на которых:
[0016] обучают подсети из множества подсетей в течение одного цикла, соответственно; и
[0017] обновляют параметр суперсети в соответствии с результатом обучения множества подсетей.
[0018] В необязательном порядке, этап, на котором обучают подсети из множества подсетей в течение одного цикла соответственно, включает в себя этап, на котором:
[0019] обучают соответствующие подсети из множества подсетей посредством алгоритма обратной передачи ошибки обучения (BP), соответственно.
[0020] В соответствии с другим аспектом вариантов осуществления настоящего изобретения предоставляется устройство для обучения суперсети, включающее в себя:
[0021] модуль отбора без возвращения, выполненный с возможностью выполнения отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и
[0022] устройство обучения суперсети, выполненное с возможностью обучения множества подсетей, полученных путем отбора, и обновления суперсети.
[0023] В необязательном порядке, модуль отбора без возвращения включает в себя:
[0024] подмодуль выбора, выполненный с возможностью удаления одной подструктуры из пула отбора каждого слоя с первого слоя до последнего слоя суперсети слой за слоем, причем удаленная подструктура больше не возвращается в пул отбора;
[0025] подмодуль объединения подсети, выполненный с возможностью соединения подструктур, выбранных из каждого слоя, чтобы сформировать одну подсеть; и
[0026] подмодуль управления отбором, выполненный с возможностью управления подмодулем выбора и подмодулем объединения подсети, чтобы повторять отбор и формирование подсети так, чтобы получить множество подсетей.
[0027] В необязательном порядке, устройство включает в себя:
[0028] модуль высвобождения сети, выполненный с возможностью, когда число подсетей, отобранных модулем отбора без возвращения, является точно таким же, как число подструктур в каждом слое суперсети, возвращать все подструктуры всех слоев суперсети в соответствующий пул отбора соответствующего слоя.
[0029] В соответствии с еще одним другим аспектом вариантов осуществления настоящего изобретения предоставляется компьютерное устройство, включающее в себя:
[0030] процессор; и
[0031] память для хранения инструкций, исполняемых процессором;
[0032] при этом процессор выполнен с возможностью:
[0033] выполнения отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и
[0034] обучения множества подсетей, полученных путем отбора, и обновления суперсети.
[0035] В соответствии с еще одним другим аспектом вариантов осуществления настоящего изобретения предоставляется долговременный машиночитаемый носитель информации причем, когда инструкции, хранящиеся в носителе информации, исполняются процессором мобильного терминала, обеспечивается выполнение мобильным терминалом способа для обучения суперсети, причем способ включает в себя этапы, на которых:
[0036] выполняют отбор подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и
[0037] обучают множество подсетей, полученных путем отбора, и обновляют суперсеть.
[0038] Техническое решение, предоставленное вариантами осуществления настоящего изобретения, может включать в себя следующие положительные результаты: посредством использования совершенно справедливого способа отбора, при выборе подструктуры каждого слоя, отобранная подструктура не возвращается, тем самым гарантируя то, что каждая подструктура равномерно выбирается и обучается, и решая проблему, состоящую в том, что возникают ошибки при оценке подсетей из–за обучения подструктур в разной степени. Более того, после обучения подсети партиями, параметры суперсети обновляются вместе и повышается эффективность обучения. Таким образом реализуется точный и эффективный механизм обучения суперсети.
[0039] Следует понимать, что как вышеизложенное общее описание, так и последующее подробное описание, являются лишь примерными и пояснительными и не являются ограничивающими настоящее изобретение, как заявлено.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0040] Сопроводительные чертежи, которые включены в и составляют часть данного технического описания, иллюстрируют варианты осуществления, которые согласуются с настоящим изобретением, и вместе с описанием служат для объяснения принципов настоящего изобретения.
[0041] Фиг. 1 является принципиальной схемой принципа реализации для формирования подсети путем равномерного отбора;
[0042] Фиг. 2 является блок–схемой способа для обучения суперсети в соответствии с примерным вариантом осуществления настоящего изобретения;
[0043] Фиг. 3 является блок–схемой примерной реализации этапа 201 на Фиг. 2;
[0044] Фиг. 4 является примерной принципиально схемой принципа реализации для выполнения неповторяющегося отбора на этапе 201 Фиг. 2;
[0045] Фиг. 5 является блок–схемой способа для обучения суперсети в соответствии с примерным вариантом осуществления настоящего изобретения;
[0046] Фиг. 6 является структурной схемой устройства для обучения суперсети в соответствии с примерным вариантом осуществления настоящего изобретения;
[0047] Фиг. 7 является структурной схемой для примерной структуры модуля 601 отбора без возвращения на Фиг. 6;
[0048] Фиг. 8 является структурной схемой устройства для обучения суперсети в соответствии с примерным вариантом осуществления настоящего изобретения;
[0049] Фиг. 9 является структурной схемой устройства (общая структура мобильного терминала) в соответствии с примерным вариантом осуществления настоящего изобретения; и
[0050] Фиг. 10 является структурной схемой устройства (общая структура сервера) в соответствии с примерным вариантом осуществления настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
[0051] Теперь обратимся за подробностями к примерным вариантам осуществления, примеры которых проиллюстрированы на сопроводительных чертежах. Нижеследующее описание обращается к сопроводительным чертежам, на которых одни и те же числа на разных чертежах представляют собой одни и те же или сходные элементы, если не представлено иное. Реализации, изложенные в нижеследующем описании примерных вариантов осуществления, не представляют собой все реализации, которые согласуются с настоящим изобретением. Вместо этого они являются лишь примерами устройств и способов, которые согласуются с аспектами, которые относятся к настоящему изобретению, как сформулировано в прилагаемой формуле изобретения.
[0052] Все подструктуры в суперсети совместно используют параметры при создании разных подсетей так, что подсеть может быть отобрана и индекс может быть оценен при условии, что оценочный индекс (такой как точность) у подсетей обучен в некоторой степени, таким образом отсутствует необходимость в повторном обучении подсети.
[0053] В каждом слое суперсети присутствует множество выбираемых подструктур и обучение суперсети как правило осуществляется посредством выбора одного пути посредством способа равномерного отбора пути. Из–за существования определенной дисперсии при равномерном отборе, разные подструктуры обучаются в разной степени, что вызывает возникновение ошибок в оценочном индексе подсетей.
[0054] Для преодоления вышеупомянутых проблем варианты осуществления настоящего изобретения предоставляют способ и устройство для обучения суперсети. Используется совершенно справедливый способ отбора и при выборе подструктуры в каждом слое отобранные подструктуры не возвращаются, тем самым гарантируя то, что каждая подструктура равномерно выбирается и обучается, и решая проблему, заключающуюся в том, что возникают ошибки при оценке индекса подсетей из–за неравномерных степеней обучения подструктур.
[0055] Вариант осуществления настоящего изобретения предоставляет способ для обучения суперсети, и блок–схема обучения и обновления суперсети путем использования способа иллюстрируется на Фиг. 2, причем способ включает в себя следующие этапы.
[0056] На этапе 201 выполняется отбор подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, где для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры.
[0057] На данном этапе выполняется неповторяющийся отбор. Выбранная подструктура больше не возвращается в пул отбора до тех пор, пока не завершаются все отборы подсетей. В необязательном порядке, число подсетей, полученных путем отбора, является точно таким же, как число подструктур в каждом слое суперсети, т.е. все подструктуры в суперсети отбираются один раз, тем самым гарантируя то, что все подструктуры обучаются равномерно.
[0058] Данный этап, в частности, иллюстрируется на Фиг. 3, включая в себя следующие этапы.
[0059] На этапе 2011, с первого слоя до последнего слоя суперсети, одна подструктура удаляется из пула отбора каждого слоя методом слой за слоем, и удаленная подструктура больше не возвращается в пул отбора.
[0060] На этапе 2012 подструктуры, выбранные из каждого слоя, соединяются так, чтобы сформировать одну подсеть.
[0061] На этапе 2013 процесс с этапа 1 по этап 2 потеряется так, чтобы получить множество подсетей. Необязательно повторение выполняется до тех пор, пока число подсетей, полученных путем отбора, не станет точно таким же, как число подструктур в каждом слое суперсети.
[0062] Фиг. 4 является примерной принципиальной схемой принципа реализации для выполнения неповторяющегося отбора на этапе 201 Фиг. 2. Из Фиг. 4 может быть видно, что для любого слоя из N (N является положительным целым числом) слоев суперсети выполняется равномерный отбор без возвращения, гарантирующий то, что подструктура, которая была отобрана, не будет повторно отобрана и все подструктуры будут отобраны один раз.
[0063] На этапе 202 все подструктуры всех слоев суперсети возвращаются в пул отбора соответствующих слоев.
[0064] В случае, когда число отобранных подсетей является точно таким же как число подструктур в каждом слое суперсети (в данном случае все подструктуры были отобраны один раз и соответствующий пул отбора, который соответствует соответствующему слою суперсети является пустым), после выполнения отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, все подструктуры всех слоев суперсети возвращаются в соответствующий пул отбора соответствующих слоев, для следующего цикла обучения по суперсети нейронной сети.
[0065] На этапе 203 множество подсетей, полученных путем отбора, обучаются и суперсеть обновляется.
[0066] На данном этапе каждая подсеть из множества подсетей обучается один раз. В частности, каждая подсеть из множества подсетей может быть обучена посредством алгоритма обратной передачи ошибки обучения (BP), и затем параметр суперсети, такой как весовой коэффициент нейронной сети, обновляется в соответствии с результатом обучения множества подсетей.
[0067] Другой вариант осуществления настоящего изобретения предоставляет другой способ для обучения суперсети. В варианте осуществления настоящего изобретения суперсеть состоит из N слоев и каждый слой имеет M выбираемых подструктур. Цель состоит в выполнении отбора за M циклов, чтобы получить M подсетей, и обучении M подсетей партиями, где M и N являются положительными целыми числами.
[0068] Процесс, в частности, иллюстрируется на Фиг. 5.
[0069] Сначала одна подструктура выбирается из каждого слоя путем отбора без возвращения. Начиная с первого слоя после отбора по каждому слою значение n увеличивается на 1 до N–ого (Nого) слоя (т.е. n=N), указывая, что один цикл отбора закончился, и одна подструктура выбирается из каждого слоя, что может сформировать одну подсеть.
[0070] Затем определяется, сколько подсетей было отобрано в настоящее время и достигает ли число отобранных подсетей M (т.е. m=M), что является целью. После того как было отобрано M подсетей, все подструктуры всех слоев возвращаются в пул отбора; иначе значение m увеличивается на 1 и переходят к следующему циклу отбора подсетей.
[0071] Когда завершен отбор по N слоям, подсети, выбранные из каждого слоя, соединяются так, чтобы сформировать отобранную подсеть.
[0072] Отбор сетей повторяется в течение M циклов так, чтобы получить партию из M подсетей. Каждая из M подсетей обучается посредством алгоритма Обратной Передачи Ошибки Обучения (BP) и после обучения параметр суперсети обновляется один раз.
[0073] Вариант осуществления настоящего изобретения дополнительно предоставляет устройство для обучения суперсети. Структура устройства является той, что иллюстрируется на Фиг. 6, включая в себя:
[0074] модуль 601 отбора без возвращения, выполненный с возможностью выполнения отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, где для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры;
[0075] модуль обучения суперсети, выполненный с возможностью обучения множества подсетей, полученных путем отбора, и обновления суперсети.
[0076] В необязательном порядке, структура модуля 601 отбора без возвращения является той, что иллюстрируется на Фиг. 7, включая в себя:
[0077] подмодуль 6011 выбора, выполненный с возможностью удаления одной подструктуры из пула отбора каждого слоя с первого слоя до последнего слоя суперсети методом слой за слоем, где удаленная подструктура больше не возвращается в пул отбора;
[0078] подмодуль 6012 объединения подсети, выполненный с возможностью соединения подструктур, выбранных из каждого слоя так, чтобы сформировать подсеть;
[0079] подмодуль 6013 управления отбором, выполненный с возможностью управления подмодулем выбора и подмодулем объединения подсети, чтобы повторять отбор и формирование подсети так, чтобы получить множество подсетей.
[0080] В необязательном порядке, устройство является тем, что иллюстрируется на Фиг. 8, дополнительно включая в себя:
[0081] модуль 603 высвобождения сети, выполненный с возможностью, когда число подсетей, отобранных модулем отбора без возвращения, является точно таким же, как число подструктур в каждом слое суперсети, возвращать все подструктуры всех слоев суперсети в соответствующий пул отбора каждого слоя.
[0082] В отношении устройств в вышеупомянутых вариантах осуществления, конкретные методы для выполнения операций для отдельных модулей в них были подробно описаны в вариантах осуществления, относящихся к способам, которые не будут детально разбираться в данном документе. Устройство для обучения суперсети, иллюстрируемое на Фиг. с 6 по 8, может быть интегрировано в компьютерное устройство с возможностями обработки и соответствующие функции реализуются компьютерным устройством.
[0083] Вариант осуществления настоящего изобретения дополнительно предоставляет устройство 800 для обучения суперсети, как иллюстрируется на Фиг. 9, которая является структурной схемой устройства 800. Например, устройство 800 может быть мобильным телефоном, компьютером, терминалом цифрового вещания, устройством обмена сообщениями, игровой консолью, планшетом, медицинским устройством, тренажером, персональным цифровым помощником и аналогичным.
[0084] Обращаясь к Фиг. 9 устройство 800 может включать в себя один или более из следующих компонентов: компонент 802 обработки, память 804, компонент 806 питания, мультимедийный компонент 808, аудио компонент 810, интерфейс 812 ввода/вывода (I/O), компонент 814 датчика и компонент 816 связи.
[0085] Компонент 802 обработки как правило управляет всей работой устройства 800, как например операциями, ассоциированными с отображением, телефонными вызовами, связью для передачи данных, операциями камеры и операциями записи. Компонент 802 обработки может включать в себя один или более процессоры 820, чтобы исполнять инструкции, чтобы выполнять все или часть из этапов, описанных выше способов. Более того компонент 802 обработки может включать в себя один или более модули, чтобы обеспечивать взаимодействие между компонентом 802 обработки и другими компонентами. Например, компонент 802 обработки может включать в себя мультимедийный модуль для обеспечения взаимодействия между мультимедийным компонентом 808 и компонентом 802 обработки.
[0086] Память 804 выполнена с возможностью хранения различных типов данных, чтобы поддерживать работу устройства 800. Примеры таких данных включают инструкции любых приложений или способов, работающих на устройстве 800, контактные данные, данные телефонной книги, сообщения, картинки, видео и т.д. Память 804 может быть реализована используя любой тип энергозависимых или энергонезависимых запоминающих устройств или их сочетания, таких как статическая память с произвольным доступом (SRAM), электрически стираемая программируемая постоянная память (EEPROM), стираемая программируемая постоянная память (EPROM), программируемая постоянная память (PROM), постоянная память (ROM), магнитная память, флэш–память, магнитный или оптический диск.
[0087] Компонент 806 питания предоставляет питание различным компонентам устройства 800. Компонент 806 питания может включать в себя систему администрирования питания, один или более источники питания и любые другие компоненты, ассоциированные с формированием, администрированием и распределением питания в устройстве 800.
[0088] Мультимедийный компонент 808 включает в себя экран, обеспечивающий интерфейс вывода между устройством 800 и пользователем. В некоторых вариантах осуществления экран может включать в себя жидкокристаллический дисплей (LCD) и сенсорную панель (TP). Если экран включает в себя сенсорную панель, то экран может быть реализован в качестве сенсорного экрана, чтобы принимать сигналы ввода от пользователя. Сенсорная панель включает в себя один или более датчики касания, чтобы регистрировать касания, проводки и жесты по сенсорной панели. Датчики касания могут регистрировать не только границу касания или действия проводки, но также регистрировать период времени и давление, ассоциированные с касанием или действием проводки. В некоторых вариантах осуществления мультимедийный компонент 808 включает в себя фронтальную камеру и/или тыловую камеру. Фронтальная камера и тыловая камера могут принимать внешние мультимедийные данные, когда устройство 800 находится в рабочем режиме, таком как режим фотографирования или видеорежим. Каждая из фронтальной и тыловой камеры может быть фиксированной системой оптических линз или обладать фокусным расстоянием и возможностями оптического масштабирования.
[0089] Аудио компонент 810 выполнен с возможностью вывода и/или ввода аудиосигналов. Например, аудио компонент 810 включает в себя микрофон («MIC»), выполненный с возможностью приема внешнего аудиосигнала, когда устройство 800 находится в рабочем режиме, таком как режим вызова, режим записи и режим распознавания голоса. Принятый аудиосигнал в дальнейшем может быть сохранен в памяти 804 или передан через компонент 816 связи. В некоторых вариантах осуществления аудио компонент 810 дополнительно включает в себя громкоговоритель для вывода аудиосигналов.
[0090] Интерфейс 812 I/O обеспечивает интерфейс между компонентом 802 обработки и модулями периферийного интерфейса, такими как клавиатура, нажимное колесо, кнопка или аналогичное. Эти кнопки могут включать в себя, но не ограничиваются, главную кнопку, кнопку громкости, кнопку запуска и кнопку блокировки.
[0091] Компонент 814 датчика включает в себя один или более датчики для обеспечения оценки статуса различных аспектов устройства 800. Например, компонент 814 датчика может обнаруживать открытый/закрытый статус устройства 800, относительное позиционирование компонентов, например, дисплей и клавишной панели, устройства 800, изменение положения устройства 800 или компонента устройства 800, наличие или отсутствие контакта пользователя с устройством 800, ориентацию или ускорение/замедление устройства 800 и изменение температуры устройства 800. Компонент 814 датчика может включать в себя датчик близости, выполненный с возможностью обнаружения присутствия объектов поблизости без какого–либо физического контакта. Компонент 814 датчика может также включать в себя светочувствительный датчик, такой как датчик изображения CMOS или CCD для использования в приложениях формирования изображения. В некоторых вариантах осуществления компонент 814 датчика также может включать в себя датчик ускорения, датчик гироскопа, магнитный датчик, датчик давления или датчик температуры.
[0092] Компонент 816 связи выполнен с возможностью обеспечения связи проводным или беспроводным образом между устройством 800 и другими устройствами. Устройство 800 может осуществлять доступ к беспроводной сети на основании стандарта связи, такого как WiFi, 2G или 3G, или их сочетания. В одном примерном варианте осуществления компонент 816 связи принимает широковещательный сигнал или ассоциированную с широковещательной передачей информацию от внешней системы администрирования широковещательной передачи через широковещательный канал. В одном примерном варианте осуществления компонент 816 связи дополнительно включает в себя модуль связи ближнего поля (NFC) для обеспечения связи малого радиуса действия. Например, модуль NFC может быть реализован на основании технологии радиочастотной идентификации (RFID), технологии ассоциации по средствам передачи данных в инфракрасном диапазоне (IrDA), технологии сверхширокополосной связи (UWB), технологии Bluetooth (BT) и других технологий.
[0093] В примерных вариантах осуществления устройство 800 может быть реализовано с помощью одной или более проблемно–ориентированных интегральных микросхем (ASIC), цифровых сигнальных процессоров (DSP), устройства цифровой обработки сигнала (DSPD), программируемых логических устройств (PLD), программируемых вентильных матриц (FPGA), контроллеров, микроконтроллеров, микропроцессоров или других электронных компонентов, для выполнения описанных выше способов.
[0094] В примерных вариантах осуществления также предоставляется долговременный машиночитаемый носитель информации, включающий в себя инструкции, такие как включенные в память 804, исполняемые процессором 820 в устройстве 800, для выполнения описанных выше способов. Например, долговременный машиночитаемый носитель информации может быть ROM, RAM, CD–ROM, магнитной лентой, гибким диском, оптическим устройством хранения данных и аналогичным.
[0095] Предоставляется долговременный машиночитаемый носитель информации причем, когда инструкции, хранящиеся в носителе информации, исполняются процессором мобильного терминала, обеспечивается выполнение мобильным терминалом способа для обучения суперсети, причем способ включает в себя этапы, на которых:
[0096] выполняют отбор подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и
[0097] обучают множество подсетей, полученных путем отбора, и обновляют суперсеть.
[0098] Вариант осуществления настоящего изобретения дополнительно предоставляет компьютерное устройство, включающее в себя:
[0099] процессор; и
[0100] память для хранения инструкций, исполняемых процессором;
[0101] при этом процессор выполнен с возможностью:
[0102] выполнения отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и
[0103] обучения множества подсетей, полученных путем отбора, и обновления суперсети.
[0104] Вариант осуществления настоящего изобретения дополнительно предоставляет устройство 1900 для обучения суперсети. Фиг. 10 иллюстрирует структурную схему устройства 1900. Например, устройство 1900 может быть выполнено в качестве сервера. Обращаясь к Фиг. 10 устройство 1900 включает в себя: компонент 1922 обработки, который дополнительно включает в себя один или более процессоров, и ресурсы памяти, представленные памятью 1932, для хранения инструкций, исполняемых компонентом 1922 обработки, такие как прикладная программа. Прикладная программа, хранящаяся в памяти 1932, может включать в себя один или более модули, причем каждый соответствует набору инструкций. Дополнительно компонент 1922 обработки выполнен с возможностью исполнения инструкций, чтобы выполнять способы, описанные выше.
[0105] Устройство 1900 может дополнительно включать в себя: компонент 1926 питания, выполненный с возможностью выполнения администрирования питания для устройства 1900, интерфейс 1950 проводной или беспроводной сети, выполненный с возможностью соединения устройства 1900 с сетью, и интерфейс 1958 ввода/вывода (I/O). Устройство 1900 может работать на основании операционной системы, хранящейся в памяти 1932, такой как Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM или аналогичная.
[0106] Варианты осуществления настоящего изобретения предоставляют способ и устройство для обучения суперсети, где отбор подсетей выполняется по суперсети в течение нескольких циклов так, чтобы получить множество подсетей, причем для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры, и затем множество подсетей, полученных путем отбора, обучаются и суперсеть обновляется. Используется совершенно справедливый способ отбора и при выборе подструктуры каждого слоя отобранные подструктуры не возвращаются, при выборе подструктуры из каждого слоя, тем самым гарантируя то, что каждая подструктура равномерно выбирается и обучается, и решая проблему, состоящую в том, что возникают ошибки при оценке подсетей из–за неравномерных степеней обучения подструктур. Более того параметры из параметров суперсети обновляются вместе после обучения подсети партиями, и повышается эффективность обучения. Таким образом реализуется точный и эффективный механизм обучения суперсети.
[0107] Техническое решение, предоставленное вариантами осуществления настоящего изобретения, гарантирует то, что степени обучения разных подструктур являются в точности одними и теми же, и ошибка при оценке индекса подсети минимизируется. И после обратной передачи ошибки обучения каждой партии подсетей параметры обновляются, тем самым повышая эффективность.
[0108] Прочие варианты осуществления настоящего изобретения будут очевидны специалистам в соответствующей области техники из рассмотрения технического описания и реализации на практике изобретения, раскрытого в данном документе. Предполагается, что данная заявка охватывает любые вариации, использования или адаптации настоящего изобретения, которые придерживаются его общих принципов, и включая такие отступления от настоящего изобретения, как подпадающие под известную или общую практику в данной области техники. Предполагается, что техническое описание и примеры должны рассматриваться только в качестве примерных, причем истинный объем и сущность настоящего изобретения указываются нижеследующей формулой изобретения.
[0109] Следует принять во внимание, что настоящее изобретение не ограничивается точной конструкцией, которая была описана выше и иллюстрируется на сопроводительных чертежах, и что различные модификации и изменения могут быть выполнены, не отступая от его объема. Предполагается, что объем настоящего изобретения должен ограничиваться только прилагаемой формулой изобретения.
1. Способ обучения суперсети, содержащий этапы, на которых:
выполняют отбор подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и
обучают множество подсетей, полученных путем отбора, и обновляют суперсеть,
при этом этап выполнения отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, содержит:
этап 1, на котором, с первого слоя до последнего слоя суперсети, удаляют одну подструктуру из пула отбора каждого слоя, слой за слоем, причем удаленная подструктура больше не возвращается в пул отбора;
этап 2, на котором соединяют подструктуры, выбранные из каждого слоя, чтобы сформировать одну подсеть; и
повторяют этап 1 и этап 2, чтобы получить множество подсетей.
2. Способ обучения суперсети по п. 1, в котором число отобранных подсетей является точно таким же, как число подструктур в каждом слое суперсети.
3. Способ обучения суперсети по п. 1, при этом, когда число отобранных подсетей является точно таким же, как число подструктур в каждом слое суперсети, после этапа отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, способ дополнительно содержит этап, на котором возвращают все подструктуры всех слоев суперсети в соответствующий пул отбора соответствующих слоев.
4. Способ обучения суперсети по п. 1, в котором этап обучения множества подсетей, полученных путем отбора, и обновления суперсети содержит этапы, на которых:
обучают соответствующие подсети из множества подсетей в течение одного цикла; и
обновляют параметр суперсети в соответствии с результатом обучения множества подсетей.
5. Способ обучения суперсети по п. 4, в котором этап обучения соответствующих подсетей из множества подсетей в течение одного цикла содержит этап, на котором обучают соответствующие подсети из множества подсетей посредством алгоритма обратной передачи ошибки обучения (BP).
6. Устройство для обучения суперсети, содержащее:
модуль отбора без возвращения, выполненный с возможностью осуществлять отбор подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и
модуль обучения суперсети, выполненный с возможностью обучать множество подсетей, полученных путем отбора, и обновлять суперсеть,
при этом модуль отбора без возвращения содержит:
подмодуль выбора, выполненный с возможностью, с первого слоя до последнего слоя суперсети, удалять одну подструктуру из пула отбора каждого слоя, слой за слоем, причем удаленная подструктура больше не возвращается в пул отбора;
подмодуль объединения подсети, выполненный с возможностью соединять подструктуры, выбранные из каждого слоя, для формирования одной подсети; и
подмодуль управления отбором, выполненный с возможностью управления подмодулем выбора и подмодулем объединения подсети, чтобы повторять отбор и формирование подсети, с тем чтобы получить множество подсетей.
7. Устройство для обучения суперсети по п. 6, дополнительно содержащее модуль высвобождения сети, выполненный с возможностью, когда число подсетей, отобранных модулем отбора без возвращения, является точно таким же, как число подструктур в каждом слое суперсети, возвращать все подструктуры всех слоев суперсети в соответствующий пул отбора соответствующих слоев.
8. Компьютерное устройство, содержащее:
процессор; и
память для хранения инструкций, исполняемых процессором;
при этом процессор выполнен с возможностью:
осуществлять отбор подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и
обучать множество подсетей, полученных путем отбора, и обновлять суперсеть,
при этом осуществление отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, содержит:
этап 1, на котором, с первого слоя до последнего слоя суперсети, удаляется одна подструктура из пула отбора каждого слоя, слой за слоем, причем удаленная подструктура больше не возвращается в пул отбора;
этап 2, на котором соединяются подструктуры, выбранные из каждого слоя, чтобы сформировать одну подсеть; и
повторение этапа 1 и этапа 2, чтобы получить множество подсетей.
9. Долговременный машиночитаемый носитель информации, причем, когда инструкции, хранящиеся в носителе информации, исполняются процессором мобильного терминала, обеспечивается выполнение мобильным терминалом способа обучения суперсети, содержащего:
выполнение отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, при этом для любого слоя суперсети при отборе разных подсетей выбираются разные подструктуры; и
обучение множества подсетей, полученных путем отбора, и обновление суперсети,
при этом выполнение отбора подсетей по суперсети в течение нескольких циклов, чтобы получить множество подсетей, содержит:
этап 1, на котором, с первого слоя до последнего слоя суперсети, удаляется одна подструктура из пула отбора каждого слоя, слой за слоем, причем удаленная подструктура больше не возвращается в пул отбора;
этап 2, на котором соединяются подструктуры, выбранные из каждого слоя, чтобы сформировать одну подсеть; и
повторение этапа 1 и этапа 2, чтобы получить множество подсетей.
