Способ построения суперсети, способ использования, устройство и носитель информации

Изобретение относится к способам и устройствам проектирования и использования суперсети. Технический результат заключается в повышении производительности сети. В способе устанавливают блок линейного соединения в по меньшей мере одном слое суперсети, при этом конец ввода блока линейного соединения соединяется с вышерасположенным слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижерасположенным слоем домашнего слоя блока линейного соединения; при этом вывод и ввод блока линейного соединения образуют линейную зависимость, каковая линейная зависимость содержит линейную зависимость, отличную от той, при которой вывод равен вводу у блока линейного соединения. 4 н. и 12 з.п. ф-лы, 8 ил.

 

[0001] Данная заявка основана на и по ней испрашивается приоритет на основании Китайской заявки на патент № 201910763113.X, поданной 19 августа 2019 г., полное содержимое которой включено в настоящее описание путем ссылки.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее изобретение относится к области технологии обработки данных и, в частности, к способу построения суперсети, способу использования, устройству и носителю информации.

УРОВЕНЬ ТЕХНИКИ

[0003] Поиск Нейронной Архитектуры (NAS) является технологией, которая автоматически проектирует нейронные сети. Она может автоматически проектировать высокопроизводительные сетевые структуры на основании наборов выборок. При поиске архитектуры нейронной сети необходимо осуществлять поиск несколько раз, чтобы сформировать отдельную нейронную сеть и получить индикаторы сети посредством обучения, проблемы которого состоят в низкой эффективности оценки и низкой скорости поиска. Для решения данной проблемы некоторые способы NAS используют суперсеть, которая включает в себя все поисковые сети. В примерной структуре суперсети, как показано на Фиг. 1, суперсеть включает в себя множество слоев, причем каждый слой включает в себя несколько сетевых блоков и в свою очередь для соединения выбирается один сетевой блок из каждого слоя, чтобы формировать подсеть. При обучении суперсети все структуры подсети внутри суперсети совместно используют параметры при построении разных подсетей. Можно осуществлять выборку и оценку подсетей только после обучения суперсети до определенной степени. Нет необходимости обучать каждую подсеть с самого начала. Данный алгоритм именуется алгоритмом активации с одним путем суперсети нейронной сети.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Для того чтобы улучшить производительность сети у суперсети активации с одним путем, изобретение обеспечивает способ построения суперсети, способ использования, устройство и носитель информации.

[0005] В соответствии с первым аспектом варианта осуществления в данном документе предусмотрен способ построения суперсети, причем способ включает в себя этап, на котором:

[0006] устанавливают блок линейного соединения в по меньшей мере одном слое суперсети, где конец ввода блока линейного соединения соединяется с вышерасположенным (верхним) слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижерасположенным (нижним) слоем домашнего слоя блока линейного соединения; при этом вывод и ввод блока линейного соединения образуют линейную зависимость, причем линейная зависимость включает в себя линейную зависимость, отличную от той, при которой вывод равен вводу.

[0007] Описанный выше способ построения суперсети дополнительно обладает следующими характерными особенностями:

[0008] способ дополнительно включает в себя этап, на котором: устанавливают линейные параметры каждого блока линейного соединения в суперсети;

[0009] этап, на котором устанавливают каждый линейный параметр каждого блока линейного соединения в суперсети, включает в себя один из следующих режимов:

[0010] устанавливают линейные параметры всех блоков линейного соединения в суперсети в постоянные величины;

[0011] устанавливают линейные параметры части блоков линейного соединения в суперсети в постоянные величины, а линейные параметры других блоков линейного соединения в качестве переменных величин;

[0012] устанавливают линейные параметры всех блоков линейного соединения в суперсети в качестве переменных величин.

[0013] Описанный выше способ построения суперсети дополнительно обладает следующими характерными особенностями:

[0014] линейные параметры включают в себя по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат.

[0015] В соответствии со вторым аспектом варианта осуществления в данном документе предложен способ использования суперсети, включающий в себя этапы, на которых:

[0016] устанавливают блок линейного соединения в по меньшей мере одном слое суперсети, где конец ввода блока линейного соединения соединяется с верхним слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижним слоем домашнего слоя блока линейного соединения;

[0017] определяют N подсетей в соответствии с суперсетью и выполняют процесс обучения по каждой подсети из N подсетей до тех пор, пока не удовлетворяется соответствующее условие окончания обучения;

[0018] определяют M подсетей в N подсетях;

[0019] для подсети, включающей в себя блок линейного соединения, в M подсетях, модифицируют линейную зависимость блока линейного соединения в подсети, включающей в себя блок линейного соединения, на зависимость, при которой вывод равен вводу;

[0020] выполняют отдельное обучение по каждой подсети из M подсетей и извлекают индикаторы производительности каждой подсети после того, как обучение заканчивается;

[0021] N и M являются целыми числами больше 1, и M меньше или равно N.

[0022] Описанный выше способ использования суперсети дополнительно обладает следующими характерными особенностями:

[0023] этап, на котором определяют M подсетей в N подсетях, включает в себя этапы, на которых: вычисляют индикаторы сети у N подсетей и выбирают M подсетей с наивысшим индексом качества индикаторов сети из N подсетей.

[0024] Описанный выше способ использования суперсети дополнительно обладает следующими характерными особенностями:

[0025] способ дополнительно включает в себя этап, на котором: устанавливают линейные параметры каждого блока линейного соединения в суперсети;

[0026] этап, на котором устанавливают каждый линейный параметр каждого блока линейного соединения в суперсети, включает в себя один из следующих режимов:

[0027] устанавливают линейные параметры всех блоков линейного соединения в суперсети в постоянные величины;

[0028] устанавливают линейные параметры части блоков линейного соединения в суперсети в постоянные величины, а линейные параметры других блоков линейного соединения в качестве переменных величин;

[0029] устанавливают линейные параметры всех блоков линейного соединения в суперсети в качестве переменных величин.

[0030] Описанный выше способ использования суперсети дополнительно обладает следующими характерными особенностями:

[0031] способ дополнительно включает в себя: когда фактическое значение линейных параметров блока линейного соединения являются переменными величинами, линейные параметры каждого блока линейного соединения обновляются при обучении каждой подсети из N подсетей.

[0032] Описанный выше способ использования суперсети дополнительно обладает следующими характерными особенностями:

[0033] линейные параметры включают в себя по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат.

[0034] В соответствии с третьим аспектом варианта осуществления в данном документе предложено устройство построения суперсети, включающее в себя:

[0035] первый модуль установки, выполненный с возможностью установки блока линейного соединения в по меньшей мере одном слое суперсети, причем конец ввода блока линейного соединения соединяется с верхним слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижним слоем домашнего слоя блока линейного соединения; при этом вывод и ввод блока линейного соединения образуют линейную зависимость, причем линейная зависимость включает в себя линейную зависимость, отличную от той, при которой вывод равен вводу.

[0036] Описанное выше устройство построения суперсети дополнительно обладает следующими характерными особенностями:

[0037] устройство дополнительно включает в себя:

[0038] второй модуль установки, выполненный с возможностью установки линейных параметров каждого из блоков линейного соединения в суперсети;

[0039] причем установка каждого линейного параметра каждого блока линейного соединения в суперсети включает в себя один из следующих режимов:

[0040] установка линейных параметров всех блоков линейного соединения в суперсети в постоянные величины;

[0041] установка линейных параметров части блоков линейного соединения в суперсети в постоянные величины, а линейных параметров других блоков линейного соединения в качестве переменных величин;

[0042] установка линейных параметров всех блоков линейного соединения в суперсети в качестве переменных величин.

[0043] Описанное выше устройство построения суперсети дополнительно обладает следующими характерными особенностями:

[0044] линейные параметры включают в себя по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат.

[0045] В соответствии с четвертым аспектом варианта осуществления в данном документе предложено устройство использования суперсети, включающее в себя:

[0046] третий модуль установки, выполненный с возможностью установки блока линейного соединения в по меньшей мере одном слое суперсети, причем конец ввода блока линейного соединения соединяется с верхним слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижним слоем домашнего слоя блока линейного соединения; причем вывод и ввод блока линейного соединения формируют линейную зависимость;

[0047] первый модуль определения, выполненный с возможностью определения N подсетей в соответствии с суперсетью;

[0048] первый модуль обучения, выполненный с возможностью выполнения процесса обучения по каждой подсети из N подсетей до тех пор, пока не удовлетворяется соответствующее условие окончания обучения;

[0049] второй модуль определения, выполненный с возможностью определения M подсетей в N подсетях;

[0050] модуль модифицирования, выполненный с возможностью, для подсети, включающей в себя блок линейного соединения, в M подсетях, модифицирования линейной зависимости блоков линейного соединения в подсети, включающей в себя блок линейного соединения, на зависимость, при которой вывод равен вводу;

[0051] второй модуль обучения, выполненный с возможностью выполнения отдельного обучения по каждой подсети из M подсетей и извлечения индикаторов производительности каждой подсети после того, как обучение заканчивается;

[0052] N и M являются целыми числами больше 1, и M меньше или равно N.

[0053] Описанное выше устройство использования суперсети дополнительно обладает следующими характерными особенностями:

[0054] второй модуль определения включает в себя:

[0055] модуль вычисления, выполненный с возможностью вычисления индикаторов сети у N подсетей;

[0056] модуль выбора, выполненный с возможностью выбора, из N подсетей, M подсетей с наивысшим индексом качества индикаторов сети.

[0057] Описанное выше устройство использования суперсети дополнительно обладает следующими характерными особенностями:

[0058] устройство дополнительно включает в себя четвертый модуль установки, причем четвертый модуль установки выполнен с возможностью установки линейных параметров каждого из блоков линейного соединения в суперсети;

[0059] причем установка каждого линейного параметра каждого блока линейного соединения в суперсети включает в себя один из следующих режимов:

[0060] установка линейных параметров всех блоков линейного соединения в суперсети в постоянные величины;

[0061] установка линейных параметров части блоков линейного соединения в суперсети в постоянные величины, а линейных параметров других блоков линейного соединения в качестве переменных величин;

[0062] установка линейных параметров всех блоков линейного соединения в суперсети в качестве переменных величин.

[0063] Описанное выше устройство использования суперсети дополнительно обладает следующими характерными особенностями:

[0064] первый модуль обучения дополнительно выполнен с возможностью, когда фактическое значение линейного параметра блока линейного соединения является переменной величиной, обновления линейных параметров каждого блока линейного соединения при обучении каждой подсети из N подсетей.

[0065] Описанное выше устройство использования суперсети дополнительно обладает следующими характерными особенностями:

[0066] линейные параметры включают в себя по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат.

[0067] В соответствии с пятым аспектом варианта осуществления в данном документе, предложен долговременный машиночитаемый носитель информации, причем когда инструкции на этом носителе информации исполняются процессором мобильного терминала, обеспечивается выполнение мобильным терминалом способа построения суперсети, включающего в себя этап, на котором:

[0068] устанавливают блок линейного соединения в по меньшей мере одном слое суперсети, где конец ввода блока линейного соединения соединяется с верхним слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижним слоем домашнего слоя блока линейного соединения; причем вывод и ввод блока линейного соединения образуют линейную зависимость;

[0069] В соответствии с пятым аспектом варианта осуществления в данном документе, предложен долговременный машиночитаемый носитель информации, причем когда инструкции на этом носителе информации исполняются процессором мобильного терминала, обеспечивается выполнение мобильным терминалом способа использования суперсети, включающего в себя этапы, на которых:

[0070] устанавливают блок линейного соединения в по меньшей мере одном слое суперсети, где конец ввода блока линейного соединения соединяется с верхним слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижним слоем домашнего слоя блока линейного соединения;

[0071] определяют N подсетей в соответствии с суперсетью и выполняют обучение по каждой подсети из N подсетей до тех пор, пока не удовлетворяется соответствующее условие окончания обучения;

[0072] определяют M подсетей в N подсетях;

[0073] для подсети, включающей в себя блок линейного соединения, в M подсетях, модифицируют линейную зависимость блока линейного соединения в подсети, включающей в себя блок линейного соединения, на зависимость, при которой вывод равен вводу;

[0074] выполняют отдельное обучение по каждой подсети из M подсетей и извлекают индикаторы производительности каждой подсети после того, как обучение заканчивается;

[0075] N и M являются целыми числами больше 1, и M меньше или равно N.

[0076] Технические решения, представленные вариантами осуществления в данном документе, могут включать в себя следующие положительные эффекты: настоящий способ использует блок линейного соединения, в сравнении с использованием блока с прямым соединением, возможность представления подсети может быть эффективно улучшена, сохраняется стабильность индикаторов сети для подсети, включающей в себя блок линейного соединения в супер сети, и не допускается быстрое падение индикаторов сети для подсети после того, как сетевой блок в одном или более слоях в исходной подсети замещается блоком с прямым соединением.

[0077] Следует понимать, что вышеупомянутое общее описание и нижеследующее подробное описание являются примерными и пояснительными, и не должны ограничивать настоящее изобретение.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0078] Сопроводительные чертежи в данном документе включены в техническое описание и формируют часть настоящего технического описания. Показаны варианты осуществления, согласующиеся с настоящим изобретением, и они используются для объяснения принципов настоящего изобретения вместе с техническим описанием.

[0079] Фиг. 1 является структурной схемой, показывающей суперсеть в соответствии с примерным вариантом осуществления;

[0080] Фиг. 2 является структурной схемой, показывающей суперсеть в соответствии с примерным вариантом осуществления;

[0081] Фиг. 3 является структурной схемой, показывающей суперсеть в соответствии с примерным вариантом осуществления;

[0082] Фиг. 4 является блок–схемой, показывающей способ построения суперсети в соответствии с примерным вариантом осуществления;

[0083] Фиг. 5 является блок–схемой, показывающей способ использования суперсети в соответствии с примерным вариантом осуществления;

[0084] Фиг. 6 является структурной схемой, показывающей устройство построения суперсети в соответствии с примерным вариантом осуществления;

[0085] Фиг. 7 является структурной схемой, показывающей устройство использования суперсети в соответствии с примерным вариантом осуществления;

[0086] Фиг. 8 является структурной схемой, показывающей устройство построения или устройство использования суперсети в соответствии с примерным вариантом осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0087] Здесь подробно будут описаны примерные варианты осуществления, примеры которых иллюстрируются на сопроводительных чертежах. Когда нижеследующее описание обращается к сопроводительным чертежам, если не указано иное, одни и те же числа на разных сопроводительных чертежах указывают одни и те же или аналогичные элементы. Варианты осуществления, описанные в нижеследующих примерных вариантах осуществления, не представляют собой все варианты осуществления, которые согласуются с настоящим изобретением. Наоборот, они являются лишь примерами устройств и способов, которые согласуются с некоторыми аспектами изобретения и как подробно описано в прилагаемой форме изобретения.

[0088] Для того чтобы получить структуру подсети с широкими возможностями посредством суперсети, в суперсеть вводится блок с прямым соединением для построения сети переменной глубины. Как показано на Фиг. 2 блок с прямым соединением установлен на втором слое суперсети и функция блока с прямым соединением состоит в том, чтобы сделать вывод равным вводу у блока с прямым соединением. Когда блок с прямым соединением используется для соединения первой подсети на первом слое и второй подсети на третьем слое, в данном режиме соединения, реализуется прямое соединение между первым слоем и третьим слоем в структуре суперсети. Когда блок с прямым соединением добавляется в исходную суперсеть, то после того, как сетевой блок на одном или более слоях исходной подсети замещается блоком с прямым соединением, индикаторы сети у подсети будут быстро падать, что серьезно влияет на стабильность индикаторов сети у подсети.

[0089] Для решения данной проблемы, как показано на Фиг. 3, блок с прямым соединением замещается блоком линейного соединения в данном документе.

[0090] Фиг. 4 является блок–схемой, показывающей способ построения суперсети в соответствии с примерным вариантом осуществления. Способ включает в себя: на этапе S41, блок линейного соединения устанавливается по меньшей мере в одном слое суперсети, причем конец ввода блока линейного соединения соединяется с верхним слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижним слоем домашнего слоя блока линейного соединения; причем вывод и ввод блока линейного соединения формируют линейную зависимость, причем линейная зависимость включает в себя линейную зависимость отличную от той, при которой вывод равен вводу.

[0091] Настоящий способ использует блок линейного соединения в суперсети, в сравнении с использованием блока с прямым соединением, возможность представления подсети может быть эффективно улучшена, сохраняется стабильность индикаторов сети у подсети, включающей в себя блок линейного соединения в супер сети, и не допускается быстрое падение индикаторов сети у подсети во время процесса регулировки глубины.

[0092] В варианте осуществления способ дополнительно включает в себя этап, на котором устанавливают линейные параметры каждого блока линейного соединения в суперсети;

[0093] Этап, на котором устанавливают линейные параметры каждого блока линейного соединения в суперсети, включает в себя один из следующих режимов:

[0094] 1. установка линейных параметров всех блоков линейного соединения в суперсети в постоянные величины;

[0095] 2. установка линейных параметров части блоков линейного соединения в суперсети в постоянные величины, и установка линейных параметров других блоков линейного соединения в качестве переменных величин;

[0096] 3. установка линейных параметров всех блоков линейного соединения в суперсети в качестве переменных величин.

[0097] В варианте осуществления линейные параметры включают в себя по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат. Например, линейной зависимостью является y(x)=k(x+a)+b, где k является наклоном, a является смещением по первой оси координат и b является смещением по второй оси координат.

[0098] В варианте осуществления значения каждого линейного параметра каждого блока линейного соединения, линейные параметры которого являются постоянными в суперсети, являются одними и теми же или разными. Например, линейная зависимость всех блоков линейного соединения в суперсети соответствует y(x)=2(x+1)+3. В качестве другого примера, линейная зависимость части блоков линейного соединения в суперсети соответствует y(x)=2(x+1)+3, а линейная зависимость других блоков линейного соединения соответствует y(x)=1.5x. В качестве другого примера, линейная зависимость части блоков линейного соединения в суперсети соответствует y(x)=2(x+1)+3, линейная зависимость еще одной части блоков линейного соединения соответствует y(x)=1.5x, и линейная зависимость другой части блоков линейного соединения соответствует y(x)=2x+3 и тому подобное.

[0099] В варианте осуществления устанавливаются первоначальные значения линейных параметров каждого блока линейного соединения, линейные параметры которых являются переменными величинами. Линейные параметры каждого блока линейного соединения обновляются при обучении подсетей суперсети.

[0100] Фиг. 5 является блок–схемой, показывающей способ использования суперсети в соответствии с примерным вариантом осуществления. Способ включает в себя:

[0101] Этап S51, установка блока линейного соединения по меньшей мере в одном слое суперсети, причем конец ввода блока линейного соединения соединяется с верхним слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижним слоем домашнего слоя блока линейного соединения;

[0102] Этап S52, определение N подсетей в соответствии с суперсетью, и выполнение обучения по каждой подсети из N подсетей до тех пор, пока не удовлетворяется условие окончания обучения;

[0103] Этап S53, определение M подсетей в N подсетях;

[0104] Этап S54: для подсети, включающей в себя блок линейного соединения, в M подсетях, модифицирование линейной зависимости блоков линейного соединения в подсети, включающей в себя блок линейного соединения, на зависимость, при которой вывод равен вводу;

[0105] Этап S55: выполнение отдельного обучения по каждой подсети из M подсетей и извлечение индикаторов производительности каждой подсети после того, как обучение заканчивается;

[0106] N и M являются целыми числами больше 1, и M меньше или равно N.

[0107] Настоящий способ использует блок линейного соединения в суперсети, в сравнении с использованием блока с прямым соединением, возможность представления подсети может быть эффективно улучшена, сохраняется стабильность индикаторов сети у подсети, включающей в себя блок линейного соединения в супер сети, и не допускается быстрое падение индикаторов сети у подсети во время процесса регулировки глубины. В частности, после того как блок линейного соединения используется при обучении каждой подсети из N подсетей, и после того, как линейная зависимость блоков линейного соединения в подсети, включающей в себя блок линейного соединения, модифицируется на зависимость, при которой вывод равен вводу при обучении каждой подсети из M подсетей, индикаторы сети у подсети остаются в основном без изменений во время процесса регулировки глубины.

[0108] В варианте осуществления, этап, на котором определяют M подсетей в N подсетях, включает в себя этапы, на которых: вычисляют индикаторы сети у N подсетей и выбирают M подсетей с наивысшим индексом качества индикаторов сети из N подсетей. Индикаторы сети включают в себя, но не ограничиваются, степень точности, значение потерь, степень точности верификации, потери верификации, среднюю абсолютную ошибку и т.д.

[0109] В варианте осуществления настоящий способ дополнительно включает в себя этап, на котором: устанавливают линейные параметры каждого блока линейного соединения в суперсети;

[0110] Этап, на котором устанавливают линейные параметры каждого блока линейного соединения в суперсети, включает в себя один из следующих режимов:

[0111] устанавливают линейные параметры всех блоков линейного соединения в суперсети в постоянные величины;

[0112] устанавливают линейные параметры части блоков линейного соединения в суперсети в постоянные величины, и устанавливают линейные параметры других блоков линейного соединения в качестве переменных величин;

[0113] устанавливают линейные параметры всех блоков линейного соединения в суперсети в качестве переменных величин.

[0114] Когда фактические значения линейных параметров блока линейного соединения являются переменными величинами, линейные параметры каждого блока линейного соединения обновляются при обучении каждой подсети из N подсетей.

[0115] В варианте осуществления линейные параметры включают в себя по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат. Например, линейной зависимостью является y(x)=k(x+a)+b, где k является наклоном, a является смещением по первой оси координат и b является смещением по второй оси координат.

[0116] В варианте осуществления значения каждого линейного параметра каждого блока линейного соединения, линейные параметры которого являются постоянными в суперсети, являются одними и теми же или разными. Например, линейная зависимость всех блоков линейного соединения в суперсети соответствует y(x)=2(x+1)+3. В качестве другого примера, линейная зависимость части блоков линейного соединения в суперсети соответствует y(x)=2(x+1)+3, а линейная зависимость других блоков линейного соединения соответствует y(x)=1.5x. В качестве другого примера, линейная зависимость части блоков линейного соединения в суперсети соответствует y(x)=2(x+1)+3, линейная зависимость еще одной части блоков линейного соединения соответствует y(x)=1.5x, и линейная зависимость другой части блоков линейного соединения соответствует y(x)=2x+3 и тому подобное.

[0117] Фиг. 6 является структурным видом, показывающим устройство построения суперсети в соответствии с примерным вариантом осуществления, и устройство построения суперсети включает в себя:

[0118] первый модуль установки, выполненный с возможностью установки блока линейного соединения по меньшей мере в одном слое суперсети, причем конец ввода блока линейного соединения соединяется с верхним слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижним слоем домашнего слоя блока линейного соединения; причем вывод и ввод блока линейного соединения формируют линейную зависимость и линейная зависимость включает в себя линейную зависимость отличную от той, при которой вывод равен вводу.

[0119] В варианте осуществления устройство построения суперсети дополнительно включает в себя:

[0120] Второй модуль установки, выполненный с возможностью установки линейных параметров каждого блока линейного соединения в суперсети;

[0121] Установка линейных параметров каждого блока линейного соединения в суперсети включает в себя один из следующих режимов:

[0122] установка линейных параметров всех блоков линейного соединения в суперсети в постоянные величины;

[0123] установка линейных параметров части блоков линейного соединения в суперсети в постоянные величины, а линейных параметров других блоков линейного соединения в качестве переменных величин;

[0124] установка линейных параметров всех блоков линейного соединения в суперсети в качестве переменных величин.

[0125] Линейные параметры включают в себя по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат.

[0126] Фиг. 7 является структурной схемой, показывающей устройство использования суперсети в соответствии с примерным вариантом осуществления, причем устройство построения суперсети включает в себя:

[0127] третий модуль установки, выполненный с возможностью установки блока линейного соединения по меньшей мере в одном слое суперсети, причем конец ввода блока линейного соединения соединяется с верхним слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижним слоем домашнего слоя блока линейного соединения; причем вывод и ввод блока линейного соединения формируют линейную зависимость;

[0128] первый модуль определения, выполненный с возможностью определения N подсетей в соответствии с суперсетью;

[0129] первый модуль обучения, выполненный с возможностью выполнения обучения по каждой подсети из N подсетей до тех пор, пока не удовлетворяется условие окончания обучения;

[0130] второй модуль определения, выполненный с возможностью определения M подсетей в N подсетях;

[0131] модуль модифицирования, выполненный с возможностью, для подсети, включающей в себя блок линейного соединения, в M подсетях, модифицирования линейной зависимости блоков линейного соединения в подсети, включающей в себя блок линейного соединения, на зависимость, при которой вывод равен вводу;

[0132] второй модуль обучения, выполняющий отдельное обучение по каждой подсети из M подсетей и извлекающий индикаторы производительности каждой подсети после того, как обучение заканчивается;

[0133] N и M являются целыми числами больше 1, и M меньше или равно N.

[0134] В варианте осуществления второй модуль определения включает в себя:

[0135] модуль вычисления, выполненный с возможностью вычисления индикаторов сети у N подсетей;

[0136] модуль выбора, выполненный с возможностью выбора, из N подсетей, M подсетей с наивысшим индексом качества индикаторов сети.

[0137] В варианте осуществления устройство построения суперсети дополнительно включает в себя четвертый модуль установки, который выполнен с возможностью установки линейных параметров каждого блока линейного соединения в суперсети;

[0138] Установка линейных параметров каждого блока линейного соединения в суперсети включает в себя один из следующих режимов:

[0139] установка линейных параметров всех блоков линейного соединения в суперсети в постоянные величины;

[0140] установка линейных параметров части блоков линейного соединения в суперсети в постоянные величины, а линейных параметров других блоков линейного соединения в качестве переменных величин;

[0141] установка линейных параметров всех блоков линейного соединения в суперсети в качестве переменных величин.

[0142] В варианте осуществления первый модуль обучения дополнительно выполнен с возможностью, когда фактическое значение линейного параметра блока линейного соединения является переменной величиной, обновления линейных параметров каждого блока линейного соединения при обучении каждой подсети из N подсетей.

[0143] В варианте осуществления линейные параметры включают в себя по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат.

[0144] Фиг. 8 является структурной схемой, показывающей устройство построения или устройства 800 использования суперсети в соответствии с примерным вариантом осуществления. Например, устройство 800 может быть мобильным телефоном, компьютером, терминалом цифрового вещания, устройством отправки и приема сообщений, игровой консолью, планшетным устройством, медицинским устройством, фитнес–устройством, персональным цифровым помощником и аналогичным.

[0145] Обращаясь к Фиг. 8 устройство 800 может включать в себя один или более из следующих компонентов: компонент 802 обработки, память 804, компонент 806 питания, мультимедийный компонент 808, аудио компонент 810, интерфейс 812 ввода/вывода (I/O), компонента 814 датчика и компонент 816 связи.

[0146] Компонент 802 обработки как правило управляет всей работой устройства 800, как например операциями, ассоциированными с отображением, телефонными вызовами, связью для передачи данных, операциями камеры и операциями записи. Компонент 802 обработки может включать в себя один или более процессоры 820, чтобы исполнять инструкции, чтобы выполнять все или часть из этапов, описанных выше способов. Более того компонент 802 обработки может включать в себя один или более модули, чтобы обеспечивать взаимодействие между компонентом 802 обработки и другими компонентами. Например, компонент 802 обработки может включать в себя мультимедийный модуль для обеспечения взаимодействия между мультимедийным компонентом 808 и компонентом 802 обработки.

[0147] Память 804 выполнена с возможностью хранения различных типов данных, чтобы поддерживать работу устройства 800. Примеры таких данных включают инструкции любого приложения или способа, контактные данные, данные телефонной книги, сообщения, картинки, видео и аналогичное, работающее на устройстве 800. Память 804 может быть реализована посредством любого типа энергозависимого или энергонезависимого запоминающего устройства или их сочетания, такого как статическая память с произвольным доступом (SRAM), электрически стираемая программируемая постоянная память (EEPROM), стираемая программируемая постоянная память (EPROM), программируемая постоянная память (PROM), постоянная память (ROM), магнитная память, флэш–память, диск или оптический Диск.

[0148] Компонент 806 питания обеспечивает питание для различных компонентов устройства 800. Компонент 806 питания может включать в себя систему администрирования питания, один или более источники питания и прочие компоненты, ассоциированные с формированием, администрированием и распределением питания для устройства 800.

[0149] Мультимедийный компонент 808 включает в себя экран, обеспечивающий интерфейс вывода между устройство 800 и пользователем. В некоторых вариантах осуществления экран может включать в себя жидкокристаллический дисплей (LCD) и сенсорную панель (TP). Если экран включает в себя сенсорную панель, то экран может быть реализован в качестве сенсорного экрана, чтобы принимать сигналы ввода от пользователя. Сенсорная панель включает в себя один или более датчики касания, чтобы регистрировать касания, проводки и жесты по сенсорной панели. Датчик касания может регистрировать не только границу касания или действия проводки, но также продолжительность и давление, ассоциированные с касанием или операцией проводки. В некоторых вариантах осуществления мультимедийный компонент 808 включает в себя фронтальную камеру и/или тыловую камеру. Когда устройство 800 находится в рабочем режиме, таком как режим съемки или видеорежим, фронтальная камера и/или тыловая камера могут принимать внешние мультимедийные данные. Каждая из фронтальной и тыловой камеры может быть фиксированной системой оптических линз или обладать фокусным расстоянием и возможностями оптического масштабирования.

[0150] Аудио компонент 810 выполнен с возможностью вывода и/или ввода аудиосигнала. Например, аудио компонент 810 включает в себя микрофон (MIC), который выполнен с возможностью приема внешнего аудиосигнала, когда устройство 800 находится в рабочем режиме, таком как режим вызова, режим записи и режим распознавания голоса. Принятый аудиосигнал в дальнейшем может быть сохранен в памяти 804 или передан через компонент 816 связи. В некоторых вариантах осуществления аудио компонент 810 дополнительно включает в себя громкоговоритель для вывода аудиосигнала.

[0151] Интерфейс 812 I/O обеспечивает интерфейс между компонентом 802 обработки и модулем периферийного интерфейса и описанный выше модуль периферийного интерфейса может быть клавиатурой, нажимным колесом, кнопкой или аналогичным. Эти кнопки могут включать в себя, но не ограничиваются, главную кнопку, кнопку громкости, кнопку запуска и кнопку блокировки.

[0152] Комплект 814 датчиков включает в себя один или более датчики, обеспечивающие оценку статуса различных аспектов для устройства 800. Например, компонент 814 датчика может обнаруживать включенное/выключенное состояние, относительное позиционирование компонентов устройства 800. Например, компонентом является дисплей и клавишная панель устройства 800. Комплект 814 датчиков также может обнаруживать изменения положения одного компонента устройства 800 или устройства 800, наличие или отсутствие контакта пользователя с устройством 800, ориентацию или ускорение/замедление устройства 800, изменения температуры устройства 800. Комплект 814 датчиков может включать в себя датчик близости, выполненный с возможностью обнаружения присутствия объектов поблизости без какого–либо физического контакта. Комплект 814 датчиков может включать в себя светочувствительный датчик, такой как датчик изображения CMOS или CCD для использования в приложениях формирования изображения. В некоторых вариантах осуществления комплект 814 датчиков также может включать в себя датчик ускорения, датчик гироскопа, магнитный датчик, датчик давления или датчик температуры.

[0153] Компонент 816 связи выполнен с возможностью обеспечения проводной или беспроводной связи между устройством 800 и другими устройствами. Устройство 800 может осуществлять доступ к беспроводной сети на основании стандарта связи, такого как WiFi, 2G или 3G, или их сочетания. В одном примерном варианте осуществления компонент 816 связи принимает широковещательные сигналы или ассоциированную с широковещательной передачей информацию от внешней системы администрирования широковещательной передачи через широковещательный канал. В одном примерном варианте осуществления компонент 816 связи дополнительно включает в себя модуль связи ближнего поля (NFC) для обеспечения связи малого радиуса действия. Например, модуль NFC может быть реализован на основании технологии радиочастотной идентификации (RFID), технологии ассоциации по средствам передачи данных в инфракрасном диапазоне (IrDA), технологии сверхширокополосной связи (UWB), технологии Bluetooth или других технологий.

[0154] В примерном варианте осуществления устройство 800 может быть реализовано посредством одной или более проблемно–ориентированных интегральных микросхем (ASIC), цифровых сигнальных процессоров (DSP), устройства цифровой обработки сигнала (DSPD), программируемого логического устройства (PLD), программируемой вентильной матрицы (FPGA), контроллера, микроконтроллера, микропроцессоров или других электронных компонентов, чтобы выполнять описанный выше способ.

[0155] В примерном варианте осуществления также предусмотрен долговременный машиночитаемый носитель информации, содержащий инструкции, такой как память 804, содержащая инструкции, причем описанные выше инструкции могут быть исполнены процессором 820 устройства 800, чтобы выполнять описанный выше способ. Например, долговременный машиночитаемый носитель информации может быть ROM, памятью с произвольным доступом (RAM), CD–ROM, магнитной лентой, гибким диском, оптическим устройством хранения данных и аналогичным.

[0156] В примерном варианте осуществления также предусматривается долговременный машиночитаемый носитель информации, содержащий инструкции, такой как память, содержащая инструкции, причем описанные выше инструкции могут исполняться процессором 920 устройства 900, чтобы выполнять описанный выше способ. Например, долговременный машиночитаемый носитель информации может быть ROM, памятью с произвольным доступом (RAM), CD–ROM, магнитной лентой, гибким диском, оптическим устройством хранения данных и аналогичным.

[0157] После рассмотрения технического описания и реализации на практике изобретения, раскрытого в данном документе, специалистам в соответствующей области техники будут легко понятны другие реализации изобретения. Подразумевается, что заявка охватывает любые варианты, использование или изменения в виде адаптации настоящего изобретения. Эти варианты, использование или изменения в виде адаптации придерживаются общих принципов настоящего изобретения и включают в себя практический смысл или общие технические средства в области техники, не раскрытые изобретением. Техническое описание и варианты осуществления являются лишь примерными, а истинный объем и сущность настоящего изобретения определяются прилагаемой формулой изобретения.

[0158] Следует понимать, что изобретение не ограничивается точными структурами, которые были описаны выше и показаны на сопроводительных чертежах, и различные модификации и изменения могут быть выполнены, не отступая от его сущности. Объем изобретения ограничивается только прилагаемой формулой изобретения.

1. Способ построения суперсети, содержащий этап, на котором:

устанавливают блок линейного соединения в по меньшей мере одном слое суперсети, при этом конец ввода блока линейного соединения соединяется с вышерасположенным слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижерасположенным слоем домашнего слоя блока линейного соединения; при этом вывод и ввод блока линейного соединения образуют линейную зависимость, каковая линейная зависимость содержит линейную зависимость, отличную от той, при которой вывод равен вводу у блока линейного соединения.

2. Способ построения суперсети по п. 1, при этом способ дополнительно содержит этап, на котором устанавливают линейные параметры каждого блока линейного соединения в суперсети;

при этом установка каждого линейного параметра каждого блока линейного соединения в суперсети содержит один из следующих режимов, в соответствии с которыми:

устанавливают линейные параметры всех блоков линейного соединения в суперсети в постоянные величины;

устанавливают линейные параметры части блоков линейного соединения в суперсети в постоянные величины, а линейные параметры других блоков линейного соединения - в качестве переменных величин;

устанавливают линейные параметры всех блоков линейного соединения в суперсети в качестве переменных величин.

3. Способ построения суперсети по п. 2, в котором линейные параметры содержат по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат.

4. Способ использования суперсети, содержащий этапы, на которых:

устанавливают блок линейного соединения в по меньшей мере одном слое суперсети, при этом конец ввода блока линейного соединения соединяется с вышерасположенным слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижерасположенным слоем домашнего слоя блока линейного соединения;

определяют N подсетей в соответствии с суперсетью и выполняют обучение по каждой подсети из N подсетей до тех пор, пока не будет удовлетворено условие окончания обучения;

определяют М подсетей в N подсетях;

для подсети, содержащей блок линейного соединения, в М подсетях, модифицируют линейную зависимость блока линейного соединения в подсети, содержащей блок линейного соединения, на зависимость, при которой вывод равен вводу;

выполняют отдельное обучение по каждой подсети из М подсетей и извлекают индикаторы производительности каждой подсети после того, как обучение заканчивается;

причем N и М являются целыми числами больше 1, и М меньше или равно N.

5. Способ использования суперсети по п. 4, в котором упомянутое определение М подсетей в N подсетях содержит этапы, на которых вычисляют индикаторы сети для N подсетей и выбирают М подсетей с наивысшим индексом качества индикаторов сети из N подсетей.

6. Способ использования суперсети по п. 4, при этом способ дополнительно содержит этап, на котором устанавливают линейные параметры каждого блока линейного соединения в суперсети;

причем установка линейных параметров каждого блока линейного соединения в суперсети содержит один из следующих режимов, в соответствии с которыми:

устанавливают линейные параметры всех блоков линейного соединения в суперсети в постоянные величины;

устанавливают линейные параметры части блоков линейного соединения в суперсети в постоянные величины и устанавливают линейные параметры других блоков линейного соединения в качестве переменных величин;

устанавливают линейные параметры всех блоков линейного соединения в суперсети в качестве переменных величин.

7. Способ использования суперсети по п. 6, при этом способ дополнительно содержит этап, на котором, когда фактическое значение линейных параметров блока линейного соединения является переменной величиной, линейные параметры каждого блока линейного соединения обновляются при обучении каждой подсети из N подсетей.

8. Способ использования суперсети по п. 6, в котором линейные параметры содержат по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат.

9. Устройство построения суперсети, содержащее:

первый модуль установки, выполненный с возможностью устанавливать блок линейного соединения в по меньшей мере одном слое суперсети, причем конец ввода блока линейного соединения соединяется с вышерасположенным слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижерасположенным слоем домашнего слоя блока линейного соединения; при этом вывод и ввод блока линейного соединения образуют линейную зависимость, каковая линейная зависимость содержит линейную зависимость, отличную от той, при которой вывод равен вводу.

10. Устройство построения суперсети по п. 9, при этом устройство дополнительно содержит второй модуль установки, выполненный с возможностью установки линейных параметров каждого из блоков линейного соединения в суперсети;

причем установка каждого линейного параметра каждого блока линейного соединения в суперсети содержит один из следующих режимов:

установка линейных параметров всех блоков линейного соединения в суперсети в постоянные величины;

установка линейных параметров части блоков линейного соединения в суперсети в постоянные величины и установка линейных параметров других блоков линейного соединения в качестве переменных величин;

установка линейных параметров всех блоков линейного соединения в суперсети в качестве переменных величин.

11. Устройство построения суперсети по п. 10, при этом линейные параметры содержат по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат.

12. Устройство использования суперсети, содержащее:

третий модуль установки, выполненный с возможностью устанавливать блок линейного соединения в по меньшей мере одном слое суперсети, причем конец ввода блока линейного соединения соединяется с вышерасположенным слоем домашнего слоя блока линейного соединения, а конец вывода соединяется с нижерасположенным слоем домашнего слоя блока линейного соединения; причем вывод и ввод блока линейного соединения образуют линейную зависимость;

первый модуль определения, выполненный с возможностью определять N подсетей в соответствии с суперсетью;

первый модуль обучения, выполненный с возможностью осуществлять обучение по каждой подсети из N подсетей до тех пор, пока не будет удовлетворено условие окончания обучения;

второй модуль определения, выполненный с возможностью определять М подсетей в N подсетях;

модуль модифицирования, выполненный с возможностью, для подсети, содержащей блок линейного соединения, в М подсетях, модифицировать линейную зависимость блока линейного соединения в подсети, содержащей блок линейного соединения, на зависимость, при которой вывод равен вводу;

второй модуль обучения, выполненный с возможностью осуществлять отдельное обучение по каждой подсети из М подсетей и извлекать индикаторы производительности каждой подсети после того, как обучение заканчивается;

причем N и М являются целыми числами больше 1, и М меньше или равно N.

13. Устройство использования суперсети по п. 12, в котором второй модуль определения содержит:

модуль вычисления, выполненный с возможностью вычислять индикаторы сети для N подсетей;

модуль выбора, выполненный с возможностью выбирать, из N подсетей, М подсетей с наивысшим индексом качества индикаторов сети.

14. Устройство использования суперсети по п. 12, при этом устройство дополнительно содержит четвертый модуль установки, причем четвертый модуль установки выполнен с возможностью устанавливать линейные параметры каждого из блоков линейного соединения в суперсети;

причем установка каждого линейного параметра каждого блока линейного соединения в суперсети содержит один из следующих режимов:

установка линейных параметров всех блоков линейного соединения в суперсети в постоянные величины;

установка линейных параметров части блоков линейного соединения в суперсети в постоянные величины и установка линейных параметров других блоков линейного соединения в качестве переменных величин;

установка линейных параметров всех блоков линейного соединения в суперсети в качестве переменных величин.

15. Устройство использования суперсети по п. 14, в котором первый модуль обучения дополнительно выполнен с возможностью, когда фактическое значение линейного параметра блока линейного соединения является переменной величиной, обновлять линейные параметры каждого блока линейного соединения при обучении каждой подсети из N подсетей.

16. Устройство использования суперсети по п. 14, при этом линейные параметры содержат по меньшей мере один из следующих параметров: наклон, смещение по первой оси координат и смещение по второй оси координат.



 

Похожие патенты:

Настоящее изобретение относится к сегментации изображений. Технический результат заключается в улучшении точности автоматической сегментации изображений.

Настоящее изобретение относится к сегментации изображений. Технический результат заключается в улучшении точности автоматической сегментации изображений.

Изобретение относится к области осцилляторных нейронных сетей импульсного типа и может быть использовано для распознавания и классификации образов. Техническим результатом является обеспечение запоминания и распознавания множества образов, используя один входной слой сети.

Изобретение относится к области осцилляторных нейронных сетей импульсного типа и может быть использовано для распознавания и классификации образов. Техническим результатом является обеспечение запоминания и распознавания множества образов, используя один входной слой сети.

Группа изобретений относится к области вычислительной техники и может быть использована в искусственных нейронных сетях. Техническим результатом является обеспечение назначения оценки релевантности для искусственных нейронных сетей.

Изобретение относится к области искусственного интеллекта, и в частности, к рекуррентным нейронным сетям (РНС). Техническим результатом является повышение степени сжатия.

Изобретение относится к нейронным сетям конечного кольца. Технический результат заключается в повышении надежности нейрокомпьютерной техники.

Изобретение относится к области реализации моделей нейронных сетей, а в частности сетей на базе связанных осцилляторов, представляющих собой импульсные осцилляторные нейронные сети, которые могут использоваться для распознавания образов.

Изобретение относится к области реализации моделей нейронных сетей, а в частности сетей на базе связанных осцилляторов, представляющих собой импульсные осцилляторные нейронные сети, которые могут использоваться для распознавания образов.

Изобретение относится к обработке изображений. Технический результат заключается в обеспечении идентификации частей фрагментированного материала в пределах изображения.
Наверх