setLearnRateFactor
学习速率因子层可学的参数设置
语法
描述
集的学习速率因子参数的名称layerUpdated
= setLearnRateFactor (层
,parameterName
,因素
)parameterName
在层
来因素
。
对于内置的层,可以设置学习速率因子直接通过使用相应的属性。例如,对于一个convolution2dLayer
层,语法层= setLearnRateFactor(层、权重的因素)
相当于层。WeightLearnRateFactor =因素
。
集的学习速率因子参数指定的路径layerUpdated
= setLearnRateFactor (层
,parameterPath
,因素
)parameterPath
。使用这个参数时语法dlnetwork
对象在一个自定义层。
集的学习速率因子参数的名称netUpdated
= setLearnRateFactor (净
,layerName
,parameterName
,因素
)parameterName
层的名字layerName
为指定的dlnetwork
对象。
集的学习速率因子参数指定的路径netUpdated
= setLearnRateFactor (净
,parameterPath
,因素
)parameterPath
。使用这种语法的参数是一个嵌套层。
例子
设置和获取学习速率因子可学的参数
设置和获取的学习速率因子可学的参数的自定义PReLU层。
创建一个包含自定义层的层数组preluLayer
,在这个例子作为支持文件。金宝app进入这一层,打开这个例子作为一个活的脚本。
层= […imageInputLayer([1] 28日28日)convolution2dLayer (5、20) batchNormalizationLayer preluLayer fullyConnectedLayer (10) softmaxLayer classificationLayer];
设置的学习速率因子α
可学的参数的preluLayer
2。
层(4)= setLearnRateFactor(层(4),“阿尔法”2);
查看更新后的学习速率的因素。
因素= getLearnRateFactor(层(4),“阿尔法”)
因素= 2
嵌套层的设置和获取学习速率因子可学的参数
设置和获取的学习速率因子可学的一个嵌套层的参数。
使用自定义创建一个剩余块层层residualBlockLayer
这个例子作为支持文件。金宝app访问这个文件,打开这个例子作为一个活的脚本。
numFilters = 64;层= residualBlockLayer (numFilters)
层= residualBlockLayer属性:名称:“可学的参数网络:[1 x1 dlnetwork]网络状态参数:[1 x1 dlnetwork]显示所有属性
视图层的嵌套网络。
layer.Network.Layers
ans x1 = 7层与层:数组1 conv_1二维卷积64 3 x3的隆起与步幅[1]和填充“相同”2“batchnorm_1”批量标准化批量标准化3‘relu_1 ReLU ReLU 4 conv_2二维卷积64 3 x3的隆起与步幅[1]和填充“相同”5“batchnorm_2”批量标准化批量标准化6‘添加’除了Element-wise添加2输入7‘relu_2 ReLU ReLU
的学习速率因子可学的参数设置“重量”
层的“conv_1”
2使用setLearnRateFactor
函数。
因素= 2;一层一层= setLearnRateFactor (,“网络/ conv_1 /重量”、因素);
获得更新的学习速率因子使用getLearnRateFactor
函数。
因素= getLearnRateFactor(层,“网络/ conv_1 /重量”)
因素= 2
设置和获取学习速率因子dlnetwork
可学的参数
设置和获取的学习速率因子可学的参数dlnetwork
对象。
创建一个dlnetwork
对象。
层= [imageInputLayer ([28 28 1],“归一化”,“没有”,“名字”,“在”20岁的)convolution2dLayer (5“名字”,“conv”)batchNormalizationLayer (“名字”,bn的)reluLayer (“名字”,“relu”)fullyConnectedLayer (10“名字”,“俱乐部”)softmaxLayer (“名字”,“sm”));lgraph = layerGraph(层);dlnet = dlnetwork (lgraph);
设置的学习速率因子“重量”
可学的参数卷积的层使用setLearnRateFactor
函数。
因素= 2;dlnet = setLearnRateFactor (dlnet,“conv”,“重量”、因素);
得到更新的学习速率因子使用getLearnRateFactor
函数。
因素= getLearnRateFactor (dlnet,“conv”,“重量”)
因素= 2
设置和获取学习速率因子的嵌套dlnetwork
可学的参数
设置和获取的学习速率因子可学的参数的一个嵌套层dlnetwork
对象。
创建一个dlnetwork
对象包含自定义层residualBlockLayer
这个例子作为支持文件。金宝app访问这个文件,打开这个例子作为一个活的脚本。
inputSize = (224 224 3);numFilters = 32;numClasses = 5;层= [imageInputLayer inputSize,“归一化”,“没有”,“名字”,“在”numFilters) convolution2dLayer(7日,“步”2,“填充”,“相同”,“名字”,“conv”)groupNormalizationLayer (所有渠道的,“名字”,“gn”)reluLayer (“名字”,“relu”)maxPooling2dLayer (3“步”2,“名字”,“马克斯”)residualBlockLayer (numFilters“名字”,“res1”)residualBlockLayer (numFilters“名字”,“它”)residualBlockLayer (2 * numFilters,“步”2,“IncludeSkipConvolution”,真的,“名字”,“res3”)residualBlockLayer (2 * numFilters,“名字”,“res4”)residualBlockLayer (4 * numFilters,“步”2,“IncludeSkipConvolution”,真的,“名字”,“res5”)residualBlockLayer (4 * numFilters,“名字”,“res6”)globalAveragePooling2dLayer (“名字”,“差距”)fullyConnectedLayer (numClasses“名字”,“俱乐部”)softmaxLayer (“名字”,“sm”));dlnet = dlnetwork(层);
视图层的嵌套网络层“res1”
。
dlnet.Layers .Network.Layers (6)
ans x1 = 7层阵列层:1“conv_1”二维卷积32 3 x3x32旋转步[1]和填充“相同”2“batchnorm_1”批量标准化批量标准化32通道3的relu_1 ReLU ReLU 4“conv_2”二维卷积32 3 x3x32旋转步[1]和填充“相同”5“batchnorm_2”批量标准化批量标准化32通道6‘添加’除了Element-wise添加2输入7‘relu_2 ReLU ReLU
的学习速率因子可学的参数设置“重量”
层的“conv_1”
2使用setLearnRateFactor
函数。
因素= 2;dlnet = setLearnRateFactor (dlnet,“res1 /网络/ conv_1 /重量”、因素);
获得更新的学习速率因子使用getLearnRateFactor
函数。
因素= getLearnRateFactor (dlnet,“res1 /网络/ conv_1 /重量”)
因素= 2
冻结可学的参数dlnetwork
对象
加载一个pretrained网络。
网= squeezenet;
转换层的网络图,把输出层,将它转换成一个dlnetwork
对象。
lgraph = layerGraph(净);lgraph = removeLayers (lgraph,“ClassificationLayer_predictions”);dlnet = dlnetwork (lgraph);
的可学的
财产的dlnetwork
对象是一个包含网络的可学的参数表。嵌套层的表包括参数在不同的行。查看可学的表的前几行。
可学的= dlnet.Learnables;头(可学的)
层参数值_____________ _____ ___________________“conv1”“权重”{3 x3x3x64 dlarray}“conv1”“偏见”{1 x1x64 dlarray}“fire2-squeeze1x1”“权重”{1 x1x64x16 dlarray}“fire2-squeeze1x1”“偏见”{1 x1x16 dlarray}“fire2-expand1x1”“权重”{1 x1x16x64 dlarray}“fire2-expand1x1”“偏见”{1 x1x64 dlarray}“fire2-expand3x3”“权重”{3 x3x16x64 dlarray}“fire2-expand3x3”“偏见”{1 x1x64 dlarray}
冻结的可学的参数网络,遍历可学的参数和设置率为0使用学习setLearnRateFactor
函数。
因素= 0;numLearnables =大小(可学的,1);为i = 1: numLearnables layerName = learnables.Layer(我);parameterName = learnables.Parameter(我);dlnet = setLearnRateFactor (dlnet, layerName、parameterName因素);结束
培训时使用更新后的学习速率的因素,你必须通过dlnetwork对象更新函数自定义训练循环。例如,使用命令
[dlnet、速度]= sgdmupdate (dlnet、渐变速度);
输入参数
层
- - - - - -输入层
标量层
对象
输入层,指定为一个标量层
对象。
parameterName
- - - - - -参数名称
特征向量|字符串标量
参数名称,指定为一个特征向量或一个字符串标量。
因素
- - - - - -学习速率的因素
负的标量
学习速率因子为参数,指定为负的标量。
软件由全球学习速率繁殖这个因素来确定学习速率为指定的参数。例如,如果因素
是2,那么学习速率为指定的参数是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions
函数。
例子:2
parameterPath
- - - - - -路径参数在嵌套层
字符串标量|特征向量
在嵌套层路径参数,指定为字符串标量或特征向量。一个嵌套层本身就是一个自定义层定义了层图作为一种可习得的参数。
如果输入setLearnRateFactor
是一个嵌套层,那么参数路径形式吗“propertyName / layerName / parameterName”
,地点:
propertyName
包含一个属性的名称是什么dlnetwork
对象layerName
层的名称是dlnetwork
对象parameterName
参数的名称吗
如果有多个层次的嵌套层,然后指定每个层次使用的形式“propertyName1 / layerName1 /…/ propertyNameN / layerNameN / parameterName”
,在那里propertyName1
和layerName1
对应的输入层setLearnRateFactor
功能,后续部分对应于更深层次的水平。
例子:为输入层setLearnRateFactor
,路径“网络/ conv1 /重量”
指定了“重量”
层的参数名称“conv1”
在dlnetwork
对象由layer.Network
。
如果输入setLearnRateFactor
是一个dlnetwork
对象和所需的参数是在一个嵌套层,然后参数路径的形式“layerName1 / propertyName / layerName / parameterName”
,地点:
layerName1
输入层的名称dlnetwork
对象propertyName
层包含的财产吗dlnetwork
对象layerName
层的名称是dlnetwork
对象parameterName
参数的名称吗
如果有多个层次的嵌套层,然后指定每个层次使用的形式“layerName1 / propertyName1 /…/ layerNameN / propertyNameN / layerName / parameterName”
,在那里layerName1
和propertyName1
对应的输入层setLearnRateFactor
功能,后续部分对应于更深层次的水平。
例子:为dlnetwork
输入setLearnRateFactor
,路径“res1 /网络/ conv1 /重量”
指定了“重量”
层的参数名称“conv1”
在dlnetwork
对象由layer.Network
,在那里层
层的名字吗“res1”
在输入网络净
。
数据类型:字符
|字符串
净
- - - - - -神经网络
dlnetwork
对象
神经网络作为一个指定dlnetwork
对象。
layerName
- - - - - -层的名字
字符串标量|特征向量
图层名称,指定为字符串标量或特征向量。
数据类型:字符
|字符串
版本历史
介绍了R2017b
MATLAB命令
你点击一个链接对应MATLAB命令:
运行该命令通过输入MATLAB命令窗口。Web浏览器不支持MATLAB命令。金宝app
你也可以从下面的列表中选择一个网站:
表现最好的网站怎么走吗
选择中国网站(中文或英文)最佳站点的性能。其他MathWorks国家网站不优化的访问你的位置。