使用自适应矩估计更新参数(Adam)
使用自适应矩估计(Adam)算法在自定义训练循环中更新网络可学习参数。
请注意
该函数应用Adam优化算法更新自定义训练循环中的网络参数,使用定义为dlnetwork
对象或模型函数。如果你想训练一个网络定义为层
数组或LayerGraph
,使用以下功能:
创建一个TrainingOptionsADAM
对象使用trainingOptions
函数。
使用TrainingOptionsADAM
对象的trainNetwork
函数。
[
更新网络的可学习参数dlnet
,averageGrad
,averageSqGrad
) = adamupdate (dlnet
,研究生
,averageGrad
,averageSqGrad
,迭代
)dlnet
用亚当算法。在训练循环中使用此语法迭代地更新定义为dlnetwork
对象。
[
中可学习参数的更新参数个数
,averageGrad
,averageSqGrad
) = adamupdate (参数个数
,研究生
,averageGrad
,averageSqGrad
,迭代
)参数个数
用亚当算法。在训练循环中使用此语法,迭代地更新使用函数定义的网络的可学习参数。
[___) = adamupdate (___
除了前面语法中的输入参数外,还指定了用于全局学习率、梯度衰减、平方梯度衰减和小常数的值。learnRate
,gradDecay
,sqGradDecay
,ε
)