定义自定义训练回路、损耗函数和网络-MATLAB&Simulink-MathWorks瑞士金宝app

定义自定义训练循环，损失函数和网络

对于大多数深度学习任务，您可以使用预先训练的网络，并使其适应您自己的数据。有关如何使用转移学习对卷积神经网络进行再训练以对新图像集进行分类的示例，请参见训练深度学习网络对新图像进行分类．或者，您可以使用从头开始创建和培训网络layerGraph的对象列车网络和trainingOptions功能。

如果trainingOptions函数不提供任务所需的训练选项，则可以使用自动区分创建自定义训练循环。想要了解更多，请看为自定义训练循环定义深度学习网络．

If深度学习工具箱™ 不提供任务所需的图层（包括指定丢失功能的输出图层），则可以创建自定义图层。要了解更多信息，请参阅定义自定义深度学习层. 对于无法使用输出层指定的损失函数，可以在自定义训练循环中指定损失。要了解更多信息，请参阅指定损失函数. 对于无法使用图层图创建的网络，可以将自定义网络定义为函数。要了解更多信息，请参阅将网络定义为模型函数．

有关针对哪个任务使用哪个培训方法的详细信息，请参见用MATLAB训练深度学习模型．

为自定义训练循环定义深度学习网络

网络定义为`数据链路网络`对象

对于大多数任务，您可以使用trainingOptions和列车网络功能。如果trainingOptions函数不提供任务所需的选项（例如，自定义学习速率计划），然后您可以使用数据链路网络对象。一个数据链路网络对象允许您使用自动区分来训练指定为层图的网络。

对于指定为层图的网络，可以创建数据链路网络通过使用数据链路网络直接函数。

dlnet = dlnetwork (lgraph);

获取受支持的图层列表金宝app数据链路网络对象,看到金宝app支撑层部分的数据链路网络页有关如何使用自定义学习速率计划训练网络的示例，请参阅使用自定义训练循环的训练网络．

将网络定义为模型函数

对于无法使用层图创建的体系结构（例如，需要共享权重的暹罗网络），可以将模型定义为表单的函数[dlY1,…, dlYM] =模型(参数、dlX1…,dlXN)哪里参数包含网络参数，dlX1,…,dlXN对应于的输入数据N模型的输入,dlY1，…，dlYM对应于米模型输出。要训练定义为函数的深度学习模型，请使用自定义训练循环。例如，请参见使用模型函数的列车网络．

当您将深度学习模型定义为函数时，必须手动初始化层权重。有关更多信息，请参见初始化模型函数的可学习参数．

如果将自定义网络定义为函数，则模型函数必须支持自动区分。金宝app您可以使用以下深度学习操作。这里列出的函数只是一个子集。获取支持的函数的完整列表金宝appdlarray输入,看到支持dlarray的函数列表金宝app．

函数	描述
`avgpool`	平均池操作通过将输入划分为池区域并计算每个区域的平均值来执行下采样。
`batchnorm`	批处理规范化操作对每个通道的所有观测值的输入数据进行独立的规范化。为了加快卷积神经网络的训练，降低对网络初始化的敏感性，在卷积和非线性运算之间使用批处理归一化`雷卢`．
`crossentropy`	交叉熵运算计算单标签和多标签分类任务中网络预测与目标值之间的交叉熵损失。
`交叉信道范数`	跨通道规范化操作使用不同通道中的本地响应来规范化每个激活。跨通道规范化通常遵循`雷卢`操作。跨通道标准化也称为局部响应标准化。
`ctc`	CTC操作计算未对齐序列之间的连接时间分类（CTC）损失。
`dlconv`	卷积运算将滑动滤波器应用于输入数据。使用`dlconv`用于深度学习卷积、分组卷积和信道可分离卷积的函数。
`dlode45`	神经常微分方程（ODE）运算返回指定ODE的解。
`dltranspconv`	转置卷积运算对特征映射进行上采样。
`嵌入`	嵌入操作将数字索引转换为数字向量，其中索引对应于离散数据。使用嵌入将离散数据(如分类值或单词)映射到数字向量。
`完全连接`	全连接操作将输入乘以一个权值矩阵，然后加上一个偏置向量。
`群体规范`	分组归一化操作对输入数据进行归一化，这些数据跨信道的分组子集独立地进行观察。为了加快卷积神经网络的训练，降低对网络初始化的敏感性，在卷积与非线性运算之间使用群归一化方法`雷卢`．
`格鲁`	门控循环单元（GRU）操作允许网络学习时间序列和序列数据中时间步长之间的依赖关系。
`休伯`	Huber操作计算回归任务中网络预测和目标值之间的Huber损失。当`“TransitionPoint”`选项为1，这也称为光滑的l₁丧失．
`instancenorm`	实例规范化操作对每个观测的每个通道的输入数据进行独立的规范化。为了提高卷积神经网络训练的收敛性，降低对网络超参数的敏感性，在卷积与非线性运算之间使用实例归一化`雷卢`．
`L1损失`	L₁损失运算计算L₁损失给出网络预测和目标值。当`减少`选择是`“和”`和`NormalizationFactor`选择是`“批大小”`，计算值被称为平均绝对误差(MAE)。
`l2loss`	L₂损失运算计算L₂损耗(基于L的平方₂(Norm)给出网络预测和目标值。当`减少`选择是`“和”`和`NormalizationFactor`选择是`“批大小”`，计算值称为均方误差（MSE）。
`layernorm`	层归一化操作将每个观测的所有通道的输入数据独立地归一化。为了加快递归式多层感知器神经网络的训练，降低对网络初始化的敏感性，可以在LSTM等可学习操作和全连接操作之后进行层归一化。
`leakyrelu`	漏整流线性单元(ReLU)激活操作执行非线性阈值操作，其中任何小于零的输入值乘以一个固定的比例因子。
`lstm`	长短期记忆(LSTM)操作允许网络学习时间序列的时间步骤和序列数据之间的长期依赖关系。
`maxpool`	最大池操作通过将输入划分为池区域并计算每个区域的最大值来执行下采样。
`maxunpool`	最大取消耦合操作通过上采样和零填充来取消最大池操作的输出。
`均方误差`	半均方误差运算计算回归任务中网络预测和目标值之间的半均方误差损失。
`onehotdecode`	一次性解码操作将概率向量(如分类网络的输出)解码成分类标签。输入`一个`可以是`dlarray`．如果`一个`如果已格式化，则函数将忽略数据格式。
`雷卢`	整流线性单元(ReLU)激活操作执行非线性阈值操作，其中任何小于零的输入值都被设为零。
`乙状结肠`	sigmoid激活操作将sigmoid功能应用于输入数据。
`softmax`	softmax激活操作将softmax功能应用于输入数据的通道维度。

指定损失函数

当您使用自定义训练循环时，您必须计算模型梯度函数中的损失。计算梯度时，使用loss值更新网络权值。计算损失可以使用以下函数。

函数	描述
`softmax`	softmax激活操作将softmax功能应用于输入数据的通道维度。
`乙状结肠`	sigmoid激活操作将sigmoid功能应用于输入数据。
`crossentropy`	交叉熵运算计算单标签和多标签分类任务中网络预测与目标值之间的交叉熵损失。
`L1损失`	L₁损失运算计算L₁损失给出网络预测和目标值。当`减少`选择是`“和”`和`NormalizationFactor`选择是`“批大小”`，计算值被称为平均绝对误差(MAE)。
`l2loss`	L₂损失运算计算L₂损耗(基于L的平方₂(Norm)给出网络预测和目标值。当`减少`选择是`“和”`和`NormalizationFactor`选择是`“批大小”`，计算值称为均方误差（MSE）。
`休伯`	Huber操作计算回归任务中网络预测和目标值之间的Huber损失。当`“TransitionPoint”`选项为1，这也称为光滑的l₁丧失．
`均方误差`	半均方误差运算计算回归任务中网络预测和目标值之间的半均方误差损失。
`ctc`	CTC操作计算未对齐序列之间的连接时间分类（CTC）损失。

或者，您可以通过创建表单的函数来使用自定义损失函数损失= myLoss (Y, T)哪里Y和T分别对应网络预测和目标，和丧失是退回的损失。

有关如何训练生成式对抗网络(GAN)的示例，请参见使用自定义损失函数生成图像训练生成对抗网络(GAN)．

使用自动微分更新可学习参数

当您使用自定义训练循环训练深度学习模型时，软件会将可学习参数的损失降至最低。为了使损失最小化，软件使用损失相对于可学习参数的梯度。要使用自动微分计算这些渐变，必须定义模型渐变函数。

定义模型梯度函数

对于指定为数据链路网络对象，创建窗体的函数梯度= modelGradients (dlnet dlX T)哪里dlnet是网络,，dlX为网络输入，T包含目标和梯度包含返回的渐变。或者，您可以将额外的参数传递给gradients函数（例如，如果loss函数需要额外的信息），或者返回额外的参数（例如，用于绘制训练进度的指标）。

对于指定为函数的模型，创建以下形式的函数渐变=模型渐变（参数，dlX，T）哪里参数包含可学习参数，dlX为模型输入，T包含目标和梯度包含返回的渐变。或者，您可以将额外的参数传递给gradients函数（例如，如果loss函数需要额外的信息），或者返回额外的参数（例如，用于绘制训练进度的指标）。

要了解关于为自定义训练循环定义模型梯度函数的更多信息，请参见为自定义训练循环定义模型梯度函数．

更新可学的参数

使用自动微分来评估模型梯度，使用dlfeval函数，用于计算启用了自动微分的函数。第一次输入dlfeval，传递指定为函数句柄的模型梯度函数。对于以下输入，传递模型梯度函数所需的变量。的输出dlfeval函数，指定与模型梯度函数相同的输出。

要使用渐变更新可学习参数，可以使用以下函数。

函数	描述
`adamupdate`	使用自适应矩估计（Adam）更新参数
`rmspropupdate`	使用均方根传播(RMSProp)更新参数
`sgdmupdate`	使用动量随机梯度下降（SGDM）更新参数
`dlupdate`	使用自定义函数更新参数