定义定制的深度学习层- MATLAB和Simulink MathWorks美国拉美裔金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

定义定制的深度学习层

提示

这一主题解释了如何自定义深度学习层的问题。的内置层深度学习工具箱™,明白了深度学习层的列表。

您可以定义自己的自定义深度学习任务层。您可以指定一个自定义损失函数使用一个自定义输出层和自定义层有或没有可学的和状态参数。定义一个自定义层之后,可以检查层是有效的和GPU兼容,并输出正确定义渐变。

这个主题解释深度学习的架构层和如何定义自定义层用于你的任务。

类型	描述
中间一层	定义一个自定义深度学习层并指定可选的可学的参数和状态参数。有关更多信息,请参见定义定制的深度学习过渡层。一个例子,演示如何定义一个自定义层与可学的参数,看定义定制的深度学习层与可学的参数。一个例子,演示如何定义一个自定义层具有多个输入,明白了定义定制的深度学习与多个输入层。
分类输出层	定义一个自定义分类输出层和指定一个损失函数。有关更多信息,请参见自定义输出层深度学习。为一个例子,演示如何定义一个自定义分类输出层和指定一个损失函数,看看自定义分类输出层。
回归输出层	定义一个自定义回归输出层和指定一个损失函数。有关更多信息,请参见自定义输出层深度学习。为一个例子,演示如何定义一个自定义回归输出层和指定一个损失函数,看看定义定制的回归输出层。

类型

描述

中间一层

定义一个自定义深度学习层并指定可选的可学的参数和状态参数。

有关更多信息,请参见定义定制的深度学习过渡层。

一个例子,演示如何定义一个自定义层与可学的参数,看定义定制的深度学习层与可学的参数。一个例子,演示如何定义一个自定义层具有多个输入,明白了定义定制的深度学习与多个输入层。

分类输出层

定义一个自定义分类输出层和指定一个损失函数。

有关更多信息,请参见自定义输出层深度学习。

为一个例子,演示如何定义一个自定义分类输出层和指定一个损失函数,看看自定义分类输出层。

回归输出层

定义一个自定义回归输出层和指定一个损失函数。

有关更多信息,请参见自定义输出层深度学习。

为一个例子,演示如何定义一个自定义回归输出层和指定一个损失函数,看看定义定制的回归输出层。

层模板

您可以使用以下模板来定义新的层。

过渡层模板

这个模板轮廓结构的中间层。有关更多信息,请参见定义定制的深度学习过渡层。

为一个例子,演示如何定义一个层可学的参数,看定义定制的深度学习层与可学的参数。

classdefmyLayer < nnet.layer.Layer%……% & nnet.layer。Formattable……%(可选)% & nnet.layer。Acceleratable %(可选)属性%(可选)层属性。%声明层属性。结束属性(可学的)%(可选)层可学的参数。%这里声明可学的参数。结束属性(状态)%(可选)层状态参数。%申报状态参数。结束属性(可学的,状态)%(可选)嵌套dlnetwork对象都可学的%参数和状态参数。%声明嵌套网络可学的和状态参数。结束方法函数层= myLayer ()%(可选)创建一个myLayer。%这个函数必须具有相同的名称作为类。%定义层构造器函数。结束函数层=初始化(层、布局)%(可选)初始化层可学的和状态参数。%%的输入:%初始化层-层%布局-数据布局,指定为一个networkDataLayout%的对象%%输出:%层-层初始化%%,与多个输入层,取代布局% layout1,…layoutN, N是输入的数量。%定义层的初始化函数。结束函数[Z,状态]=预测(层,X)%前进通过层预测时间和输入数据%输出结果和状态更新。%%的输入:%层-层向前传播% X -输入数据%输出:% Z -输出层的功能%——(可选)更新层状态%%,与多个输入层,取代X X1,…, XN,% N是输入的数量。%,与多个输出层,取代Z% Z1,…ZM评选,M是输出的数量。%——层具有多个状态参数,更换状态% state1,…stateK, K是国家的数量%的参数。%定义层预测函数。结束函数向前(Z、状态、内存)=(层,X)%(可选)正向输入数据通过层培训%的时间和输出结果,更新后的状态,和记忆%值。%%的输入:%层-层向前传播% X -层输入数据%输出:% Z -输出层的功能%——(可选)更新层状态%的记忆——自定义(可选的)内存值落后%的功能%%,与多个输入层,取代X X1,…, XN,% N是输入的数量。%,与多个输出层,取代Z% Z1,…ZM评选,M是输出的数量。%——层具有多个状态参数,更换状态% state1,…stateK, K是国家的数量%的参数。%定义层函数。结束函数层= resetState(层)%(可选)设置层的状态。%定义重置状态函数。结束函数[dLdX, dLdW dLdSin] =向后(层,X, Z, dLdZ dLdSout,内存)%(可选)向后传播损失的导数%通过层功能。%%的输入:%层-层反向传播% X -层输入数据% Z -层输出数据% dLdZ -导数的损失对层%输出% dLdSout——(可选)损失的导数%状态输出%的记忆——记忆值函数%输出:% dLdX -导数的损失对输入层% dLdW——(可选)的导数对损失%可学的参数% dLdSin——(可选)的导数对损失%状态输入%%——层与状态参数,必须向后语法%包括dLdSout和dLdSin,或没有。%,与多个输入层,X和dLdX替换% X1,…XN dLdX1,…,分别dLdXN,其中N是%的数量输入。%,与多个输出层,Z和dlZ替换% Z1,…ZM评选和dLdZ……,分别dLdZM, M是%的输出。%——层具有多个可学的参数,替换%与dLdW1 dLdW,…dLdWP, P的数量%可学的参数。%——层具有多个状态参数,取代dLdSin%和dLdSout dLdSin1,……、dLdSinK和% dLdSout1,…,分别dldSoutK, K是数量%的状态参数。%定义层向后函数。结束结束结束

分类输出层模板

回归输出层模板

过渡层结构

在培训期间,软件迭代执行前后通过网络。

在通过网络,每一层都需要前一层的输出,适用于一个函数,然后输出(向前传播)结果到下一层。有状态层,例如LSTM层,也更新层的状态。

层可以有多个输入或输出。例如,一个层X₁、…X_N之前从多个层次和转发传播输出Z₁、…Z_米随后的层。

最后的传球前进网络输出层计算损失l之间的预测Y和目标T。

在向后通过网络,每一层需要的衍生品损失对输出层,计算损失的衍生品l对于输入,然后向后传播的结果。如果层可学的参数,然后一层一层的衍生品也计算重量(可学的参数)。层使用衍生品的权重更新可学的参数。

下图描述了通过深层神经网络的数据流,凸显了通过使用单个输入层数据流X,一个单一的输出Z,可学的参数W。

网络图显示通过在训练神经网络的数据流。

关于自定义中间层次的更多信息,见定义定制的深度学习过渡层。

输出层的体系结构

年底在训练时间前进传球,一个输出层的输出Y前面的层(网络预测)和计算损失l这些预测与培训目标。计算输出层的衍生品损失l对预测Y和输出(向后传播)结果前一层。

下图描述了通过神经网络的数据流和一个输出层。

网络图显示通过在训练神经网络的数据流。

有关更多信息,请参见自定义输出层深度学习。

检查的有效性定义层

如果你创建一个定制的深度学习层,那么您可以使用checkLayer函数检查层是有效的。函数检查层有效性,GPU兼容性,正确定义渐变和代码生成的兼容性。一层是有效的检查,运行以下命令:

validInputSize checkLayer(层)

层层和的一个实例吗validInputSize是一个向量或细胞数组指定有效的输入层大小。与多个观察,检查使用ObservationDimension选择。运行检查代码生成兼容性,设置CheckCodegenCompatibility选项1(真正的)。对于大的输入大小,梯度检查运行的时间较长。加快检查,指定一个较小的有效输入的大小。

有关更多信息,请参见检查自定义层有效性。

另请参阅