定义自定义深度学习层

提示

本主题说明如何为您的问题定义自定义深度学习层。有关深度学习工具箱™中的内置层列表，请参见深度学习层列表．

您可以为您的任务定义您自己的自定义深度学习层。您可以使用自定义输出层指定自定义损失函数，并定义带有或不带有可学习参数和状态参数的自定义层。定义自定义层后，您可以检查该层是否有效，GPU兼容，输出正确定义的梯度。

本主题介绍了深度学习层的体系结构以及如何定义自定义图层以用于您的任务。

类型	描述
中间层	定义自定义深度学习层并指定可选的可被动参数和状态参数。有关更多信息，请参见定义自定义深度学习中间层．有关如何使用可学习参数定义自定义层的示例，请参见用可学习参数定义自定义深度学习层．有关如何使用多个输入定义自定义层的示例，请参见定义自定义深度学习层与多个输入．
分类输出层	定义自定义分类输出层并指定丢失函数。有关更多信息，请参见定义自定义深度学习输出图层．有关如何定义自定义分类输出层和指定损失函数的示例，请参见定义自定义分类输出层．
回归输出层	定义自定义回归输出层并指定损失函数。有关更多信息，请参见定义自定义深度学习输出图层．有关展示如何定义自定义回归输出层并指定丢失功能的示例，请参阅定义自定义回归输出层．

类型

描述

中间层

定义自定义深度学习层并指定可选的可被动参数和状态参数。

有关更多信息，请参见定义自定义深度学习中间层．

有关如何使用可学习参数定义自定义层的示例，请参见用可学习参数定义自定义深度学习层．有关如何使用多个输入定义自定义层的示例，请参见定义自定义深度学习层与多个输入．

分类输出层

定义自定义分类输出层并指定丢失函数。

有关更多信息，请参见定义自定义深度学习输出图层．

有关如何定义自定义分类输出层和指定损失函数的示例，请参见定义自定义分类输出层．

回归输出层

定义自定义回归输出层并指定损失函数。

有关更多信息，请参见定义自定义深度学习输出图层．

有关展示如何定义自定义回归输出层并指定丢失功能的示例，请参阅定义自定义回归输出层．

层模板

您可以使用以下模板来定义新层。

过渡层模板

这个模板概述了中间层的结构。有关更多信息，请参见定义自定义深度学习中间层．

有关如何使用可学习参数定义层的示例，请参见用可学习参数定义自定义深度学习层．

classdefmyLayer % & net.layer. format(可选)属性%(可选)图层属性。％在此声明图层属性。结尾属性(可学的)%(可选)层可学习参数。％在此声明可知参数。结尾属性(状态)％（可选）层状态参数。在这里声明状态参数。结尾属性（学习，州）%(可选)嵌套dlnetwork对象都是可学习的参数和状态。％在此处将嵌套网络声明为可读和状态参数。结尾方法功能tillay = mylayer（）%(可选)创建一个myLayer。%该函数必须与类名相同。在这里定义层构造函数。结尾功能[Z,状态]=预测(层,X)%在预测时间通过层转发输入数据%输出结果和更新的状态。％％输入：% layer -要转发的层% X -输入数据％产出：% Z -层前向函数的输出％状态 - （可选）更新的图层状态。％% -对于有多个输入的层，将X替换为X1，…，XN，％n是输入的数量。％ - 对于具有多个输出的图层，更换z% Z1,…，ZM，其中M为输出数。% -对于有多个状态参数的图层，替换state% state1,…，stateK，其中K为状态数%的参数。定义层预测函数。结尾功能[z，状态，内存] =转发（图层，x）%(可选)在训练时通过层转发输入数据％时间并输出结果，更新状态和内存%值。％％输入：% layer -要转发的层% X -层输入数据％产出：% Z -层前向函数的输出% state -(可选)更新的层状态% memory -(可选)向后自定义的内存值%的功能％% -对于有多个输入的层，将X替换为X1，…，XN，％n是输入的数量。％ - 对于具有多个输出的图层，更换z% Z1,…，ZM，其中M为输出数。% -对于有多个状态参数的图层，替换state% state1,…，stateK，其中K为状态数%的参数。％定义层前进函数。结尾功能层= resetState(层)%(可选)重置层状态。定义重置状态函数。结尾功能[dLdX, dLdW dLdSin] =向后(层,X, Z, dLdZ dLdSout,内存)%(可选)反向传播损失的导数％通过图层函数。％％输入：％层 - 层向后传播通过% X -层输入数据％z层输出数据% dLdZ -损耗对层的导数％ 输出% dLdSout -(可选)损失的衍生％到州输出％内存 - 来自前向功能的内存值％产出：％DLDX  - 关于图层输入的损耗导数％DLDW  - （可选）关于损失的衍生%可学的参数％DLDSIN  - （可选）关于损失的衍生%状态输入％% -对于带有状态参数的层，向后语法必须%包括dldout和dLdSin，或者两者都不包括。% -对于有多个输入的层，用X和dLdX替换% X1,…XN dLdX1,…dLdXN，其中N为％输入的数量。% -对于有多个输出的图层，将Z和dlZ替换为% Z1,…ZM评选和dLdZ……，dLdZM，其中M为%输出数量。％ - 对于具有多种学习参数的图层，更换DLDW1，...，DLDWP的％DLDW，其中P是数量%可学的参数。% -对于有多个状态参数的层，替换dLdSin使用dldsin1，...，dldsink和dldsout% dLdSout1,…dldSoutK，其中K为数字状态参数的%。％定义层面向后函数。结尾结尾结尾

分类输出层模板

回归输出层模板

中间层架构

在训练过程中，软件迭代地向前和向后通过网络。

在通过网络进行前进传递时，每层都会占用上一层的输出，应用函数，然后输出（向前传播）结果到下一个层。状态层，如LSTM层，也更新了图层状态。

层可以具有多个输入或输出。例如，可以采取层X₁，......，X_N从多个先前的图层，向前传播输出Z₁，......，Z_米到后续层。

在网络的前向传递结束时，输出层计算损失l在预测之间Y和目标T．

在网络的反向传递过程中，每一层取损耗相对于该层输出的导数，计算损耗的导数l然后反向传播结果。如果该层有可学习参数，则该层也计算层权值的导数(可学习参数)。该层利用权值的导数来更新可学习参数。

下图描述了通过深神经网络的数据流程，并突出显示通过单个输入的层的数据流X单个输出Z，和学习参数W．

有关自定义中间层的更多信息，请参阅定义自定义深度学习中间层．

输出层的体系结构

在训练时的前向传递结束时，输出层接收输出Y计算前一层(网络预测)的损失l在这些预测和培训目标之间。输出层计算损耗的衍生物l关于预测Y并将结果输出(向后传播)到前一层。

下图描述了通过神经网络和输出层的数据流。

有关更多信息，请参见定义自定义深度学习输出图层．

检查自定义层的有效性

如果你创建一个自定义的深度学习层，那么你可以使用核对层函数检查该层是否有效。该函数检查层的有效性、GPU兼容性、正确定义的梯度和代码生成兼容性。检查层是否有效，使用如下命令:

validInputSize checkLayer(层)

在哪里层是该层的实例，validInputSize是指定到图层的有效输入大小的矢量或单元格数组。要检查多个观察，请使用观察层选项。要检查代码生成兼容性，请设置CheckCodegenCompatibility选项1（真的）。对于大输入大小，渐变检查需要更长时间运行。要加快测试，请指定较小的有效输入大小。

有关更多信息，请参见检查自定义层有效性．

另请参阅