带有可学习参数模板的图层

将图层用学习参数模板复制到MATLAB中的新文件中。此模板概述了具有可知参数的图层的结构，并包括定义图层行为的函数。

classdefmyLayer % & net.layer. format(可选)属性%(可选)图层属性。%图层属性到这里。结束属性(可学的)％（可选）层学习参数。%图层可学习的参数在这里。结束方法函数tillay = myLayer（）%(可选)创建一个myLayer。%该函数必须与类名相同。%层构造函数在这里。结束函数[Z1，…，Zm]=预测（层，X1，…，Xn）%在预测时间通过层转发输入数据%输出结果。％％输入：% layer -要转发的层% X1,…，Xn- Input data％产出：% Z1,…，Z米- Outputs of layer forward function%用于预测的层前向函数在这里。结束函数(Z1,…,Zm评选、内存)=前进(层,X1,…,Xn)%(可选)在训练时通过层转发输入数据%时间并输出结果和一个内存值。％％输入：% layer -要转发的层% X1,…，Xn- Input data％产出：% Z1,…，Z米- Outputs of layer forward function% memory -自定义向后传播的内存值%用于训练的图层正向功能在这里。结束函数[dldx1，...，dldxn，dldw1，...，dldwk] =．..向后(层,X1,…,Xn Z1,…,Zm评选,dLdZ1,…,dLdZm,内存)%(可选)反向传播损失的导数%函数通过层。％％输入：%图层-图层向后传播通过% X1,…，Xn- Input data% Z1,…，Z米- Outputs of layer forward function% dLdZ1,…，dLdZm - Gradients propagated from the next layers% memory - forward函数的内存值％产出：％dldx1，...，dldxn  - 关于损失的衍生物％输入% dLdW1,…，dLdWk - Derivatives of the loss with respect to each%可学的参数%图层向后函数在这里。结束结束结束

层的名字

首先，给图层命名。在类文件的第一行中，替换现有的名称迈莱尔与preluLayer．

classdefpreluLayer < nnet.layer.Layer．..结束

接下来,重命名迈莱尔函数中的第一个函数方法Section)，以便它与图层具有相同的名称。

方法函数层=预层（）。。。结束．..结束

声明属性和可学习参数

属性中声明图层属性属性部分并通过列出它们来宣告学习参数属性（可学习）部分。

默认情况下，自定义中间图层具有这些属性。

如果该层没有其他属性，则可以省略属性部分。

PReLU层不需要任何额外的属性，所以您可以删除属性部分。

ProLu层只有一个学习参数，缩放系数一个．属性中声明这个可学习参数属性（可学习）分段并调用参数Α．

属性(可学的)%层可学习的参数%比例系数Α结束

创建构造函数

创建用于构造图层并初始化图层特性的函数。指定创建层所需的任何变量作为构造函数的输入。

PReLU层构造函数需要两个输入参数:预期输入数据的通道数量和层名。通道的数量指定了可学习参数的大小Α．指定两个命名的输入参数NumChannels.和的名字在里面preluLayer函数。在函数的顶部添加注释，解释函数的语法。

函数层=预层（numChannels，名称）% layer = preluLayer(numChannels)创建一个PReLU层% numChannels通道并指定层名。．..结束

%设置图层名称。层。的名字＝的名字；

%设置图层描述。层。描述=“PReLU与“+ numChannels +“通道”；

%初始化缩放系数。tillay.Alpha = Rand（[1 1 NumChannels]）;

函数层=预层（numChannels，名称）% layer = preluLayer(numChannels, name)创建一个PReLU层用NumChannels通道输入的2-D图像输入和指定%层名。%设置图层名称。层。的名字＝的名字；%设置图层描述。层。描述=“PReLU与“+ numChannels +“通道”；%初始化缩放系数。tillay.Alpha = Rand（[1 1 NumChannels]）;结束

创建向前函数

创建用于预测时间和训练时间的层前向函数。

创建一个名为预测将数据向前传播到预测的时间并输出结果。

的语法预测是(Z1,…,Zm评选)=预测(层,X1,…,Xn)， 在哪里X1,…,Xn是n层输入和Z1,…,Zm评选是米层输出。的值n和米必须对应于numinputs.和NumOutputs层的属性。

因为ProLu层只有一个输入和一个输出，所以语法预测对于PReLU层是Z =预测(层,X)．

默认情况下，该层使用预测作为训练时的正向函数。要在训练时使用不同的前向函数，或保留自定义后向函数所需的值，还必须创建名为向前．

输入的尺寸取决于数据的类型和连接层的输出:

对于输出序列的层，层可以输出任意长度的序列或输出没有时间维度的数据。请注意，在训练使用trainNetwork函数时，输入序列和输出序列的长度必须匹配。

的向前函数将数据向前传播到层培训时间并输出内存值。

的语法向前是(Z1,…,Zm评选、内存)=前进(层,X1,…,Xn)， 在哪里X1,…,Xn是n层的输入,Z1,…,Zm评选是米层的输出,内存是记忆层。

PReLU运算由

在哪里 $$x_{我}$$是非线性激活的输入吗f频道我, $${\mathrm{\alpha .}}_{我}$$是控制负部分斜率的系数。下标我在 $${\mathrm{\alpha .}}_{我}$$表示非线性激活可以在不同的通道上变化。

在中执行此操作预测．在预测,输入X对应于x在等式中。输出Z对应于 $$f（x_{我}）$$．PReLU层不需要记忆或不同的前向功能来训练，所以你可以删除向前来自类文件的函数。在函数的顶部添加注释，该函数解释了函数的语法。

函数Z =预测(层，X)% Z = predict(layer, X)将输入数据X通过%层并输出结果Z。Z = max(X,0) +图层。α。*分钟(0,X);结束

因为这预测函数只使用支持的函数金宝appdlarray对象,定义落后的函数是可选的。获取支持的函数列表金宝appdlarray对象，请参见Dlarray支持的函数列表金宝app．

完成一层

查看已完成的层类文件。

classdefpreluLayer < nnet.layer.Layer%示例自定义PReLU层。属性(可学的)%层可学习的参数%比例系数Α结束方法函数层=预层（numChannels，名称）% layer = preluLayer(numChannels, name)创建一个PReLU层用NumChannels通道输入的2-D图像输入和指定%层名。%设置图层名称。层。的名字＝的名字；%设置图层描述。层。描述=“PReLU与“+ numChannels +“通道”；%初始化缩放系数。tillay.Alpha = Rand（[1 1 NumChannels]）;结束函数Z =预测(层，X)% Z = predict(layer, X)将输入数据X通过%层并输出结果Z。Z = max(X,0) +图层。α。*分钟(0,X);结束结束结束

GPU的兼容性

如果层向前函数完全支持金宝appdlarray对象，然后该图层是GPU兼容。否则，兼容GPU，图层函数必须支持类型的输入和返回输出金宝appgpuArray(并行计算工具箱)．

许多MATLAB内置函数支持金宝appgpuArray(并行计算工具箱)和dlarray输入参数。获取支持的函数列表金宝appdlarray对象，请参见Dlarray支持的函数列表金宝app．有关在GPU上执行的函数列表，请参阅在GPU上运行MATLAB函数(并行计算工具箱)．要使用GPU进行深度学习，您还必须有支持的GPU设备。金宝app有关支持的设备的信息，请参见金宝appGPU通金宝app过发布支持(并行计算工具箱)．有关在MATLAB中使用gpu的更多信息，请参见MATLAB中的GPU计算(并行计算工具箱)．

在此示例中，使用的MATLAB函数预测所有的支金宝app持dlarray对象，因此该图层是GPU兼容。

使用以下命令检查层的有效性checkLayer

检查自定义层的层有效性preluLayer．

定义一个自定义PReLU层。要创建这个图层，保存文件preluLayer.m在当前文件夹中。

创建该层的实例并使用checkLayer．将有效输入大小指定为对层的典型输入的单个观察的大小。该层需要4-D阵列输入，其中前三个维度对应于前一层输出的高度、宽度和通道数量，第四个维度对应于观测值。

指定观察和集合的输入的典型大小“ObservationDimension”4。

层= preluLayer (20,“prelu”）;validInputSize = [24 24 20];validInputSize checkLayer(层,“ObservationDimension”4）

跳过GPU测试。找不到兼容的GPU设备。跳过代码生成兼容性测试。要检查代码生成层的有效性，请指定“CheckCodegenCompatibility”和“ObservationDimension”选项。正在运行nnet.checklayer.TestLayerWithoutBackward。。。完成nnet.checklayer.TestLayerWithoutBackward测试摘要：13通过，0失败，0不完整，9跳过。所用时间：0.18046秒。

在这里，函数没有检测到层的任何问题。

在网络中包含自定义层

您可以使用与Deep Learning Toolbox中的任何其他图层相同的自定义图层。本节介绍如何使用先前创建的ProLu层创建和培训用于数字分类的网络。

加载示例培训数据。

[XTrain, YTrain] = digitTrain4DArrayData;

定义一个自定义PReLU层。要创建这个图层，保存文件preluLayer.m在当前文件夹中。创建包含自定义层的层阵列preluLayer．

图层= [imageInputlayer（[28 28 1]）卷积2dlayer（5,20）BatchnormalizationLayer prelulayer（20，“prelu”) fulllyconnectedlayer (10) softmaxLayer classificationLayer;

设置培训选项，培训网络。

选择= trainingOptions (“亚当”，“MaxEpochs”，10）;net = trainnetwork（xtrain，ytrain，图层，选项）;

单CPU训练。初始化输入数据规范化。|========================================================================================| | 时代| |迭代时间| Mini-batch | Mini-batch |基地学习  | | | | ( hh: mm: ss) | | |丧失准确性  | |========================================================================================| | 1 | 1 |就是| | 3.0526 | 0.0010 10.94%||2|50| 00:00:07 | 71.88% | 0.8378 | 0.0010 | | 3 | 100 | 00:00:15 | 85.94% | 0.4878 | 0.0010 | | 4 | 150 | 00:00:23 | 88.28% | 0.4069 | 0.0010 | | 6 | 200 | 00:00:30 | 96.09% | 0.1691 | 0.0010 | | 7 | 250 | 00:00:38 | 96.88% | 0.1372 | 0.0010 | | 8 | 300 | 00:00:46 | 99.22% | 0.0745 | 0.0010 | | 9 | 350 | 00:00:54 | 99.22% | 0.0593 | 0.0010 | | 10 | 390 | 00:01:00 | 100.00% | 0.0465 | 0.0010 | |========================================================================================|

通过对新数据的预测和计算的准确性来评估网络性能。

[XTest,欧美]= digitTest4DArrayData;YPred =分类(净,XTest);精度=(欧美= = YPred) /元素个数之和(欧美)

精度=0.9190