全康统计层

完全连接的层

展开所有页面

描述

完全连接的层将输入乘以权重矩阵，然后添加偏置向量。

创建

句法

tillay =全连接列（输出）

tillay =全连接列（输出，名称，值）

描述

层=全连接列（输出）返回完全连接的图层并指定输出财产。

例子

层=全连接列（输出那名称，价值）设置可选参数和初始化那学习速度和正规化，和名称属性使用名称值对。例如，全康统计（10，'名称'，'fc1'）创建一个完全连接的图层，输出大小为10和名称'fc1'。您可以指定多个名称值对。用单引号括起每个属性名称。

特性

展开全部

完全连接

`输出`-输出大小
正整数

完全连接图层的输出大小指定为正整数。

例子：10.

`输入`-输入大小
`'汽车'`（默认）|正整数

完全连接图层的输入大小，指定为正整数或'汽车'。如果输入是'汽车'，然后软件在训练期间自动确定输入大小。

参数和初始化

`掌控度`-初始化权重的功能
`'glorot'`（默认）|`'他'`|`'正交'`|`'窄正常'`|`'zeros'`|`'那些'`|功能手柄

初始化权重的功能，指定为以下内容之一：

'glorot'- 使用Glorot Initializer初始化权重[1]（也称为Xavier Initializer）。Glorot Initializer从均匀分布的独立样本，零均匀和方差2 /（输入+输出）。
'他'- 使用初始化程序初始化权重[2]。他初始化来自正常分布的样本，零均值和方差2 /输入。
'正交'- 初始化输入权重问：，QR分解给出的正交矩阵Z.=问：R.对于随机矩阵Z.从单位正态分布中取样。[3]
'窄正常'- 通过独立从正常分布采样，零平均值和标准偏差0.01来初始化权重。
'zeros'- 用零初始化权重。
'那些'- 用初始化权重。
功能句柄 - 使用自定义功能初始化权重。如果指定函数句柄，则函数必须是表单权重= func（sz），在哪里SZ.是重量的大小。例如，看到指定自定义权重初始化功能。

该图层仅初始化权重重量财产是空的。

数据类型：char|细绳|function_handle.

`偏见初始化器`-初始化偏差的功能
`'zeros'`（默认）|`'窄正常'`|`'那些'`|功能手柄

初始化偏差的函数，指定为以下之一：

'zeros'- 用零初始化偏差。
'那些'- 初始化偏差。
'窄正常'- 通过从正常分布的自主分布采样，零平均值和标准偏差0.01，初始化偏差。
功能句柄 - 使用自定义功能初始化偏差。如果指定函数句柄，则函数必须是表单BIAS = FUNC（SZ），在哪里SZ.是偏见的大小。

该图层仅初始化偏差时偏见财产是空的。

数据类型：char|细绳|function_handle.

`重量`-层重量
`[]`（默认）|矩阵

层权重，指定为矩阵。

层权重是可学习参数。您可以直接指定权重的初始值重量层的财产。培训网络时，如果重量那个层的财产是非空的，然后Trainnetwork.用来重量属性作为初始值。如果是重量财产是空的，然后Trainnetwork.使用指定的初始化程序掌控度层的财产。

在培训时间，重量是一个输出-经过-输入矩阵。

数据类型：单身的|双倍的

`偏见`-层偏差
`[]`（默认）|矩阵

层偏置，指定为矩阵。

层偏置是可学习参数。培训网络时，如果偏见是不是空的，然后Trainnetwork.用来偏见属性作为初始值。如果偏见是空的，然后Trainnetwork.使用指定的初始化程序偏见初始化器。

在培训时间，偏见是一个输出-经过-1矩阵。

数据类型：单身的|双倍的

学习速度和正规化

`举重`-重量学习率因子
1（默认）|非负标量

学习权重的因素，指定为非负标量。

该软件通过全局学习速率乘以此因素来确定该层中权重的学习率。例如，如果举重是2，那么该层中权重的学习率是当前全球学习率的两倍。该软件根据指定的设置确定全局学习速率培训选项功能。

例子：2

`Biaslearnratefactor.`-偏差学习率因素
1（默认）|非负标量

偏差的学习率因子，指定为非负标量。

该软件通过全局学习率乘以此因素来确定该层中偏差的学习率。例如，如果Biaslearnratefactor.是2，那么层中偏差的学习率是当前全球学习率的两倍。该软件根据指定的设置确定全局学习速率培训选项功能。

例子：2

`掌权2factor.`-L2重量的正则化因子
1（默认）|非负标量

L2权重的正则化因子，指定为非负标量。

软件将此因子乘以全局L2正则化因子来确定该层中重量的L2正则化。例如，如果掌权2factor.是2，那么该层中重量的L2正则化是全局L2正则化因子的两倍。您可以使用使用的全局L2正则化因子指定培训选项功能。

例子：2

`biasl2factor.`-L2偏差的正则化因子
0.（默认）|非负标量

L2偏差的正则化因子，指定为非负标量。

该软件将此因子乘以全局L2正则化因子来确定该层中偏差的L2正则化。例如，如果biasl2factor.是2，那么该层中偏差的L2正则化是全局L2正则化因子的两倍。您可以使用使用的全局L2正则化因子指定培训选项功能。

例子：2

层

`名称`-图层名称
`''`（默认）|字符向量|字符串标量

图层名称，指定为字符向量或字符串标量。要在图层图中包含一个图层，必须指定非空，唯一的图层名称。如果您使用该图层培训系列网络名称设定为''，然后软件会自动为培训时间分配给图层的名称。

数据类型：char|细绳

`numinputs.`-输入数量
1（默认）

图层的输入数。此图层仅接受单个输入。

数据类型：双倍的

`输入名称`-输入名称
`{'在'}`（默认）

图层的输入名称。此图层仅接受单个输入。

数据类型：细胞

`numoutput.`-输出数量
1（默认）

图层的输出数。此图层仅具有单个输出。

数据类型：双倍的

`输出名称`-输出名称
`{'出去'}`（默认）

图层的输出名称。此图层仅具有单个输出。

数据类型：细胞

例子

全部收缩

创建完全连接的图层

打开直播脚本

创建一个完全连接的图层，输出大小为10和名称'fc1'。

tillay =全连接列（10，'名称'那'fc1'）

tillay =具有属性的全连接列：名称：'FC1'超参数InputSize：'Auto'OutputSize：10个学习参数权重：[]偏置：[]显示所有属性

包括一个完全连接的图层层大批。

层= [......ImageInputLayer（[28 28 1]）卷积2dlayer（5,20）rululayer maxpooling2dlayer（2，'走吧'，2）全连接列（10）SoftMaxLayer分类层]

图层= 7x1层阵列，图层：1''图像输入28x28x1图像与'zerocenter'归一化2''卷积20 5x5卷积与步幅[1 1]和填充[0 0 0 0] 3''Relu Relu 4''Max汇集2x2 max汇集步进[2 2]和填充[0 0 0 0] 5''完全连接的10完全连接的第6层''softmax softmax 7''分类输出crossentropyex

在完全连接的图层中指定初始权重和偏置

打开直播脚本

要指定权重和偏置初始化器功能，请使用掌控度和偏见初始化器分别属性。要直接指定权重和偏差，请使用重量和偏见分别属性。

指定初始化功能

创建具有输出大小为10的完全连接的图层，并将权重初始化程序指定为HE初始化程序。

输出= 10;tillay =全连接列（输出，'掌控itializer'那'他'）

tillay =具有属性的完全连接Layer：名称：''HyperParameters InputSize：'auto'输出：10个可学习的参数权重：[]偏置：[]显示所有属性

请注意重量和偏见属性是空的。在培训时，软件使用指定的初始化函数初始化这些属性。

指定自定义初始化功能

要为权重和偏置指定自己的初始化功能，请设置掌控度和偏见初始化器函数句柄的属性。对于这些属性，请指定将权重和偏置大小的函数处理作为输入和输出初始化值。

创建具有输出尺寸10的完全连接的图层，并指定使用标准偏差为0.0001的高斯分布来示出权重和偏置的初始化器。

输出= 10;权重= @（sz）rand（sz）* 0.0001;BiasinitializationFCN = @（SZ）RAND（SZ）* 0.0001;tillay =全连接列（输出，......'掌控itializer'，@（sz）rand（sz）* 0.0001，......'偏见的人'，@（sz）rand（sz）* 0.0001）

tillay =具有属性的完全连接Layer：名称：''HyperParameters InputSize：'auto'输出：10个可学习的参数权重：[]偏置：[]显示所有属性

再次，这重量和偏见属性是空的。在培训时，软件使用指定的初始化函数初始化这些属性。

直接指定权重和偏差

创建一个完全连接的图层，输出大小为10，并设置重量和偏置W.和B.在席位文件中Fcweights.mat分别。

输出= 10;加载Fcweights.tillay =全连接列（输出，......'重量'，w，......'偏见'，b）

Layer =具有属性的全连接层：名称：'''''''''''indupperetersiped：720输出：10个可学习的参数权重：[10x720双]偏置：[10x1 double]显示所有属性

在这里，这是重量和偏见属性包含指定的值。在培训时间，如果这些属性是非空的，则软件将指定的值用作初始权重和偏差。在这种情况下，该软件不使用初始化器功能。

兼容性考虑因素

展开全部

默认权重初始化是Glorot

R2019A中的行为发生了变化

从R2019A开始，该软件默认情况下，使用Glorot Initializer初始化该图层的层权重。这种行为有助于稳定培训，通常会降低深度网络的培训时间。

在以前的版本中，默认情况下，该软件通过从正常分布采样，零平均值和方差0.01，通过采样来初始化层权重。重现此行为，设置'掌控itializer'层选择'窄正常'。

参考

[1] Glorot，Xavier和Yoshua Bengio。“了解训练深馈神经网络的难度。”在第十三国际人工智能和统计国际会议的诉讼程序，249-356。撒丁岛，意大利：2010年亚斯特哈。

[2]他，Kaiming，湘雅张，少清任，剑孙。“深入研究整流器：超越了在想象集分类上的人力水平表现。”在2015年IEEE计算机愿景会议的诉讼程序，1026-1034。华盛顿特区：IEEE计算机视觉协会，2015年。

[3] Saxe，Andrew M.，James L. McClelland和Surya Ganguli。“深线性神经网金宝搏官方网站络中学习非线性动力学的精确解决方案”。ARXIV预印迹ARXIV：1312.6120（2013）。

扩展能力

C / C ++代码生成
使用MATLAB®Coder™生成C和C ++代码。

GPU代码生成
使用GPU Coder™为NVIDIA®GPU生成CUDA®代码。

也可以看看

BatchnormalizationLayer.|Convolution2Dlayer.|深网络设计师|抵押者|Trainnetwork.

话题

在R2016A介绍

全康统计层

描述

创建

句法

描述

特性

完全连接

输出-输出大小正整数

输入-输入大小'汽车'（默认）|正整数

参数和初始化

掌控度-初始化权重的功能'glorot'（默认）|'他'|'正交'|'窄正常'|'zeros'|'那些'|功能手柄

偏见初始化器-初始化偏差的功能'zeros'（默认）|'窄正常'|'那些'|功能手柄

重量-层重量[]（默认）|矩阵

偏见-层偏差[]（默认）|矩阵

学习速度和正规化

举重-重量学习率因子1（默认）|非负标量

Biaslearnratefactor.-偏差学习率因素1（默认）|非负标量

掌权2factor.-L2重量的正则化因子1（默认）|非负标量

biasl2factor.-L2偏差的正则化因子0.（默认）|非负标量

层

名称-图层名称''（默认）|字符向量|字符串标量

numinputs.-输入数量1（默认）

输入名称-输入名称{'在'}（默认）

numoutput.-输出数量1（默认）

输出名称-输出名称{'出去'}（默认）

例子

创建完全连接的图层

在完全连接的图层中指定初始权重和偏置

更多关于

完全连接的层

兼容性考虑因素

默认权重初始化是Glorot

参考

扩展能力

C / C ++代码生成使用MATLAB®Coder™生成C和C ++代码。

GPU代码生成使用GPU Coder™为NVIDIA®GPU生成CUDA®代码。

也可以看看

话题

深度学习工具箱文档

金宝app

与Matlab引入深度学习

`输出`-输出大小
正整数

`输入`-输入大小
`'汽车'`（默认）|正整数

`掌控度`-初始化权重的功能
`'glorot'`（默认）|`'他'`|`'正交'`|`'窄正常'`|`'zeros'`|`'那些'`|功能手柄

`偏见初始化器`-初始化偏差的功能
`'zeros'`（默认）|`'窄正常'`|`'那些'`|功能手柄

`重量`-层重量
`[]`（默认）|矩阵

`偏见`-层偏差
`[]`（默认）|矩阵

`举重`-重量学习率因子
1（默认）|非负标量

`Biaslearnratefactor.`-偏差学习率因素
1（默认）|非负标量

`掌权2factor.`-L2重量的正则化因子
1（默认）|非负标量

`biasl2factor.`-L2偏差的正则化因子
0.（默认）|非负标量

`名称`-图层名称
`''`（默认）|字符向量|字符串标量

`numinputs.`-输入数量
1（默认）

`输入名称`-输入名称
`{'在'}`（默认）

`numoutput.`-输出数量
1（默认）

`输出名称`-输出名称
`{'出去'}`（默认）

C / C ++代码生成
使用MATLAB®Coder™生成C和C ++代码。

GPU代码生成
使用GPU Coder™为NVIDIA®GPU生成CUDA®代码。