fullyConnectedLayer

完全连接层

全部展开页面

描述

一个完全连通的层将输入乘以一个权值矩阵，然后添加一个偏置向量。

创建

语法

层= fullyConnectedLayer (outputSize)

层= fullyConnectedLayer (outputSize、名称、值)

描述

层=全连接列（outputSize）返回一个完全连接的层并指定OutputSize财产。

例子

层=全连接列（outputSize，名称,值）设置可选参数和初始化，学习率和正规化,姓名使用名称-值对的属性。例如,fullyConnectedLayer(10、“名称”、“fc1”)创建一个完整连接的图层，输出大小为10，名称为'fc1'．可以指定多个名称-值对。将每个属性名用单引号括起来。

特性

展开全部

完全连接

`OutputSize`- - - - - -输出的大小
正整数

完全连接图层的输出大小指定为正整数。

例子：10

`InputSize`- - - - - -输入的大小
`“汽车”`（默认）|正整数

全连接层的输入大小，指定为正整数或“汽车”．如果InputSize是“汽车”，然后软件在训练过程中自动确定输入的大小。

参数和初始化

`WeightsInitializer`- - - - - -函数初始化权重
`“glorot”`（默认）|`“他”`|`“正交”`|`“narrow-normal”`|`“零”`|`“的”`|函数处理

初始化权重的功能，指定为以下之一：

“glorot”-使用gloria初始化器初始化权重［1］(也称为Xavier初始化器)。格洛特初始化器从均值和方差均为零的均匀分布中独立抽样2 /（输入+输出）．
“他”-使用He初始化器初始化权值［2］．他初始化来自正常分布的样本，零均值和方差2 /输入．
“正交”- 初始化输入权重问的QR分解给出的正交矩阵Z＝问R对于一个随机矩阵Z从单位正态分布中抽样。［3］
“narrow-normal”-从均值为零、标准差为0.01的正态分布中独立抽样来初始化权重。
“零”—初始化权值为0。
“的”—使用“1”初始化权重。
函数句柄——用自定义函数初始化权重。如果指定函数句柄，则该函数必须是这种形式的重量= func(深圳)，在哪里SZ.是重量的大小。例如，看到指定自定义权重初始化函数．

属性时，层才初始化权重权重属性是空的。

数据类型：字符|细绳|function_handle

`BiasInitializer`- - - - - -初始化偏差的功能
`“零”`（默认）|`“narrow-normal”`|`“的”`|函数处理

函数初始化偏差，指定为以下任意一个:

“零”- 用零初始化偏差。
“的”-用1初始化偏差。
“narrow-normal”- 通过从正常分布的独立采样，零平均值和标准偏差0.01来初始化偏置。
函数句柄——用自定义函数初始化偏差。如果指定函数句柄，则该函数必须是这种形式的偏见= func(深圳)，在哪里SZ.是偏差的大小。

该层仅在偏见属性是空的。

数据类型：字符|细绳|function_handle

`权重`- - - - - -层重量
`[]`（默认）|矩阵

层权重，指定为矩阵。

层权值是可学习的参数。属性可以直接指定权重的初始值权重属性的层。当你训练一个网络，如果权重那个层的财产是非空的trainNetwork使用权重属性作为初始值。如果权重属性为空trainNetwork属性指定的初始化式WeightsInitializer属性的层。

在培训时,权重是一个OutputSize——- - - - - -InputSize矩阵。

数据类型：单身的|双倍的

`偏见`- - - - - -层的偏见
`[]`（默认）|矩阵

层偏差，指定为矩阵。

层偏差是可学习的参数。当你训练一个网络，如果偏见是不是空的，然后trainNetwork使用偏见属性作为初始值。如果偏见是空的,然后trainNetwork使用指定的初始化式BiasInitializer．

在培训时,偏见是一个OutputSize——- - - - - -1矩阵。

数据类型：单身的|双倍的

学习率和正规化

`举重性活动器`- - - - - -权重的学习率因子
`1`（默认）|负的标量

权值的学习率因子，指定为非负标量。

该软件通过全局学习率乘以此因素来确定该层中权重的学习率。例如,如果举重性活动器是2，则该层权重的学习率为当前全局学习率的两倍。该软件根据您指定的设置来确定全局学习率trainingOptions函数。

数据类型：单身的|双倍的|int8|int16|INT32.|INT64.|uint8.|uint16|UINT32.|uint64

`BiasLearnRateFactor`- - - - - -偏差的学习率因子
`1`（默认）|负的标量

偏差的学习率因子，指定为非负标量。

软件将这个因子乘以全局学习率，以确定这一层偏差的学习率。例如,如果BiasLearnRateFactor是2，则该层偏差的学习率是当前全局学习率的两倍。该软件根据您指定的设置来确定全局学习率trainingOptions函数。

数据类型：单身的|双倍的|int8|int16|INT32.|INT64.|uint8.|uint16|UINT32.|uint64

`WeightL2Factor`- - - - - -l₂权重的正则化因子
1（默认）|负的标量

l₂权值的正则化因子，指定为非负标量。

软件将这个因素乘以全球l₂正则化因子的确定l₂对该层中的重量进行正则化。例如,如果WeightL2Factor是2，那么l₂此图层中重量的正则化是全局的两倍l₂正则化因素。您可以指定全局l₂正则化因子trainingOptions函数。

数据类型：单身的|双倍的|int8|int16|INT32.|INT64.|uint8.|uint16|UINT32.|uint64

`BiasL2Factor`- - - - - -l₂偏差的正则化因子
`0`（默认）|负的标量

l₂偏差的正则化因子，指定为非负标量。

软件将这个因素乘以全球l₂正则化因子的确定l₂正则化这一层的偏差。例如,如果BiasL2Factor是2，那么l₂这一层偏见的正规化程度是全球的两倍l₂正则化因素。您可以指定全局l₂正则化因子trainingOptions函数。

数据类型：单身的|双倍的|int8|int16|INT32.|INT64.|uint8.|uint16|UINT32.|uint64

层

`姓名`- - - - - -层的名字
`”`（默认）|字符向量|字符串标量

层名，指定为字符向量或字符串标量。为层阵列输入，trainNetwork，assembleNetwork，layerGraph,dlnetwork.函数自动为层分配名称姓名设置为”．

数据类型：字符|细绳

`numinputs.`- - - - - -输入数量
`1`（默认）

此属性是只读的。

层的输入数。这一层只接受单个输入。

数据类型：双倍的

`InputNames`- - - - - -输入名称
`{'在'}`（默认）

此属性是只读的。

输入层名。这一层只接受单个输入。

数据类型：细胞

`NumOutputs`- - - - - -数量的输出
`1`（默认）

此属性是只读的。

层输出的数量。这一层只有一个输出。

数据类型：双倍的

`OutputNames`- - - - - -输出的名字
`{“出”}`（默认）

此属性是只读的。

输出层的名称。这一层只有一个输出。

数据类型：细胞

例子

全部折叠

创建完全连接图层

打开生活的脚本

创建一个完全连接的图层，输出大小为10和名称'fc1'．

层= fullyConnectedLayer (10,“名字”，'fc1'）

tillay =具有属性的全连接层：名称：'FC1'超参数输入：'auto'输出：10个学习参数权重：[]偏置：[]显示所有属性

包含一个完全连接的层层数组中。

层= [......imageInputLayer([28 28 1])卷积2dlayer (5,20) reluLayer maxPooling2dLayer(2, 20)“步”，2) fulllyconnectedlayer (10) softmaxLayer classifier]

图层数组:1”的形象输入28 x28x1图像zerocenter正常化2”卷积20 5 x5旋转步[1]和填充[0 0 0 0]3”ReLU ReLU 4”马克斯池2 x2马克斯池步(2 - 2)和填充[0 0 0 0]5“完全连接10完全连接层6”Softmax Softmax crossentropyex 7”分类输出

在完全连接层中指定初始权重和偏差

打开生活的脚本

要指定权重和偏置初始化器功能，请使用WeightsInitializer和BiasInitializer属性分别。要直接指定权重和偏差，请使用权重和偏见属性分别。

指定初始化函数

创建一个输出大小为10的完全连接层，并将权重初始化器指定为He初始化器。

outputSize = 10;层= fullyConnectedLayer (outputSize,“WeightsInitializer”，“他”）

tillay =具有属性的全连接层：名称：''QuidEnPareters InputSize：'auto'输出：10个学习参数权重：[]偏见：[]显示所有属性

请注意,权重和偏见属性是空的。在训练时，软件使用指定的初始化函数初始化这些属性。

指定自定义初始化函数

要为权重和偏置指定自己的初始化功能，请设置WeightsInitializer和BiasInitializer属性设置为函数句柄。对于这些属性，指定将权重和偏差的大小作为输入和输出初始化值的函数句柄。

创建具有输出大小10的完全连接的图层，并指定使用标准偏差为0.0001的高斯分布来示出权重和偏置的初始化器。

outputSize = 10;weightsInitializationFcn = @(sz) rand(sz) * 0.0001;biasInitializationFcn = @(sz) rand(sz) * 0.0001;层= fullyConnectedLayer (outputSize,......“WeightsInitializer”，@（sz）rand（sz）* 0.0001，......“BiasInitializer”，@（sz）rand（sz）* 0.0001）

tillay =具有属性的全连接层：名称：''QuidEnPareters InputSize：'auto'输出：10个学习参数权重：[]偏见：[]显示所有属性

再一次,权重和偏见属性是空的。在训练时，软件使用指定的初始化函数初始化这些属性。

直接指定权重和偏差

创建一个完全连接的图层，输出大小为10，并设置重量和偏置W和b在MAT文件中Fcweights.mat分别。

outputSize = 10;加载Fcweights.层= fullyConnectedLayer (outputSize,......“重量”W,......'偏见', b)

layer = fulllyconnectedlayer with properties: Name: " Hyperparameters InputSize: 720 OutputSize: 10 Learnable Parameters Weights: [10x720 double] Bias: [10x1 double]显示所有属性

在这里,权重和偏见属性包含指定的值。在训练时，如果这些属性是非空的，则软件使用指定的值作为初始权值和偏差。在这种情况下，软件不使用初始化函数。

算法

展开全部

完全连接层

一个完全连通的层将输入乘以一个权值矩阵，然后添加一个偏置向量。

卷积(和下采样)层之后是一个或多个完全连接层。

顾名思义，完全连接层中的所有神经元都与前一层中的所有神经元相连。这一层结合了所有的特征(局部信息)从前一层学习到的图像，以识别更大的模式。在分类问题上，最后一层完全连通层结合特征对图像进行分类。这就是……的原因outputSize网络的最后完全连接层的参数等于数据集的类数。对于回归问题，输出大小必须等于响应变量的数量。

您还可以使用相关的名称 - 值对参数在创建完全连接的图层时调整该图层的学习速率和正则化参数。如果您选择不调整它们，那么trainNetwork的定义的全局训练参数trainingOptions函数。有关全局和层训练选项的详细信息，请参见卷积神经网络参数的建立与训练．

完全连接的图层将输入乘以权重矩阵W然后加上一个偏差向量b．

如果对图层的输入是序列（例如，在LSTM网络中），则完全连接的层在每次步骤上独立起作用。例如，如果完全连接层之前的图层输出阵列X大小D——- - - - - -N——- - - - - -年代，则全连接层输出一个数组Z大小outputSize——- - - - - -N——- - - - - -年代．在时间步骤t，相应的条目Z是 $W X_{t} + b$ ，在哪里 $X_{t}$ 表示时间步t的X．

完全连接的层达到输出。它重新设置阵列，使得空间数据在信道维中编码。

对于序列输入，该层对输入的每个时间步单独应用全连接操作。

层输入和输出格式

层阵列或层图中的层传递指定为格式化的数据dlarray对象。

你可以与这些互动dlarray自动差异化工作流程（如在开发自定义层时）使用afunctionLayer对象，或使用向前和预测功能与dlnetwork.对象。

a支持的输入格式金宝app全康无经对象和相应的输出格式。如果将图层的输出传递给不从中继承的自定义层nnet.layer.Formattable类,或FunctionLayer对象的Formattable选项设置为假，则该层接收未格式化的dlarray具有尺寸的对象与该表中概述的格式相对应。

输入格式	输出格式
`“CB”`(通道、批处理)	`“CB”`(通道、批处理)
`“渣打银行”`(空间、通道、批处理)	`“CB”`(通道、批处理)
`“SSCB”`(空间、空间、通道、批处理)	`“CB”`(通道、批处理)
`“SSSCB”`(spatial, spatial, spatial, channel, batch)	`“CB”`(通道、批处理)
`“认知行为治疗”`(通道、批量、时间)	`“认知行为治疗”`(通道、批量、时间)

在dlnetwork.对象,全康无经对象还支持下列输入和输出格金宝app式组合。

输入格式	输出格式
`“SCBT”`(空间、通道、批处理)	`“认知行为治疗”`(通道、批量、时间)
`“SSCBT”`(空间、空间、通道、批处理、时间)	`“认知行为治疗”`(通道、批量、时间)
`“SSSCBT”`(spatial, spatial, spatial, channel, batch, time)	`“认知行为治疗”`(通道、批量、时间)

中使用这些输入格式trainNetwork工作流程，首先将数据转换为“认知行为治疗”(频道、批处理、时间)格式使用flattenLayer．

兼容性的考虑

展开全部

默认权重初始化是gloria

行为在R2019a中改变

从R2019a开始，软件默认使用gloria初始化器初始化该层的层权值。这种行为有助于稳定训练，通常减少深度网络的训练时间。

在以前的版本中，软件默认从均值为零、方差为0.01的正态分布中抽样，初始化层权重。要重现这种行为，请设置“WeightsInitializer”选项的层“narrow-normal”．

参考文献

[1] Glorot，Xavier和Yoshua Bengio。“了解训练深馈神经网络的难度。”在第十三届国际人工智能和统计会议论文集, 249 - 356。撒丁岛，意大利:AISTATS, 2010。

何开明，张翔宇，任少青，孙健深入研究整流器:在图像网分类上超越人类水平的表现。在2015 IEEE计算机视觉国际会议论文集, 1026 - 1034。计算机视觉，2015。

Saxe, Andrew M.， James L. McClelland和Surya Ganguli。深度线性神经网金宝搏官方网站络中学习的非线性动力学的精确解ARXIV预印迹ARXIV：1312.6120(2013)。

扩展能力

C / C ++代码生成
使用MATLAB®Coder™生成C和c++代码。

GPU代码生成
使用GPU Coder™为NVIDIA®GPU生成CUDA®代码。

另请参阅

trainNetwork|convolution2dLayer|reluLayer|batchNormalizationLayer|深网络设计师

主题

介绍了R2016a

fullyConnectedLayer

描述

创建

语法

描述

特性

完全连接

OutputSize- - - - - -输出的大小正整数

InputSize- - - - - -输入的大小“汽车”（默认）|正整数

参数和初始化

WeightsInitializer- - - - - -函数初始化权重“glorot”（默认）|“他”|“正交”|“narrow-normal”|“零”|“的”|函数处理

BiasInitializer- - - - - -初始化偏差的功能“零”（默认）|“narrow-normal”|“的”|函数处理

权重- - - - - -层重量[]（默认）|矩阵

偏见- - - - - -层的偏见[]（默认）|矩阵

学习率和正规化

举重性活动器- - - - - -权重的学习率因子1（默认）|负的标量

BiasLearnRateFactor- - - - - -偏差的学习率因子1（默认）|负的标量

WeightL2Factor- - - - - -l2权重的正则化因子1（默认）|负的标量

BiasL2Factor- - - - - -l2偏差的正则化因子0（默认）|负的标量

层

姓名- - - - - -层的名字”（默认）|字符向量|字符串标量

numinputs.- - - - - -输入数量1（默认）

InputNames- - - - - -输入名称{'在'}（默认）

NumOutputs- - - - - -数量的输出1（默认）

OutputNames- - - - - -输出的名字{“出”}（默认）

例子

创建完全连接图层

在完全连接层中指定初始权重和偏差

算法

完全连接层

层输入和输出格式

兼容性的考虑

默认权重初始化是gloria

参考文献

扩展能力

C / C ++代码生成使用MATLAB®Coder™生成C和c++代码。

GPU代码生成使用GPU Coder™为NVIDIA®GPU生成CUDA®代码。

另请参阅

主题

深度学习工具箱文档

金宝app

介绍基于MATLAB的深度学习

`OutputSize`- - - - - -输出的大小
正整数

`InputSize`- - - - - -输入的大小
`“汽车”`（默认）|正整数

`WeightsInitializer`- - - - - -函数初始化权重
`“glorot”`（默认）|`“他”`|`“正交”`|`“narrow-normal”`|`“零”`|`“的”`|函数处理

`BiasInitializer`- - - - - -初始化偏差的功能
`“零”`（默认）|`“narrow-normal”`|`“的”`|函数处理

`权重`- - - - - -层重量
`[]`（默认）|矩阵

`偏见`- - - - - -层的偏见
`[]`（默认）|矩阵

`举重性活动器`- - - - - -权重的学习率因子
`1`（默认）|负的标量

`BiasLearnRateFactor`- - - - - -偏差的学习率因子
`1`（默认）|负的标量

`WeightL2Factor`- - - - - -l₂权重的正则化因子
1（默认）|负的标量

`BiasL2Factor`- - - - - -l₂偏差的正则化因子
`0`（默认）|负的标量

`姓名`- - - - - -层的名字
`”`（默认）|字符向量|字符串标量

`numinputs.`- - - - - -输入数量
`1`（默认）

`InputNames`- - - - - -输入名称
`{'在'}`（默认）

`NumOutputs`- - - - - -数量的输出
`1`（默认）

`OutputNames`- - - - - -输出的名字
`{“出”}`（默认）

C / C ++代码生成
使用MATLAB®Coder™生成C和c++代码。

GPU代码生成
使用GPU Coder™为NVIDIA®GPU生成CUDA®代码。