激活
计算深度学习网络层激活
语法
描述
您可以在CPU或GPU上计算深度学习网络层激活。使用GPU需要并行计算工具箱™和受支持的GPU设备。金宝app有关受支持设备的信息,请参见金宝appGPU计算要求(并行计算工具箱).属性指定硬件需求ExecutionEnvironment
名称-值参数。
计算激活使用训练SeriesNetwork
或DAGNetwork
,使用激活
函数。计算a的激活dlnetwork
对象,使用向前
或预测
函数,并指定输出
选择。
例子
利用SqueezeNet进行特征提取
这个例子展示了如何从预训练的卷积神经网络中提取学习到的图像特征,并使用这些特征来训练图像分类器。
特征提取是使用预训练深度网络的表示能力的最简单和最快的方法。例如,您可以使用训练支持向量机(SVM)金宝appfitcecoc
(统计和机器学习工具箱™)对提取的特征。因为特征提取只需要通过一次数据,如果你没有GPU来加速网络训练,这是一个很好的起点。
加载数据
解压缩并将示例图像加载为图像数据存储。imageDatastore
根据文件夹名称自动标记图像,并将数据存储为ImageDatastore
对象。图像数据存储允许您存储大型图像数据,包括不适合内存的数据。将数据分成70%的训练数据和30%的测试数据。
解压缩(“MerchData.zip”);imds = imageDatastore(“MerchData”,...IncludeSubfolders = true,...LabelSource =“foldernames”);[imdsTrain,imdsTest] = splitEachLabel(imds,0.7,“随机”);
这个非常小的数据集现在有55张训练图像和20张验证图像。显示一些示例图像。
numImagesTrain = numel(imdsTrain.Labels);idx = randperm(numImagesTrain,16);I = imtile(imds,“帧”, idx);图imshow(我)
负荷预训练网络
加载预训练的SqueezeNet网络。SqueezeNet接受了超过100万张图像的训练,可以将图像分为1000个对象类别,例如键盘、鼠标、铅笔和许多动物。因此,该模型已经学习了广泛图像的丰富特征表示。
网=挤压网;
分析网络结构。
analyzeNetwork(净)
第一层是图像输入层,需要输入图像的大小为227 × 227 × 3,其中3是颜色通道的数量。
inputSize = net.Layers(1).InputSize
inputSize =1×3227 227 3
提取图像特征
该网络构造了输入图像的分层表示。较深的层包含较高级的特征,这些特征是使用较早层的较低级特征构造的。要获得训练图像和测试图像的特征表示,请使用激活
在全局平均池化层“pool10”
.要获得图像的较低级别表示,请使用网络中的较早层。
网络需要大小为227 × 227 × 3的输入映像,但是映像数据存储中的映像具有不同的大小。为了在将训练和测试图像输入到网络之前自动调整它们的大小,可以创建增强图像数据存储,指定所需的图像大小,并将这些数据存储用作激活
.
augimdsTrain = augmentedImageDatastore(inputSize(1:2),imdsTrain);augimdsTest = augmentedImageDatastore(inputSize(1:2),imdsTest);层=“pool10”;featuresTrain =激活(net,augimdsTrain,layer,OutputAs=“行”);featuresTest =激活(net,augimdsTest,layer,OutputAs=“行”);
从训练和测试数据中提取类标签。
TTrain = imdsTrain.Labels;TTest = imdsTest.Labels;
拟合图像分类器
利用从训练图像中提取的特征作为预测变量,拟合多类支持向量机(SVM)金宝appfitcecoc
(统计和机器学习工具箱)。
mdl = fitcecoc(featuresTrain,TTrain);
分类测试图像
使用训练好的SVM模型和从测试图像中提取的特征对测试图像进行分类。
YPred = predict(mdl, featurest);
显示四个样本测试图像及其预测标签。
Idx = [1 5 10 15];数字为i = 1: nummel (idx) subplot(2,2,i) i = readimage(imdsTest,idx(i));标签= YPred(idx(i));imshow (I)标题(标签)结束
计算测试集上的分类精度。准确率是网络正确预测的标签的比例。
精度=平均值(YPred == TTest)
准确度= 0.9500
该支持向量机具有较高的精度。如果使用特征提取的准确率不够高,那么可以尝试迁移学习。
输入参数
网
- - - - - -训练网络
SeriesNetwork
对象|DAGNetwork
对象
训练过的网络,指定为SeriesNetwork
或者一个DAGNetwork
对象。可以通过导入预训练的网络(例如,通过使用googlenet
函数)或通过训练自己的网络使用trainNetwork
.
图片
- - - - - -图像数据
数据存储|数字数组|表格
图像数据,指定为下列之一。
数据类型 | 描述 | 示例使用 | |
---|---|---|---|
数据存储 | ImageDatastore |
保存在磁盘上的图像的数据存储 | 使用保存在磁盘上的图像进行预测,其中图像大小相同。 当图像大小不同时,请使用 |
AugmentedImageDatastore |
应用随机仿射几何变换的数据存储,包括调整大小、旋转、反射、剪切和平移 | 使用保存在磁盘上的图像进行预测,其中图像大小不同。 |
|
TransformedDatastore |
使用自定义转换函数转换从底层数据存储读取的批量数据的数据存储 |
|
|
CombinedDatastore |
从两个或多个底层数据存储中读取的数据存储 |
|
|
自定义小批量数据存储 | 返回小批量数据的自定义数据存储 | 使用其他数据存储不支持的格式的数据进行预测。金宝app 详细信息请参见开发自定义小批量数据存储. |
|
数字数组 | 指定为数值数组的图像 | 使用适合内存的数据进行预测,不需要像调整大小这样的额外处理。 | |
表格 | 指定为表的映像 | 使用存储在表格中的数据进行预测。 |
当使用具有多个输入的网络的数据存储时,该数据存储必须是TransformedDatastore
或CombinedDatastore
对象。
提示
对于图像序列,例如视频数据,请使用序列
输入参数。
数据存储
数据存储读取小批量的图像和响应。当您有不适合内存的数据时,或者当您想要调整输入数据的大小时,请使用数据存储。
这些数据存储直接与激活
对于图像数据。
自定义小批量数据存储。详细信息请参见开发自定义小批量数据存储.
请注意,ImageDatastore
对象允许使用预取批量读取JPG或PNG图像文件。如果使用自定义函数读取图像,则ImageDatastore
对象不预取。
提示
使用augmentedImageDatastore
用于深度学习图像的有效预处理,包括图像大小调整。
请勿使用readFcn
选项imageDatastore
函数用于预处理或调整大小,因为此选项通常显着较慢。
属性可以使用其他内置数据存储进行预测变换
而且结合
功能。这些函数可以将从数据存储读取的数据转换为所需的格式分类
.
所需的数据存储输出格式取决于网络架构。
网络体系结构 | 数据存储输出 | 示例输出 |
---|---|---|
单输入 | 表或单元格数组,其中第一列指定预测器。 表元素必须是标量、行向量或包含数字数组的1乘1单元格数组。 自定义数据存储必须输出表。 |
数据=读取(ds) data = 4×1 table Predictors __________________ {224×224×3 double} {224×224×3 double} {224×224×3 double} {224×224×3 double} |
数据=读取(ds) Data = 4×1 cell array {224×224×3 double} {224×224×3 double} {224×224×3 double} {224×224×3 double} |
||
多个输入 | 单元格数组至少 第一个 输入的顺序由 |
数据=读取(ds) Data = 4×2 cell array {224×224×3 double} {128×128×3 double} {224×224×3 double} {128×128×3 double} {224×224×3 double} {128×128×3 double} {224×224×3 double} {128×128×3 double} |
预测器的格式取决于数据的类型。
数据 | 格式 |
---|---|
二维图像 | h——- - - - - -w——- - - - - -c数字数组,其中h,w,c图像的高度、宽度和通道数是否分别为 |
三维图像 | h——- - - - - -w——- - - - - -d——- - - - - -c数字数组,其中h,w,d,c图像的高度、宽度、深度和通道数是否分别为 |
有关更多信息,请参见用于深度学习的数据存储.
数字数组
对于适合内存且不需要额外处理(如增强)的数据,可以将图像数据集指定为数值数组。
数值数组的大小和形状取决于图像数据的类型。
数据 | 格式 |
---|---|
二维图像 | h——- - - - - -w——- - - - - -c——- - - - - -N数字数组,其中h,w,c图像的高度、宽度和通道数分别是和N是图像的数量吗 |
三维图像 | h——- - - - - -w——- - - - - -d——- - - - - -c——- - - - - -N数字数组,其中h,w,d,c图像的高度、宽度、深度和通道数分别为和N是图像的数量吗 |
表格
作为数据存储或数字数组的替代方法,还可以在表中指定映像。
在表中指定图像时,表中的每一行都对应一个观察值。
对于图像输入,预测器必须在表的第一列中,指定为以下之一:
图像的绝对或相对文件路径,指定为字符向量
包含a的1乘1单元格数组h——- - - - - -w——- - - - - -c表示二维图像的数字数组,其中h,w,c分别对应于图像的高度、宽度和通道数
提示
在网络中输入复值数据SplitComplexInputs
输入层的选项必须为1
.
数据类型:单
|双
|int8
|int16
|int32
|int64
|uint8
|uint16
|uint32
|uint64
|表格
复数支持:金宝app是的
序列
- - - - - -序列或时间序列数据
数据存储|数值数组的单元格数组|数字数组
序列或时间序列数据,指定为下列之一。
数据类型 | 描述 | 示例使用 | |
---|---|---|---|
数据存储 | TransformedDatastore |
使用自定义转换函数转换从底层数据存储读取的批量数据的数据存储 |
|
CombinedDatastore |
从两个或多个底层数据存储中读取的数据存储 |
|
|
自定义小批量数据存储 | 返回小批量数据的自定义数据存储 | 使用其他数据存储不支持的格式的数据进行预测。金宝app 详细信息请参见开发自定义小批量数据存储. |
|
数字或单元格数组 | 指定为数值数组的单个序列或指定为数值数组的单元格数组的序列数据集 | 使用适合内存的数据进行预测,不需要像自定义转换这样的额外处理。 |
数据存储
数据存储读取小批量的序列和响应。当您拥有不适合内存的数据时,或者当您希望对数据应用转换时,请使用数据存储。
这些数据存储直接与激活
序列数据:
自定义小批量数据存储。详细信息请参见开发自定义小批量数据存储.
属性可以使用其他内置数据存储进行预测变换
而且结合
功能。这些函数可以将从数据存储读取的数据转换为所需的表或单元格数组格式激活
.例如,您可以转换和组合从内存数组和CSV文件读取的数据ArrayDatastore
和一个TabularTextDatastore
对象,分别。
数据存储必须返回表或单元格数组中的数据。自定义小批量数据存储必须输出表。
数据存储输出 | 示例输出 |
---|---|
表格 |
数据=读取(ds) data = 4×2表预测 __________________ { 12×50双}{12×50双}{12×50双}{12×50双} |
单元阵列 |
数据=读取(ds) Data = 4×2 cell array {12×50 double} {12×50 double} {12×50 double} {12×50 double} |
预测器的格式取决于数据的类型。
数据 | 预测词的格式 |
---|---|
向量序列 | c——- - - - - -年代矩阵,c序列的特征数和年代是序列长度 |
一维图像序列 | h——- - - - - -c——- - - - - -年代数组,h而且c分别对应于图像的高度和通道数,和年代是序列长度。 小批中的每个序列必须具有相同的序列长度。 |
二维图像序列 | h——- - - - - -w——- - - - - -c——- - - - - -年代数组,h,w,c分别对应图像的高度、宽度和通道数,和年代是序列长度。 小批中的每个序列必须具有相同的序列长度。 |
三维图像序列 | h——- - - - - -w——- - - - - -d——- - - - - -c——- - - - - -年代数组,h,w,d,c分别对应图像的高度、宽度、深度和通道数,和年代是序列长度。 小批中的每个序列必须具有相同的序列长度。 |
对于表中返回的预测器,元素必须包含数字标量、数字行向量或包含数字数组的1乘1单元格数组。
有关更多信息,请参见用于深度学习的数据存储.
数字或单元格数组
对于适合内存且不需要自定义转换等额外处理的数据,可以将单个序列指定为数值数组,或将序列数据集指定为数值数组的单元格数组。
对于单元格数组输入,单元格数组必须为N-by-1单元格数组的数值数组,其中N是观测的数量。表示序列的数值数组的大小和形状取决于序列数据的类型。
输入 | 描述 |
---|---|
向量序列 | c——- - - - - -年代矩阵,c序列特征的数量和年代是序列长度 |
一维图像序列 | h——- - - - - -c——- - - - - -年代数组,h而且c分别对应图像的高度和通道数,和年代是序列长度 |
二维图像序列 | h——- - - - - -w——- - - - - -c——- - - - - -年代数组,h,w,c分别对应图像的高度、宽度和通道数,和年代是序列长度 |
三维图像序列 | h——- - - - - -w——- - - - - -d——- - - - - -c——- - - - - -年代,在那里h,w,d,c分别对应三维图像的高度、宽度、深度和通道数,和年代是序列长度 |
提示
在网络中输入复值数据SplitComplexInputs
输入层的选项必须为1
.
数据类型:单
|双
|int8
|int16
|int32
|int64
|uint8
|uint16
|uint32
|uint64
|细胞
复数支持:金宝app是的
特性
- - - - - -特性数据
数据存储|数字数组|表格
特征数据,指定为以下之一。
数据类型 | 描述 | 示例使用 | |
---|---|---|---|
数据存储 | TransformedDatastore |
使用自定义转换函数转换从底层数据存储读取的批量数据的数据存储 |
|
CombinedDatastore |
从两个或多个底层数据存储中读取的数据存储 |
|
|
自定义小批量数据存储 | 返回小批量数据的自定义数据存储 | 使用其他数据存储不支持的格式的数据进行预测。金宝app 详细信息请参见开发自定义小批量数据存储. |
|
表格 | 作为表指定的特性数据 | 使用存储在表格中的数据进行预测。 | |
数字数组 | 指定为数值数组的特征数据 | 使用适合内存的数据进行预测,不需要像自定义转换这样的额外处理。 |
数据存储
数据存储读取小批量的特征数据和响应。当您拥有不适合内存的数据时,或者当您希望对数据应用转换时,请使用数据存储。
这些数据存储直接与激活
对于特征数据:
自定义小批量数据存储。详细信息请参见开发自定义小批量数据存储.
属性可以使用其他内置数据存储进行预测变换
而且结合
功能。这些函数可以将从数据存储读取的数据转换为所需的表或单元格数组格式激活
.有关更多信息,请参见用于深度学习的数据存储.
对于有多个输入的网络,数据存储必须是TransformedDatastore
或CombinedDatastore
对象。
数据存储必须返回表或单元格数组中的数据。自定义小批量数据存储必须输出表。数据存储输出的格式取决于网络架构。
网络体系结构 | 数据存储输出 | 示例输出 |
---|---|---|
单输入层 | 包含至少一列的表或单元格数组,其中第一列指定预测器。 表元素必须是标量、行向量或包含数字数组的1乘1单元格数组。 自定义小批量数据存储必须输出表。 |
单输入网络表: 数据=读取(ds) data = 4×2表预测 __________________ { 24×24×1双}{1双}{24×1双}{24×1双} |
单输入网络的单元格数组: 数据=读取(ds) Data = 4×1 cell array {24×1 double} {24×1 double} {24×1 double} {24×1 double} |
||
多个输入层 | 单元格数组至少 第一个 输入的顺序由 |
双输入网络单元阵列: 数据=读取(ds) Data = 4×3 cell array {24×1 double} {28×1 double} {24×1 double} {28×1 double} {24×1 double} {28×1 double} {24×1 double} {28×1 double} |
预测因素肯定是c-by-1列向量,其中c是特征的数量。
有关更多信息,请参见用于深度学习的数据存储.
表格
对于适合内存且不需要额外处理(如自定义转换)的特性数据,可以将特性数据和响应指定为表。
表中的每一行都对应一个观察值。预测器在表列中的排列取决于任务的类型。
任务 | 预测 |
---|---|
功能分类 | 在一个或多个列中作为标量指定的特性。 |
数字数组
对于适合内存且不需要自定义转换等额外处理的特征数据,可以将特征数据指定为数值数组。
数值数组必须为N——- - - - - -numFeatures
数字数组,其中N观察的次数和numFeatures
输入数据的特征数。
提示
在网络中输入复值数据SplitComplexInputs
输入层的选项必须为1
.
数据类型:单
|双
|int8
|int16
|int32
|int64
|uint8
|uint16
|uint32
|uint64
|表格
复数支持:金宝app是的
X1,…,XN
- - - - - -用于多输入网络的数字或单元格数组
数字数组|单元阵列
用于多输入网络的数字或单元格数组。
对于图像、序列和特征预测器输入,预测器的格式必须匹配中描述的格式图片
,序列
,或特性
参数描述。
有关如何训练具有多个输入的网络的示例,请参见训练网络图像和特征数据.
在网络中输入复值数据SplitComplexInputs
输入层的选项必须为1
.
数据类型:单
|双
|int8
|int16
|int32
|int64
|uint8
|uint16
|uint32
|uint64
|细胞
复数支持:金宝app是的
混合
- - - - - -混合数据
TransformedDatastore
|CombinedDatastore
|自定义小批量数据存储
混合数据,指定为以下之一。
数据类型 | 描述 | 示例使用 |
---|---|---|
TransformedDatastore |
使用自定义转换函数转换从底层数据存储读取的批量数据的数据存储 |
|
CombinedDatastore |
从两个或多个底层数据存储中读取的数据存储 |
|
自定义小批量数据存储 | 返回小批量数据的自定义数据存储 | 使用其他数据存储不支持的格式的数据进行预测。金宝app 详细信息请参见开发自定义小批量数据存储. |
属性可以使用其他内置数据存储进行预测变换
而且结合
功能。这些函数可以将从数据存储读取的数据转换为所需的表或单元格数组格式激活
.有关更多信息,请参见用于深度学习的数据存储.
数据存储必须返回表或单元格数组中的数据。自定义小批量数据存储必须输出表。数据存储输出的格式取决于网络架构。
数据存储输出 | 示例输出 |
---|---|
单元格数组 输入的顺序由 |
数据=读取(ds) Data = 4×3 cell array {24×1 double} {28×1 double} {24×1 double} {28×1 double} {24×1 double} {28×1 double} {24×1 double} {28×1 double} |
对于图像、序列和特征预测器输入,预测器的格式必须匹配中描述的格式图片
,序列
,或特性
参数描述。
有关如何训练具有多个输入的网络的示例,请参见训练网络图像和特征数据.
提示
若要将数值数组转换为数据存储,请使用arrayDatastore
.
层
- - - - - -层来提取激活
数字索引|特征向量
层,从中提取激活,指定为数值索引或字符向量。
计算a的活化度SeriesNetwork
对象时,使用其数值索引指定层,或作为对应于层名的字符向量指定层。
计算a的活化度DAGNetwork
对象时,将该层指定为与层名对应的字符向量。如果图层有多个输出,指定图层和输出为图层名称,后面跟着字符“/”,然后是图层输出的名称。也就是说,层
形式是“layerName / outputName”
.
例子:3.
例子:“conv1”
例子:“mpool /出”
名称-值参数
指定可选参数对为Name1 = Value1,…,以=家
,在那里的名字
参数名称和价值
对应的值。名称-值参数必须出现在其他参数之后,但对的顺序无关紧要。
在R2021a之前,使用逗号分隔每个名称和值,并将其括起来的名字
在报价。
例子:MiniBatchSize = 256
指定迷你批处理大小为256。
OutputAs
- - - - - -输出激活的格式
“通道”
(默认)|“行”
|“列”
输出激活格式,指定为“通道”
,“行”
,或“列”
.有关输出格式的说明,请参见行为
.
对于图像输入,如果OutputAs
选择是“通道”
,则输入数据中的图像可以大于网络图像输入层的输入大小。对于其他输出格式,输入中的图像大小必须与网络图像输入层的输入大小相同。
MiniBatchSize
- - - - - -小批尺寸
128
(默认)|正整数
用于预测的小批的大小,指定为正整数。更大的迷你批处理需要更多的内存,但可以导致更快的预测。
SequenceLength
- - - - - -选项垫或截断序列
“最长”
(默认)|“最短”
|正整数
填充、截断或分割输入序列的选项,指定为下列之一:
“最长”
-每个小批中的衬垫序列与最长序列具有相同的长度。这个选项不会丢弃任何数据,尽管填充会给网络带来噪声。“最短”
-截断每个小批中的序列,使其长度与最短序列相同。此选项确保不添加填充,但要以丢弃数据为代价。正整数-对于每个迷你批,将序列填充到迷你批中最长序列的长度,然后将序列分割成指定长度的更小的序列。如果发生分裂,那么软件将创建额外的小批。如果指定的序列长度没有平均分配数据的序列长度,则包含这些序列末端的小批的长度小于指定的序列长度。如果完整序列不适合内存,请使用此选项。或者,尝试通过设置。来减少每个小批的序列数
MiniBatchSize
选择较低的值。
有关填充、截断和分隔输入序列的效果的详细信息,请参见序列填充,截断和分割.
数据类型:单
|双
|int8
|int16
|int32
|int64
|uint8
|uint16
|uint32
|uint64
|字符
|字符串
SequencePaddingValue
- - - - - -填充序列的值
0
(默认)|标量
用于填充输入序列的值,指定为标量。
该选项仅当SequenceLength
是“最长”
或者一个正整数。不垫序列用南
,因为这样做会在整个网络中传播错误。
数据类型:单
|双
|int8
|int16
|int32
|int64
|uint8
|uint16
|uint32
|uint64
SequencePaddingDirection
- - - - - -填充或截断的方向
“正确”
(默认)|“左”
填充或截断方向,指定为下列之一:
“正确”
-填充或截断右边的序列。序列在同一时间步开始,软件截断或增加填充序列的结束。“左”
-填充或截断左边的序列。该软件截断或添加填充到序列的开始,以便序列在同一时间步结束。
因为循环层处理序列数据一次一步,当循环层OutputMode
属性是“最后一次”
,最后时间步长的任何填充都会对层输出产生负面影响。若要在左侧填充或截断序列数据,请设置SequencePaddingDirection
选项“左”
.
对于序列对序列网络(当OutputMode
属性是“序列”
对于每个循环层),第一次时间步骤中的任何填充都会对早期时间步骤的预测产生负面影响。若要在右侧填充或截断序列数据,请设置SequencePaddingDirection
选项“正确”
.
有关填充、截断和分隔输入序列的效果的详细信息,请参见序列填充,截断和分割.
加速度
- - - - - -性能优化
“汽车”
(默认)|“墨西哥人”
|“没有”
性能优化,指定为以下之一:
“汽车”
—自动应用大量适合输入网络和硬件资源的优化。“墨西哥人”
—编译并执行MEX函数。该选项仅当使用GPU时有效。使用GPU需要并行计算工具箱和支持的GPU设备。金宝app有关受支持设备的信息,请参见金宝appGPU计算要求(并行计算工具箱).如果并行计算工具箱或合适的GPU不可用,那么软件将返回一个错误。“没有”
-禁用所有加速。
如果加速度
是“汽车”
,然后MATLAB®应用许多兼容优化,但不生成MEX函数。
的“汽车”
而且“墨西哥人”
选项可以以增加初始运行时间为代价提供性能优势。具有兼容参数的后续调用速度更快。当您计划使用新的输入数据多次调用函数时,请使用性能优化。
的“墨西哥人”
选项根据函数调用中使用的网络和参数生成并执行一个MEX函数。您可以同时拥有与单个网络关联的多个MEX功能。清除网络变量也会清除与该网络关联的任何MEX函数。
的“墨西哥人”
选项在使用单个GPU时可用。
使用“墨西哥人”
选项,您必须安装C/ c++编译器和GPU Coder™接口深度学习库支持包。金宝app使用MATLAB中的Ad金宝appd-On资源管理器安装支持包。有关设置说明,请参见墨西哥人设置(GPU编码器).GPU Coder不需要。
的“墨西哥人”
选项支持包含上金宝app列出的层的网络金宝app支持层(GPU编码器)页,除了sequenceInputLayer
而且featureInputLayer
对象。
MATLAB编译器™不支持部署网络时使金宝app用“墨西哥人”
选择。
ExecutionEnvironment
- - - - - -硬件资源
“汽车”
(默认)|“图形”
|“cpu”
|“multi-gpu”
|“平行”
硬件资源,指定为下列之一:
“汽车”
-如果有GPU,请使用GPU;否则,请使用CPU。“图形”
—使用GPU。使用GPU需要并行计算工具箱和支持的GPU设备。金宝app有关受支持设备的信息,请参见金宝appGPU计算要求(并行计算工具箱).如果并行计算工具箱或合适的GPU不可用,那么软件将返回一个错误。“cpu”
—使用CPU。“multi-gpu”
—在一台机器上使用多个gpu,使用基于默认集群配置文件的本地并行池。如果当前没有并行池,软件将启动一个大小等于可用gpu数量的并行池。“平行”
—根据默认集群配置文件,使用本地或远端并行池。如果当前没有并行池,软件将使用默认集群配置文件启动一个并行池。如果池可以访问GPU,那么只有具有唯一GPU的工作者才能执行计算。如果池中没有gpu,那么计算将在所有可用的CPU worker上进行。
有关何时使用不同执行环境的详细信息,请参见并行、gpu和云中扩展深度学习.
的“图形”
,“multi-gpu”
,“平行”
选项需要并行计算工具箱。要使用GPU进行深度学习,还必须有支持GPU的设备。金宝app有关受支持设备的信息,请参见金宝appGPU计算要求(并行计算工具箱).如果您选择了这些选项之一,而并行计算工具箱或合适的GPU不可用,则软件将返回一个错误。
与具有循环层的网络并行进行预测(通过设置ExecutionEnvironment
要么“multi-gpu”
或“平行”
),SequenceLength
选项必须是“最短”
或“最长”
.
包含自定义层的网络状态
参数不支持并行预测。金宝app
输出参数
行为
-网络层激活
数值数组|单元格数组
来自网络层的激活,作为数字数组或数字数组的单元格数组返回。的格式行为
取决于输入数据的类型、层输出的类型和指定的OutputAs
选择。
图像或折叠序列输出
如果层输出图像或折叠序列数据,则行为
数值数组。
OutputAs |
行为 |
---|---|
“通道” |
对于二维图像输出, 对于3d图像输出, 对于折叠的二维图像序列输出, 对于折叠的三维图像序列输出, |
“行” |
2-D和3-D图像输出, 对于折叠的二维和三维图像序列输出, |
“列” |
2-D和3-D图像输出, 对于折叠的二维和三维图像序列输出, |
顺序输出
如果层
具有序列输出(例如,LSTM层的输出模式“序列”
),然后行为
是单元格数组。在这种情况下,“OutputAs”
选项必须是“通道”
.
OutputAs |
行为 |
---|---|
“通道” |
对于矢量序列输出, 对于二维图像序列输出, 对于三维图像序列输出, 在这些情况下, |
特征向量和单时间步输出
如果层
输出一个特征向量或序列的单个时间步长(例如具有输出模式的LSTM层)“最后一次”
),然后行为
数值数组。
OutputAs |
行为 |
---|---|
“通道” |
对于包含向量数据的特征向量或单时间步, 对于包含二维图像数据的单个时间步长, 对于包含三维图像数据的单个时间步长, |
“行” |
n——- - - - - -米矩阵,n观察的次数和米 所选图层的输出元素数。在这种情况下,法案(我,:) 控件的激活我 序列。 |
“列” |
米——- - - - - -n矩阵,米所选层的输出元素的数量和n是观测的数量。在这种情况下,法》(:,我) 控件的激活我 th形象。 |
算法
当你训练一个网络使用trainNetwork
函数,或者当您使用预测或验证函数时DAGNetwork
而且SeriesNetwork
对象,该软件使用单精度浮点运算来执行这些计算。用于训练、预测和验证的函数包括trainNetwork
,预测
,分类
,激活
.当您使用cpu和gpu训练网络时,该软件使用单精度算法。
参考文献
[1]工藤,美一,富山俊,新保真。“使用穿过区域的多维曲线分类”模式识别信20日,没有。11-13(1999年11月):1103-11。https://doi.org/10.1016/s0167 - 8655 (99) 00077 - x.
[2]UCI机器学习库:日语元音数据集.https://archive.ics.uci.edu/ml/datasets/Japanese+Vowels.
扩展功能
C/ c++代码生成
使用MATLAB®Coder™生成C和c++代码。
使用注意事项和限制:
c++代码生成支持以下语法:金宝app
Act =激活(网络,图像,图层)
,在那里图片
是数值数组Act =激活(净,序列,层)
,在那里序列
是单元格数组Act =激活(净,特征,层)
,在那里特性
是数值数组act =激活(__,名称,值)
使用任何前面的语法
对于数字输入,输入不能有可变大小。输入的大小必须在代码生成时固定。
对于矢量序列输入,在代码生成过程中特征的数量必须是一个常数。序列长度可以是可变大小的。
对于图像序列输入,在代码生成过程中,高度、宽度和通道数必须为常数。
的
层
参数在代码生成期间必须是常量。只有
OutputAs
,MiniBatchSize
,SequenceLength
,SequencePaddingDirection
,SequencePaddingValue
代码生成支持名称-值对参数。金宝app所有的名称-值对必须是编译时常量。输出激活的格式必须为
“通道”
.只有
“最长”
而且“最短”
选项SequenceLength
代码生成支持名称-值对。金宝appIntel代码生成®MKL-DNN靶不支持组合金宝app
SequenceLength =“最长”
,SequencePaddingDirection =“左”
,SequencePaddingValue = 0
名称-值参数。
有关为深度学习神经网络生成代码的更多信息,请参见使用MATLAB编码器进行深度学习代码生成的工作流程(MATLAB编码器).
GPU代码生成
使用GPU Coder™为NVIDIA®GPU生成CUDA®代码。
使用注意事项和限制:
GPU代码生成支持以下语法:金宝app
Act =激活(网络,图像,图层)
,在那里图片
是数值数组Act =激活(净,序列,层)
,在那里序列
是单元格数组还是数字数组Act =激活(净,特征,层)
,在那里特性
是数值数组act =激活(__,名称,值)
使用任何前面的语法
对于数字输入,输入不能有可变大小。输入的大小必须在代码生成时固定。
不支持GPU代码生成金宝app
gpuArray
的输入激活
函数。cuDNN库支持向量和二维图像序列。金宝appTensorRT库只支持向量输入序列。金宝app手臂®
计算库
for GPU不支持循环网络。金宝app对于矢量序列输入,在代码生成过程中特征的数量必须是一个常数。序列长度可以是可变大小的。
对于图像序列输入,在代码生成过程中,高度、宽度和通道数必须为常数。
的
层
参数在代码生成期间必须是常量。只有
OutputAs
,MiniBatchSize
,SequenceLength
,SequencePaddingDirection
,SequencePaddingValue
代码生成支持名称-值对参数。金宝app所有的名称-值对必须是编译时常量。输出激活的格式必须为
“通道”
.只有
“最长”
而且“最短”
选项SequenceLength
代码生成支持名称-值对。金宝appGPU代码生成的
激活
函数支持定义为半精金宝app度浮点数据类型的输入。有关更多信息,请参见一半
(GPU编码器).
GPU数组
通过使用并行计算工具箱™在图形处理单元(GPU)上运行来加速代码。
的
ExecutionEnvironment
选项必须是“汽车”
或“图形”
当输入数据为:一个
gpuArray
单元格数组,包含
gpuArray
对象包含以下内容的表
gpuArray
对象一个数据存储,它输出包含
gpuArray
对象一个数据存储,它输出包含
gpuArray
对象
有关更多信息,请参见在图形处理器上运行MATLAB函数(并行计算工具箱).
版本历史
在R2016a中引入R2022b:当您指定拆分前,预测函数将迷你批填充到最长序列的长度SequenceLength
选项作为整数
从R2022b开始,当您使用序列数据进行预测时预测
,分类
,predictAndUpdateState
,classifyAndUpdateState
,激活
功能和SequenceLength
选项为整数,软件将序列填充为每个mini-batch中最长序列的长度,然后按照指定的序列长度将序列分割为mini-batch。如果SequenceLength
没有均匀划分小批的序列长度,那么最后一个分割小批的长度小于SequenceLength
.此行为可防止仅包含填充值的时间步长影响预测。
在以前的版本中,软件填充小批量的序列,使其长度匹配最接近的倍数SequenceLength
它大于或等于迷你批处理长度,然后分割数据。要再现此行为,请手动填充输入数据,以便小批具有适当倍数的长度SequenceLength
.对于序列到序列的工作流,您可能还需要手动删除与填充值对应的输出的时间步长。
MATLAB命令
你点击了一个对应于这个MATLAB命令的链接:
在MATLAB命令窗口中输入该命令来运行该命令。Web浏览器不支持MATLAB命令。金宝app
您也可以从以下列表中选择一个网站:
如何获得最佳的网站性能
选择中国站点(中文或英文)以获得最佳站点性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。