Pretrained深层神经网络- MATLAB和Simulink MathWorks金宝app法国 - 金宝app,下载188bet金宝搏,金宝搏官方网站

Pretrained深层神经网络

你可以乘pretrained图像分类神经网络已经学会从自然图像中提取强大的和翔实的功能和使用它作为一个起点,学习一个新任务。大多数pretrained神经网络训练ImageNet数据库的一个子集[1],用于ImageNet大规模视觉识别的挑战(ILSVRC)[2]。这些神经网络训练图像和可以分类图像到1000年超过一百万对象类别,如键盘、咖啡杯、铅笔,和许多动物。使用pretrained神经网络转移学习通常是快得多,也更容易比从头训练一个神经网络。

您可以使用以前训练神经网络对于以下任务:

目的	描述
分类	pretrained神经网络直接适用于分类问题。分类的新形象,使用`分类`。为一个例子,演示如何使用pretrained神经网络分类,看看分类图像使用GoogLeNet。
特征提取	使用pretrained神经网络作为特征提取器通过使用层激活特性。您可以使用这些激活功能训练另一个机器学习模型,如支持向量机(SVM)。金宝app有关更多信息,请参见特征提取。例如,看到的使用Pretrained网络提取图像特征。
转移学习	把层从大数据集上的神经网络训练和调整一个新的数据集。更多信息,明白了转移学习。一个简单的例子,请参阅学习开始转移。尝试更多pretrained神经网络,请参阅火车深入学习网络对新图像进行分类。

比较Pretrained神经网络

Pretrained神经网络有不同的特点,在选择神经网络适用于你的问题。最重要的特点是神经网络精度,速度,和大小。选择神经网络通常是这些特征之间的权衡。使用下面的情节比较ImageNet验证精度与所需的时间使用神经网络预测。

提示

开始转移学习,试着选择一个更快的神经网络,如SqueezeNet或GoogLeNet。然后您可以快速迭代和尝试不同的设置等数据预处理步骤和培训选项。一旦你有一种感觉的设置工作,尝试一个更精确的神经网络如Inception-v3或ResNet,看看是否能改善你的结果。

比较的精度和相对pretrained神经网络的预测时间。随着pretrained神经网络的准确性增加,那么相对预测时间。

请注意

上面的图只显示的相对速度不同的神经网络。准确的预测和训练迭代时间取决于硬件和mini-batch大小使用。

一个好的神经网络具有很高的准确性和快速。情节显示分类精度和使用现代GPU(一个预测时间英伟达^®特斯拉^®P100)和mini-batch大小为128。预测时间是衡量相对于最快的神经网络。每一个标记的面积成正比,磁盘上的神经网络的大小。

ImageNet验证集上的分类精度是最常见的方法来测量ImageNet神经网络训练的准确性。神经网络上准确ImageNet通常也准确,当你将它们应用于其他自然图像数据集使用转移学习或特征提取。这是可能的,因为神经网络泛化已经学会从自然图像中提取强大和信息特征,推广到其他类似的数据集。然而,高精度ImageNet并不总是直接转移到其他任务,所以这是一个好主意来尝试多个神经网络。

如果你想使用受限的硬件或分发执行预测神经网络在互联网上,然后还要考虑神经网络的大小在磁盘和内存。

神经网络精度

有多种方法来计算ImageNet验证集上的分类精度和不同来源的使用不同的方法。有时使用多个模型的合奏,有时每个图像评估多次使用多个作物。有时在前5名的准确性,而不是标准的引用(()精度。由于这些差异,往往是不可能直接比较不同来源的精度。pretrained神经网络的精度深度学习工具箱™是标准(()精度使用单一作物模型和单中心形象。

负载Pretrained神经网络

加载SqueezeNet神经网络类型squeezenet在命令行中。

网= squeezenet;

对于其他神经网络,使用等功能googlenet得到链接下载pretrained神经网络从附加组件管理器。

下表列出了可用pretrained ImageNet神经网络训练和他们的一些属性。神经网络深度的定义是最多的连续卷积或完全连接层路径从输入层到输出层。输入神经网络都是RGB图像。

神经网络	深度	大小	参数(百万)	图像输入大小
`squeezenet`	18	5.2 MB	1.24	227年- 227年
`googlenet`	22	27 MB	7.0	224年- 224年
`inceptionv3`	48	89 MB	23.9	299年- 299年
`densenet201`	201年	77 MB	20.0	224年- 224年
`mobilenetv2`	53	13 MB	3.5	224年- 224年
`resnet18`	18	44 MB	11.7	224年- 224年
`resnet50`	50	96 MB	25.6	224年- 224年
`resnet101`	101年	167 MB	44.6	224年- 224年
`xception`	71年	85 MB	22.9	299年- 299年
`inceptionresnetv2`	164年	209 MB	55.9	299年- 299年
`shufflenet`	50	5.4 MB	1.4	224年- 224年
`nasnetmobile`	*	20 MB	5.3	224年- 224年
`nasnetlarge`	*	332 MB	88.9	331年- 331年
`darknet19`	19	78 MB	20.8	256年- 256年
`darknet53`	53	155 MB	41.6	256年- 256年
`efficientnetb0`	82年	20 MB	5.3	224年- 224年
`alexnet`	8	227 MB	61.0	227年- 227年
`vgg16`	16	515 MB	138年	224年- 224年
`vgg19`	19	535 MB	144年	224年- 224年

* NASNet-Mobile和NASNet-Large神经网络不包含模块的一个线性序列。

GoogLeNet Places365训练

标准在ImageNet GoogLeNet神经网络训练数据集还可以加载在Places365神经网络训练数据集[3][4]。神经网络训练Places365将图像分为365个不同的类别,例如,公园,跑道,游说。加载pretrained GoogLeNet Places365的神经网络训练数据集,使用googlenet(“重量”、“places365”)。当执行转移学习执行新任务,最常见的方法是使用神经网络对ImageNet pretrained。如果新的任务类似于场景进行分类,然后利用神经网络训练Places365可以给更高的精度。

pretrained神经网络适合音频信息的任务,明白了Pretrained为音频应用神经网络。

可视化Pretrained神经网络

你可以加载和可视化pretrained神经网络使用深层网络设计师。

deepNetworkDesigner (squeezenet)

深层网络设计师展示pretrained SqueezeNet神经网络

查看和编辑图层属性,选择一个层。点击旁边的帮助图标信息层的图层名称属性。

交叉道归一化层选择深陷网络设计师。PROPERTIES窗格显示层的属性。

探索其他pretrained神经网络深陷网络设计师通过点击新。

深层网络设计师开始页面显示可用pretrained神经网络

如果你需要下载一个神经网络,点击所需的神经网络和暂停安装打开插件浏览器。

特征提取

特征提取是一种简单、快捷的方法来使用深度学习的力量没有投资时间和精力投入到训练神经网络。因为它只需要一个经过培训的图片,这是特别有用如果你没有一个GPU。你使用pretrained神经网络提取了图像特征,然后利用这些特征来训练分类器,如支持向量机使用金宝appfitcsvm(统计和机器学习的工具箱)。

特征提取你的新数据时将非常小。因为你只训练一个简单的分类器对提取的特征,训练是快。它也不太可能微调的深层神经网络提高了精度,因为几乎没有数据可供学习。

如果您的数据是非常类似于原始数据,然后更深、更特定的特征提取的神经网络可能是有用的新任务。
如果您的数据是非常不同于原始数据,然后提取更深的特性的神经网络可能会对你的任务那么有用。试着训练最终分类器更一般的特性从早期神经网络提取层。如果新数据集很大,那么你也可以尝试从头训练一个神经网络。

ResNets往往好的特征提取器。对于一个例子,演示如何使用pretrained神经网络对特征提取,明白了使用Pretrained网络提取图像特征。

转移学习

你可以调整深层神经网络训练的神经网络新数据集pretrained神经网络作为一个起点。调整神经网络与传输往往比建设更快和更容易学习和培训新的神经网络。神经网络已经学会了一组丰富的图像特征,但当你调整神经网络学习特性特定于您的新数据集。如果你有一个非常大的数据集,然后从头学习可能不会高于训练。

提示

调整神经网络通常给最高的精度。非常小的数据集(少于20图片每个类),尝试特征提取。

调整神经网络比简单的特征提取速度较慢,需要更多的努力,但由于神经网络可以学习中提取一组不同的特性,最后的神经网络是更准确的。微调通常比新数据集特征提取,只要不是非常小,因为这样的神经网络具有数据学习新特性。的例子显示如何执行转移学习,明白了转移学习与深层网络设计师和火车深入学习网络对新图像进行分类。

转移学习工作流程

导入和导出神经网络

可以导入神经网络和图层图表来自TensorFlow™2, TensorFlow-Keras PyTorch^®,ONNX™(打开神经网络交换)模型格式。您还可以导出深度学习神经网络工具箱和图表TensorFlow 2层和ONNX模型格式。

导入功能

外部深度学习平台和模型格式	导入模型作为神经网络	导入模型层图
TensorFlow神经网络在`SavedModel`格式	`importTensorFlowNetwork`	`importTensorFlowLayers`
TensorFlow-Keras HDF5或JSON格式的神经网络	`importKerasNetwork`	`importKerasLayers`
追踪PyTorch模型`.pt`文件	`importNetworkFromPyTorch`	不适用
神经网络在ONNX模型格式	`importONNXNetwork`	`importONNXLayers`

的importTensorFlowNetwork和importTensorFlowLayers函数是推荐的importKerasNetwork和importKerasLayers功能。有关更多信息,请参见推荐功能导入TensorFlow模型。

的importTensorFlowNetwork,importTensorFlowLayers,importNetworkFromPyTorch,importONNXNetwork,importONNXLayers当你导入一个函数创建自动生成自定义层模型TensorFlow层,PyTorch层,或ONNX运营商不能转换为内置的MATLAB函数^®层。函数将自动生成自定义层保存到一个包在当前文件夹。有关更多信息,请参见自动生成自定义层。

导出功能

出口神经网络或层图	外部深度学习平台和模型格式
`exportNetworkToTensorFlow`	在Python中TensorFlow 2模型^®包
`exportONNXNetwork`	ONNX模型格式

的exportNetworkToTensorFlow节省了深度学习神经网络工具箱函数或层图TensorFlow模型在Python包。有关如何加载导出模型的更多信息并将其保存在一个标准TensorFlow格式,看看负载输出TensorFlow模型和在标准格式保存导出TensorFlow模型。

通过使用ONNX作为中间格式,您可以与其他深度学习互操作框架,支持ONNX模型导出或导入。金宝app

从和导出神经网络外部导入神经网络深度学习平台。

Pretrained为音频应用神经网络

音频工具箱™提供pretrained VGGish、YAMNet OpenL3,绉神经网络。使用vggish(音频工具箱),yamnet(音频工具箱),openl3(音频工具箱),绉(音频工具箱)在MATLAB函数VGGish(音频工具箱)和YAMNet(音频工具箱)在仿真软件金宝app^®直接与pretrained神经网络进行交互。你也可以导入和可视化音频pretrained神经网络使用深层网络设计师。

下表列出了可用pretrained音频神经网络和他们的一些属性。

神经网络	深度	大小	参数(百万)	输入的大小
`绉`(音频工具箱)	7	89.1 MB	22.2	1024 - 1 - 1
`openl3`(音频工具箱)	8	18.8 MB	4.68	128 - 199 - 1
`vggish`(音频工具箱)	9	289 MB	72.1	96 - 64 - 1
`yamnet`(音频工具箱)	28	15.5 MB	3.75	96 - 64 - 1

使用VGGish和YAMNet执行转移学习和特征提取。提取VGGish或OpenL3功能嵌入的机器学习和深入学习系统的输入。的classifySound(音频工具箱)函数和声音分类器(音频工具箱)块使用YAMNet定位和听起来成一个521个类别进行分类。的pitchnn(音频工具箱)执行深度学习音高估计函数使用绉。

示例显示如何适应pretrained音频神经网络对于一个新的任务,明白了学习与Pretrained音频网络传输(音频工具箱)和转移与Pretrained音频网络学习深陷网络设计师。

有关使用深度学习音频应用程序的更多信息,见深入学习音频应用程序(音频工具箱)。

Pretrained模型GitHub

找到最新的pretrained模型,明白了MATLAB深学习模型中心。

例如:

对于变压器模型,如GPT-2,伯特,FinBERT,看到MATLAB变压器模型GitHub^®存储库。
为pretrained EfficientDet-D0对象检测模型,请参阅Pretrained EfficientDet网络对象检测GitHub库。

引用

[1]ImageNet。http://www.image-net.org

[2]Russakovsky, O。邓,J。苏,H。,et al. “ImageNet Large Scale Visual Recognition Challenge.”国际计算机视觉杂志(IJCV)。第115卷,第三期,2015年,页211 - 252

Aditya斯拉,[3],Bolei Agata Lapedriza,安东尼·托拉尔巴制作的,这是。”的地方:一个图像数据库进行深度场景的理解。”arXiv预印本arXiv: 1610.02055(2016)。

[4]的地方。http://places2.csail.mit.edu/

另请参阅

外部网站

MATLAB深学习模型中心