预训练的深度神经网络
你可以使用预先训练好的图像分类神经网络，它已经学会了从自然图像中提取强大且信息丰富的特征，并将其作为学习新任务的起点。大多数预训练的神经网络是在ImageNet数据库的一个子集上训练的[1]，用于ImageNet大规模视觉识别挑战赛(ILSVRC)。[２]．这些神经网络已经在超过100万张图像上进行了训练，可以将图像分为1000个对象类别，比如键盘、咖啡杯、铅笔和许多动物。使用带有迁移学习的预训练神经网络通常比从头开始训练神经网络更快更容易。
你可以使用之前训练过的神经网络来完成以下任务:
| 目的 | 描述 |
|---|---|
| 分类 | 将预训练的神经网络直接应用于分类问题。要对新图像进行分类，请使用 |
| 特征提取 | 通过使用层激活作为特征，使用预训练的神经网络作为特征提取器。您可以使用这些激活作为特征来训练另一个机器学习模型，例如支持向量机(SVM)。金宝app有关更多信息，请参见特征提取．有关示例，请参见利用预训练网络提取图像特征． |
| 转移学习 | 从在大型数据集上训练的神经网络中提取层次，并对新的数据集进行微调。有关更多信息，请参见转移学习．有关简单示例，请参见开始迁移学习．要尝试更多预训练的神经网络，请参见训练深度学习网络对新图像进行分类． |
比较预训练的神经网络
预训练的神经网络有不同的特征，这些特征在选择神经网络应用于你的问题时很重要。最重要的特征是神经网络的准确性、速度和规模。选择神经网络通常是在这些特征之间进行权衡。使用下图将ImageNet验证精度与使用神经网络进行预测所需的时间进行比较。
提示
要开始迁移学习，请尝试选择一种更快的神经网络，如SqueezeNet或GoogLeNet。然后，您可以快速迭代并尝试不同的设置，如数据预处理步骤和训练选项。一旦你感觉哪些设置工作得很好，尝试一个更准确的神经网络，如Inception-v3或ResNet，看看是否能提高你的结果。
请注意
上图仅显示了不同神经网络的相对速度。准确的预测和训练迭代时间取决于您使用的硬件和小批量大小。
一个好的神经网络具有较高的精度和速度。该图显示了使用现代GPU时的分类精度与预测时间的关系英伟达®特斯拉®P100)和128个小批量。预测时间是相对于最快的神经网络测量的。每个标记的面积与磁盘上神经网络的大小成正比。
ImageNet验证集上的分类精度是衡量在ImageNet上训练的神经网络精度的最常用方法。在ImageNet上准确的神经网络在使用迁移学习或特征提取将其应用于其他自然图像数据集时通常也很准确。这种泛化是可能的，因为神经网络已经学会从自然图像中提取强大而有信息的特征，这些特征可以泛化到其他类似的数据集。然而，ImageNet上的高精度并不总是直接转移到其他任务上，因此尝试多个神经网络是一个好主意。
如果你想使用受限的硬件或在Internet上分布神经网络来执行预测，那么还要考虑神经网络在磁盘和内存中的大小。
神经网络精度
在ImageNet验证集上有多种计算分类精度的方法，不同的来源使用不同的方法。有时使用多个模型的集成，有时使用多个作物对每张图像进行多次评估。有时引用前5位精度而不是标准(前1位)精度。由于这些差异，通常不可能直接比较来自不同来源的准确性。深度学习工具箱™中预训练神经网络的精度是使用单个模型和单个中心图像裁剪的标准(前1)精度。
负载预训练神经网络
要加载SqueezeNet神经网络，键入squeezenet在命令行。
网=挤压网;
对于其他神经网络，使用函数googlenet以获得从Add-On Explorer下载预训练神经网络的链接。
下表列出了在ImageNet上训练过的可用的预训练神经网络及其一些属性。神经网络深度定义为从输入层到输出层的路径上连续卷积或全连接层的最大数量。所有神经网络的输入都是RGB图像。
| 神经网络 | 深度 | 大小 | 参数(百万) | 图像输入大小 |
|---|---|---|---|---|
squeezenet |
18 | 5.2 MB |
1.24 | 227年- 227年 |
googlenet |
22 | 27 MB |
7.0 | 224年- 224年 |
inceptionv3 |
48 | 89 MB |
23.9 | 299年- 299年 |
densenet201 |
201 | 77 MB |
20.0 | 224年- 224年 |
mobilenetv2 |
53 | 13 MB |
3．5 | 224年- 224年 |
resnet18 |
18 | 44 MB |
11.7 | 224年- 224年 |
resnet50 |
50 | 96 MB |
25.6 | 224年- 224年 |
resnet101 |
101 | 167 MB |
44.6 | 224年- 224年 |
xception |
71 | 85 MB |
22.9 | 299年- 299年 |
inceptionresnetv2 |
164 | 209 MB |
55.9 | 299年- 299年 |
shufflenet |
50 | 5.4 MB | 1．4 | 224年- 224年 |
nasnetmobile |
＊ | 20 MB | 5.3 | 224年- 224年 |
nasnetlarge |
＊ | 332 MB | 88.9 | 331年- 331年 |
darknet19 |
19 | 78 MB | 20.8 | 256年- 256年 |
darknet53 |
53 | 155 MB | 41.6 | 256年- 256年 |
efficientnetb0 |
82 | 20 MB | 5.3 | 224年- 224年 |
alexnet |
8 | 227 MB |
61.0 | 227年- 227年 |
vgg16 |
16 | 515 MB |
138 | 224年- 224年 |
vgg19 |
19 | 535 MB |
144 | 224年- 224年 |
* NASNet-Mobile和NASNet-Large神经网络不是由模块的线性序列组成的。
GoogLeNet在Places365培训
标准的GoogLeNet神经网络是在ImageNet数据集上训练的，但你也可以加载在Places365数据集上训练的神经网络[3][4]．在Places365上训练的神经网络将图像分为365个不同的地点类别，如田地、公园、跑道和大厅。要加载在Places365数据集上训练的预训练的GoogLeNet神经网络，请使用googlenet(“重量”、“places365”)．在执行迁移学习来执行新任务时，最常见的方法是使用在ImageNet上预训练的神经网络。如果新任务类似于场景分类，那么使用在Places365上训练的神经网络可以提供更高的准确性。
有关适合音频任务的预训练神经网络的信息，请参见音频应用的预训练神经网络．
可视化预训练的神经网络
你可以加载和可视化预训练的神经网络使用深度网络设计器．
deepNetworkDesigner (squeezenet)
要查看和编辑图层属性，请选择一个图层。点击图层名称旁边的帮助图标，查看图层属性的信息。
通过单击在深度网络设计器中探索其他预训练的神经网络新．
如果需要下载神经网络，请在所需的神经网络上暂停并单击安装打开附加组件资源管理器。
特征提取
特征提取是一种使用深度学习力量的简单而快速的方法，无需投入时间和精力来训练一个完整的神经网络。因为它只需要对训练图像进行一次传递，所以在没有GPU的情况下尤其有用。你使用预训练的神经网络提取学习到的图像特征，然后使用这些特征来训练分类器，例如使用支持向量机金宝appfitcsvm(统计和机器学习工具箱)．
当你的新数据集非常小时，尝试特征提取。因为你只在提取的特征上训练一个简单的分类器，所以训练速度很快。微调神经网络的更深层次也不太可能提高准确性，因为可供学习的数据很少。
如果你的数据与原始数据非常相似，那么在神经网络中更深层提取的更具体的特征可能对新任务有用。
如果你的数据与原始数据有很大不同，那么在神经网络中更深层提取的特征可能对你的任务不那么有用。试着用从早期神经网络层提取的更一般的特征来训练最终的分类器。如果新的数据集很大，那么你也可以尝试从头开始训练神经网络。
resnet通常是很好的特征提取器。有关演示如何使用预训练的神经网络进行特征提取的示例，请参见利用预训练网络提取图像特征．
转移学习
你可以用预先训练好的神经网络作为起点，在新数据集上训练神经网络，从而对神经网络中的更深层次进行微调。使用迁移学习对神经网络进行微调通常比构建和训练一个新的神经网络更快更容易。神经网络已经学习了一组丰富的图像特征，但是当你对神经网络进行微调时，它可以学习特定于新数据集的特征。如果你有一个非常大的数据集，那么迁移学习可能不会比从头开始训练更快。
提示
对神经网络进行微调通常可以获得最高的精度。对于非常小的数据集(每个类少于20张图像)，可以尝试特征提取。
与简单的特征提取相比，神经网络的微调更慢，需要更多的努力，但由于神经网络可以学习提取不同的特征集，最终的神经网络通常更准确。只要新数据集不是很小，微调通常比特征提取效果更好，因为这样神经网络就有数据可以从中学习新特征。有关显示如何执行迁移学习的示例，请参见基于深度网络设计器的迁移学习而且训练深度学习网络对新图像进行分类．
导入和导出神经网络
你可以从TensorFlow™2,TensorFlow- keras, PyTorch中导入神经网络和层图®，以及ONNX™(开放神经网络交换)模型格式。您还可以将深度学习工具箱神经网络和层图导出为TensorFlow 2和ONNX模型格式。
导入功能
| 外部深度学习平台和模型格式 | 导入模型作为神经网络 | 导入模型为层图 |
|---|---|---|
TensorFlow神经网络中的SavedModel格式 |
importTensorFlowNetwork |
importTensorFlowLayers |
| TensorFlow-Keras神经网络HDF5或JSON格式 | importKerasNetwork |
importKerasLayers |
跟踪PyTorch模型.pt文件 |
importNetworkFromPyTorch |
不适用 |
| ONNX模型格式的神经网络 | importONNXNetwork |
importONNXLayers |
的importTensorFlowNetwork而且importTensorFlowLayers函数推荐使用importKerasNetwork而且importKerasLayers功能。有关更多信息，请参见导入TensorFlow模型的推荐函数．
的importTensorFlowNetwork，importTensorFlowLayers，importNetworkFromPyTorch，importONNXNetwork,importONNXLayers当你导入带有TensorFlow层、PyTorch层或ONNX操作符的模型时，函数会自动生成自定义层，而函数无法将这些操作符转换为内置的MATLAB®层。这些函数将自动生成的自定义层保存到当前文件夹中的包中。有关更多信息，请参见自动生成的自定义图层．
导出功能
| 导出神经网络或层图 | 外部深度学习平台和模型格式 |
|---|---|
exportNetworkToTensorFlow |
Python中的TensorFlow 2模型®包 |
exportONNXNetwork |
ONNX模型格式 |
的exportNetworkToTensorFlow函数将深度学习工具箱神经网络或层图保存为Python包中的TensorFlow模型。有关如何加载导出的模型并将其保存为标准TensorFlow格式的更多信息，请参见负载导出TensorFlow模型而且以标准格式保存导出的TensorFlow模型．
通过使用ONNX作为中间格式，您可以与其他支持ONNX模型导出或导入的深度学习框架进行互操作。金宝app
音频应用的预训练神经网络
音频工具箱™提供预训练的VGGish, YAMNet, OpenL3和CREPE神经网络。使用vggish(音频工具箱)，yamnet(音频工具箱)，openl3(音频工具箱),绉(音频工具箱)的函数VGGish(音频工具箱)而且YAMNet(音频工具箱)Simulink中的金宝app块®直接与预训练的神经网络交互。您还可以导入和可视化音频预训练的神经网络使用深度网络设计器．
下表列出了可用的预训练音频神经网络及其一些属性。
| 神经网络 | 深度 | 大小 | 参数(百万) | 输入的大小 |
|---|---|---|---|---|
绉(音频工具箱) |
7 | 89.1 MB |
22.2 | 1024 - 1 - 1 |
openl3(音频工具箱) |
8 | 18.8 MB |
4.68 | 128 - 199 - 1 |
vggish(音频工具箱) |
9 | 289 MB |
72.1 | 96 - 64 - 1 |
yamnet(音频工具箱) |
28 | 15.5 MB |
3.75 | 96 - 64 - 1 |
使用VGGish和YAMNet进行迁移学习和特征提取。提取VGGish或OpenL3特征嵌入，输入到机器学习和深度学习系统。的classifySound(音频工具箱)功能和声音分类器(音频工具箱)block使用YAMNet定位并将声音分类为521个类别之一。的pitchnn(音频工具箱)函数使用CREPE进行深度学习基音估计。
有关演示如何适应预先训练的音频神经网络的新任务的示例，请参见预训练音频网络的迁移学习(音频工具箱)而且深度网络设计器中预训练音频网络的迁移学习．
有关在音频应用程序中使用深度学习的更多信息，请参见音频应用的深度学习(音频工具箱)．
预训练模型GitHub
要查找最新的预训练模型，请参见MATLAB深度学习模型枢纽．
例如:
有关变压器模型，如GPT-2、BERT和FinBERT，请参阅MATLAB变压器模型GitHub®存储库。
有关预训练的EfficientDet-D0对象检测模型，请参见用于目标检测的预训练的effentdet网络GitHub库。
参考文献
[1]ImageNet．http://www.image-net.org
[2] Russakovsky, O.， Deng, J.， Su, H.等。“ImageNet大规模视觉识别挑战。”国际计算机视觉杂志(IJCV)．115卷，第3期，2015年，第211-252页
[3] Zhou, Bolei, Aditya Khosla, Agata Lapedriza, Antonio Torralba和Aude Oliva。“场所:用于深度场景理解的图像数据库。”arXiv预印本:1610.02055(2016)。
[4]的地方．http://places2.csail.mit.edu/
另请参阅
alexnet|googlenet|inceptionv3|densenet201|darknet19|darknet53|resnet18|resnet50|resnet101|vgg16|vgg19|shufflenet|nasnetmobile|nasnetlarge|mobilenetv2|xception|inceptionresnetv2|squeezenet|importTensorFlowNetwork|importTensorFlowLayers|importNetworkFromPyTorch|importONNXNetwork|importONNXLayers|exportNetworkToTensorFlow|exportONNXNetwork|深度网络设计器
相关的话题
- MATLAB深度学习
- 基于深度网络设计器的迁移学习
- 利用预训练网络提取图像特征
- 使用GoogLeNet分类图像
- 训练深度学习网络对新图像进行分类
- 卷积神经网络的可视化特征
- 卷积神经网络的可视化激活
- 使用GoogLeNet的深度梦境图像
外部网站
您也可以从以下列表中选择一个网站: