主要内容

深度学习提示和技巧

本页面描述了用于提高深度学习网络准确性的各种训练选项和技术。

选择网络体系结构

适当的网络体系结构取决于任务和可用数据。在决定使用哪种架构以及是否使用预先训练的网络或从头开始训练时,请考虑这些建议。

数据 任务描述 了解更多
图片 自然图像的分类

尝试不同的预训练网络。有关普查的深度学习网络列表,请参阅预训练深度神经网络

要了解如何使用Deep network Designer以交互方式为转移学习准备网络,请参阅用深网络设计师转移学习

自然图像回归 尝试不同的预训练网络。有关如何将预先训练的分类网络转换为回归网络的示例,请参见将分类网络转换为回归网络
非自然图像(如微小图像和光谱图)的分类和回归

有关如何对微小图像进行分类的示例,请参见用于图像分类的训练残差网络

有关展示如何对频谱图进行分类的示例,请参阅基于深度学习的语音指令识别

语义分割 Computer Vision Toolbox™提供工具,以创建用于语义分割的深度学习网络。有关更多信息,请参见使用深度学习开始语义分割(计算机视觉工具箱)
序列、时间序列和信号 Sequence-to-label分类 例如,请参见基于深度学习的序列分类
序列到序列分类和回归 想要了解更多,请看使用深度学习的顺序序列分类使用深度学习的序列到序列回归
时间序列预测 例如,请参见基于深度学习的时间序列预测
文本 分类和回归 Text Analytics Toolbox™提供了为文本数据创建深度学习网络的工具。例如,请参见使用深度学习对文本数据进行分类
文本生成 例如,请参见使用深度学习生成文本
音频 音频分类与回归 例如,请参见基于深度学习的语音指令识别

选择培训选项

培训选项功能提供了培训您的深度学习网络的各种选项。

提示 更多的信息
监测培训进度 要打开“训练进度”绘图,请设置“阴谋”选择权培训选项“训练进步”
使用验证数据

要指定验证数据,请使用“验证数据”选择权培训选项

请注意

如果验证数据集太小,不能充分表示数据,那么报告的度量标准可能对您没有帮助。使用过大的验证数据集会导致训练变慢。

对于迁移学习,加快新层的学习速度,减缓迁移层的学习速度

通过使用例如,通过使用例如,为新图层指定更高的学习率因子WeightLearnRateFactor财产卷积层

使用'italllearnrate'选择培训选项

在迁移学习时,您不需要为这么多的时期进行训练。使用“MaxEpochs”选择权培训选项

要了解如何使用Deep network Designer以交互方式为转移学习准备网络,请参阅用深网络设计师转移学习

每个时代洗牌你的数据

要在每个历元(一次完整的数据传递)洗牌数据,请设置'洗牌'选择权培训选项“每个时代”

请注意

对于序列数据,洗机可以对准确度产生负面影响,因为它可以增加填充或截断的数据量。如果您有序列数据,则按顺序长度对数据进行排序可以帮助。想要了解更多,请看序列填充,截断和分裂

尝试不同的优化器

要指定不同的优化器,请使用solverName论点培训选项

有关更多信息,请参见设置参数和火车卷积神经网络

提高训练精度

如果您在培训期间注意到问题,请考虑这些可能的解决方案。金宝搏官方网站

问题 可能的解决办法
损失中的NAN或大峰值

使用'italllearnrate'选择培训选项

如果降低学习率没有帮助,那么尝试使用梯度剪辑。要设置渐变阈值,使用'gradientthreshold'选择权培训选项

训练结束时,损失仍在减少 通过使用“MaxEpochs”选择权培训选项
损失平稳

如果损失强韧处于意外高的价值,则会降低高原的学习率。要更改学习率计划,请使用“LearnRateSchedule”选择权培训选项

如果降低学习速率没有帮助,那么模型可能是不合适的。尝试增加参数或层的数量。您可以通过监视验证损失来检查模型是否拟合不足。

验证损失远高于训练损失

要防止安装过度,请尝试以下一种或多种方法:

损失减少得非常缓慢

使用'italllearnrate'选择培训选项

对于图像数据,请尝试在网络中包括批量归一化层。有关更多信息,请参见batchNormalizationLayer

有关更多信息,请参见设置参数和火车卷积神经网络

修正培训中的错误

如果您的网络根本没有培训,则考虑可能的解决方案。金宝搏官方网站

错误 描述 可能的解决办法
培训时内存失误 可用硬件无法存储当前的迷你批处理、网络权重和计算的激活。

尝试使用缩小批量尺寸'minibatchsize'选择培训选项

如果减小最小批量不起作用,则尝试使用较小的网络,减少层数,或减少层中参数或过滤器的数量。

自定义层的错误 自定义层的实现可能存在问题。

检查自定义层的有效性,并发现潜在的问题使用核对层

如果在使用时测试失败核对层,然后该功能提供测试诊断和框架诊断。测试诊断突出显示任何层问题,而框架诊断提供更详细的信息。要了解有关测试诊断的更多信息并获得可能解决方案的建议,请参阅金宝搏官方网站诊断

训练会犯错误“CUDA_错误_未知” 有时,GPU在从OS中用于计算和显示请求时抛出此错误。

尝试使用缩小批量尺寸'minibatchsize'选择培训选项

如果缩小迷你批量尺寸不起作用,则在Windows中®,尝试调整超时检测和恢复(TDR)设置。例如,更改TdrDelay从2秒(默认)到4秒(需要注册表编辑)。

您可以使用分析这个分析功能显示网络架构的交互式可视化,检测到网络的错误和问题,并提供有关网络层的详细信息。使用网络分析器可视化和了解网络架构,检查您是否正确定义了架构,并在培训前检测问题。问题分析检测包括缺失或断开的层、不匹配或不正确的层输入大小、不正确的层输入数量和无效的图结构。

准备和预处理数据

您可以通过预处理数据来提高准确性。

重量或平衡课程

理想情况下,所有类都有相同数量的观察。然而,对于某些任务,类可能是不平衡的。例如,与行人和骑自行车的人相比,街道场景的汽车数据集往往有更多的天空、建筑和道路像素,因为天空、建筑和道路覆盖了更多的图像区域。如果处理不当,这种不平衡会对学习过程造成不利影响,因为学习偏向于主导阶级。

有关分类任务,您可以使用该类别指定类重量'classweight'选择classificationLayer。对于语义分段任务,可以使用类权重(计算机视觉工具箱)财产PixelclassificationLayer.(计算机视觉工具箱)

或者,您可以通过执行以下一项或多项操作来平衡类:

  • 从最少频繁的类中添加新的观察。

  • 从最频繁的类中删除观察结果。

  • 将类似类别分组。例如,将类别“汽车”和“卡车”分组为单个类别“车辆”。

图像数据进行预处理

有关预处理图像数据的详细信息,请参见深度学习的图像预处理

任务 更多的信息
调整图像大小

若要使用预先训练的网络,必须将图像的大小调整为网络的输入大小。要调整图像大小,请使用AugmentedimageGedataStore..例如,该语法调整图像数据存储中的图像大小洛桑国际管理发展学院

auimds = augmentedimagedataStore(Inputsize,IMDS);

提示

使用AugmentedimageGedataStore.用于深度学习的图像预处理,包括图像大小调整。

请勿使用readFcn选择图像数据存储对于预处理或调整大小,因为此选项通常显着较慢。

图像增强

为了避免过拟合,使用图像变换。想要了解更多,请看具有增强图像的列车网络

标准化回归目标

在将预测器输入网络之前将其归一化。如果在训练前对响应进行归一化,则必须转换训练网络的预测,以获得原始响应的预测。

有关更多信息,请参见用于回归的卷积神经网络训练

序列数据预处理

有关使用LSTM网络的更多信息,请参阅长短期内存网络

任务 更多的信息
标准化序列数据

为了归一化序列数据,首先计算所有序列的每个特征均值和标准偏差。然后,对于每个训练观察,从标准偏差减去平均值并除以。

想要了解更多,请看规范化序列数据

减少序列填充和截断

要减少填充或截断序列时填充或丢弃的数据量,请尝试按序列长度对数据进行排序。

想要了解更多,请看序列填充,截断和分裂

为预测指定迷你批量大小和填充选项

当使用不同长度的序列进行预测时,最小批量大小可能会影响添加到输入数据的填充量,从而产生不同的预测值。请尝试使用不同的值,以查看哪一个最适合您的网络。

要指定小批量大小和填充选项,请使用'minibatchsize''sequencelength'选项的分类预测classifyandupdateState.predictAndUpdateState功能。

使用可用的硬件

要指定执行环境,使用“ExecutionEnvironment”选择权培训选项

问题 更多的信息
关于CPU的培训很慢 如果培训在单个CPU上过于慢,请尝试使用预先使用的深度学习网络作为特征提取器并培训机器学习模型。例如,请参见利用预训练网络提取图像特征
GPU上的LSTM训练很慢

CPU更适合使用具有短序列的小批量来训练LSTM网络“ExecutionEnvironment”选择权培训选项“cpu”

软件不使用所有可用的GPU 如果您可以访问具有多个GPU的机器,只需设置“ExecutionEnvironment”选择权培训选项'多gpu'.有关更多信息,请参见在多个GPU上与MATLAB深入学习

有关更多信息,请参见在GPU和云中平行扩展深度学习

修复从mat文件加载的错误

如果您无法从MAT-file加载层或网络并得到表单的警告

警告:无法将Class Playery的实例加载到异构阵列中。Playery的定义可能丢失或包含错误。默认对象将被替换。警告:加载类“系列网络”的对象时:使用talls nnet.cnn.layer.missingLayer中的'转发'时出错。该函数抛出了错误,无法执行错误。
MAT文件中的网络可能包含不可用的层。这可能是由于以下原因造成的:

  • 该文件包含不在路径上的自定义层–若要加载包含自定义层的网络,请将自定义层文件添加到MATLAB®小路。

  • 该文件包含来自支持包的自定义层-要使用来自支持包的层加载网络,请使用相应的函数在金宝app命令行安装所需的支持包(例如,resnet18)或使用附加资源管理器。

  • 该文件包含一个来自文档示例的自定义层,但不在路径上。要加载包含文档示例自定义层的网络,将示例作为Live Script打开,并将该层从示例文件夹复制到工作目录。

  • 该文件包含未安装工具箱中的层–要访问其他工具箱(例如,计算机视觉工具箱或文本分析工具箱)中的层,请安装相应的工具箱。

尝试建议的解决方案后,重新加载MAT文件。金宝搏官方网站

也可以看看

|||

相关话题