SIN数据集

第一个基准数据集是一个简单的函数近似问题。一个1-5-1的网络tansig隐藏层中的传递函数和输出层中的线性传递函数，用于近似正弦波的单个周期。下表总结了使用九种不同的训练算法训练网络的结果。表中的每个条目代表30个不同的试验，其中每个试验使用不同的随机初始权重。在每种情况下，网络都会被训练到平方误差小于0.002。这个问题最快的算法是Levenberg-Marquardt算法。平均而言，它比第二快的算法快四倍以上。这是LM算法最适合的问题类型——一个函数近似问题，其中网络的权重少于100个，并且近似必须非常精确。

各种算法的性能会受到逼近精度要求的影响。下图显示了几种代表性算法的均方误差与执行时间(30次试验的平均值)的关系。在这里，您可以看到LM算法中的误差随着时间的推移比所示的其他算法减少得更快。

算法之间的关系在下面的图中进一步说明，该图绘制了收敛所需的时间与均方误差收敛目标。在这里，您可以看到，随着错误目标的减少，LM算法提供的改进变得更加明显。一些算法的性能随着误差目标的减小而提高(LM和BFG)，而另一些算法的性能随着误差目标的减小而降低(OSS和GDX)。

奇偶校验数据集

第二个基准测试问题是一个简单的模式识别问题——检测3位数字的奇偶校验。如果输入模式中1的个数为奇数，则网络应输出1;否则，它应该输出-1。用于这个问题的网络是一个3-10-10-1网络，每层都有tansig神经元。下表总结了使用九种不同算法训练该网络的结果。表中的每个条目代表30个不同的试验，其中每个试验使用不同的随机初始权重。在每种情况下，网络都会被训练直到平方误差小于0.001。尽管共轭梯度算法(特别是缩放共轭梯度算法)几乎同样快，但该问题最快的算法是弹性反向传播算法。请注意，LM算法在这个问题上表现不佳。一般来说，LM算法在模式识别问题上的表现不如它在函数逼近问题上的表现。 The LM algorithm is designed for least squares problems that are approximately linear. Because the output neurons in pattern recognition problems are generally saturated, you will not be operating in the linear region.

与函数逼近问题一样，各种算法的性能可能受到网络所需精度的影响。如下图所示，其中绘制了一些典型算法的均方误差与执行时间的关系。LM算法在某一点后快速收敛，但前提是其他算法已经收敛。

算法之间的关系在下面的图中进一步说明，该图绘制了收敛所需的时间与均方误差收敛目标。同样，您可以看到一些算法随着错误目标的减少而降级(OSS和BFG)。

引擎数据集

第三个基准问题是一个实际的函数近似(或非线性回归)问题。数据是从发动机的运行中获得的。网络的输入是发动机转速和燃油水平，网络的输出是扭矩和排放水平。用于该问题的网络是一个2-30-2网络，隐层有tansig神经元，输出层有线性神经元。下表总结了使用九种不同算法训练该网络的结果。表中的每个条目代表30个不同的试验(由于时间限制，RP和GDX分别为10个试验)，其中每个试验使用不同的随机初始权重。在每种情况下，网络都会被训练到平方误差小于0.005。求解该问题最快的算法是LM算法，其次是BFGS准牛顿算法和共轭梯度算法。虽然这是一个函数近似问题，但LM算法并不像在SIN数据集上那样明显优越。在这种情况下，网络中的权重和偏差的数量远远大于SIN问题(152对16)，并且LM算法的优势随着网络参数数量的增加而减少。

下图绘制了一些典型算法的均方误差与执行时间的关系。相对于其他算法，LM算法的性能随着时间的推移而提高。

算法之间的关系在下面的图中进一步说明，该图绘制了收敛所需的时间与均方误差收敛目标。您可以再次看到，随着错误目标的减少(GDX和RP)，一些算法会降级，而LM算法则会改进。

癌症数据集

第四个基准问题是一个现实的模式识别(或非线性判别分析)问题。该网络的目的是根据显微镜检查收集的细胞描述将肿瘤分类为良性或恶性。输入属性包括团块厚度、细胞大小和形状的均匀性、边缘粘附量和裸核的频率。数据来自麦迪逊威斯康辛大学医院威廉·h·沃尔伯格博士。用于这个问题的网络是一个所有层都有tansig神经元的9-5-5-2网络。下表总结了使用九种不同算法训练该网络的结果。表中的每个条目代表30个不同的试验，其中每个试验使用不同的随机初始权重。在每种情况下，网络都会被训练到平方误差小于0.012。对于某些算法，有少数运行未能收敛，因此仅使用每种算法的前75%的运行来获得统计数据。

共轭梯度算法和弹性反向传播算法均具有较快的收敛速度，LM算法也具有较快的收敛速度。与奇偶校验数据集一样，LM算法在模式识别问题上的表现不如它在函数近似问题上的表现。

下图绘制了一些典型算法的均方误差与执行时间的关系。对于这个问题，性能的变化不像以前的问题那么大。

算法之间的关系在下面的图中进一步说明，该图绘制了收敛所需的时间与均方误差收敛目标。您可以再次看到，随着错误目标的减少(OSS和BFG)，一些算法会降级，而LM算法会改进。在任何问题上，LM算法的典型特点是，随着误差目标的减少，其性能相对于其他算法有所提高。

胆固醇数据集

第五个基准问题是一个实际的函数近似(或非线性回归)问题。该网络的目标是基于21个光谱分量的测量来预测胆固醇水平(ldl, hdl和vldl)。数据来自俄克拉荷马州立大学化学系的Neil Purdie博士[PuLu92］.用于这个问题的网络是一个21-15-3网络，隐藏层有tansig神经元，输出层有线性神经元。下表总结了使用九种不同算法训练该网络的结果。表中的每个条目代表20个不同的试验(RP和GDX分别为10个试验)，其中每个试验使用不同的随机初始权重。在每种情况下，网络都会被训练到平方误差小于0.027。

尽管所有的共轭梯度算法都表现良好，但缩放共轭梯度算法在这一问题上的表现最好。LM算法在这个函数近似问题上的表现不如它在其他两个问题上的表现。这是因为网络中的权重和偏差的数量再次增加(378 vs 152 vs 16)。随着参数数量的增加，LM算法所需的计算量呈几何级数增加。

下图绘制了一些典型算法的均方误差与执行时间的关系。对于这个问题，您可以看到LM算法能够将均方误差驱动到比其他算法更低的水平。SCG和RP算法提供最快的初始收敛。

算法之间的关系在下面的图中进一步说明，该图绘制了收敛所需的时间与均方误差收敛目标。您可以看到，LM和BFG算法相对于其他算法有所改进，因为错误目标减少了。

糖尿病数据集

第六个基准问题是模式识别问题。该网络的目的是根据个人数据(年龄、怀孕次数)和医疗检查结果(例如血压、体重指数、葡萄糖耐量试验结果等)来确定个人是否患有糖尿病。数据来自加州大学欧文分校的机器学习数据库。用于这个问题的网络是一个所有层都有tansig神经元的8-15-15-2网络。下表总结了使用九种不同算法训练该网络的结果。表中的每个条目代表10个不同的试验，其中每个试验使用不同的随机初始权重。在每种情况下，网络都会被训练到平方误差小于0.05。

共轭梯度算法和弹性反向传播算法均具有较快的收敛速度。该问题的结果与其他模式识别问题一致。RP算法能很好地解决所有的模式识别问题。这是合理的，因为该算法的设计是为了克服使用s型函数训练所带来的困难，当远离中心点时，s型函数的斜率非常小。对于模式识别问题，您在输出层中使用sigmoid传递函数，并且您希望网络在sigmoid函数的尾部运行。

下图绘制了一些典型算法的均方误差与执行时间的关系。与其他问题一样，您可以看到SCG和RP具有快速的初始收敛性，而LM算法能够提供较小的最终误差。

算法之间的关系在下面的图中进一步说明，该图绘制了收敛所需的时间与均方误差收敛目标。在这种情况下，可以看到BFG算法随着误差目标的减少而退化，而LM算法则有所提高。RP算法是最好的，除了在最小误差目标上，SCG算法更好。

总结

从所描述的实验中可以推导出几个算法特征。一般来说，在函数逼近问题上，对于包含数百个权重的网络，Levenberg-Marquardt算法将具有最快的收敛速度。如果需要非常精确的训练，这个优势尤其明显。在很多情况下，trainlm能够获得比任何其他测试算法更低的均方误差。但是，随着网络中权重数量的增加trainlm减少。此外,trainlm在模式识别问题上的表现相对较差。的储存要求trainlm比测试过的其他算法要大。

的trainrp函数是模式识别问题中最快的算法。然而，它在函数逼近问题上表现不佳。它的性能也会随着误差目标的减小而降低。与考虑的其他算法相比，此算法的内存需求相对较小。

特别是共轭梯度算法trainscg，似乎在各种各样的问题上表现良好，特别是对于具有大量权重的网络。在函数逼近问题上，SCG算法几乎和LM算法一样快(对于大型网络来说更快)，几乎和trainrp关于模式识别问题。它的性能不会像trainrp当错误减少时，性能就会提高。共轭梯度算法对内存的要求相对较低。

的表现trainbfg与…相似吗trainlm。它不需要像trainlm，但所需的计算量确实随着网络的大小呈几何级数增加，因为每次迭代都必须计算矩阵逆的当量。

可变学习率算法traingdx通常比其他方法慢得多，并且具有与trainrp，但它仍然对某些问题有用。在某些情况下，收敛得慢一些会更好。例如，当使用提前停止时，如果使用收敛太快的算法，可能会得到不一致的结果。您可能会超过验证集上的错误最小化的点。