加载示例数据。

负载(“机器人手臂，脚垫”）

的robotarm(pumadyn32nm)数据集是使用机器人手臂模拟器创建的，该模拟器具有7168个训练和1024个测试观测值，具有32个特征[1]，[2]。这是原始数据集的预处理版本。数据预处理通过减去线性回归拟合，然后所有特征归一化到单位方差。

在不选择特征的情况下计算泛化误差。

nca=fsrnca（Xtrain，ytrain，“FitMethod”，“没有”，“标准化”,1); L=损失（nca、Xtest、ytest）

L=0.9017

现在，重新安装模型，通过特征选择计算预测损失，使用 $$\lambda$$=0（无正则化项），并与以前的损失值进行比较，以确定此问题似乎需要进行特征选择。对于不更改的设置，改装使用初始模型的设置nca。例如，它使用在中找到的特征权重nca作为初始特征权重。

nca2=重新安装（nca，“FitMethod”，“准确”，“λ”, 0);L2 =损失(nca2 Xtest、欧美)

L2=0.1088

损失的减少表明特征选择是必要的。

绘制特征权重。

图()图(nca2。FeatureWeights,“罗”）

调整正则化参数通常会改善结果 $$\lambda$$使用交叉验证调整正则化参数的NCA回归,最好的 $$\lambda$$发现的值是0.0035。改装的nca使用此 $$\lambda$$值和随机梯度下降作为求解器。计算预测损失。

nca3 =改装(nca2,“FitMethod”，“准确”，“λ”, 0.0035,..．“解算器”，“sgd”）;L3 =损失(nca3 Xtest、欧美)

L3=0.0573

绘制特征权重。

图()图(nca3。FeatureWeights,“罗”）

在调整正则化参数后，损失下降得更多，软件识别出四个相关的特征。

工具书类

[1] 拉斯穆森，C.E.，R.M.Neal，G.E.Hinton，D.van Campand，M.Revow，Z.Ghahramani，R.Kustra，R.Tibshirani。DELVE手册，1996年，http://mlg.eng.cam.ac.uk/pub/pdf/RasNeaHinetal96.pdf

［2］https://www.cs.toronto.edu/~delve/data/datasets.html