主要内容

岭回归

岭回归简介

中描述的模型的系数估计线性回归依赖于模型术语的独立性。当项与设计矩阵的列相关联时X近似线性相关，矩阵(XTX）1变得接近于单数。因此，最小二乘估计

β ＾ ＝ （ X T X ） − 1 X T y

对所观察到的响应中的随机错误变得高度敏感y，产生很大的方差。这种情况多重共线性例如，在没有实验设计的情况下收集数据。

岭回归通过使用估计回归系数来解决问题

β ＾ ＝ （ X T X + k 我 ） − 1 X T y

在哪里k是岭参数而且我是单位矩阵。的小正值k改进问题的条件，减少估计的方差。虽然有偏差，但与最小二乘估计相比，脊估计的方差减小通常会导致较小的均方误差。

统计和机器学习工具箱™功能脊进行脊回归。

岭回归

打开实时脚本

这个例子展示了如何执行岭回归。

将数据载入acetylene.mat，并对预测变量进行观察x1，x2，x3为响应变量y．

负载乙炔

把预测变量互相画出来。

次要情节(1、3、1)情节(x1, x2,“。”)包含(x1的) ylabel (“x2”网格)在轴广场次要情节(1、3、2)情节(x1, x3,“。”)包含(x1的) ylabel (“x3”网格)在轴广场次要情节(1,3,3)情节(x2, x3,“。”)包含(“x2”) ylabel (“x3”网格)在轴广场

图中包含3个轴对象。Axes对象1包含一个line类型的对象。坐标轴对象2包含一个line类型的对象。Axes对象3包含一个line类型的对象。

注意两者之间的相关性x1另外两个预测变量。

使用脊而且x2fx计算具有相互作用项的多线性模型的系数估计，适用于山脊参数的范围。

X = [x1 x2 x3];D = x2fx(X，“互动”）;D(:，1) = [];%无常数项K = 0:1e-5:5e-3;betahat = ridge(y,D,k);

画出山脊的轨迹。

图绘制(k, betahat,“线宽”，2) ylim([-100 100])网格在包含(“岭参数”) ylabel (“标准化系数”)标题(“{\bf Ridge Trace}”)传说(x1的，“x2”，“x3”，“x1x2”，“x1x3”，“x2x3”）

图中包含一个轴对象。标题为空白R i d e空白T R a e的axis对象包含6个类型为line的对象。这些对象表示x1, x2, x3, x1x2, x1x3, x2x3。

估计值稳定在图的右侧。注意的系数x2x3交互项在山脊参数的值处改变符号 ≈ 5 × 1 0 - 4 ．

另请参阅

||||

相关的话题