什么是线性回归模型？

线性回归模型描述了一种之间的关系因变量，ÿ，以及一个或多个独立变量，X。因变量也被称为响应变量。自变量也被称为解释性要么预测变量。连续预测变量也被称为协变量和分类预测变量也叫因素。矩阵X在预测变量的观察通常被称为设计矩阵。

多元线性回归模型是

ÿ 一世 = β 0 + β 1 X 一世 1 + β 2 X 一世 2 + ⋯ + β p X 一世 p + ε 一世 ， 一世 = 1 ， ⋯ ， ñ ，

哪里

  • ÿ一世是个一世个响应。

  • βķ是个ķ个系数，其中β0在模型中的常数项。有时候，设计矩阵可能包括对常数项信息。然而，fitlm要么stepwiselm默认情况下，包括模型中的常数项，所以你不得进入1秒的一列到你的设计矩阵X。

  • XIJ是个一世上个观察Ĵ个预测变量，Ĵ= 1，...，p。

  • ε一世是个一世个噪声项，即，随机错误。

如果模型仅包括一个预测变量（p= 1），则模型被称为简单的线性回归模型。

一般情况下，线性回归模型可以是以下形式的模型

ÿ 一世 = β 0 + Σ ķ = 1 ķ β ķ F ķ （ X 一世 1 ， X 一世 2 ， ⋯ ， X 一世 p ） + ε 一世 ， 一世 = 1 ， ⋯ ， ñ ，

哪里F（·）是自变量的标量值函数，XIJ秒。其他功能方面，F（X），可能是任何形式的，包括非线性函数或多项式。线性，在线性回归模型，是指系数的线性βķ。也就是说，响应变量，ÿ是系数的线性函数，βķ。

线性模型的一些例子：

ÿ 一世 = β 0 + β 1 X 1 一世 + β 2 X 2 一世 + β 3 X 3 一世 + ε 一世 ÿ 一世 = β 0 + β 1 X 1 一世 + β 2 X 2 一世 + β 3 X 1 一世 3 + β 4 X 2 一世 2 + ε 一世 ÿ 一世 = β 0 + β 1 X 1 一世 + β 2 X 2 一世 + β 3 X 1 一世 X 2 一世 + β 4 日志 X 3 一世 + ε 一世

下面，不过，不是线性的模型，因为它们不是线性的未知系数，βķ。

日志 ÿ 一世 = β 0 + β 1 X 1 一世 + β 2 X 2 一世 + ε 一世 ÿ 一世 = β 0 + β 1 X 1 一世 + 1 β 2 X 2 一世 + Ë β 3 X 1 一世 X 2 一世 + ε 一世

线性回归模型通常假定是：

  • 噪音方面，ε一世，是不相关的。

  • 噪音方面，ε一世，具有零均值和常数方差，σ独立同正态分布2。从而，

    Ë （ ÿ 一世 ） = Ë （ Σ ķ = 0 ķ β ķ F ķ （ X 一世 1 ， X 一世 2 ， ⋯ ， X 一世 p ） + ε 一世 ） = Σ ķ = 0 ķ β ķ F ķ （ X 一世 1 ， X 一世 2 ， ⋯ ， X 一世 p ） + Ë （ ε 一世 ） = Σ ķ = 0 ķ β ķ F ķ （ X 一世 1 ， X 一世 2 ， ⋯ ， X 一世 p ）

    和

    V （ ÿ 一世 ） = V （ Σ ķ = 0 ķ β ķ F ķ （ X 一世 1 ， X 一世 2 ， ⋯ ， X 一世 p ） + ε 一世 ） = V （ ε 一世 ） = σ 2

    所以方差ÿ一世是各级同XIJ。

  • 响应ÿ一世是不相关的。

拟合线性函数是

ÿ ^ 一世 = Σ ķ = 0 ķ b ķ F ķ （ X 一世 1 ， X 一世 2 ， ⋯ ， X 一世 p ） ， 一世 = 1 ， ⋯ ， ñ ，

哪里 ÿ ^ 一世 是所估计的响应和bķs为拟合系数。系数被估计，以便最小化所述预测矢量之间的均方差 ÿ ^ 和真实响应向量 ÿ ， 那是 ÿ ^ - ÿ 。这种方法被称为最小二乘法。下的噪声项的假设，这些系数也最大限度地提高预测矢量的可能性。

在以下形式的线性回归模型ÿ=β1X1+β2X2+ ... +βpXp时，系数βķ表示在预测变量的一单位的变化的影响，XĴ，对响应E的平均值（ÿ），前提是所有其他变量保持不变。系数的符号给出了效果的方向。例如，如果线性模型是E（ÿ）= 1.8 - 2.35X1+X2，然后-2.35表示在具有增加一个单位的平均响应一个2.35单位减少X1鉴于X2保持不变。如果模型E（ÿ）= 1.1 + 1.5X12+X2，系数X12表示在均值的1.5单位增加ÿ与增加一个单位在X12给予一切保持不变。然而，在E的情况下（ÿ）= 1.1 + 2.1X1+ 1.5X12，就很难解释同样的系数，因为它是不可能保持X1当不变X12变化，或反之亦然。

参考

[1] Neter的，J.，M. H.库特纳，C.J。纳赫茨海姆，和W.沃瑟曼。应用线性统计模型。欧文麦格劳 - 希尔集团有限公司，1996年。

[2] Seber，G. A. F.线性回归分析。威利系列在概率论与数理统计。John Wiley和Sons公司，1977年。

也可以看看

||

相关话题

统计和机器学习工具箱文档
金宝app
掌握机器学习：有步骤，分步指南与MATLAB

掌握机器学习：有步骤，分步指南与MATLAB

下载电子书