什么是线性回归模型?

线性回归模型描述了因变量,Y,以及一个或多个自变量,X。因变量也称为响应变量.自变量也被称为解释性的预测变量.连续预测变量也称为协变量和分类预测变量也被称为因素.矩阵X对预测变量的观测结果通常称为设计矩阵

建立了多元线性回归模型

Y = β 0 + β 1. X 1. + β 2. X 2. + + β P X P + ε , = 1. , , N ,

哪里

  • Y第四个答复。

  • βKKth系数,其中β0是模型中的常数项。有时,设计矩阵可能包含有关常数项的信息。然而菲特姆逐步地默认情况下,模型中包含一个常数项,所以你不能在你的设计矩阵中输入一列1X

  • Xij第四次对Jth预测变量,J= 1, ...,P

  • ε噪声项,即随机误差。

如果模型仅包含一个预测变量(P= 1)然后将该模型称为简单线性回归模型。

一般来说,线性回归模型可以是一种形式的模型

Y = β 0 + K = 1. K β K F K ( X 1. , X 2. , , X P ) + ε , = 1. , , N ,

哪里F(.)是自变量的标量值函数,Xijs功能,,F(X),可以是任何形式的,包括非线性函数或多项式。线性回归模型中的线性是指系数的线性βK. 即响应变量,Y,是系数的线性函数,βK

线性模型的一些示例包括:

Y = β 0 + β 1. X 1. + β 2. X 2. + β 3. X 3. + ε Y = β 0 + β 1. X 1. + β 2. X 2. + β 3. X 1. 3. + β 4. X 2. 2. + ε Y = β 0 + β 1. X 1. + β 2. X 2. + β 3. X 1. X 2. + β 4. 日志 X 3. + ε

然而,以下不是线性模型,因为它们在未知系数中不是线性的,βK

日志 Y = β 0 + β 1. X 1. + β 2. X 2. + ε Y = β 0 + β 1. X 1. + 1. β 2. X 2. + E β 3. X 1. X 2. + ε

线性回归模型的通常假设为:

  • 噪音术语,ε,是不相关的。

  • 噪音术语,ε,具有独立且相同的正态分布,均方差为零且为常数,σ2.因此

    E ( Y ) = E ( K = 0 K β K F K ( X 1. , X 2. , , X P ) + ε ) = K = 0 K β K F K ( X 1. , X 2. , , X P ) + E ( ε ) = K = 0 K β K F K ( X 1. , X 2. , , X P )

    v ( Y ) = v ( K = 0 K β K F K ( X 1. , X 2. , , X P ) + ε ) = v ( ε ) = σ 2.

    那么Y对于所有级别的Xij

  • 回应Y它们是不相关的。

拟合的线性函数为

Y ^ = K = 0 K B K F K ( X 1. , X 2. , , X P ) , = 1. , , N ,

哪里 Y ^ 是估计的响应和BKs是拟合系数。估计系数以最小化预测向量之间的均方差 Y ^ 和真实响应向量 Y 就是 Y ^ Y 。此方法称为最小二乘法。在噪声项的假设下,这些系数也使预测向量的可能性最大化。

在线性回归模型的形式Y=β1.X1.+β2.X2.+ ... +βPXP,系数βK表示预测变量中一个单位变化的影响,XJ,关于响应E的平均值(Y),前提是所有其他变量保持不变。系数的符号表示效果的方向。例如,如果线性模型为E(Y) = 1.8 – 2.35X1.+X2.,则–2.35表示平均响应减少2.35个单位,平均响应增加1个单位X1.鉴于X2.保持不变。如果模型为E(Y) = 1.1 + 1.5X1.2.+X2.的系数X1.2.表示平均值增加1.5个单位Y增加了一个单位X1.2.如果其他条件不变。然而,在E(Y) = 1.1 + 2.1X1.+ 1.5X1.2.,很难对系数进行类似的解释,因为不可能保持不变X1.恒定时X1.2.改变,反之亦然。

参考文献

[1] 内特,J.,M.H.库特纳,C.J.纳希特谢姆和W.瓦瑟曼。应用线性统计模型欧文,麦格劳-希尔公司,1996年。

[2] 塞伯,G.A.F。线性回归分析。概率与数理统计中的威利级数。约翰·威利父子公司,1977。

另见

||

相关的话题