主要内容

什么是线性回归模型?

线性回归模型描述了a之间的关系依赖变量y,一个或多个独立变量X。依赖变量也称为响应变量。还称为独立变量解释性或者预测变量。也称为连续预测变量协变量而且还称为分类预测变量因素。矩阵X关于预测变量的观察通常称为设计矩阵

多元线性回归模型是

y 一世 = β 0. + β 1 X 一世 1 + β 2 X 一世 2 + + β P. X 一世 P. + ε. 一世 一世 = 1 N

在哪里

  • y一世是个一世回应。

  • βK.是个K.系数,在哪里β0.是模型中的常量术语。有时,设计矩阵可能包括有关常数项的信息。然而,Fitlm.或者步骤行程默认情况下包括模型中的常量术语,因此您不得在设计矩阵中输入1S列X

  • XIJ.是个一世观察jth predictor变量,j= 1,......,P.

  • ε.一世是个一世TH噪声项,即随机错误。

如果模型仅包括一个预测变量(P.= 1),然后该模型被称为简单的线性回归模型。

通常,线性回归模型可以是表单的模型

y 一世 = β 0. + σ. K. = 1 K. β K. F K. X 一世 1 X 一世 2 X 一世 P. + ε. 一世 一世 = 1 N

在哪里F(。)是独立变量的标量值函数,XIJ.s。功能,FX),可能是任何形式,包括非线性功能或多项式。在线性回归模型中的线性度是指系数的线性度βK.。也就是说,响应变量,y,是系数的线性函数,βK.

线性模型的一些例子是:

y 一世 = β 0. + β 1 X 1 一世 + β 2 X 2 一世 + β 3. X 3. 一世 + ε. 一世 y 一世 = β 0. + β 1 X 1 一世 + β 2 X 2 一世 + β 3. X 1 一世 3. + β 4. X 2 一世 2 + ε. 一世 y 一世 = β 0. + β 1 X 1 一世 + β 2 X 2 一世 + β 3. X 1 一世 X 2 一世 + β 4. 日志 X 3. 一世 + ε. 一世

然而,以下是不是线性模型,因为它们在未知系数中不是线性的,βK.

日志 y 一世 = β 0. + β 1 X 1 一世 + β 2 X 2 一世 + ε. 一世 y 一世 = β 0. + β 1 X 1 一世 + 1 β 2 X 2 一世 + E. β 3. X 1 一世 X 2 一世 + ε. 一世

线性回归模型的通常假设是:

  • 噪音术语,ε.一世,不相关。

  • 噪音术语,ε.一世,具有与平均零和恒定方差的独立和相同的正常分布,σ2。因此,

    E. y 一世 = E. σ. K. = 0. K. β K. F K. X 一世 1 X 一世 2 X 一世 P. + ε. 一世 = σ. K. = 0. K. β K. F K. X 一世 1 X 一世 2 X 一世 P. + E. ε. 一世 = σ. K. = 0. K. β K. F K. X 一世 1 X 一世 2 X 一世 P.

    V. y 一世 = V. σ. K. = 0. K. β K. F K. X 一世 1 X 一世 2 X 一世 P. + ε. 一世 = V. ε. 一世 = σ. 2

    所以差异y一世所有层面都是一样的XIJ.

  • 回应y一世是不相关的。

拟合的线性功能是

y ^ 一世 = σ. K. = 0. K. B. K. F K. X 一世 1 X 一世 2 X 一世 P. 一世 = 1 N

在哪里 y ^ 一世 是估计的响应和B.K.S是拟合系数。估计系数以最小化预测向量之间的平均平方差 y ^ 和真实的响应矢量 y , 那是 y ^ - y 。这种方法称为最小二乘法的方法。在噪声术语的假设下,这些系数也最大化预测向量的可能性。

在表单的线性回归模型中y=β1X1+β2X2+ ...... +βP.XP.,系数βK.表达一个单位变化在预测变量中的影响,Xj,关于响应e的平均值E(y),只要所有其他变量都保持不变。系数的标志给出了效果的方向。例如,如果线性模型是E(y)= 1.8 - 2.35X1+X2然后-2.35表示2.35单位的平均响应减少,单位增加X1给予X2保持不变。如果模型是E(y)= 1.1 + 1.5X12+X2,系数X12表示1.5单位增加的平均值y一个单位增加X12给予所有别的保持不变。但是,在E(y)= 1.1 + 2.1X1+ 1.5X12,很难类似地解释系数,因为不可能保持X1常数X12更改或反之亦然。

参考

[1]网络,J.,M.H.Kutner,C.J.Nachtsheim和W. Wasserman。应用线性统计模型。Irwin,McGraw-Hill公司,Inc。,1996年。

[2] SEBER,G. A. F.线性回归分析。Wiley系列概率和数学统计。1977年John Wiley和Sons,Inc。。

也可以看看

||

相关话题