主要内容

线性回归模型是什么?

一个线性回归模型描述之间的关系因变量,y和一个或多个独立变量,X。也称为因变量反应变量。也称为独立变量说明或预测变量。也称为连续预测变量协变量,也称为分类预测变量因素。矩阵X通常被称为观测的预测变量设计矩阵。

多元线性回归模型

y 我 = β 0 + β 1 X 我 1 + β 2 X 我 2 + ⋯ + β p X 我 p + ε 我 , 我 = 1 , ⋯ , n ,

在哪里

  • y我是我响应。

  • βk是kth系数,β0模型中的常数项。有时候,设计矩阵可能包括常数项的信息。然而,fitlm或stepwiselm默认情况下包括模型中的常数项,所以你不能进入1 s到你的设计矩阵的一列X。

  • Xij是我th的观察j预测变量,j= 1,…,p。

  • ε我是我th噪声项,即随机误差。

如果一个模型只包含一个预测变量(p= 1),那么模型称为简单线性回归模型。

一般来说,线性回归模型可以是一个模型的形式

y 我 = β 0 + ∑ k = 1 K β k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p ) + ε 我 , 我 = 1 , ⋯ , n ,

在哪里f()是一个纯量值独立变量的函数,Xij年代。功能,f(X),可能以任何形式包括非线性函数和多项式。线性,在线性回归模型中,指的是线性的系数βk。也就是说,响应变量,y,是一个线性函数的系数,βk。

线性模型的例子有:

y 我 = β 0 + β 1 X 1 我 + β 2 X 2 我 + β 3 X 3 我 + ε 我 y 我 = β 0 + β 1 X 1 我 + β 2 X 2 我 + β 3 X 1 我 3 + β 4 X 2 我 2 + ε 我 y 我 = β 0 + β 1 X 1 我 + β 2 X 2 我 + β 3 X 1 我 X 2 我 + β 4 日志 X 3 我 + ε 我

然而,下面不是线性模型,因为他们不是线性的未知系数,βk。

日志 y 我 = β 0 + β 1 X 1 我 + β 2 X 2 我 + ε 我 y 我 = β 0 + β 1 X 1 我 + 1 β 2 X 2 我 + e β 3 X 1 我 X 2 我 + ε 我

通常的线性回归模型的假设是:

  • 噪音方面,ε我是不相关的。

  • 噪音方面,ε我有独立且相同的正态分布均值为零,方差不变,σ2。因此,

    E ( y 我 ) = E ( ∑ k = 0 K β k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p ) + ε 我 ) = ∑ k = 0 K β k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p ) + E ( ε 我 ) = ∑ k = 0 K β k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p )

    和

    V ( y 我 ) = V ( ∑ k = 0 K β k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p ) + ε 我 ) = V ( ε 我 ) = σ 2

    所以的方差y我是相同的所有级别的Xij。

  • 的响应y我是不相关的。

拟合的线性函数

y ^ 我 = ∑ k = 0 K b k f k ( X 我 1 , X 我 2 , ⋯ , X 我 p ) , 我 = 1 , ⋯ , n ,

在哪里 y ^ 我 估计响应和吗bk年代的拟合系数。系数估计,以最小化均方预测向量之间的区别 y ^ 和真正的响应向量 y ,这是 y ^ − y 。调用此方法最小二乘法。假设噪声条件下,这些系数也最大限度的可能性的预测向量。

在线性回归模型的形式y=β1X1+β2X2+……+βpXp,系数βk表示一个单位预测变量的变化的影响,Xj在响应的均值E (y),提供所有其他变量保持不变。系数的符号给出了方向的影响。例如,如果线性模型是E (y)= 1.8 - 2.35X1+X2,然后-2.35意味着降低2.35单元平均响应增加1个单位X1,鉴于X2是保持不变的。如果模型是E (y)= 1.1 + 1.5X12+X2的系数X12表明增加1.5单元的平均值Y增加1个单位X12其他条件保持不变。然而,在E (y)= 1.1 + 2.1X1+ 1.5X12,很难解释系数类似的,因为它是不可能的X1常数时X12的变化,反之亦然。

引用

[1]净,J。,M. H. Kutner, C. J. Nachtsheim, and W. Wasserman.应用线性统计模型。欧文,麦格劳-希尔公司,有限公司,1996年版。

[2]seb, g·a·F。线性回归分析。威利系列在概率论与数理统计。约翰•威利父子公司,1977年版。

另请参阅

||

相关的话题