线性回归模型描述了A因变量,y,以及一个或多个独立变量,X.因变量也称为反应变量.自变量也称为自变量说明或预测变量.连续预测变量也称为连续预测变量协变量,也称为绝对预测变量因素.矩阵X对预测变量的观察通常称为设计矩阵.
为多元线性回归模型
在哪里
y我是我响应。
βk是kth系数,β0为模型中的常数项。有时,设计矩阵可能包含关于常数项的信息。然而,fitlm
或stepwiselm
默认情况下,模型中包含一个常数项,所以你不能在你的设计矩阵中输入一列1X.
Xij是我关于j预测变量,j= 1,…,p.
ε我是我噪声项,即随机误差。
如果一个模型只包含一个预测变量(p= 1),则该模型称为简单线性回归模型。
一般来说,线性回归模型可以是这种形式的模型
在哪里f(.)是自变量的标量值函数,Xij年代。功能,f(X),可以是任何形式的,包括非线性函数或多项式。线性回归模型中的线性是指系数的线性βk.也就是响应变量,y,是系数的线性函数,βk.
以下是一些线性模型的例子:
然而,以下不是线性模型,因为它们在未知系数中不是线性的,βk.
线性回归模型通常的假设是:
噪音方面,ε我是不相关的。
噪音方面,ε我,具有均值为零、方差为常数的独立、相同的正态分布,σ2.因此,
和
所以方差y我所有级别的都一样吗Xij.
的响应y我是不相关的。
拟合线性函数为
在哪里 估计的反应和bkS为拟合系数。估计系数以使预测向量之间的均方差最小 以及真正的响应向量 ,这是 .此方法称为最小二乘法.在噪声项的假设下,这些系数也使预测向量的可能性最大化。
以线性回归模型的形式y=β1X1+β2X2+……+βpXp,系数βk表示预测变量中一个单位变化的影响,Xj,的平均值为响应E(y),前提是所有其他变量保持不变。系数的符号表示效果的方向。例如,如果线性模型为E(y) = 1.8 - 2.35X1+X2,则-2.35表示平均响应减少2.35个单位,增加1个单位X1,鉴于X2是保持不变的。如果模型为E(y) = 1.1 + 1.5X12+X2,的系数X12的平均值增加了1.5个单位Y增加一个单位X12如果其他条件不变。然而,在E(y) = 1.1 + 2.1X1+ 1.5X12,很难同样地解释这些系数,因为它不可能保持不变X1常数时X12改变,反之亦然。
Neter, J., M. H. Kutner, C. J. Nachtsheim, W. Wasserman。应用线性统计模型.《麦克劳-希尔公司》,1996。
g.a. F. Seber线性回归分析.概率与数理统计中的威利级数。约翰·威利父子公司,1977。