多元回归模型的估计——MATLAB和Simulink MathWorks德国金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

多元回归模型的估计

最小二乘估计

普通最小二乘法

当你使用多元线性回归模型mvregress,您可以使用可选的名称-值对“算法”、“cwls”选择最小二乘估计。在这种情况下,默认情况下,mvregress普通最小二乘(OLS)估计使用返回 $Σ = 我_{d}$ 。另外,如果你指定一个协方差矩阵加权,你可以返回covariance-weighted最小二乘(CWLS)估计。如果你把OLS和CWLS,你可以得到可行的广义最小二乘估计(备受)。

OLS估计系数向量的向量 $b$ ,最大限度地减少

$\sum_{我 = 1}^{n} {(y_{我} - X_{我} b)}^{'} (y_{我} - X_{我} b) 。$

让 $y$ 表示nd1矢量叠加的d维反应, $X$ 表示nd——- - - - - -K堆叠设计矩阵的矩阵。的K1的向量OLS回归系数估计

$b_{O l 年代} = {(X^{'} X)}^{- 1} X^{'} y 。$

这是第一个mvregress输出。

鉴于 $Σ = 我_{d}$ (mvregressOLS默认),variance-covariance矩阵的OLS估计

$V (b_{O l 年代}) = {(X^{'} X)}^{- 1} 。$

这是第四个mvregress输出。OLS回归系数的标准误差是variance-covariance的对角矩阵的平方根。

如果您的数据并不是这样 $Σ = σ^{2} 我_{d}$ ,然后你就可以用mvregressvariance-covariance矩阵的均方误差(MSE)的无偏估计 $σ^{2}$ 。计算均方误差,返回n——- - - - - -d残差矩阵, $E$ (第三mvregress输出)。然后,

$均方误差 = \frac{\sum_{我 = 1}^{n} e_{我} e_{我}^{'}}{n - K},$

在哪里 $e_{我} = (y_{我} - X_{我} β)^{'}$ 是我th排 $E$ 。

Covariance-Weighted最小二乘

对于大多数多元问题,身份误差协方差矩阵的不足,并导致效率低下或有偏见的标准误差估计。您可以指定一个矩阵CWLS使用可选名称-值对参数估计covar0例如,一个可逆的d——- - - - - -d矩阵为 $C_{0}$ 。通常情况下, $C_{0}$ 是一个对角矩阵的逆矩阵 $C_{0}^{- 1}$ 包含每个维度的权重模型异方差性。然而, $C_{0}$ 也可以是nondiagonal相关性矩阵模型。

鉴于 $C_{0}$ 、CWLS解向量 $b$ ,最大限度地减少

$\sum_{我 = 1}^{n} {(y_{我} - X_{我} b)}^{'} C_{0} (y_{我} - X_{我} b) 。$

在这种情况下,K1的向量CWLS回归系数估计

$b_{C W l 年代} = {(X^{'} {(我_{n} \otimes C_{0})}^{- 1} X)}^{- 1} X^{'} {(我_{n} \otimes C_{0})}^{- 1} y 。$

这是第一个mvregress输出。

如果 $Σ = C_{0}$ ,这是广义最小二乘(gl)解决方案。相应的variance-covariance CWLS估计的矩阵

$V (b_{C W l 年代}) = {(X ” {(我_{n} \otimes C_{0})}^{- 1} X)}^{- 1} 。$

这是第四个mvregress输出。的标准错误CWLS回归系数是variance-covariance的对角矩阵的平方根。

如果你只知道误差协方差矩阵比例,也就是说, $Σ = σ^{2} C_{0}$ ,你可以用mvregressMSE variance-covariance矩阵,描述普通最小二乘法。

误差协方差估计

无论您使用最小二乘法,variance-covariance矩阵的估计错误

$\hat{Σ} = (\begin{matrix} {\hat{σ}}_{1}^{2} & {\hat{σ}}_{12} & \dots & {\hat{σ}}_{1 d} \\ {\hat{σ}}_{12} & {\hat{σ}}_{2}^{2} & \dots & {\hat{σ}}_{2 d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ {\hat{σ}}_{1 d} & {\hat{σ}}_{2 d} & \dots & {\hat{σ}}_{d}^{2} \end{matrix}) = \frac{E^{'} E}{n},$

在哪里 $E$ 是n——- - - - - -d残差矩阵。的我th排 $E$ 是 $e_{我} = {(y_{我} - X_{我} b)}^{'} 。$

误差协方差估计, $\hat{Σ}$ 是第二个mvregress输出和残差矩阵, $E$ ,是第三个输出。如果你指定可选的名称-值对“covtype”、“对角线”,然后mvregress返回 $\hat{Σ}$ 零的非对角的条目,

$\hat{Σ} = (\begin{matrix} {\hat{σ}}_{1}^{2} & 0 \\ ⋱ \\ 0 & {\hat{σ}}_{d}^{2} \end{matrix}) 。$

可行的广义最小二乘

广义最小二乘估计是CWLS与一个已知的协方差矩阵估计。也就是说,鉴于 $Σ$ 众所周知,gl的解决方案是什么

$b_{G l 年代} = {(X^{'} {(我_{n} \otimes Σ)}^{- 1} X)}^{- 1} X^{'} {(我_{n} \otimes Σ)}^{- 1} y,$

与variance-covariance矩阵

$V (b_{G l 年代}) = {(X^{'} {(我_{n} \otimes Σ)}^{- 1} X)}^{- 1} 。$

在大多数情况下,误差协方差是未知的。可行的广义最小二乘(备受)估计使用 $\hat{Σ}$ 在的地方 $Σ$ 。您可以获得两步备受估计如下:

执行OLS回归,并返回一个估计 $\hat{Σ}$ 。
执行CWLS回归,使用 $C_{0} = \hat{Σ}$ 。

还可以重复这两个步骤,直到达到收敛。

对于一些数据,OLS估计 $\hat{Σ}$ 是半正定,没有独特的逆。在这种情况下,您不能获得备受估计使用mvregress。作为一种替代方法,您可以使用lscov,它使用一个广义逆回归加权最小二乘解半正定协方差矩阵。金宝搏官方网站

面板校正标准误差

备受的另一种选择是使用OLS估计系数(一致),标准误差校正来提高效率。这样一个标准误差调整不需要反转的协方差矩阵是面板校正标准误差(PCSE)[1]。面板纠正variance-covariance矩阵OLS估计

$V_{p c 年代 e} (b_{O l 年代}) = {(X^{'} X)}^{- 1} X^{'} (我_{n} \otimes Σ) X {(X^{'} X)}^{- 1} 。$

PCSE是variance-covariance的对角矩阵的平方根。固定效应面板模型与并发相关说明了PCSE计算。

最大似然估计

默认所使用的估计算法mvregress最大似然估计(标定)。loglikelihood函数的多元线性回归模型

$\begin{array}{l} 日志 l (β, Σ | y, X) = \frac{1}{2} n d 日志 (2 π) + \frac{1}{2} n 日志 (依据 (Σ)) \\ + \frac{1}{2} \sum_{我 = 1}^{n} {(y_{我} - X_{我} β)}^{'} Σ^{- 1} (y_{我} - X_{我} β) 。 \end{array}$

毫升的 $β$ 和 $Σ$ loglikelihood最大化目标函数的值。

mvregress发现使用一个迭代ml两阶段算法。在迭代米+ 1,估计

$b_{米 l E}^{(米 + 1)} = {(X^{'} {(我_{n} \otimes Σ^{(米)})}^{- 1} X)}^{- 1} X^{'} {(我_{n} \otimes Σ^{(米)})}^{- 1} y$

和

${\hat{Σ}}^{(米 + 1)} = \frac{1}{n} \sum_{我 = 1}^{n} (y_{我} - X_{我} b_{米 l E}^{(米 + 1)}) {(y_{我} - X_{我} b_{米 l E}^{(米 + 1)})}^{'} 。$

算法终止时的变化系数估计和loglikelihood目标函数小于指定的公差,或者在指定的最大数量的迭代。可选名称-值对参数改变这些收敛标准tolbeta,tolobj,麦克斯特,分别。

标准错误

毫升的variance-covariance矩阵是一个可选的mvregress输出。默认情况下,mvregress返回variance-covariance只有回归系数矩阵,但你也可以得到的variance-covariance矩阵 $\hat{Σ}$ 使用可选的名称-值对“vartype”,“全部”。在这种情况下,mvregress返回variance-covariance矩阵K回归系数,d或d(d+ 1)/ 2协方差条件(取决于是否对角线误差协方差或全部)。

默认情况下,variance-covariance矩阵的逆观察费雪(信息矩阵“海赛”选项)。您可以请求的预期使用可选的名称-值对费舍尔信息矩阵“vartype”、“费雪的。没有丢失的响应数据,提供了观察和预期费舍尔信息矩阵是相同的。如果响应数据丢失,观察到的费雪占增加不确定性的信息由于缺失值,而预期的费舍尔信息矩阵不。

回归系数的variance-covariance矩阵毫升

$V (b_{米 l E}) = {(X^{'} {(我_{n} \otimes \hat{Σ})}^{- 1} X)}^{- 1},$

评估的标定误差协方差矩阵。这是第四个mvregress输出。标准错误的ml variance-covariance的对角矩阵的平方根。

为 $\hat{Σ}$ ,让 $θ$ 表示向量的参数估计误差variance-covariance矩阵。例如,如果d= 2,那么:

如果估计协方差矩阵是对角 $θ = ({\hat{σ}}_{1}^{2}, {\hat{σ}}_{2}^{2})$ 。
如果估计的协方差矩阵,然后 $θ = ({\hat{σ}}_{1}^{2}, {\hat{σ}}_{12}, {\hat{σ}}_{2}^{2})$ 。

费舍尔信息矩阵 $θ$ , $我 (θ)$ 有元素

$我 {(θ)}_{u, v} = \frac{1}{2} t r ({\hat{Σ}}^{- 1} \frac{\partial \hat{Σ}}{\partial θ_{u}} {\hat{Σ}}^{- 1} \frac{\partial \hat{Σ}}{\partial θ_{v}}), u, v = 1, \dots, n_{θ},$

在哪里 $n_{θ}$ 的长度是 $θ$ (d或d(d+ 1)/ 2)。结果variance-covariance矩阵

$V (θ) = 我 {(θ)}^{- 1} 。$

当你请求完整的variance-covariance矩阵,mvregress返回(第四输出)块对角矩阵

$(\begin{matrix} V (b_{米 l E}) & 0 \\ 0 & V (θ) \end{matrix}) 。$

失踪的响应数据

期望/条件最大化

如果缺少任何响应值,表示南,mvregress使用一个期望/条件最大化(ECM)估计算法(如果足够的数据是可用的)。在这种情况下,算法是迭代最小二乘法和极大似然估计。在每一次迭代,mvregress使用他们的条件期望背景缺失的响应值。

考虑组织的联合分布的数据丢失和观察到的反应,表示 $\tilde{y}$ 和 $y$ 分别可以写成

$(\begin{array}{l} \tilde{y} \\ y \end{array}) \sim 米 V N {(\begin{array}{l} \tilde{X} β \\ X β \end{array}), (\begin{matrix} Σ_{\tilde{y}} & Σ_{\tilde{y}}_{y} \\ Σ_{y \tilde{y}} & Σ_{y} \end{matrix})} 。$

使用多元正态分布的性质,失踪的条件期望响应给定观察到的反应

$E (\tilde{y} | y) = \tilde{X} β + Σ_{\tilde{y} y} Σ_{y}^{- 1} (y - X β) 。$

此外,variance-covariance矩阵的条件分布

$浸 (\tilde{y} | y) = Σ_{\tilde{y}} - Σ_{\tilde{y} y} Σ_{y}^{- 1} Σ_{y \tilde{y}} 。$

在ECM算法每次迭代,mvregress从先前的迭代中使用参数值:

更新回归系数向量相结合的方法观察到的反应和条件缺失的预期响应。
更新variance-covariance矩阵,调整使用variance-covariance失踪响应矩阵的条件分布。

最后,残差mvregress回报失踪反应条件期望和拟合值之间的差异,同时评估最终的参数估计。

如果你喜欢忽略任何失踪的响应值,观察使用名称-值对“算法”、“mvn的。请注意,mvregress总是忽略了观测失踪的预测价值。

观察到的信息矩阵

默认情况下,mvregress(使用观察到的费舍尔信息矩阵“海赛”选项)variance-covariance矩阵计算的回归参数。这占了额外的不确定性由于失踪的响应值。

观察到的信息矩阵包括来自只观察到的反应。即观察费舍尔信息矩阵的参数错误variance-covariance矩阵元素

$我 {(θ)}_{u, v} = \frac{1}{2} \sum_{我 = 1}^{n} t r ({\hat{Σ}}_{^{我}}^{- 1} \frac{\partial {\hat{Σ}}_{我}}{\partial θ_{u}} {\hat{Σ}}_{^{我}}^{- 1} \frac{\partial {\hat{Σ}}_{我}}{\partial θ_{v}}), u, v = 1, \dots, n_{θ},$

在哪里 ${\hat{Σ}}_{我}$ 的子集 $\hat{Σ}$ 对应于观察到的反应 $y_{我} 。$

例如,如果d= 3,但 $y_{我 2}$ 是失踪,那么

${\hat{Σ}}_{我} = (\begin{matrix} {\hat{σ}}_{1}^{2} & {\hat{σ}}_{13} \\ {\hat{σ}}_{13} & {\hat{σ}}_{3}^{2} \end{matrix}) 。$

观察到的费舍尔回归系数的信息也有类似的设计和协方差矩阵的贡献。

引用

[1]贝克:和j·n·卡茨。“怎么做(不做)在比较政治学与Time-Series-Cross-Section数据。”美国政治科学评论》,3号卷。89年,第647 - 634页,1995年。

另请参阅

mvregress|mvregresslike