多变量正常回归

介绍

本节重点介绍如何使用基于似然的方法进行多元正态回归。采用极大似然估计方法对回归模型的参数进行估计。对于多个级数，这需要迭代直到收敛。由于数据缺失的可能性而导致的复杂性被纳入到分析中，使用了一种称为ECM算法的EM算法变体。

最大似然估计的潜在理论和Fisher信息矩阵的定义和意义可以在CAINE中找到[1]和克莱默[2]。ECM算法的基本原理可以在孟和Rubin中找到[8]塞克斯顿和斯文森[9]。

此外，介绍了最大似然估计的这两个示例：

多变量正常线性回归

假设你有一个多元正态线性回归模型的形式

$[\begin{matrix} {Z.}_{1} \\ ⋮ \\ {Z.}_{m} \end{matrix}] 〜 N （ [\begin{matrix} H_{1} B. \\ ⋮ \\ H_{m} B. \end{matrix}] 那 [\begin{matrix} C & 0. \\ ⋱ \\ 0. & C \end{matrix}] ）那$

模型有m观察N维随机变量Z.₁，......，Z._m有一个线性回归模型P.- 二维模型参数矢量B.。此外，模型还有一个序列m设计矩阵H₁，......，H_m，每个设计矩阵都是已知的N——- - - - - -P.矩阵。

给定参数矢量B.和集合的设计矩阵，集合m独立变量Z._K.假设有独立同分布的多元正态残差Z._K.-H_K.B.和N向量的意思0.和N——- - - - - -N协方差矩阵C对于每一个人K.= 1，......，m。

编写这个模型的一种简明方法是

${Z.}_{K.} 〜 N （ H_{K.} B. 那 C ）$

为了K.= 1，......，m。

多元正态回归的目标是获得最大似然估计B.和C给定一个集合m观察Z.₁，......，Z._m随机变量Z.₁，......，Z._m。估计参数为P.不同的元素B.和N（N+ 1）/ 2个不同的元素C的下三角元素C)。

笔记

准最大似然估计与相同的型号合作，但是放宽了正常分布式残差的假设。然而，在这种情况下，参数估计是渐近最佳的。

最大似然估计

用极大似然估计估计多元正态线性回归模型的参数，需要在给定的估计参数上使对数似然函数最大Z.₁，......，Z._m。

给定多元正态模型来表征回归模型中的残差，对数似然函数为

$\begin{matrix} L. （ {Z.}_{1} 那 ...... 那 {Z.}_{m}; B. 那 C ） = \frac{1}{2} m N 日志（ 2 π ） + \frac{1}{2} m 日志（黛联（ C ）） \\ + \frac{1}{2} {σ.}_{K. = 1}^{m} {（ {Z.}_{K.} - H_{K.} B. ）}^{T.} C^{- 1} （ {Z.}_{K.} - H_{K.} B. ）。 \end{matrix}$

虽然横截面残差必须是独立的，但您可以使用此日志似然函数进行准最大似然估计。在这种情况下，参数的估计值B.和C提供估计，以表征残差的第一和第二矩。见Caines.[1]有关详细信息。

除了特别案例外（见多元线性回归模型的特例)，如果两个模型参数都在B.和协方差参数C由于估计问题是非线性的，求解时必须使用迭代方法。表示参数的估计B.和C迭代T.= 0,1，...使用上标表示法B.^（^T.^）和C^（^T.^）。

给定的初始估计B.^（0）和C^（0）对于参数，最大似然估计B.和C使用两级迭代过程获得

${B.}^{（ T. + 1 ）} = {（ {σ.}_{K. = 1}^{m} H_{K.}^{T.} {（ C^{（ T. ）} ）}^{- 1} H_{K.} ）}^{- 1} （ {σ.}_{K. = 1}^{m} H_{K.}^{T.} {（ C^{（ T. ）} ）}^{- 1} {Z.}_{K.} ）$

和

$C^{（ T. + 1 ）} = \frac{1}{m} {σ.}_{K. = 1}^{m} （ {Z.}_{K.} - H_{K.} {B.}^{（ T. + 1 ）} ） {（ {Z.}_{K.} - H_{K.} {B.}^{（ T. + 1 ）} ）}^{T.}$

为了T.= 0,1，......

多元线性回归模型的特例

提到的特殊情况最大似然估计如果发生N= 1，则观测序列是一个标量观测序列。这个模型被称为多元线性回归模型。在这种情况下，协方差矩阵C是A.1——- - - - - -1丢弃最大可能性的矩阵迭代，以便单步估计B.和C可以用收敛估计得到吗B.^（1）和C^（1）。

最小二乘回归

对一般模型的另一种简化称为最小二乘回归。如果B.^（0）=0.和C^（0）=一世，然后B.^（1）和C^（1）从两级迭代过程中的最小二乘估计B.和C,在那里

${B.}^{L. S.} = {（ {σ.}_{K. = 1}^{m} H_{K.}^{T.} H_{K.} ）}^{- 1} （ {σ.}_{K. = 1}^{m} H_{K.}^{T.} {Z.}_{K.} ）$

和

$C^{L. S.} = \frac{1}{m} {σ.}_{K. = 1}^{m} （ {Z.}_{K.} - H_{K.} {B.}^{L. S.} ） {（ {Z.}_{K.} - H_{K.} {B.}^{L. S.} ）}^{T.} 。$

均值和协方差估计

最终简化一般模型是估计一系列的平均值和协方差N- 一维的观察Z.₁，......，Z._m。在这种情况下，系列的数量等于模型参数的数量N=P.并且设计矩阵是标识矩阵H_K.=一世为了一世= 1，......，m以便B.是一个估计的卑鄙和C是对观测结果的协方差的估计吗Z.₁，......，Z._m。

收敛

如果迭代过程继续进行，直到对数似然函数的增长不超过一个指定的量，所得到的估计称为最大似然估计B.^毫升和C^毫升。

如果N= 1(这意味着一个单一的数据序列)，收敛只在一个迭代步骤后发生，这反过来意味着最小二乘和最大似然估计是相同的。然而,如果N> 1，最小二乘和最大可能性估计通常是不同的。

在Financial Toolbox™软件中，监测日志似然函数的更改以及参数估计中的更改的规范。每当两个变化都低于指定的公差（这应该是机器精度和其平方根之间的某些东西），工具箱功能都是在达到收敛的假设下终止。

费舍尔的信息

由于极大似然估计是由随机变量的样本构成的，因此它们的估计量是随机变量;从这样的样本中得出的估计具有不确定性。为了描述这些被称为标准误差的不确定性，从总对数似然函数中导出了两个量。

Hessian总对数似然函数是

$\nabla^{2} L. （ {Z.}_{1} 那 ...... 那 {Z.}_{m}; θ ）$

费雪信息矩阵为

$一世（ θ ） = - E. [\nabla^{2} L. （ {Z.}_{1} 那 ...... 那 {Z.}_{m}; θ ）] 那$

它的偏导数呢 $\nabla^{2}$ 相对于包含不同组件的组合参数向量θ拍摄操作员B.和C总共问：=P.+N（N+ 1) / 2参数。

由于极大似然估计涉及大样本估计，中心极限定理适用于估计，Fisher信息矩阵在参数估计的抽样分布中起着关键作用。特别地，极大似然参数估计是渐近正态分布的

$（ θ^{（ T. ）} - θ ）〜 N （ 0. 那 {一世}^{- 1} 那（ θ^{（ T. ）} ））作为 T. \to \infty 那$

其中Θ是组合参数向量和Θ^（^T.^）是迭代时组合参数向量的估计吗T.= 0,1，......

Fisher信息矩阵提供了一个较低限制的较低限制，用于模型参数估计的标准误差。

统计测试

给定组合参数向量Θ的估计，其平方标准误差是Fisher信息矩阵逆的对角元素

${S.}^{2} （ {\hat{θ}}_{一世} ） = {（ {一世}^{- 1} （ {\hat{θ}}_{一世} ））}_{一世一世}$

为了一世= 1，......，问：。

由于标准误差是参数估计的标准偏差的估计，因此可以构建置信区间，以便例如，为每个参数估计的95％的间隔约为

${\hat{θ}}_{一世} \pm 1.96 S. （ {\hat{θ}}_{一世} ）$

为了一世= 1，......，问：。

错误椭圆在显着级αε[0,1]的参数估计满足不等式

${（ θ - \hat{θ} ）}^{T.} 一世（ \hat{θ} ）（ θ - \hat{θ} ） \leq. χ_{1 - α 那问：}^{2}$

并关注A. $χ^{2}$ 分销问：自由度。对于参数的任何子集合都可以形成类似的不等式。

通常，给定参数估计，计算的Fisher信息矩阵和日志似然函数，您可以对参数，模型和回归执行众多统计测试。

也可以看看