主要内容

贝叶斯线性回归

线性回归是一种统计工具，用于:

  • 研究数据的线性相关性或影响预测器或解释性的变量回答变量。

  • 根据未来预测数据预测或预测未来的反应。

这个多元线性回归（MLR）模型是

Y T = x T β + ε T ．

多次T= 1,...,T:

  • YT为观察到的响应。

  • xT是一个1 - (P+ 1)的观测值的行向量P预测因素。为了适应模型拦截，x1.T=1表示所有T．

  • β是(P+ 1)组成列的变量对应的回归系数的列向量xT．

  • εT是平均值为零和Cov的随机扰动(ε) =Ω．一般来说,Ω是一个T-借-T对称正定矩阵。为简单起见，假设扰动是不相关的且具有共同方差，即，Ω=σ2.我T×T．

价值观β表示相应预测因子对预测结果的预期边际贡献YT. 当预测器xJ增加一个单位，Y预计将增加βJ单位，假设所有其他变量保持不变。εT是当时真实响应和预期响应之间的随机差异T．

经典与贝叶斯分析

要研究预测器对响应的线性影响，或构建预测MLR，必须首先估计参数β和σ2.．常客统计学家使用经典的估计方法，也就是说，他们把参数看作是固定的但未知的量。常用的频率估计工具包括最小二乘和最大似然。如果扰动是独立的，同方差的，和高斯或典型的然后，最小二乘法和最大似然法产生等价估计。推断，如参数估计的置信区间或预测区间，是基于扰动的分布。有关MLR分析的频率分析方法的更多信息，请参阅时间序列回归Ⅰ：线性模型或[6]，第3章。计量经济学工具箱中的大多数工具™ 你是常客。

A.．.贝叶斯MLR模型的估计与推理方法β和σ2.作为随机变量而不是固定的未知量。一般来说，贝叶斯分析的目标是通过合并观测数据中有关参数的信息来更新参数的概率分布。在对数据进行采样之前，您对参数的联合分布有一些看法。采样后，将数据分布引起的可能性与先前的信念结合起来，构成给定数据参数的联合条件分布。结果分布的特征和功能是估计和推断的基础。

主要贝叶斯分析组件

贝叶斯分析的主要目标之一是计算或从中取样后验分布（或后面的).后验值是使用（或给定）数据更新的参数分布，由以下数量组成：

  • A.似然函数-样本提供的有关参数的信息。如果你采取随机抽样，那么MLR的可能性是

    ℓ ( β , σ 2. | Y , x ) = ∏ T = 1. T P ( Y T | x T , β , σ 2. ) ．

    P ( Y T | x T , β , σ 2. ) 是的条件概率密度函数YT在给定参数和导出的条件分布下εT. 通常xT数量是固定的。如果扰动是独立的、同态的和高斯的，那么

    ℓ ( β , σ 2. | Y , x ) = ∏ T = 1. T ϕ ( Y T ; x T β , σ 2. ) ．

    ϕ(YT;xTβ,σ2.)是具有平均值的高斯概率密度xTβ和方差σ2.，在YT．

  • 先验分布（或前科)的参数-你在观察数据之前假设的参数的分布。对参数施加先验分布假设比频繁分析更有优势:先验允许您在查看数据之前整合关于模型的知识。你可以通过调整先验方差来控制你对参数知识的信心。指定高方差意味着您对参数了解得很少，并且希望更重地衡量有关参数的数据中的信息。指定低方差意味着您对参数的知识有很高的信心，并且您希望在分析中考虑到这些知识。

    在实践中，使用先验是为了方便，而不是跟随研究人员关于参数实际分布的意见。例如，可以选择先验分布，以便相应的后验分布位于同一个分布族中。这些前-后对称为结合分布。但是，先验的选择可能会影响估计和推断，因此您应该使用估计执行敏感性分析。

    Priors可以包含参数，调用超参数它们本身也可以有概率分布。这样的模型叫做分层贝叶斯模型．

    对于MLR，先验分布通常表示为π(β)及π(σ2.).一个流行的选择是正规逆伽马共轭模型，其中π(β|σ2.)多元函数是高斯函数还是高斯函数多元正态变量分布与π(σ2.)是反伽马分布。

可以包含关节的后验分布β和σ2.用Bayes法则，就是，

π ( β , σ 2. | Y , x ) = π ( β ) π ( σ 2. ) ℓ ( β , σ 2. | Y , x ) ∫ β , σ 2. π ( β ) π ( σ 2. ) ℓ ( β , σ 2. | Y , x ) D β D σ 2. ∝ π ( β ) π ( σ 2. ) ℓ ( β , σ 2. | Y , x ) ．

如果β取决于σ2.，则其前一个应替换为π(β|σ2.).分母是给定预测值的响应分布，观察后变为常数Y因此，后面的数字通常被写成与分子成比例。

后验概率分布类似于随机变量的任何其他联合概率分布，它包含合并数据后有关参数的所有已知信息。参数估计和推断主要基于参数函数与后验概率分布的积分。

后验估计与推理

后验估计和推断涉及到参数相对于后验概率的积分函数。MLR参数的常用估计和推断包括：

  • 期望值β给定数据

    β ^ = E ( β | Y , x ) = ∫ β , σ 2. β π ( β , σ 2. | Y , x ) D β D σ 2. ．

    这个量提供了一个自然的解释，是最小均方误差（MSE）估计量，也就是说，它最小化了 E [ ( β ^ − β ) 2. | Y , x ] ． 中位数、模式或分位数可以是相对于其他损失的贝叶斯估计量。

  • 这个最大先验估计（MAP）-使后验分布最大化的参数值。

  • 给定数据，预测响应 Y ^ 预测器的设计 x ^ 是一个具有后验预测分布

    π ( Y ^ | Y , x , x ^ ) = ∫ β , σ 2. F ( Y ^ | β , σ , x ^ ) π ( β , σ 2. | Y , x ) D β D σ 2. ．

    你可以把这个量看成概率分布的条件期望值Y关于参数的后验分布。

  • 95%的置信区间β（或可信区间)-设置s以致P(β∊s|Y,x) =0.95. 该方程产生无穷多个区间，包括：

    • Equitailed间隔，为区间(L,U)以致P(β<L|Y,x)=0.02.5和P(β>U|Y,x) = 0.025.

    • 最高后验密度（HPD）区域，是产生指定概率的最窄间隔。它必然包含最大的后验值。

    与频率置信区间的解释不同，贝叶斯置信区间的解释是，给定数据，随机β在间隔时间内s是0.95。这种解释是直观的，这是贝叶斯置信区间相对于频率置信区间的一个优势。

  • 变量包含的边际后验概率，也称为区域概率，是实施随机搜索变量选择（SSVS）的结果，表明预测变量在贝叶斯线性回归模型中是不重要的还是冗余的。在SSVS中，β具有多元双组分高斯混合分布。两个分量的均值都为零，但其中一个分量的方差很大，另一个分量的方差很小。不显著的预测指标可能接近于零;因此，它们来自方差小的分量。SSVS样本从空间2P+ 1模型的置换，每个置换包括或不包括一个系数，后验密度最高的模型被更频繁地采样。从采样的模型中导出区域概率。

集成方法取决于产品的功能形式 π ( β ) π ( σ 2. ) ℓ ( β , σ 2. | Y , x ) 比如被积函数，H(β,σ2.).

  • 如果乘积是已知概率分布的核，那么H(β,σ2.)关于后部，可以进行分析处理。当选择先验和后验形成共轭对时，通常会出现已知的核。在这些情况下，通常已知分布的前几个时刻，并根据它们进行估计。有关计量经济学工具箱中贝叶斯线性回归模型框架提供的分析可处理后验分布的详细信息，请参见易于分析后验．

  • 否则，必须使用数值积分技术来计算H(β,σ2.)关于后验分布。在某些条件下，可以使用蒙特卡罗或马尔可夫链蒙特卡罗（c）抽样。

    • 若要执行蒙特卡罗估计，请从概率分布中提取多个样本，然后对每个样本应用适当的函数(H(β,σ2.)是函数中的一个因子)，并对结果图求平均值以近似积分。蒙特卡罗方法中最流行的方法是重采样[6]．

    • 当你不知道一个常数的概率分布，或者你知道至少一个常数的所有参数的条件分布时，你就实现了MCMC。流行的MCMC技术包括Gibbs采样[2]，大都会黑斯廷斯算法[5]，以及切片取样[9]．

    有关计量经济学工具箱中贝叶斯线性回归模型的后验估计的详细信息，请参阅解析难处理后验概率．

易于分析后验

计量经济学工具箱中的贝叶斯线性回归框架提供了几个先验模型规范，这些规范产生了分析上可处理的共轭边际或条件后验概率。此表确定了先前模型及其相应的后验模型。将以前的模型和数据传递给估计，MATLAB®使用这些公式。当软件构造后端时，它假设响应数据YT,T= 1,...,T，是来自具有平均值的高斯分布的随机样本xTβ和方差σ2.．

先验模型对象先知先觉边缘后验概率条件后验
共轭光学显微镜

β | σ 2. ~ N P + 1. ( μ , σ 2. v ) ． σ 2. ~ 我 G ( A. , B ) ．

β和σ2.他们是独立的。

β | Y , x ~ T P + 1. ( ( v − 1. + X ′ X ) − 1. [ ( X ′ X ) β ^ + v − 1. μ ] , 2. B − 1. + ( Y − X β ^ ) ′ ( Y − X β ^ ) + ( β ^ − μ ) ′ [ v + ( X ′ X ) − 1. ] − 1. ( β ^ − μ ) 2. A. + T , 2. A. + T ) ． σ 2. | Y , x ~ 我 G ( A. + T 2. , [ B − 1. + 1. 2. ( Y − X β ^ ) ′ ( Y − X β ^ ) + 1. 2. ( β ^ − μ ) ′ [ v + ( X ′ X ) − 1. ] − 1. ( β ^ − μ ) ] − 1. ) ．

β | σ 2. , Y , x ~ N P + 1. ( ( v − 1. + X ′ X ) − 1. [ ( X ′ X ) β ^ + v − 1. μ ] , σ 2. ( v − 1. + X ′ X ) − 1. ) ． σ 2. | β , Y , x ~ 我 G ( A. + T + P + 1. 2. , [ B − 1. + 1. 2. ( Y − X β ) ′ ( Y − X β ) + 1. 2. ( β − μ ) ′ v − 1. ( β − μ ) ] − 1. ) ．
半共轭BLM

β | σ 2. ~ N P + 1. ( μ , v ) ． σ 2. ~ 我 G ( A. , B ) ．

β和σ2.他们是独立的。

难以分析的

β | σ 2. , Y , x ~ N P + 1. ( ( v − 1. + σ − 2. X ′ X ) − 1. [ σ − 2. ( X ′ X ) β ^ + v − 1. μ ] , ( v − 1. + X ′ X ) − 1. ) ． σ 2. | β , Y , x ~ 我 G ( A. + T 2. , [ B − 1. + 1. 2. ( Y − X β ) ′ ( Y − X β ) ] − 1. ) ．

漫射

联合优先pdf是

F β , σ 2. ( β , σ 2. ) ∝ 1. σ 2. ．

β | Y , x ~ T P + 1. ( β ^ , ( Y − X β ^ ) ′ ( Y − X β ^ ) T − P − 1. ( X ′ X ) − 1. , T − P − 1. ) ． σ 2. | Y , x ~ 我 G ( T − P − 1. 2. , [ 1. 2. ( Y − X β ^ ) ′ ( Y − X β ^ ) ] − 1. ) ．

β | σ 2. , Y , x ~ N P + 1. ( β ^ , σ 2. ( X ′ X ) − 1. ) ． σ 2. | β , Y , x ~ 我 G ( T 2. , [ 1. 2. ( Y − X β ) ′ ( Y − X β ) ] − 1. ) ．

混合电子束

γ = { γ 1. , ... , γ P + 1. } ~ P ( γ ) ． ∀ J , γ J ∈ { 0 , 1. } ． ∀ J , β J | σ 2. , γ J = γ J σ v J 1. Z 1. + ( 1. − γ J ) σ v J 2. Z 2. ． Z K ~ N ( 0 , 1. ) ; K = 1. , 2. σ 2. ~ 我 G ( A. , B ) ．

虽然边际后验概率在分析上是可处理的，但MATLAB将其视为难以扩展的（参见[1]).

易于分析,如果γJ和γK大家都是独立的J≠K

γ J | β , γ ≠ J , σ 2. , X , Y ~ 伯努利 ( A. J A. J + B J ) ; J = 1. , ... , P + 1. ∀ J , A. J = P ( γ J = 1. ) ϕ ( 0 , σ 2. v J 1. ∗ ) ． ∀ J , B J = P ( γ J = 0 ) ϕ ( 0 , σ 2. v J 2. ∗ ) ． β | σ 2. , γ , X , Y ~ N P + 1. ( ( v ∗ − 1. + X ′ X ) − 1. X ′ Y , σ 2. ( v ∗ − 1. + X ′ X ) − 1. ) ． σ 2. | β , γ , X , Y ~ 我 G ( A. + T + P + 1. 2. , [ B − 1. + 1. 2. ( Y − X β ) ′ ( Y − X β ) + 1. 2. β ′ v ∗ − 1. β ] − 1. ) ．

mixsemiconjugateblm

γ = { γ 1. , ... , γ P + 1. } ~ P ( γ ) ． ∀ J , γ J ∈ { 0 , 1. } ． ∀ J , β J | σ 2. , γ J = γ J v J 1. Z 1. + ( 1. − γ J ) v J 2. Z 2. ． Z K ~ N ( 0 , 1. ) ; K = 1. , 2. σ 2. ~ 我 G ( A. , B ) ．

难以分析的

易于分析,如果γJ和γK大家都是独立的J≠K

γ J | β , γ ≠ J , σ 2. , X , Y ~ 伯努利 ( A. J A. J + B J ) ; J = 1. , ... , P + 1. ∀ J , A. J = P ( γ J = 1. ) ϕ ( 0 , v J 1. ∗ ) ． ∀ J , B J = P ( γ J = 0 ) ϕ ( 0 , v J 2. ∗ ) ． β | σ 2. , γ , X , Y ~ N P + 1. ( ( v ∗ − 1. + σ − 2. X ′ X ) − 1. X ′ Y , ( v ∗ − 1. + σ − 2. X ′ X ) − 1. ) ． σ 2. | β , γ , X , Y ~ 我 G ( A. + T 2. , [ B − 1. + 1. 2. ( Y − X β ) ′ ( Y − X β ) ] − 1. ) ．

拉索膜

β J | σ 2. , λ ~ 拉普拉斯 ( 0 , σ / λ ) ; J = 0 , ．. , P ． σ 2. ~ 我 G ( A. , B ) ．

系数是独立的，这是一个先验。

难以分析的

1. ψ J | β J , σ 2. , λ ~ InvGaussian ( σ λ / | β J | , λ 2. ) ; J = 1. , ... , P + 1. D = 诊断 ( ψ 1. , ... , ψ P + 1. ) ． β | σ 2. , λ , X , Y , ψ ~ N P + 1. ( ( X ′ X + D ) − 1. X ′ Y , σ 2. ( X ′ X + D ) − 1. ) ． σ 2. | β , X , Y , ψ ~ 我 G ( A. + T + P + 1. 2. , [ B − 1. + 1. 2. ( Y − X β ) ′ ( Y − X β ) + 1. 2. β ′ D β ] − 1. ) ．

在表中：

解析难处理后验概率

计量经济学工具箱中的贝叶斯线性回归框架提供了几个先验模型规范，这些规范产生了难以分析但灵活的边际和条件后验概率。此表确定了先验模型和蒙特卡罗采样技术，当您将先验模型和数据传递给MATLAB时，MATLAB用于执行后验估计、模拟和推断估计,模拟或预测．

先验模型对象先知先觉边缘后验概率模拟技术条件后验仿真技术
半共轭BLM

β | σ 2. ~ N P + 1. ( μ , v ) ． σ 2. ~ 我 G ( A. , B ) ．

β和σ2.他们是独立的。

吉布斯采样器[2]条件后验在分析上是可处理的
经验性LBLM 从各自的先验分布中提取抽样重要性重抽样[4]不支持金宝app
定制 以声明函数中的联合pdf.为特征

  • 哈密顿蒙特卡罗采样器[8]

  • 随机游走都市采样器[7]

  • 切片取样器[9]

  • 哈密顿蒙特卡罗采样器

  • 随机游走都市采样器

  • 切片取样器
混合电子束

γ = { γ 1. , ... , γ P + 1. } ~ P ( γ ) ． ∀ J , γ J ∈ { 0 , 1. } ． ∀ J , β J | σ 2. , γ J = γ J σ v J 1. Z 1. + ( 1. − γ J ) σ v J 2. Z 2. ． Z K ~ N ( 0 , 1. ) ; K = 1. , 2. σ 2. ~ 我 G ( A. , B ) ．

吉布斯采样器[1]条件后验在分析上是可处理的
mixsemiconjugateblm

γ = { γ 1. , ... , γ P + 1. } ~ P ( γ ) ． ∀ J , γ J ∈ { 0 , 1. } ． ∀ J , β J | σ 2. , γ J = γ J v J 1. Z 1. + ( 1. − γ J ) v J 2. Z 2. ． Z K ~ N ( 0 , 1. ) ; K = 1. , 2. σ 2. ~ 我 G ( A. , B ) ．

吉布斯采样器[1]条件后验在分析上是可处理的
拉索膜

β J | σ 2. , λ ~ 拉普拉斯 ( 0 , σ / λ ) ; J = 0 , ．. , P ． σ 2. ~ 我 G ( A. , B ) ．

系数是独立的，这是一个先验。

吉布斯采样器[10]条件后验在分析上是可处理的

工具书类

[1]乔治，E.I.和R.E.麦卡洛赫。“通过吉布斯抽样进行变量选择。”美国统计协会杂志．第88卷，第423号，1993年，第881-889页。

Gelfand, a.e.和a.f. M. Smith。“基于采样的边际密度计算方法”。美国统计协会杂志。1.990年第85卷，第398-409页。

格尔曼，J. B.卡林，H. S.斯特恩，D. B.鲁宾。贝叶斯数据分析,2.。博卡拉顿，查普曼和霍尔/CRC, 2004。

[4] 戈登、新泽西、D.J.萨尔蒙德和A.F.M.史密斯。“非线性/非高斯贝叶斯状态估计的新方法。”雷达与信号处理。第140卷，1993年，第107-113页。

[5] 使用马尔可夫链的蒙特卡罗抽样方法及其应用生物计量学。1.970年第57卷，第97-109页。

[6]马林，J.M.和C.P.罗伯特。贝叶斯核心:计算贝叶斯统计的实用方法。纽约:施普林格Science+Business Media, LLC, 2007。

[7] 纽约大都会、A.W.Rosenbluth、M.N.Rosenbluth、A.H.Teller和E.Teller。“用快速计算机计算状态方程。”J.化学。物理。1.953年第21卷，第1087-1091页。

[8] 使用哈密顿动力学的MCMC〉，载于S.Brooks、A.Gelman、G.Jones和X-L.Meng（编辑）马尔可夫链蒙特卡罗手册。佛罗里达波卡拉顿:查普曼和霍尔/CRC, 2011。

[9]尼尔，r。m。切片取样。"《统计年鉴》。2.003年第31卷，第705-767页。

[10]帕克，T，和g。卡塞拉。“贝叶斯套索”。美国统计协会杂志．2.008年第103卷第482号，第681-686页。

另见

|||||||

相关的话题

计量经济学工具箱文件

金宝app
用MATLAB建模金融风险的实用指南

用MATLAB建模金融风险的实用指南

下载电子书