主要内容

贝叶斯线性回归

线性回归是一种统计工具,用于:

  • 研究的线性依赖或影响预测或说明变量在响应变量。

  • 根据未来预测数据预测或预测未来的反应。

多元线性回归(高)模型

y t x t β + ε t

为次t=1,…,T:

  • yt为观察到的响应。

  • xt是一个1 - (p+ 1)的观测值的行向量p预测因子。为了适应模型拦截,x1t= 1 for allt.

  • β是(p+ 1)组成列的变量对应的回归系数的列向量xt

  • εt为均值为0,Cov(ε) =Ω.一般来说,Ω是一个T——- - - - - -T对称正定矩阵。为简单起见,假设扰动是不相关的且具有共同方差,即,Ω=σ2T

的值β表示相应预测因子的预期边际贡献yt.当预测xj增加一个单位,y预计增长多少βj单位,假设所有其他变量保持不变。εt真实响应和预期响应之间的随机差异是多少t.

经典与贝叶斯分析

要研究预测器对响应的线性影响,或构建预测MLR,必须首先估计参数β和σ2频率论的统计学家使用经典的估计方法,也就是说,他们把参数看作是固定的但未知的量。常用的频率估计工具包括最小二乘和最大似然。如果扰动是独立的,同方差的,和高斯或<一个href="//www.tatmou.com/jp/help/stats/normal-distribution.html" class="a">正常的,则最小二乘和最大似然得到等价估计。推论,如参数估计的置信区间或预测区间,是基于扰动的分布。有关MLR分析的频率主义者方法的更多信息,请参见<一个href="//www.tatmou.com/jp/help/econ/time-series-regression-i-linear-models.html" class="a">时间序列回归I:线性模型或<一个href="//www.tatmou.com/jp/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[6],Ch。3。计量经济学工具箱™中的大多数工具都是频繁的。

一个贝叶斯方法估计和推理的MLR模型处理β和σ2作为随机变量而不是固定的未知数。一般来说,贝叶斯分析的目标是通过合并来自观测数据的参数信息来更新参数的概率分布。在对数据进行抽样之前,你对参数的联合分布有一些信念。在抽样之后,您将由数据分布所诱发的可能性与您的先验信念结合起来,组成给定数据的参数的联合条件分布。结果分布的特征和函数是估计和推断的基础。

主要贝叶斯分析组件

贝叶斯分析的主要目标之一是计算,或从后验分布(或后).后验是使用(或给定)数据更新的参数的分布,由以下数量组成:

  • 一个似然函数—样本提供的参数信息。如果你随机抽样,那么MLR的可能性是

    β σ 2 | y x t 1 T P y t | x t β σ 2

    P y t | x t β σ 2 条件概率密度函数是yt给定参数并由条件分布诱导εt.通常情况下,xt是一个固定的量。如果扰动是独立的,同方差的,高斯的,那么

    β σ 2 | y x t 1 T ϕ y t x t β σ 2

    ϕ(ytxtβ,σ2)为带均值的高斯概率密度xtβ和方差σ2,评估yt

  • 先验分布(或先知先觉)的参数-你在观察数据之前假设的参数的分布。对参数施加先验分布假设比频繁分析更有优势:先验允许您在查看数据之前整合关于模型的知识。你可以通过调整先验方差来控制你对参数知识的信心。指定高方差意味着您对参数了解得很少,并且希望更重地衡量有关参数的数据中的信息。指定低方差意味着您对参数的知识有很高的信心,并且您希望在分析中考虑到这些知识。

    在实践中,使用先验是为了方便,而不是遵循研究人员关于参数实际分布的意见。例如,您可以选择先验,使相应的后验分布在相同的分布族中。这些前后对被称为前后对共轭分布。但是,先验的选择可能会影响估计和推断,因此您应该使用估计执行敏感性分析。

    Priors可以包含参数,调用hyperparameters它们本身也可以有概率分布。这样的模型叫做分层贝叶斯模型.

    对于MLR,先前的分布通常表示为π(β),π(σ2).一个流行的选择是normal-inverse-gamma共轭模型,在这π(β|σ2)为多元高斯或<一个href="//www.tatmou.com/jp/help/stats/multivariate-normal-distribution.html" class="a">多元正态分布和π(σ2)为gamma分布的逆。

  • 你可以包含关节后验分布β和σ2使用贝叶斯规则,即,

    π β σ 2 | y x π β π σ 2 β σ 2 | y x β σ 2 π β π σ 2 β σ 2 | y x d β d σ 2 π β π σ 2 β σ 2 | y x

    如果β取决于σ2,则其优先级应替换为π(β|σ2).分母是给出预测器后响应的分布,在你观察之后它变成了一个常数y.因此,后验常写成与分子成正比。

    后验概率和其他随机变量的联合概率分布一样,它包含了所有已知的参数信息。参数估计和推论主要基于参数相对于后验分布的函数积分。

    后验估计与推理

    后验估计和推理涉及参数关于后验的积分函数。MLR参数的常用估计量和推论包括: