贝叶斯线性回归
线性回归是一个统计工具,用于:
的线性相关性或影响
预测 或说明 变量在响应 变量。根据未来预测数据预测或预测未来的反应。
的
为次
yt是观察到的响应。
xt是一个1 × (
p 的观测值的行向量p 预测因子。为了适应模型截距,x 1t = 1t .β是a (
p 的列向量,对应于组成列的变量的回归系数xt .εt为随机扰动,其均值为0,Cov(
ε ) =Ω .一般来说,Ω 是一个T ——- - - - - -T 对称的正定矩阵。为简单起见,假设扰动不相关且具有共同方差,即:Ω =σ 2我T×T .
的价值
经典与贝叶斯分析
要研究预测因子对响应的线性影响,或构建预测MLR,必须首先估计参数
一个
贝叶斯分析的主要成分
贝叶斯分析的主要目标之一是计算,或从样本
一个
似然函数 —样例中提供的参数信息。如果随机抽样,则MLR的可能性为的条件概率密度函数是
yt给出了参数和诱导的条件分布 εt.通常情况下, xt是一个固定的量。如果扰动是独立的,同方差的,高斯分布的,那么 ϕ(
yt ;xtβ ,σ 2)为带均值的高斯概率密度xtβ 和方差σ 2,估价为yt. 先验分布(或
先知先觉 在观察数据之前假设的参数分布。对参数施加先验分布假设比频率论分析更有优势:先验允许您在查看数据之前合并关于模型的知识。你可以通过调整先验方差来控制你对参数知识的置信度。指定高方差意味着您对参数了解甚少,并且您希望更重地衡量数据中关于参数的信息。指定低方差意味着您对参数的知识有很高的信心,并且您希望在分析中解释这些知识。在实践中,使用先验是为了方便,而不是遵循研究人员关于参数实际分布的意见。例如,您可以选择先验,以便相应的后验分布在同一分布族中。这些前后对被称为
共轭 分布。但是,先验的选择可能会影响估计和推断,因此您应该对估计执行敏感性分析。先验可以包含参数,称为
hyperparameters ,它们本身就有概率分布。这样的模型称为层次贝叶斯模型 .对于MLR,先验分布通常表示为
π (β ),π (σ 2).一个流行的选择是法向-逆-共轭模型 ,其中π (β |σ 2)为多元高斯或<一个href="//www.tatmou.com/kr/help/stats/multivariate-normal-distribution.html" class="a">多元正态一个>分布和π (σ 2)为逆伽马分布。
可以包含关节后部的分布
如果
后验性就像任何其他随机变量的联合概率分布一样,它包含了合并数据后关于参数的所有已知信息。参数估计和推断主要基于参数关于后验分布的函数积分。
后验估计与推断
后验估计和推断涉及到参数与后验函数的积分。常用的MLR参数估计和推断包括:
的期望值
β 给定的数据是这个量提供了一个自然的解释,是最小均方误差(MSE)估计器,也就是说,它最小化 对于其他损失,中值、模态或分位数可以是贝叶斯估计量。
的
最大先验估计 (MAP) -使后验分布最大化的参数值。根据数据,预测的反应 预测者的 是随机变量
后验预测分布 的概率分布的条件期望值
y 关于参数的后验分布。95%置信区间
β (或可信区间 )-集年代 这样P (β ∊年代 |y ,x ) =0.95。这个方程会产生无穷多个区间,包括:Equitailed间隔,即区间(
l ,U )如此P (β <l |y ,x ) =0.025和P (β >U |y ,x ) =0.025。最高后验密度(HPD)区域,它是产生指定概率的最窄的区间。它必然包含最大的后验值。
与频率置信区间的解释不同,贝叶斯置信区间的解释是,给定数据,概率是随机的
β 在区间(s)中年代 是0.95。这种解释是直观的,这是贝叶斯置信区间相对于频率置信区间的优势。变量包含的边际后验概率,也称为区域概率,由实施随机搜索变量选择(SSVS)产生,并指示预测变量在贝叶斯线性回归模型中是否不重要或冗余。在科学中,
β 具有多元双组分高斯混合分布。两个分量的均值都为零,但一个分量的方差大,另一个分量的方差小。无关紧要的预测因素可能接近于零;因此,它们来自方差较小的分量。SSVS样本来自2的空间p+ 1一个模型的排列,每个排列包括或不包括一个系数,具有最高后验密度的模型更常被抽样。区域概率由抽样模型导出。
集成方法取决于产品的功能形式
比如被积函数,
如果乘积是已知概率分布的核,那么
h (β ,σ 2)可以分析处理。当你选择先验和后验来形成共轭对时,通常会出现已知的核。在这些情况下,分布的前几个时刻通常是已知的,并且基于它们进行估计。有关计量经济学工具箱中贝叶斯线性回归模型框架提供的可分析的后验分布的详细信息,请参见<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">易于分析处理的后验一个>.否则,你必须使用数值积分技术来计算积分
h (β ,σ 2)关于后验分布。在一定条件下,可以用数值积分来实现蒙特卡罗 或马尔科夫链蒙特卡洛 (密度)抽样。要执行蒙特卡罗估计,您从概率分布中绘制许多样本,并对每次绘制应用适当的函数(
h (β ,σ 2)是函数中的一个因子),并对结果取平均值以近似积分。一种流行的蒙特卡罗技术是抽样重要性重抽样<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[6]一个>.当你不知道概率分布到一个常数,或者你知道所有参数的条件分布至少到一个常数时,你就可以实现MCMC。流行的MCMC技术包括吉布斯抽样<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[2]一个>,即Metropolis-Hastings算法<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[5]一个>,切片抽样<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[9]一个>.
有关计量经济学工具箱中贝叶斯线性回归模型在后验难以处理时的后验估计的详细信息,请参见<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">难分析的后验一个>.
易于分析处理的后验
计量经济学工具箱中的贝叶斯线性回归框架提供了几个先验模型规范,可产生分析上可处理的共轭边际或条件后验。该表标识了先验模型及其对应的后验模型。当您将先前的模型和数据传递给<一个href="//www.tatmou.com/kr/help/econ/conjugateblm.estimate.html">估计
, MATLAB®使用这些公式。当软件构造后验时,它假设响应数据
先验模型对象 | 先知先觉 | 边缘后验 | 条件后验 |
---|---|---|---|
conjugateblm |
β而且 |
|
|
semiconjugateblm |
β而且 | 分析棘手的 |
|
diffuseblm |
联合先验pdf是
|
|
|
mixconjugateblm |
|
尽管边缘后验在分析上是可处理的,但MATLAB认为它们难以实现可伸缩性(参见<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[1]一个>). | 分析处理如果
|
mixsemiconjugateblm |
|
分析棘手的 | 分析处理如果
|
lassoblm |
系数是先验独立的。 | 分析棘手的 |
|
表中:
Np+1(
米 ,Σ )表示(p + 1)多维多元正态分布,其中米 均值(a (p + 1)-乘1向量)和Σ 方差(a (p + 1)————(p + 1)对称,正定矩阵)。搞笑(
一个 ,B )表示具有形状的逆伽马分布一个 >0和scaleB > 0.pdf格式的搞笑 (一个 ,B )是X是一个
T ————(p + 1)预测器数据矩阵,即xjk 是观察j 的预测k .第一列完全由截距的列组成。y是一个
T 响应的-by-1向量。tp+1(
米 ,Σ ,ν )表示(p + 1)-维多元t 分布,米 是位置,Σ 是刻度,和ν 就是自由度。的最小二乘估计
β .V*j - 1为先验方差因子(
mixconjugate
)或方差(mixsemiconjugate
)βj 当γj= 1, and 它的先验方差因子是什么V *j2γj= 0。 V*是a (
p + 1)————(p + 1)对角矩阵,和元素j ,j 是γj V*j - 1+ (1 -)γj )V *j2.mixconjugateblm
而且<一个href="//www.tatmou.com/kr/help/econ/mixsemiconjugateblm.html">mixsemiconjugateblm
模型支持先前的金宝app平均规格β 而不是高斯混合模型的两个分量的默认零向量。如果你改变默认的先验均值β ,则相应的条件后验分布包括先验均值,其方式与的条件后验分布相同<一个href="//www.tatmou.com/kr/help/econ/conjugateblm.html">conjugateblm
而且<一个href="//www.tatmou.com/kr/help/econ/semiconjugateblm.html">semiconjugateblm
模型包括先验均值。λ是固定套索收缩参数。
InvGaussian (
米 ,v )表示带均值的逆高斯(Wald)米 和形状v .
难分析的后验
计量经济学工具箱中的贝叶斯线性回归框架提供了几个先前的模型规范,这些规范产生了分析上难以处理,但灵活的边缘和条件后验。该表确定了先验模型和蒙特卡罗采样技术,当您将先验模型和数据传递给MATLAB时,MATLAB用于执行后验估计、模拟和推断<一个href="//www.tatmou.com/kr/help/econ/conjugateblm.estimate.html">估计
,<一个href="//www.tatmou.com/kr/help/econ/conjugateblm.simulate.html">模拟
,或<一个href="//www.tatmou.com/kr/help/econ/conjugateblm.forecast.html">预测
.
先验模型对象 | 先知先觉 | 边缘后验模拟技术 | 条件后验的模拟技术 |
---|---|---|---|
semiconjugateblm |
β而且 | 吉布斯采样器<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[2]一个> | 条件后验在分析上是可处理的 |
empiricalblm |
特征是从各自的先验分布中抽取 | 抽样重要性,重新抽样<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[4]一个> | 不支持金宝app |
customblm |
以关节pdf为特征。在一个声明的函数中 |
|
|
mixconjugateblm |
|
吉布斯采样器<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[1]一个> | 条件后验在分析上是可处理的 |
mixsemiconjugateblm |
|
吉布斯采样器<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[1]一个> | 条件后验在分析上是可处理的 |
lassoblm |
系数是先验独立的。 | 吉布斯采样器<一个href="//www.tatmou.com/kr/help/econ/what-is-bayesian-linear-regression.html" class="intrnllnk">[10]一个> | 条件后验在分析上是可处理的 |
参考文献
[1]乔治,e。I。和r。e。麦卡洛克。"通过吉布斯抽样的变量选择"
[2]盖尔凡德,a.e., a.f.m.史密斯。基于抽样的计算边际密度的方法
[3] A.格尔曼,J. B.卡林,H. S.斯特恩和D. B.鲁宾。
[4]戈登,n.j., d.j.萨尔蒙德,a.f.m.史密斯。非线性/非高斯贝叶斯状态估计的新方法
[5]黑斯廷斯,W. K.“使用马尔可夫链的蒙特卡罗抽样方法及其应用”。
[6]马林,J. M.和C. P.罗伯特。
[7] Metropolis, N. A. W. Rosenbluth, M. N. Rosenbluth, A. H. Teller和E. Teller。《用快速计算机计算状态方程》
尼尔,r.m。"MCMC使用哈密顿动力学"布鲁克斯、盖尔曼、琼斯和x.l。孟(eds)。
尼尔,R. M.《切片抽样》。
[10]帕克、T.和G.卡塞拉。“贝叶斯套索。”
另请参阅
bayeslm
|conjugateblm
|semiconjugateblm
|diffuseblm
|customblm
|empiricalblm
|估计
|预测