模型选择的信息标准
错误规范测试,例如似然比(lratiotest
)、拉格朗日乘数(航空航天
)和Wald (waldtest
)测试,仅适用于比较嵌套模型。相比之下,信息标准是模型选择工具,用于比较适合相同数据的任何模型——被比较的模型不需要嵌套。
信息标准是基于可能性的模型拟合度量,包括对复杂性的惩罚(具体地说,参数的数量)。不同的信息标准通过惩罚的形式来区分,并可以支持不同的模型。
让
表示模型的最大对数似然目标函数的值k参数适合T数据点。的aicbic
函数返回以下信息标准:
赤池信息准则。- AIC从信息熵(Kullback-Leibler divergence)的角度来比较模型。给定模型的AIC为
贝叶斯(施瓦茨)信息准则- BIC从决策理论的角度比较模型,以预期损失为衡量标准。给定模型的BIC为
修正AIC (AICc)-在小样本中,AIC倾向于过拟合。AICc在AIC中增加了一个二阶偏差修正项,以便在小样本中获得更好的性能。给定模型的AICc为
偏差修正项增加了相对于AIC的参数数量的惩罚。由于随着样本量的增加,该项趋于0,因此AICc渐近趋于AIC。
的分析[3]建议使用AICc
numObs / numParam
<40
.一致AIC (CAIC)-与BIC相比,CAIC对复杂模型施加了额外的惩罚。给定模型的CAIC为
汉南-奎因准则- HQC对复杂模型的惩罚比BIC对大样本的惩罚要小。给定模型的HQC为
无论信息标准是什么,当您比较多个模型的值时,标准的值越小,表明拟合越好、越节俭。
一些专家通过T.aicbic
属性时的缩放结果“正常化”
到的名称-值对参数真正的
.
使用计算信息标准aicbic
这个例子展示了如何使用aicbic
计算适合模拟数据的几个相互竞争的GARCH模型的信息标准。尽管这个例子使用了aicbic
,一些统计和机器学习工具箱™和计量经济学工具箱™模型拟合函数也在其估计摘要中返回信息标准。
模拟数据
从ARCH(1)数据生成过程(DGP)中模拟一个长度为50的随机路径
在哪里 是随机高斯级数的创新。
rng (1)%用于再现性DGP = garch(“拱”{0.1},“不变”, 0.5);T = 50;y =模拟(DGP,T);情节(y) ylabel (“创新”)包含(“时间”)
创建竞争模型
假设DGP未知,ARCH(1)、GARCH(1,1)、ARCH(2)和GARCH(1,2)模型适用于描述DGP。
对于每个竞争模型,创建一个garch
用于估计的模型模板。
Mdl(1) = garch(0,1);Mdl(2) = garch(1,1);Mdl(3) = garch(0,2);Mdl(4) = garch(1,2);
估计模型
使每个模型与模拟数据相匹配y
,计算对数似然,并抑制估计显示。
numMdl = numel(Mdl);logL = 0 (numMdl,1);% PreallocatenumParam = 0 (numMdl,1);为j = 1:numMdl [EstMdl,~,logL(j)] =估计(Mdl(j),y,“显示”,“关闭”);结果= summary (EstMdl);numParam(j) = results.NumEstimatedParameters;结束
计算和比较信息标准
对于每个模型,计算所有可用的信息标准。根据样本量将结果归一化T
.
[~,~,ic] = aicbic(logL,numParam,T,“正常化”,真正的)
ic =带字段的结构:Aic: [1.7619 1.8016 1.8019 1.8416] bic: [1.8384 1.9163 1.9167 1.9946] aicc: [1.7670 1.8121 1.8124 1.8594] caic: [1.8784 1.9763 1.9767 2.0746] hqc: [1.7911 1.8453 1.8456 1.8999]
集成电路
是一个一维结构数组,每个信息条件都有一个字段。每个字段包含一个测量向量;元素j
对应于产生对数似然的模型logL (
j
)
.
对于每个准则,确定产生最小值的模型。
[~,minIdx] = structfun(@min,ic);(Mdl (minIdx)。描述]“
ans =5 x1字符串GARCH(0,1)条件方差模型(高斯分布)GARCH(0,1)条件方差模型(高斯分布)GARCH(0,1)条件方差模型(高斯分布)GARCH(0,1)条件方差模型(高斯分布)GARCH(0,1)条件方差模型(高斯分布)
最小化所有标准的模型是ARCH(1)模型,它具有与DGP相同的结构。
参考文献
[1]Akaike Hirotugu。"信息论和最大似然原理的推广"在赤池博途论文选集,由伊曼纽尔·帕岑、田边邦夫和北川健四郎编辑,199-213。纽约:施普林格,1998。https://doi.org/10.1007/978-1-4612-1694-0_15.
[2]Akaike Hirotugu。《统计模型识别的新观点》IEEE自动控制汇刊19日,没有。6(1974年12月):716-23。https://doi.org/10.1109/TAC.1974.1100705.
[3]伯纳姆,肯尼斯·P·和大卫·r·安德森。模型选择与多模型推断:一种实用的信息理论方法.第二版,纽约:施普林格,2002年。
[4]汉南,爱德华·J·和巴里·g·奎恩。"自回归顺序的确定"皇家统计学会学报:B辑(方法学)41岁的没有。2(1979年1月):190-95。https://doi.org/10.1111/j.2517-6161.1979.tb01072.x.
[5]Lütkepohl, Helmut和Markus Krätzig,编辑。应用时间序列计量经济学.剑桥大学出版社,2004年第1版。https://doi.org/10.1017/CBO9780511606885.
[6]施瓦兹,吉迪恩。"估计模型的维度"统计年鉴6,不。2(1978年3月):461-64。https://doi.org/10.1214/aos/1176344136.
另请参阅
aicbic
|lratiotest
|航空航天
|waldtest