离散时间马尔可夫链,MATLAB仿真软件金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

离散时间马尔可夫链

离散时间马尔可夫链是什么?

考虑随机过程中值状态空间。一个马尔可夫过程进化的方式是独立的路径,导致当前状态。也就是说,当前状态包含所有必要的信息来预测未来路径的条件概率。这被称为特征马尔可夫性质。虽然一个马尔可夫过程是一种特定类型的随机过程,它广泛用于建模更改的状态。马尔可夫过程的特殊性导致了一个相对完整的理论。

马尔可夫过程可以用不同的方法限制,导致越来越简洁的数学公式。下列条件的限制。

状态空间可以被限制在一个离散集。这是指示性的特征马尔可夫链。马尔可夫转移概率的财产“链接”链中的每个状态。
如果状态空间是有限的,链有限状态。
如果进程的发展在离散时间的步骤中,链离散时间。
如果马尔可夫性质是长期有效的,链均匀。

计量经济学的工具箱™包括dtmc模型对象代表一个有限状态离散时间齐次马尔可夫链。即使有限制,dtmc对象具有很大的适用性。它足够健壮的服务在许多建模场景在计量经济学,数学理论是适合MATLAB矩阵代数^®。

有限状态马尔可夫链有双重理论:一个在矩阵分析,另一个在离散图形。对象的功能dtmc对象突出这种二元性。函数允许您数值和图形表示形式之间来回移动。您可以使用工具最适合特定方面的调查。特别是,传统的特征值方法确定转移矩阵的结构是跟踪与可视化的进化链通过其关联的有向图。

任何马尔可夫链的一个关键特性是其限制的行为。这个特性在计量经济学应用程序尤其重要,模型的预测性能取决于它的随机组件都有一个定义良好的分布、渐近。对象的功能dtmc对象允许您调查的瞬态和稳态行为链和编制了一个独特的属性限制。其他函数计算极限分布估计的收敛率,或混合时间。

模拟一个合适的马尔可夫链的基本随机过程是应用程序的基础。模拟可以采取的形式生成一个随机序列的状态转换从一个初始状态或从整个分布的时间演化的状态。仿真允许您确定一个链的统计特征,可能不是很明显的规范或理论。在计量经济学,马尔可夫链成为更大的组件状态变换模型,代表了经济环境的变化。的dtmc对象包括函数模拟和可视化马尔可夫链的时间演化。

离散时间马尔可夫链理论

任何有限状态离散时间齐次马尔可夫链可以表示,在数学上,通过它n——- - - - - -n转移矩阵P,在那里n的状态数,或有向图D。虽然两个表示equivalent-analysis中执行一个域导致等效二的结果相当大的差异分析问题的概念和产生的算法解决方案。金宝搏官方网站这种二分法是最好的说明了比较理论的发展[7]例如,发展[6]和[9]。或者,使用MATLAB,二分法可以通过比较算法的基础上图对象及其功能与矩阵分析的核心功能。

有限状态过程的完全图边缘和每个节点之间的转移概率我和其他节点j。节点代表状态的马尔可夫链。在D如果矩阵的条目P_ij是0,那么边缘连接状态我和j是删除。因此,D只显示可行的状态之间的转换。同时,D可以包括self-loops表明非零概率P_二世的过渡状态我回到本身。Self-transition概率被称为状态惯性或持久性。

在D,一个走国家间的我和j是连接状态的序列开始的吗我结束j,至少两个。一个路径散步不重复。一个电路是走的我=j,但没有其他重复的国家存在。

状态j是可获得的,或可访问的,从状态我,表示 $我 \to j$ ,如果有一个走我来j。美国沟通,表示 $我 \leftrightarrow j$ ,如果每个可从其他连接。交流是状态空间上的等价关系,划分成通信类。在图论中,州被称为通信强连通分量。马尔可夫过程,单个国家的重要属性是由所有其他国家共享通信类,所以成为类本身的属性。这些属性包括:

递归式——从所有国家可获得的属性是可获得的。这个属性相当于一个渐近回报的概率等于1。每个链都有至少一个周期性的类。
无常——不复发的性质,也就是说,访问的可能性没有返回的状态。这个属性相当于一个渐近的概率返回0。类与无常对渐近行为没有影响。
周期性——骑自行车在多个子类的属性在类和留住一些内存的初始状态。的最大公约数的状态是所有电路的长度包含状态。州或类1期非周期。Self-loops各州确保非周期性和形成的基础懒惰的链。

连锁作为一个整体的一个重要属性不可约性。链是不可约如果链由一个通信类。状态或类属性成为整个链的性质,简化了描述和分析。泛化是一个unichain,这是一个链组成的一个经常性类和任意数量的瞬态类。重要的渐近分析相关可以集中在复发性类。

一个浓缩图,它是由每个类的国家整合为一个supernode,简化视觉对整体结构的理解。在这个图中,单一定向边缘之间的出错导致C1和C2对应于类之间的独特的转型方向。

凝聚图显示,C1是瞬态和C2是复发。C1的出度是积极的,这意味着无常。因为C1包含自身环,非周期。C2是定期与一段3。单一国家的three-cycle C2,在更一般的周期类,子类进行沟通。链是一个可约unichain。想象一个定向边缘C2 C1。在这种情况下,C1和C2是通信类,他们崩溃成一个单一的节点。

遍历性,一个理想的属性,结合了不可约性和非周期性和担保统一限制行为。因为不可约性在本质上是一个连锁的属性,不是一个类属性,遍历性连锁性质。unichains一起使用时,遍历性意味着独特的复发性类是遍历。

这些定义,可以总结最根本的存在性和唯一性定理1×——有关n平稳分布 $π^{*}$ ,在那里 $π^{*} = π^{*} P$ 。

如果P是正确的随机吗 $π^{*} = π^{*} P$ 总是有一个概率向量的解决方案。因为每一行P总结,P有权利的特征值特征向量。具体地说,e= 1_n,一个n1的向量。所以,P也有一个左特征向量 $π^{*}$ 的特征值。由于Perron-Frobenius定理, $π^{*}$ 是负的,可以标准化生产一个概率向量。
$π^{*}$ 当且仅当是独一无二的呢P代表一个unichain。一般来说,如果一个链包含k复发性类,π^*=π^*P有k线性独立的解决方案。金宝搏官方网站在这种情况下,P^米收敛, $米 \to \infty$ ,但不相同的行。
每一个初始分布π₀收敛于 $π^{*}$ 当且仅当P表示一个遍历unichain。在这种情况下, $π^{*}$ 是一个极限分布。

Perron-Frobenius定理的结果是一组与非负的特征值,不可约矩阵。应用马尔可夫链,结果可以概括如下。对于一个有限状态unichain,P有一个特征值λ₁= 1 (Perron-Frobenius特征值)和一篇非负左特征向量 $π^{*}$ (可以归一化概率向量)和右特征向量e= 1_n。另一个特征值λ_我满足 $| λ_{我} | \leq 1$ ,我= 2,…n。如果unichain或唯一的复发性类unichain非周期,不平等是严格的。当有周期性的时期k,有k特征值在单位圆k根的团结。如果unichain遍历P^米渐近收敛于 $e π^{*}$ 作为 $米 \to \infty$ 。误差趋于0至少一样快 $米^{问} {| λ_{年代} |}^{米}$ ,在那里λ_年代是第二大特征值的大小和问的多重性λ_年代。

收敛的速度 $π^{*}$ 取决于第二大特征值模(SLEM) $| λ_{SLEM} |$ 。可以表达的光谱的差距,这是 $1 - | λ_{SLEM} |$ 。大差距产生更快的收敛。的混合时间是一个特征时间偏离平衡,总变异距离。因为收敛指数,是一个混合时间衰变的一个因素e¹是

$T_{混合} = - \frac{1}{日志 | λ_{SLEM} |} 。$

鉴于收敛定理,混合时间应该被遍历unichains的上下文中。

相关定理理论的非负不可约矩阵给方便特征一致收敛的两个重要属性:还原性和遍历性。假设Z是指示器或零模式的P,即矩阵的非零项P。然后,P是不可约当且仅当所有条目的 ${(我 + Z)}^{n - 1}$ 是积极的。Wielandt定理[11]州P遍历当且仅当所有条目的P^米是积极的 $米 > {(n - 1)}^{2} + 1$ 。

Perron-Frobenius定理及相关非建设性的平稳分布的结果 $π^{*}$ 。有几种方法计算的极限分布的遍历链。

定义返回时间T_二世州我最小数量的步骤回到状态我后开始在国家我。此外,定义平均恢复时间τ_二世的期望值T_二世。然后, $π^{*} = (\begin{matrix} 1 / τ_{11} & \dots & 1 / τ_{n n} \end{matrix}]$ 。这个结果有更直观的内容。个人平均混合时间可以估计蒙特卡罗模拟。然而,模拟和评估的困难收敛的开销,使蒙特卡罗模拟不切实际的一般方法。
因为P^米方法与所有行等于一个矩阵 $π^{*}$ 作为 $米 \to \infty$ ,任何一行的“高功率”P接近π^*。虽然这个方法很简单,它包括选择适当收敛宽容和大米为每个p .一般来说,混合时间分析的并发症也使这个计算不切实际。
线性系统 $π^{*} P = π^{*}$ 可以增强与约束 $\sum π^{*} = 1$ 形式 $π^{*} 1_{n ——- - - - - - n} = 1_{n}$ ,1_{n——- - - - - -n}是一个n——- - - - - -n矩阵的。使用约束,这个系统

$π^{*} (我 - P + 1_{n ——- - - - - - n}) = 1_{n} 。$

系统可以有效地解决与MATLAB反斜杠符是数值稳定的,因为遍历P沿着主对角线(否则不能拥有的P将可约)。该方法建议[5]。
因为 $π^{*}$ 独特的左特征向量与Perron-Frobenius相关特征值的P、分类特征值和相应的特征向量识别 $π^{*}$ 。因为约束 $\sum π^{*} = 1$ 不属于特征值问题, $π^{*}$ 需要规范化。该方法利用MATLAB的强大的数字eigs函数和方法实现的渐近目标函数的dtmc对象。

对于任何马尔可夫链,a说法分析可以建议其渐近性质和混合率。说法分析包括这些数量的计算:

的击中概率 $h_{我}^{一个}$ 的概率是打过状态子集的状态吗一个(目标),从状态我在链。明确,击中概率显示哪些国家可以从其他国家; $h_{我}^{一个}$ > 0意味着目标一个是可以从状态我。如果 $h_{我}^{一个}$ = 0,目标一个是遥不可及的状态我,这意味着国家我是远程为目标。如果一个形成一个经常性的类, $h_{我}^{一个}$ 是吸收概率。
的预计首中时 $k_{我}^{一个}$ 是长期平均数量达到所需的时间步骤一个第一次,从状态我。 $k_{我}^{一个}$ =∞意味着下列备选方案之一:
- 起始状态我是远程为目标一个。
- 起始状态我是remote-reachable为目标一个;也就是说, $h_{我}^{一个}$ > 0, $h_{我}^{B}$ > 0,B是一个反复出现的类不包含任何国家吗一个。
如果一个形成一个经常性的类, $k_{我}^{一个}$ 是预期的吸收时间。