离散马尔可夫链对象框架概述

的dtmc对象框架提供了建模和分析离散马尔可夫链的基本工具。该对象支持具有有限数量金宝app状态的链，这些状态在离散时间中演化，具有时间均匀的过渡结构。

dtmc用a标识每个马尔可夫链NumStates——- - - - - -NumStates转移矩阵P，与初始状态无关x₀或者说初始状态分布π₀．你可以指定P无论是右随机矩阵还是经验计数矩阵。

的mcmix函数是备选马尔可夫链对象创建者;它生成一个具有指定的零模式和随机转换概率的链。mcmix非常适合创建链与不同的混合时间的测试目的。

要可视化与链关联的有向图或有向图，请使用graphplot对象的功能。graphplot类似于情节一个MATLAB的对象函数^®有向图对象，但它包括分析马尔可夫链结构的额外功能。参数设置突出显示通信类(即，强连通有向图的分量)和影响收敛的特定特征，如递归性、瞬态性和周期性。您可以突出显示转换概率P通过使用热图强度着色图形边缘。

为了将链中的大规模结构可视化，graphplot可以将通信类压缩为代表节点。该选项基于冷凝的对象函数有向图对象。

的分类对象函数是图形中类高亮显示的数值模拟。分类返回决定限制行为的通信类的特征。状态分类结合了图论算法，例如bfsearch(宽度优先搜索)对象函数的MATLAB图对象，但更直接的矩阵计算，具体到马尔可夫链理论。的子链方法允许您从链中提取特定的通信类以进行进一步分析。

的isreducible而且isergodic对象函数给出链结构的简明摘要。它们共同为唯一极限分布的存在提供了必要和充分条件 $${\pi }^{\ast }$$,在那里 $${\pi }^{\ast }＝{\pi }^{\ast }P$$而且 $${\pi }_0\to {\pi }^{\ast }$$对于每个初始分布π₀．的渐近对象函数计算 $${\pi }^{\ast }$$，如果存在，利用特征值分析估计混合时间。的eigplot对象函数绘制的特征值P．所返回的特征值图的示例eigplot．

收敛的一个障碍是周期性。的懒惰的对象函数通过调整状态惯性来消除周期性(即通过对的对角线元素进行加权)P)在链中产生指定数量的“惰性”。限制分布不受这些转换的影响。

的模拟而且重新分配当流程从指定的初始状态或分布演变时，对象函数提供了流程的实现。的simplot而且distplot对象函数提供各种可视化。该图是一个分布图的例子，显示了从均匀初始状态分布开始的状态分布的演化。

马尔可夫链分析工作流

你可以用两种方式开始构建一个马尔可夫链模型对象:

对于一个计量经济学模型的建立者来说，选择的最重要的结果是P是链的渐近行为。为了理解这种行为，识别并分离瞬态状态(返回时间概率渐近趋近于0的状态)和循环状态(返回时间概率渐近趋近于1的状态)。短暂性和递归性是通信类中所有状态共享的属性。属性的马尔可夫链对象可以直观地确定状态是瞬时的还是循环的graphplot对象函数，并指定“ColorNodes”,真的．的输出分类对象函数为评价提供了数值工具。该图是一个带有分类节点的有向图示例。

有向图的压缩视图通过将每个通信类合并为一个“超级节点”简化了这种计算。在压缩图中，可以通过超节点的出度很容易地识别瞬态和递归(出度大于0表示瞬态)。不可约链由一个单一的，必须循环的，通信类组成。Unichains由单个循环类和任意数量的卫星瞬态类组成。单链保持不可约链的理想极限行为。考虑压缩图通常是修剪不相关的瞬态链的前导。的子链函数修剪瞬态类链。该图是前一个图中有向图的压缩视图。

统一极限行为的两个主要障碍是:

的组合graphplot而且分类对象函数可以识别这些问题。如果一个链是可约的而不是单链的，那么通常会在独立的循环类之间拆分分析，或者完全重新制定链。如果一个链是周期性的(也就是说，它包含一个周期性的循环类)，但是整体结构捕获了应用程序的基本细节，则懒惰的对象函数提供了一种补救方法。的对角线元素产生扰动P消除周期性，不影响渐近性。

的isreducible而且isergodic对象函数总结状态分类。每条链都有一个平稳分布 $${\pi }^{\ast }$$,在那里 $${\pi }^{\ast }＝{\pi }^{\ast }P$$的结果P是随机的，特征值为1。如果链是不可约的，则平稳分布是唯一的。然而，不可约性虽然是充分的，但并不是唯一性的必要条件。单链还导致在瞬态状态下具有零概率质量的唯一平稳分布。在这方面，状态分类分析是必不可少的，因为isreducible返回真正的只有当链作为一个整体由单个通信类组成时。isreducible返回假对于任意的单链，在这种情况下，您必须确定瞬态类是否是模型的相关部分。

遍历性,或原始性质，是不可约性和非周期性的结合。遍历链具有唯一的极限分布，即:π₀收敛于 $${\pi }^{\ast }$$对于每个初始分布π₀．您可以通过使用来确定整个链是否是遍历的isergodic．该函数通过计算唯一的循环类来识别遍历单链。如果一个链不可约且不是遍历的，那么它就是周期性的~ tfirreduc+~ tfergo＝假,在那里tfirreduc而且tfergo由isreducible而且isergodic,分别。

一旦你确认了一个链是遍历的，你就可以通过使用渐近对象的功能。渐近返回极限分布 $${\pi }^{\ast }$$以及混合时间的估计，这是瞬态行为衰减的时间常数。不可约非负矩阵的Perron-Frobenius定理(见[1])对解释这些结果很有用。任何随机矩阵的谱半径都是1。周期矩阵k,有k特征值均匀地分布在单位圆上k团结的根源。单位圆内最大特征值的大小决定了瞬态的衰减速率。的eigplot对象函数提供此信息的快速可视化。这个图是一个周期为3的马尔可夫链的特征值图。

不管链的渐近性质如何，你可以应用有限步分析来研究它的混合速率。的hitprob而且hittime函数返回目标状态子集的命中概率和期望首次命中时间，从链中的每个状态开始。这两个函数都可以选择用节点颜色绘制有向图，以指定命中概率或次数。该图显示了一个有向图示例，其中节点颜色指定了预期的首次命中时间。有向图还指示开始状态对目标是否遥远。

模拟和再分配允许您在链上生成难以直接从理论推导的统计信息。的模拟而且simplot对象函数，以及重新分配而且distplot对象函数，为此类分析提供计算和图形化工具。模拟例如，在链中生成独立的随机游走。与模拟在计量经济学工具箱™其他地方的对象函数，相关统计的集合平均在预测中发挥重要作用。相应的simplot对象函数提供了几种可视化方法。该图显示了在前一个图中的周期马尔可夫链中，经过100次长度为10步的随机行走后所访问的状态的比例。