离散时间马尔可夫链对象框架综述

的dtmc对象框架为离散马尔可夫链的建模和分析提供了基本工具。该对象支持具有有限数量金宝app状态的链，这些状态在离散时间内演化，具有时间齐次的过渡结构。

dtmc用a表示每个马尔可夫链NumStates-借-NumStates转移矩阵P，与初始状态无关x₀或者说状态的初始分布π₀. 您可以指定P作为右随机矩阵或经验计数矩阵。

的麦克米克斯函数是另一个马尔可夫链对象创建器;它生成一个具有指定的零模式和随机转移概率的链。麦克米克斯非常适合创建具有不同混合时间的链进行测试。

要可视化与链相关的有向图或有向图，请使用葡萄园对象的功能。葡萄园类似于情节目标函数的一个MATLAB^®有向图对象，但它包含用于分析马尔可夫链结构的附加功能。参数设置突出显示通信类（即，强连通（有向图的组成部分）和影响收敛的特定特征，如重现性、瞬时性和周期性。您可以在中突出显示转移概率P通过使用热图强度给图形边缘着色。

为了可视化链上的大型结构，葡萄园可以将通信类压缩到具有代表性的节点。这个选项是基于冷凝目标函数有向图对象。

的分类对象函数是图形中类高亮显示的数值模拟。分类返回决定限制行为的通信类的特征。状态分类结合了图论算法，如搜索(宽度优先搜索)的一个MATLAB目标函数图对象，但更直接的矩阵计算特定于马尔可夫链理论。这个子链方法允许您从链中提取特定的通信类以进行进一步分析。

的可教育和伊瑟戈迪奇目标函数给出了链结构的简明总结。它们共同提供了存在唯一极限分布的充分必要条件 $${\pi }^{\ast }$$哪里 $${\pi }^{\ast }＝{\pi }^{\ast }P$$和 $${\pi }_0\to {\pi }^{\ast }$$对于每个初始分布π₀．的渐近目标函数计算 $${\pi }^{\ast }$$，并使用特征值分析估计混合时间eigplot的特征值绘制P．这个图显示了一个特征值图的例子eigplot．

收敛的一个障碍是周期性。的懒惰的对象函数通过调整状态惯性来消除周期性(即通过对的对角元素进行加权P)在链中产生指定数量的“惰性”。极限分布不受这些变换的影响。

的模拟和再分配当流程从指定的初始状态或分布发展时，对象函数提供流程的实现。的傻瓜和distplot对象函数提供各种可视化。这张图是一个分布图的例子，显示了从一个均匀的初始状态分布开始的状态分布的演化。

马尔可夫链分析工作流

可以通过两种方式开始构建马尔可夫链模型对象：

对于一个计量经济学模型的建立者来说，最重要的结果是选择P是链的渐近行为。为了理解这种行为，识别并分离瞬态（返回时间概率渐近为零的状态）和重现状态（返回时间概率渐近为一的状态）。瞬时性和重复性是通信类中所有状态共享的属性。要直观地确定状态是暂时的还是经常性的，请将马尔可夫链对象传递给葡萄园对象函数和指定“ColorNodes”,真的. 另一种选择是分类目标函数为评估提供了数值工具。此图是具有分类节点的有向图的示例。

有向图的压缩视图通过将每个通信类合并到一个“超节点”来简化这个计算。在压缩图中，您可以通过超节点的输出度(大于0的输出度意味着瞬变)轻松识别瞬变和递归。不可约链由一个单一的、必然重复的、交流的类组成。Unichains由单个循环类和任意数量的卫星瞬态类组成。单链保持了不可约链的理想极限行为。对凝聚图的考虑通常是对无关暂态链进行修剪的前兆。的子链函数修剪瞬态类链。这个图是前一个图中有向图的压缩视图。

统一限制行为的两个主要障碍是:

结合葡萄园和分类对象函数可以识别这些问题。如果一条链是可约的，而不是单链，则通常在独立的递归类之间拆分分析，或者完全重新构造该链。如果一个链是周期性的（也就是说，它包含一个周期性的类），但是整个结构捕获了应用程序的基本细节，那么懒惰的对象函数提供了补救措施。惰链扰动的对角元素P消除周期性，使渐近性不受影响。

的可教育和伊瑟戈迪奇对象函数总结状态分类。每条链都有一个平稳分布 $${\pi }^{\ast }$$哪里 $${\pi }^{\ast }＝{\pi }^{\ast }P$$作为…的结果P随机的，特征值为1。如果链是不可约的，平稳分布是唯一的。然而，不可约性虽然充分，但不是唯一性的必要条件。单链还导致唯一的平稳分布在瞬态中具有零概率质量。在这方面，状态分类离子分析是必要的，因为可教育返回真正的仅当链作为一个整体由单个通信类组成时。可教育返回错误的对于任意的单链，在这种情况下，您必须决定瞬态类是否是模型的相关部分。

遍历性,或原始性质，是不可约性和非周期性的结合。遍历链具有唯一的极限分布，即，π₀收敛于 $${\pi }^{\ast }$$对于每个初始分布π₀．你可以通过使用，来确定整个链是否是遍历的伊瑟戈迪奇．这个函数通过计算唯一的递归类来识别遍历的单链。一个链是周期性的，如果它是不可约的且不是遍历的，也就是说，如果~ tfirreduc+~ tfergo＝错误的哪里tfirreduc和tfergo被退回可教育和伊瑟戈迪奇,分别。

一旦你确定了一个链是遍历的，你就可以用渐近对象的功能。渐近返回极限分布 $${\pi }^{\ast }$$以及混合时间的估计，混合时间是瞬态行为衰减的时间常数。不可约非负矩阵的Perron-Frobenius定理(见［１］)有助于解释这些结果。任何随机矩阵的谱半径都为1。周期矩阵，周期的k,有k沿单位圆均匀分布的特征值k根的团结。单位圆内最大本征值的大小决定了瞬态的衰减率。的eigplot对象函数提供了此信息的快速可视化。该图是周期为3的马尔可夫链的特征值图。

不管链的渐近性质如何，你都可以通过应用有限步分析来研究它的混合速率。的hitprob和hittime函数返回从链中的每个状态开始的目标状态子集的命中概率和预期的第一次命中时间。这两个函数都可以用指定命中概率或时间的节点颜色绘制有向图。此图显示了一个有向图示例，其中节点颜色指定了预期的第一次命中时间。有向图还指示初始状态是否为目标的远程状态。

模拟和再分配允许您生成链上的统计信息，这些信息很难直接从理论中得到。的模拟和傻瓜对象函数，以及再分配和distplot对象函数，为此类分析提供计算和图形工具。模拟，会在链中产生独立的随机遍历。与模拟和Econometrics Toolbox™中其他地方的对象函数，依赖统计数据的集合平均在预测中发挥了重要作用。相应的傻瓜对象函数提供了几种可视化方法。这张图显示了在前一张图中通过周期马尔可夫链的100次长度为10步的随机漫步后访问的状态的比例。