确定马尔可夫链的渐近行为

打开实时脚本

这个例子展示了如何计算马尔可夫链的平稳分布，估计它的混合时间，并确定链是否遍历和可约。该示例还展示了如何在不影响渐近行为的情况下从链中去除周期性。

考虑这个理论的，随机过程的右随机转移矩阵。

$P ＝［ \begin{array}{cccccccccccccccccccc} 0 & 0 & 1 / 2 & 1 / 4 & 1 / 4 & 0 & 0 \\ 0 & 0 & 1 / 3. & 0 & 2 / 3. & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 1 / 3. & 2 / 3. \\ 0 & 0 & 0 & 0 & 0 & 1 / 2 & 1 / 2 \\ 0 & 0 & 0 & 0 & 0 & 3. / 4 & 1 / 4 \\ 1 / 2 & 1 / 2 & 0 & 0 & 0 & 0 & 0 \\ 1 / 4 & 3. / 4 & 0 & 0 & 0 & 0 & 0 \end{array} ］．$

创建以转换矩阵为特征的马尔可夫链P．绘制链的有向图，并使用边缘颜色指示转移概率。

P = [0 0 1/2 1/4 1/4 0 0;0 0 1/3 0 2/3 0 0;0 0 0 0 1/3 2/3;0 0 0 0 0 1/2 /2;0 0 0 0 3/4 1/4;1/2 1/2 0 0 0 0 0;1/4 3/4 0 0 0 0 0];mc = dtmc(P);图;graphplot (mc,“ColorEdges”,真正的);

图中包含一个轴对象。axis对象包含一个graphplot类型的对象。

由于转移矩阵是右随机的，马尔可夫链具有平稳分布 $π^{*}$ 这样 $π^{*} ＝ π^{*} P$ ．

确定马尔可夫链是否不可约。

tfRed =可约(mc)

总和生育率=逻辑0

tfRed = 0表示链是不可约的。这个结果意味着 $π^{*}$ 是独一无二的。

判断马尔可夫链是否遍历。

tfErg = isergodic(mc)

tfErg =逻辑0

tfErg = 0指示链不是遍历的。这个结果意味着 $π^{*}$ 不是任意初始分布的极限分布。

你可以用两种方法来确定马尔可夫链是否具有周期性。

不可约且非遍历的链是周期性的。前一节的结果表明马尔可夫链是周期性的。
检查复平面上特征值的图。特征值图表明马尔可夫链是否具有周期性，该图揭示了链的周期。

在复平面上画出马尔可夫链的特征值。

图;eigplot (mc);

图中包含一个轴对象。axis对象包含5个类型为line、patch的对象。这些物体代表特征值，谱隙。

特征值图的显著特征包括:

加粗的星号是Perron-Frobenius特征值。它的模为1，对于非负跃迁矩阵是有保证的。
所有单位根处的特征值都表示周期性。因为单位圆上有三个特征值，所以链的周期是3。
谱间隙是单位圆的周长与半径为第二大特征值幅值(SLEM)的圆的周长之间的面积。谱隙的大小决定了马尔可夫链的混合速率。
一般来说，光谱决定了链的结构性质。

计算马尔可夫链的平稳分布。

xFix =渐近(mc)

xFix =1×70.1300 0.2034 0.1328 0.0325 0.1681 0.1866 0.1468

xFix是链的唯一平稳分布，但不是任意初始分布的极限分布。

通过使用两个20步重分布来可视化马尔可夫链状态分布的两个演化。对于第一次重新分发，使用默认的统一初始分发。对于第二次重新分配，指定将所有权重放在第一个状态上的初始分布。

X1 = redistribute(mc,20);图;distplot (mc, X1);

图中包含一个轴对象。标题为Distribution of States的axes对象包含一个image类型的对象。

X2 = redistribute(mc,20，“X0”，[1 0 0 0 0 0 0 0]);图;distplot (mc X2);

图中包含一个轴对象。标题为Distribution of States的axes对象包含一个image类型的对象。

在图中，周期性是明显的，并防止状态分布的稳定。同样，不同的初始值产生不同的演化。

通过将马尔可夫链转换为“惰性”链，从马尔可夫链中去除周期性。绘制惰性链的有向图。确定懒链是否不可约且遍历。

Lc = lazy(mc);图;graphplot (lc);

图中包含一个轴对象。axis对象包含一个graphplot类型的对象。

tfRedLC =可约(lc)

tfRedLC =逻辑0

tfErgLC = isergodic(lc)

tfErgLC =逻辑1

观察有向图中的自循环。为了消除周期性，惰性链强制执行状态持久性。懒链是不可约且遍历的。

在复平面上画出懒链的特征值。

图;eigplot (lc);

图中包含一个轴对象。axis对象包含5个类型为line、patch的对象。这些物体代表特征值，谱隙。

懒链在单位根处没有任何特征值，除了Perron-Frobenius特征值。因此，懒链的周期为1。由于惰性链的光谱间隙比未转化链的光谱间隙薄，惰性链的混合速度比未转化链慢。

计算惰性链的平稳分布。

xFixLC =渐近(lc)

xFixLC =1×70.1300 0.2034 0.1328 0.0325 0.1681 0.1866 0.1468

xFixLC是链的唯一平稳分布，它是给定任意初始分布的极限分布。同时,xFixLC而且xFix都是相同的。

通过使用10步再分配来可视化惰性链状态分布的演变。

XLC =重新分配(lc,10);图;XLC distplot (lc)

图中包含一个轴对象。标题为Distribution of States的axes对象包含一个image类型的对象。

状态分布在不到10个时间步内由均匀分布演化为平稳分布。观察最后一步的颜色是否与中的值相匹配xFixLC．

确定马尔可夫链的渐近行为

另请参阅

对象

功能

相关的话题