马尔可夫链的确定渐近行为
这个例子展示了如何计算一个马尔可夫链的平稳分布,估计它的混合时间,确定链遍历性和可约。的示例还显示了如何删除周期性链不影响渐近行为。
考虑这种理论,right-stochastic过渡矩阵的一个随机过程。
创建的马尔可夫链的特点是过渡矩阵P。连锁图的有向图,表明利用边缘颜色过渡概率。
P = [0 0 1/2 1/4 1/4 0 0;0 0 0 1/3 2/3 0 0;0 0 0 0 0 1/3 2/3;0 0 0 0 0 1/2 1/2;0 0 0 0 0 3/4 1/4;1/2 1/2 0 0 0 0 0;1/4 3/4 0 0 0 0 0];mc = dtmc (P);图;graphplot (mc,“ColorEdges”,真正的);
因为随机转移矩阵是对的,马尔可夫链的平稳分布 这样 。
确定马尔可夫链是不可约的。
总和生育率= isreducible (mc)
总和生育率=逻辑0
总和生育率= 0表明,链是不可约的。这个结果意味着
是独一无二的。
确定马尔可夫链遍历。
tfErg = isergodic (mc)
tfErg =逻辑0
tfErg = 0表明,链式不是遍历。这个结果意味着
不是一个任意的初始分布的极限分布。
你可以确定一个马尔可夫链周期在两个方面。
链不可约和遍历是周期性的。结果在前一节中暗示马尔可夫链是周期性的。
检查一块复平面上的特征值。一个特征值情节表明马尔可夫链是周期性的,和情节揭示的链。
情节的特征值马尔可夫链在复平面上。
图;eigplot (mc);
特征值的显著特征图包括:
大胆的星号是Perron-Frobenius特征值。它有一个1级和非负保证过渡矩阵。
所有特征值统一表示周期性的根源。因为单位圆上三个特征值,链段3。
光谱差距是单位圆的周长与面积与半径的圆的周长的第二大特征值大小(SLEM)。光谱差异的大小决定了马尔可夫链的混合速度。
一般来说,频谱确定链条的结构属性。
计算马尔可夫链的平稳分布。
xFix =渐近(mc)
xFix =1×70.1300 0.2034 0.1328 0.0325 0.1681 0.1866 0.1468
xFix独特的平稳分布链,但不是任意的初始分布的极限分布。
想象两个演进状态分布的马尔可夫链通过使用两个20步相关。第一重分配,使用默认的初始分布均匀。第二再分配,指定一个初始分布,把所有的重量在第一状态。
X1 =重新分配(mc, 20);图;distplot (mc, X1);
X2 =重新分配(mc 20“X0”,1 0 0 0 0 0 0);图;distplot (mc X2);
的数据,周期性明显,防止沉降的分布状态。此外,不同的初始值产生不同的演进。
消除周期性的马尔可夫链通过改变链链“懒惰”。图的有向图懒惰链。确定延迟链不可约和遍历性。
lc =懒惰(mc);图;graphplot (lc);
tfRedLC = isreducible (lc)
tfRedLC =逻辑0
tfErgLC = isergodic (lc)
tfErgLC =逻辑1
观察self-loops有向图。删除周期性,懒惰的链执行状态的持久性。懒惰的链是不可约和遍历性。
情节复平面上的懒惰链的特征值。
图;eigplot (lc);
懒惰的链没有任何特征值在统一的根源,除了Perron-Frobenius特征值。因此,懒惰的链段1。因为懒惰链的光谱差异比光谱薄差距untransformed链的,懒惰的链混合比untransformed链更慢。
计算出延迟链的平稳分布。
xFixLC =渐近(lc)
xFixLC =1×70.1300 0.2034 0.1328 0.0325 0.1681 0.1866 0.1468
xFixLC独特的平稳分布链,这是一个任意的初始分布的极限分布。同时,xFixLC和xFix都是相同的。
可视化的状态分布的演变懒惰链通过使用所述的再分配。
XLC =重新分配(lc, 10);图;XLC distplot (lc)
国家分布的演变从一个均匀分布的平稳分布少于10次步骤。在最后一步观察到颜色匹配的值xFixLC。
