在每个时间步长计算状态分布的马尔可夫链
这个例子显示了如何计算和可视化状态相关,显示确定性状态分布随时间的演变从一个初始分布。
考虑这种理论,right-stochastic过渡矩阵的一个随机过程。
创建的马尔可夫链的特点是过渡矩阵P。
P = [0 0 1/2 1/4 1/4 0 0;0 0 0 1/3 2/3 0 0;0 0 0 0 0 1/3 2/3;0 0 0 0 0 1/2 1/2;0 0 0 0 0 3/4 1/4;1/2 1/2 0 0 0 0 0;1/4 3/4 0 0 0 0 0];mc = dtmc (P);
策划一个有向图使用马尔可夫链和识别类节点的颜色和标记。
图;graphplot (mc,“ColorNodes”,真正的);
mc代表一个单一的复发与一段时间的3类。
假设初始状态分布是均匀的。计算分布20次的进化步骤。
numSteps = 20;X =重新分配(mc, numSteps);
X是一个21-by-7矩阵。行t包含在时间步进化状态分布t。
以可视化的热图。
图;distplot (mc, X);
链的周期性明显。
消除周期性的马尔可夫链通过改变一个懒惰的链。情节懒惰的转移矩阵链的热图。
lc =懒惰(mc);图;显示亮度图像(lc.P);colormap (“喷气机”);轴广场;colorbar;标题(“理论懒惰的链转移矩阵”)
信用证是一个dtmc对象。懒惰的创建延迟链通过增加重量持久性的概率,也就是说,懒惰的执行self-loops。
计算分布的演变懒惰链20次的步骤。故事情节以一个热图。
X1 =重新分配(lc, numSteps);图;distplot (lc, X1);
视图状态分布的演变作为一个动画直方图。指定一个1秒的帧速率。
图;distplot (lc, X1,“类型”,“直方图”,的帧速率,1)
计算出延迟链的平稳分布。把它比作最后动画直方图的再分配。
xFix =渐近(lc)
xFix =1×70.1300 0.2034 0.1328 0.0325 0.1681 0.1866 0.1468
平稳分布,最后再分配几乎是相同的。
