马尔可夫链分析与平稳分布

打开实时脚本

这个例子展示了如何推导一个平凡的符号平稳分布马尔可夫链通过计算它的特征分解。

的平稳分布表示马尔可夫过程的状态随步数或过渡数增加而限制的、与时间无关的分布。

定义状态之间的(正)转换概率一个通过F如上图所示。

信谊一个bcdefcCA建行积极的；

添加进一步的转换概率的假设。这将有助于以后选择理想的平稳分布。

assumeAlso([a, b, c, e, f, cCA, cCB] < 1 & d == 1);

定义转换矩阵。州一个通过F映射到列和行1通过6．注意，每行中的值之和为1。

P = sym(零(6,6));P(1,1 - 2) = [a 1-a];P(2,1:2) = [1-b b];P(3,1:4) = [cCA cCB c (1-cCA-cCB-c)];P(4,4) = d;P(5,5:6) = [e 1-e];P(6,5:6) = [1-f f];P

P =
                 
                   $（ \begin{array}{c} 一个 & 1 - 一个 & 0 & 0 & 0 & 0 \\ 1 - b & b & 0 & 0 & 0 & 0 \\ cCA & 建行 & c & 1 - cCA - 建行 - c & 0 & 0 \\ 0 & 0 & 0 & d & 0 & 0 \\ 0 & 0 & 0 & 0 & e & 1 - e \\ 0 & 0 & 0 & 0 & 1 - f & f \end{array} ）$

计算马尔可夫链状态的所有可能的分析平稳分布。这就是提取的问题eig对应的特征值可以等于1对于某个转移概率的值。

[V,D] = eig(P');

分析特征向量

V =
                 
                   $\begin{array}{l} （ \begin{array}{c} \frac{b - 1}{一个 - 1} & 0 & 0 & - \frac{(c - d) (建行 - b cCA - b 建行 + c cCA)}{σ_{1}} & \frac{b - 1}{一个 - d} & 0 & 0 & - 1 & 0 \\ 1 & 0 & 0 & - \frac{(c - d) (cCA - 一个 cCA - 一个 建行 + c 建行)}{σ_{1}} & 1 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & - \frac{c - d}{c + cCA + 建行 - 1} & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 1 & 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & \frac{f - 1}{e - 1} & 0 & 0 & 0 & - \frac{f - 1}{d - e} & 0 & - 1 \\ 0 & 1 - d & 1 & 0 & 0 & 0 & 1 & 0 & 1 \end{array} ） \\ 在哪里 \\ σ_{1} ＝ (c + cCA + 建行 - 1) (一个 + b - 一个 c - b c + c^{2} - 1) \end{array}$

分析特征值

诊断接头(D)

ans =
                 
                   $（ \begin{array}{c} 1 \\ 1 \\ c \\ d \\ 一个 + b - 1 \\ e + f - 1 \end{array} ）$

找出恰好等于1的特征值。如果在确定任何特征值的这个条件时存在任何歧义，则停止错误-这样我们就可以确保当这一步成功时，下面的指标列表是可靠的。

ix = find(isAlways(diag(D) == 1，“未知”，“错误”));诊断接头(D(第九,ix))

ans =
                 
                   $（ \begin{array}{c} 1 \\ 1 \\ d \end{array} ）$

提取解析平稳分布。特征向量用1范数或归一化sum (abs (X))展示前．

为k = ix' V(:，k) = simplify(V(:，k)/norm(V(:，k))，1);结束概率= V(:，ix)

概率=
                 
                   $\begin{array}{l} （ \begin{array}{c} \frac{b - 1}{(一个 - 1) σ_{1}} & 0 & \frac{σ_{5}}{σ_{2}} \\ \frac{1}{σ_{1}} & 0 & \frac{σ_{6}}{σ_{2}} \\ 0 & 0 & - \frac{c - 1}{σ_{3.} (c + cCA + 建行 - 1)} \\ 0 & 1 & \frac{1}{σ_{3.}} \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{array} ） \\ 在哪里 \\ σ_{1} ＝ \sqrt{\frac{{(b - 1)}^{2}}{{(一个 - 1)}^{2}} + 1} \\ σ_{2} ＝ σ_{3.} (c + cCA + 建行 - 1) (一个 + b - c - 1) \\ σ_{3.} ＝ \sqrt{\frac{{(c - 1)}^{2}}{{(c + cCA + 建行 - 1)}^{2}} + \frac{{σ_{6}}^{2}}{σ_{4}} + \frac{{σ_{5}}^{2}}{σ_{4}} + 1} \\ σ_{4} ＝ {(c + cCA + 建行 - 1)}^{2} {(一个 + b - c - 1)}^{2} \\ σ_{5} ＝ 建行 - b cCA - b 建行 + c cCA \\ σ_{6} ＝ cCA - 一个 cCA - 一个 建行 + c 建行 \end{array}$

稳态的概率是一个或B第一个特征向量是转换概率的函数一个而且b．可视化这个依赖关系。

fsurf(概率(1)，[0 1 0 1]);包含一个ylabelb标题(A的概率）;

图中包含一个轴对象。标题为概率A的坐标轴对象包含一个函数曲面类型的对象。

图(2);fsurf(概率(2)，[0 1 0 1]);包含一个ylabelb标题(B的概率）;

图中包含一个轴对象。标题为Probability of B的坐标轴对象包含一个functionsurface类型的对象。

平稳分布证实了以下情况(回忆状态一个通过F对应于行下标1通过6)：

状态C从未达到，因此是短暂的，即第三行完全为零。
其余的州分为三组，{一个，B}, {D}和{E，F}，它们彼此不通信并且是循环的。