Homogene Markovketten und Chapman-Kolmogoroff-Gleichung

Markov-Ketten heißen zeitlich homogen (oft einfach homogen genannt), wenn die Übergangswahrscheinlichkeiten nicht von der Zeit $n$ abhängen. Dann hängt auch die Übergangsmatrix nicht von der Zeit ab. Die Elemente $p_{i,j}$ sind dann konstant. Mit $p_{i,j}^{(n)}$ wird nun die Wahrscheinlichkeit bezeichnet, in $n$ Schritten vom Zustand $i$ in den Zustand $j$ zu gelangen. Dann gilt:

$$\begin{array}{lcl} p_{i,j}^{(0)} & = & \delta_{i,j} = \lef... ...1)} = \sum\limits_{k} p_{i,k}^{(n-1)}\,p_{k,j}. \end{array}$$ (3.6)

Benutzt man wieder die Matrixschreibweise, so kann man $p_{i,j}^{(n)}$ leicht berechnen, denn die $p_{i,j}^{(n)}$ sind die Elemente der $n$-ten Potenz der Austauschmatrix. Es gilt also allgemein für die $n+m$-stufige Übergangsmatrix

$$P^{n+m}= P^{n}\,P^{m}$$ (3.7)

und daher auch für die Elemente

$$p_{i,j}^{(n+m)} = \sum\limits_{k} p_{i,k}^{(n)}\,p_{k,j}^{(m)}.$$ (3.8)

Dies ist die Chapman-Kolmogoroff-Gleichung. Ein Anwendungsbeispiel soll deren Nutzen verdeutlichen. Ein System befinde sich zur Zeit $n=2$ im Zustand $i$. Wie hoch ist dann die Wahrscheinlichkeit dafür, daß es sich zur Zeit $n=4$ im Zustand $j$, zur Zeit $n=6$ im Zustand $k$ und zur Zeit $n=9$ im Zustand $l$ befindet. Es spielt dabei keine Rolle in welchem Zustand es sich zu den Zeiten $n=0,1,3,5,7,8$ befindet. Die gesuchte Wahrscheinlichkeit folgt direkt aus der allgemeinen Chapman-Kolmogoroff-Gleichung:

$$p(x(n=4)=X_{j},x(n=6)=X_{k},x(n=9)=x_{l}\vert x(2)=X_{i})= p_{i,j}^{(2)}\, p_{j,k}^{(2)} \,p_{k,l}^{(3)}.$$