Markovketten

Markov-Ketten sind wertdiskrete Zufallsprozesse, die entweder zeitkontinuierlich oder zeitdiskret sein können. Der Einfachheit halber und weil sie für die Anwendung auf Zeitreihen völlig ausreichend sind, werden hier nur zeitdiskrete Markov-Ketten besprochen. Die wesentliche Eigenschaft von Markov-Ketten heißt Markov-Eigenschaft und liegt darin, daß eine Markov-Kette ihre Vergangenheit vergißt. Man kann Markov-Ketten verschiedener Ordnung definieren, je nachdem wie weit das Gedächtnis des Prozesses in die Vergangenheit reichen soll. Umfaßt der Wertebereich des Prozesses die Werte $X_{1}, X_{2}, \cdots, X_{K}$, so kann man fragen, mit welcher Wahrscheinlichkeit die Zufallsvariable $x$, die die Realisation des Prozesses darstellt, zum Zeitschritt $n$ den Wert $X_{j}$ annimmt, wenn zu vorhergehenden Zeiten bestimmte andere Zustände angenommen wurden. Allgemein kann diese bedingte Wahrscheinlichkeit $p(x_{n}=X_{j}\vert x_{n-1}=X_{k}, x_{n-2}=X_{l},\cdots)$ von beliebig vielen vergangenen Realisationen abhängen. Für eine Markov-Kette $r$-ter Ordnung hängt die Wahrscheinlichkeit für eine bestimmte Realisation zur Zeit $n$ nur von den vorhergehenden $r$ Realisationen ab. Oft wird mit dem Begriff Markov-Kette nur die Markov-Kette erster Ordnung gemeint, für die die Wahrscheinlichkeit der Realisation des Wertes $X_{j}$ zur Zeit $n$ nur von der Wahrscheinlichkeit der Realisationen aller möglichen Werte $X_{k}$ zur Zeit $n-1$ und zugeordneten Übergangswahrscheinlichkeiten $p_{k,j}(n-1)$ zum Zeitpunkt $n-1$ abhängt. Es gilt dann für die Markov-Kette erster Ordnung

$$p(x_{n}=X_{j})=\sum\limits_{k=1}^{K} p(x_{n-1}=X_{k})\cdot p_{k,j}(n-1).$$ (3.1)

Wenn die Übergangswahrscheinlichkeiten $p_{k,j}(n)$ nicht von der Zeit $n$ abhängen, spricht man von einer zeitlich homogenen Markov-Kette. Für die weitere Untersuchung von Markov-Ketten bietet sich die vereinfachte formelle Schreibweise $p(x_{n}=X_{j})=p_{j}(n)$ an. Damit kann Gleichung (3.1) in der handlicheren Form

$$p_{j}(n+1) = \sum\limits_{k=1}^{K} p_{k}(n)\cdot p_{kj}(n)$$ (3.2)

geschrieben werden. Man kann nun für jeden Zeitpunkt einen Wahrscheinlichkeitsvektor $\vec{p}(n)$ definieren, dessen $K$ Elemente die Wahrscheinlichkeiten für die Realisation der $K$ möglichen Zustände sind:

$$\vec{p}(n)=(p_{1}(n),p_{2}(n),\cdots,p_{K}(n)).$$ (3.3)

Die Übergangswahrscheinlichkeiten $p_{ij}(n)$ können zu einer Übergangsmatrix $P(n)$ mit

$$P(n) = \left( \begin{array}{cccc} p_{11}(n) & p_{12}(n) &... ...k1}(n) & p_{k2}(n) & \cdots & p_{kk}(n) \end{array} \right)$$ (3.4)

zusammengefaßt werden. Solche Matrizen, mit Wahrscheinlichkeiten als Elementen heißen stochastische Matrizen. Sie sind quadratisch, alle ihre Elemente erfüllen die Eigenschaft $p_{i,j}(n)\ge 0$ und alle Zeilensummen sind gleich 1. Die letzte Eigenschaft ist eine Erhaltungseigenschaft, die gewährleistet, daß sich die Realisation immer in einem Zustand befindet. Mit Hilfe der Übergangsmatrix kann die zeitlichen Entwicklung des Wahrscheinlichkeitsvektors geschrieben werden als

$$\vec{p}(n+1) = P(n)\cdot \vec{p}(n).$$ (3.5)

Eine häufige Anwendung dieser Gleichung liegt darin, daß man damit Wahrscheinlichkeitsprognosen durchführen kann. Meist ist ein Anfangszustand gegeben, d.h. $\vec{p}(n=0)$ hat an einer Stelle eine 1 und sonst überall 0. Dann kann man mit Hilfe von Gleichung (3.5) prognostizieren, mit welcher Wahrscheinlichkeit welche Zustände in der Zukunft eingenommen werden.