Anhang: Bayes'sche Formel

Die Bayes'sche Formel (der Bayes'sche Satz, das Bayes'sche Theorem) hat Thomas Bayes (1701-1761 und Schüler von de Moivre) im Jahre 1750 entdeckt. Sie wurde trotzdem erst nach seinem Tod veröffentlicht. Da Bayes sich nicht mehr gegen die Kritik daran wehren konnte, schlimmer noch, nicht für seine Formel werben konnte, wurde sie nicht weiter beachtet, bis sie gegen Ende des 20. Jh im Zusammenhang mit der Parameterschätzung interessant wurde. Seitdem scheinen die Statistiker in zwei Lager gespalten zu sein: den Bayesianern und den Anti-Bayesianern (siehe z.B. Szekely, 1990). Frei von der sich immer weiter vertiefenden Kluft (Szekely, 1990) zwischen diesen beiden Lagern scheinen die deutschen Statistiker zu sein, die zwar in ihren Lehrbüchern auf die Existenz der Bayes'schen Formel aufmerksam machen, weiter aber nichts damit zu tun haben. Da mit Hilfe moderner Großrechenanlagen sehr aufwendige Anwendungen der Bayes'schen Formel möglich werden und da diese auch in der statistischen Klimatologie Anwendung finden, sollte man sich wenigstens grob bewußt machen, wovon Bayesianer reden. Um die Bayes'sche Formel abzuleiten gehen wir von zwei Zufallsvariablen $X$ und $Y$ aus. Diese können jeweils Werte aus einem bestimmten Wertebereich annehmen. Es existieren dann eindimensionale Wahrscheinlichkeitsdichten dafür, daß $X$ den Wert $x$ annimmt ($p(X=x)= f(x)$) und dafür, daß $Y$ den Wert $y$ annimmt ($p(Y=y)=f(y)$). Zusätzlich kann man die gemeinsame (zweidimensionale) Wahrscheinlichkeitsdichte $p(X=x,Y=y)=f(x,y)$ definieren. Falls es nun zwischen den Zufallsvariablen $X$ und $Y$ keinen Zusammenhang gibt, gilt

$$f(x,y) = f(x) \,f(y).$$

Andernfalls gilt

$$f(x,y)=f(x)\, f(y\vert x) =f(y) \,f(x\vert y).$$ (16)

In dieser nicht auf Anhieb einsichtigen Gleichung, stellen die Funktionen $f(x\vert y)$ und $f(y\vert x)$ bedingte Wahrscheinlichkeiten dar. Dabei bedeutet $f(x\vert y)$ die Wahrscheinlichkeit dafür, daß die Variable $X$ den Wert $x$ annimmt, wenn die Variable $Y$ den Wert $y$ angenommen hat. $f(y\vert x)$ ist demnach genau umgekehrt definiert. Also sagt Gleichung (16) aus, daß die Wahrscheinlichkeit dafür, daß $X$ den Wert $x$ und $Y$ den Wert $y$ annimmt ($f(x,y)$), gegeben ist durch die Wahrscheinlichkeit, mit der $x$ realisiert wird ($f(x)$) mal der Wahrscheinlichkeit, daß $y$ realisiert wird, wenn $x$ realisiert wird ($f(y\vert x)$). Das Gleiche gilt natürlich auch, wenn man $x$ und $y$ vertauscht. Nun kann Gleichung (16) dazu verwendet werden bedingte Wahrscheinlichkeiten zu invertieren, denn es folgt sofort

$$f(x\vert y) = f(y\vert x)\,\frac{f(x)}{f(y)}.$$ (17)

$f(y)$ kann noch etwas weiter verändert werden. Im Fall von diskreten Variablen $X$ und $Y$ summiert man den rechten Teil von Gleichung (16) über alle möglichen Werte von $x$ und erhält wegen $\sum\limits_{\forall i} f(y,x_{i}) =f(y)$

$$f(y)=\sum\limits_{\forall i} f(y\vert x_{i})\,f(x_{i}).$$ (18)

Diese Gleichung besagt, daß die Wahrscheinlichkeit, daß die Zufallsvariable $Y$ den Wert $y$ annimmt, aus der Summe der bedingten Wahrscheinlichkeiten für $Y=y$ unter der Bedingung $X=x_{i}$ folgt. Dabei muß die Summe über alle möglichen Realisierungen von $X$ (d.h. alle $x_{i}$) laufen. Da Gleichung (18) die vollständige Wahrscheinlichkeit als Summe von Einzelwahrscheinlichkeiten beschreibt, wird sie in der Literatur oft als Satz von der vollständigen Wahrscheinlichkeit eingeführt. Setzt man nun Gleichung (18) in Gleichung (17) ein, so erhält man die Bayes'sche Formel für diskrete Zufallsvariable:

$$f(x_{i}\vert y) = \frac{f(y\vert x_{i})\,f(x_{i})}{\sum\limits_{\forall j}f(y\vert x_{j})\,f(x_{j})}.$$ (19)

In analoger Weise kann man für kontinueierliche Wertebereiche den Satz von der vollständigen Wahrscheinlichkeit formulieren

$$f(y)=\int f(y\vert x)\,f(x)\,dx$$ (20)

und daraus die Bayes'sche Formel für kontinuierliche Zufallsvariable

$$f(x\vert y)= \frac{f(y\vert x)\,f(x)}{\int f(y\vert x)\,f(x)\,dx}.$$ (21)

Manche Autoren (z.B.) Hsu (1996) nennen Gleichung (17) Bayes'sche Regel und die Gleichungen (19) und (21) Bayes'sches Theorem.