Bayes-Schätzer für $p$

Um den Bayes-Schätzer für $p$ angeben zu können, braucht man zunächst einen Prior. Da man über $p$ keine Information vorraussetzen kann, nimmt man (nicht zuletzt auch der Einfachheit halber) $f(p)=1$ für alle Werte von $p$ zwischen $0$ und $1$ an. Für den Posterior folgt dann nach Gleichung (4)

$$f(p\vert\vec{x}) = \frac {f(\vec{x}\vert p)\,f(p)} {\int f(\vec{x}\vert p)\,f(p)\,dp}.$$ (13)

Dabei ist

$$f(\vec{x}\vert p) = \prod\limits_{i=1}^{n} f(x_{i}\vert p) ... ...}} = p^{\sum x_{i}}\,(1-p)^{n-x_{i}} = p^{m}\,(1-p)^{n-m},$$ (14)

mit $m=\sum x_{i}$ die Likelihood-Funktion. Für das Integral im Nenner von Gleichung (13) folgt dann

$$\int\limits_{0}^{1}f(\vec{x}\vert p)\,f(p)\,dp = \int\limi... ...0}^{1}p^{m}\,(1-p)^{n-m} \,dp = \frac{m!\,(n-m)!}{(m+n-m+1)!}$$

und damit folgt durch Einsetzen in Gleichung (13)

$$f(p\vert\vec{X}) = \frac{p^{m}\,(1-p)^{n-m}\, (n+1)!}{m!\,(n+m)!}.$$

Das ist nun der Posterior, der aus dem Prior $f(p)=1$ und der Likelihood-Funktion folgt. Er gibt eine Wahrscheinlichkeitsverteilung für den zu bestimmenden Koeffizienten an. Man sieht, daß man durch eine Normierung der Likelihood-Funktion die gleiche Wahrscheinlichkeitsdichte auch bei der ML-Anwendung erhalten hätte. Das ist aber nur in den seltenen Fällen so, in denen der Prior eine Konstante ist. Nun müssen wir nur noch den Erwartungswert $E(f(p\vert\vec{x}))$ berechnen, der dann der Bayes-Schätzer für den Parameter ist. (Man beachte, daß man, da man die Wahrscheinlichkeitsdichte kennt, auch jedes beliebige Quantil (also auch Konfidenzintervalle) für den Parameter berechnen kann.)

$$\begin{array}{rcl} E(f(p\vert\vec{x})) & = & \int\limits_{... ...n+2} = \frac{1+\sum\limits_{i=1}^{n}x_{i}}{n+2}. \end{array}$$ (15)

Für das gewählte Zahlenbeispiel folgt daraus der Bayes-Schätzer

$$\hat{p}_{B}=\frac{8}{12}= \frac{20}{30} < \frac{21}{30} =\frac{7}{10} = \hat{p}_{ML}.$$

Dem aufmerksamen Leser müßte jetzt nicht nur aufgefallen sein, daß sich diese beiden Schätzer unterscheiden (der Unterschied wird für große $n$ allerdings beliebig klein), sondern auch warum sie sich unterscheiden. Während der ML-Schätzer den wahrscheinlichsten Wert, d.h. den mit der höchsten Wahrscheinlichkeitsdichte, also den Modalwert der Wahrscheinlichkeitsverteilung für den Parameterwert auswählt, wählt der Bayes-Schätzer den Erwartungswert.