Methode der kleinsten Quadrate

Diese auf Gauß und Laplace zurückgehende Methode sieht die Stichprobe als Summe einer Funktion $f(\vec{\Theta})$ des Parametervektors $\vec{\Theta}$ plus Rauschen an. Dabei muß der Stichprobenumfang größer sein, als die Dimension des Parametervektors. $\vec{\Theta}$ wird nun aus der Stichprobe so geschätzt, das das Rauschen minimiert wird. Dazu wird zunächst die Summe der Abstandsquadrate $S=\sum\limits_{i=1}^{n}\left[y_{i}-f\left(\hat{\vec{\Theta}}\right)\right]^{2}$ gebildet und dann minimiert, indem man dessen Ableitung nach dem Schätzparametervektor $\hat{\vec{\Theta}}$ null setzt. Daraus folgt $\sum\limits_{i=1}^{n}\left[y_{i}-f\left(\hat{\vec{\Theta}}\right)\right] \frac{\partial \hat{\vec{\Theta}}}{\partial \hat{\Theta}_{i}}=0$ für alle $i=1,\cdots,m$, wenn der Parametervektor $m$-dimensional ist.