Verzerrung eines Schätzers

In der Statistik bezeichnet die Verzerrung eines Schätzers (oder die Verzerrungsfunktion ) die Differenz zwischen dem Erwartungswert dieses Schätzers und dem wahren Wert des zu schätzenden Parameters. Ein Schätzer oder eine Entscheidungsregel ohne Verzerrung wird als erwartungstreu bezeichnet . In der Statistik ist „Verzerrung“ eine objektive Eigenschaft eines Schätzers. Verzerrung ist ein zu unterscheidendes Konzept von Konsistenz : Konsistente Schätzer konvergieren mit hoher Wahrscheinlichkeit gegen den wahren Wert des Parameters, können aber verzerrt oder erwartungstreu sein (siehe Verzerrung versus Konsistenz für weitere Informationen).

Unter sonst gleichen Bedingungen ist ein erwartungstreuer Schätzer einem verzerrten Schätzer vorzuziehen, obwohl in der Praxis häufig verzerrte Schätzer (mit in der Regel geringer Verzerrung) verwendet werden. Bei Verwendung eines verzerrten Schätzers werden die Grenzen der Verzerrung berechnet. Ein verzerrter Schätzer kann aus verschiedenen Gründen verwendet werden: weil ein erwartungstreuer Schätzer ohne weitere Annahmen über eine Grundgesamtheit nicht existiert; weil ein Schätzer schwer zu berechnen ist (wie bei der erwartungstreuen Schätzung der Standardabweichung ); weil ein verzerrter Schätzer hinsichtlich verschiedener Maße der zentralen Tendenz erwartungstreu sein kann; weil ein verzerrter Schätzer im Vergleich zu erwartungstreuen Schätzern einen niedrigeren Wert für eine Verlustfunktion (insbesondere den mittleren quadratischen Fehler ) liefert (vor allem bei Schrumpfungsschätzern ); oder weil in manchen Fällen die Bedingung der Erwartungstreue zu streng ist und die einzigen erwartungstreuen Schätzer nicht praktikabel sind.

Verzerrungen lassen sich auch anhand des Medians anstatt des Mittelwerts (Erwartungswerts) messen. In diesem Fall unterscheidet man zwischen Median- und Mittelwert -Unverzerrtheit. Die Mittelwert-Unverzerrtheit bleibt bei nichtlinearen Transformationen nicht erhalten , die Median-Unverzerrtheit hingegen schon (siehe Abschnitt „Auswirkungen von Transformationen “); beispielsweise ist die Stichprobenvarianz ein verzerrter Schätzer für die Populationsvarianz. All dies wird im Folgenden veranschaulicht.

Es muss nicht immer ein erwartungstreuer Schätzer für einen Parameter existieren. Beispielsweise gibt es keinen erwartungstreuen Schätzer für den Kehrwert des Parameters einer binomialverteilten Zufallsvariablen. ^{[ 1 ]}

Angenommen, wir haben ein statistisches Modell , parametrisiert durch eine reelle Zahl θ , das eine Wahrscheinlichkeitsverteilung für beobachtete Daten liefert, und eine Statistik , die als Schätzer für θ auf Basis beliebiger beobachteter Daten dient . Das heißt, wir nehmen an, dass unsere Daten einer unbekannten Verteilung folgen (wobei θ eine feste, unbekannte Konstante ist, die Teil dieser Verteilung ist), und konstruieren dann einen Schätzer, der beobachtete Daten auf Werte abbildet, die hoffentlich nahe an θ liegen . Die Verzerrung von relativ zu ist definiert als ^{[ 2 ].}${\displaystyle P_{\theta }(x)=P(x\mid \theta )}$${\displaystyle {\hat {\theta }}}$${\displaystyle x}$${\displaystyle P(x\mid \theta )}$${\displaystyle {\hat {\theta }}}$${\displaystyle {\hat {\theta }}}$${\displaystyle \theta }$$${\displaystyle \operatorname {Bias} ({\hat {\theta }},\theta )=\operatorname {Bias} _{\theta }\left[\,{\hat {\theta }}\,\right]=\operatorname {E} _{x\mid \theta }\left[\,{\hat {\theta }}\,\right]-\theta =\operatorname {E} _{x\mid \theta }\left[{\hat {\theta }}-\theta \right],}$$

Dabei bezeichnet den Erwartungswert über die Verteilung (d. h. den Mittelwert über alle möglichen Beobachtungen ). Die zweite Gleichung folgt daraus, dass θ bezüglich der bedingten Verteilung messbar ist . ${\displaystyle \operatorname {E} _{x\mid \theta }}$${\displaystyle P(x\mid \theta )}$${\displaystyle x}$${\displaystyle P(x\mid \theta )}$

Ein Schätzer heißt erwartungstreu, wenn seine Verzerrung für alle Werte des Parameters θ null ist , oder äquivalent dazu, wenn der Erwartungswert des Schätzers mit dem des Parameters übereinstimmt. ^{[ 3 ]} Die Erwartungstreue lässt sich nicht übertragen. Ist beispielsweise ein erwartungstreuer Schätzer für den Parameter θ , so ist im Allgemeinen nicht gewährleistet, dass g( ) ein erwartungstreuer Schätzer für g(θ) ist , es sei denn, g ist eine lineare Funktion. ^{[ 4 ]}${\displaystyle {\hat {\theta }}}$${\displaystyle {\hat {\theta }}}$

In einem Simulationsexperiment zur Untersuchung der Eigenschaften eines Schätzers kann die Verzerrung des Schätzers mithilfe der mittleren vorzeichenbehafteten Differenz beurteilt werden .

Die Stichprobenvarianz verdeutlicht zwei unterschiedliche Probleme hinsichtlich Verzerrung und Risiko. Erstens ist der „naive“ Schätzer, der durch n dividiert , nach unten verzerrt, da der Stichprobenmittelwert aus denselben Daten geschätzt wird. Die Multiplikation mit n/(n−1) ( Besselsche Korrektur ) liefert einen unverzerrten Schätzer. Zweitens bedeutet Unverzerrtheit nicht zwangsläufig einen minimalen mittleren quadratischen Fehler .

Seien X₁ , ..., Xₙ unabhängige und identisch verteilte (iid ₎ Zufallsvariablen mit Erwartungswert μ und Varianz σ² ^. Der Stichprobenmittelwert und die unkorrigierte _{Stichprobenvarianz} sind definiert als

$${\displaystyle {\overline {X}}\,={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\qquad S^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}\qquad }$$

Dann ist S² ein verzerrter Schätzer für σ² ^. Dies folgt unmittelbar aus dem Gesetz der totalen Varianz ^, weil

$${\displaystyle \underbrace {\operatorname {Var} (X)} _{\sigma ^{2}}=\underbrace {\operatorname {E} \left[\operatorname {Var} \left(X\mid {\bar {X}}\right)\right]} _{E[S^{2}]}+\underbrace {\operatorname {Var} \left(\operatorname {E} \left[X\mid {\bar {X}}\right]\right)} _{\sigma ^{2}/n},\quad \implies E[S^{2}]={\frac {n-1}{n}}\sigma ^{2}.}$$

Anders ausgedrückt: Der Erwartungswert der unkorrigierten Stichprobenvarianz entspricht nicht der Populationsvarianz σ² , es sei denn, er wird mit einem Normierungsfaktor multipliziert. Das Verhältnis zwischen der verzerrten (unkorrigierten) und der unverzerrten Schätzung der Varianz wird als Besselsche Korrektur bezeichnet ^. Der Stichprobenmittelwert hingegen ist ein unverzerrter Schätzer ^{[ 5 ]} für den Populationsmittelwert  μ . ^{[ 3 ]} Die Gleichheit des zweiten Terms auf der rechten Seite der obigen Gleichung lässt sich mithilfe der Bienaymé-Identität erklären .

$${\displaystyle {\begin{aligned}\operatorname {Var} \left(\operatorname {E} [X\mid {\bar {X}}]\right)&=\operatorname {Var} \left({\overline {X}}\right)=\operatorname {Var} \left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)\\[1ex]&={\frac {1}{n^{2}}}\sum _{i=1}^{n}\operatorname {Var} \left(X_{i}\right)={\frac {1}{n^{2}}}n\sigma ^{2}={\frac {\sigma ^{2}}{n}}.\end{aligned}}}$$

Die Verzerrung der unkorrigierten Stichprobenvarianz S² beruht darauf, dass der Stichprobenmittelwert ein Schätzer der kleinsten Quadrate (OLS) für μ ist ^: Er ist die Zahl , die die Summe minimiert. Das heißt, jede andere eingesetzte Zahl erhöht die Summe. Insbesondere ergibt die Wahl … ${\displaystyle {\overline {X}}}$${\textstyle \sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}$${\displaystyle \mu \neq {\overline {X}}}$

$${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}<{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2},}$$ und dann $${\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}<\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}.\end{aligned}}}$$

Die obige Diskussion lässt sich geometrisch verstehen: Der Vektor kann in einen „Mittelwertanteil“ und einen „Varianzanteil“ zerlegt werden, indem man ihn in Richtung von x und auf die orthogonale Komplementärebene dieser Richtung projiziert. Man erhält für den Anteil entlang x und für den komplementären Anteil . Da es sich um eine orthogonale Zerlegung handelt, gilt nach dem Satz des Pythagoras ∑ e^ ( -x ) ...${\displaystyle {\vec {C}}=(X_{1}-\mu ,\ldots ,X_{n}-\mu )}$${\displaystyle {\vec {u}}=(1,\ldots ,1)}$${\displaystyle {\vec {A}}=({\overline {X}}-\mu ,\ldots ,{\overline {X}}-\mu )}$${\displaystyle {\vec {u}}}$${\displaystyle {\vec {B}}=(X_{1}-{\overline {X}},\ldots ,X_{n}-{\overline {X}})}$${\displaystyle |{\vec {C}}|^{2}=|{\vec {A}}|^{2}+|{\vec {B}}|^{2}}$${\displaystyle n\sigma ^{2}=n\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]+n\operatorname {E} [S^{2}]}$${\displaystyle n}$${\displaystyle {\vec {C}}}$${\displaystyle X_{i}}$${\displaystyle {\vec {u}}}$${\displaystyle |{\vec {C}}|^{2}}$${\displaystyle n-1}$${\displaystyle {\vec {u}}}$${\displaystyle \operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]={\frac {\sigma ^{2}}{n}}}$${\displaystyle \operatorname {E} [S^{2}]={\frac {n-1}{n}}\sigma ^{2}}$

Ein weitaus extremerer Fall, in dem ein verzerrter Schätzer besser ist als jeder unverzerrte Schätzer, ergibt sich aus der Poisson-Verteilung . ^{[ 6 ] [ 7 ]} Angenommen, X ist Poisson-verteilt mit Erwartungswert  λ . Angenommen, es soll geschätzt werden $${\displaystyle \operatorname {P} (X=0)^{2}=e^{-2\lambda }\quad }$$

mit einer Stichprobe der Größe 1. (Wenn beispielsweise eingehende Anrufe an einer Telefonzentrale als Poisson-Prozess modelliert werden und λ die durchschnittliche Anzahl der Anrufe pro Minute ist, dann ist e ^{−2 λ} (die Zielgröße) die Wahrscheinlichkeit, dass in den nächsten zwei Minuten keine Anrufe eingehen.)

Da der Erwartungswert eines erwartungstreuen Schätzers δ ( X ) gleich dem Schätzwert ist , d.h. $${\displaystyle \operatorname {E} (\delta (X))=\sum _{x=0}^{\infty }\delta (x){\frac {\lambda ^{x}e^{-\lambda }}{x!}}=e^{-2\lambda },}$$

Die einzige Funktion der Daten, die einen unverzerrten Schätzer darstellt, ist $${\displaystyle \delta (x)=(-1)^{x}.\,}$$

Um dies zu sehen, beachte man, dass die Summe, die beim Zerlegen von e ^{− λ} aus dem obigen Ausdruck für den Erwartungswert übrig bleibt, ebenfalls eine Taylorreihenentwicklung von e ^{− λ ist, was e − λ} e ^{− λ}  = e ^{−2 λ} ergibt (siehe Charakterisierungen der Exponentialfunktion ).

Wenn der beobachtete Wert von X 100 beträgt, ist die Schätzung 1, obwohl der wahre Wert der zu schätzenden Größe sehr wahrscheinlich nahe 0 liegt, also dem entgegengesetzten Extremwert. Und wenn X mit 101 beobachtet wird, ist die Schätzung noch absurder: Sie lautet −1, obwohl die zu schätzende Größe positiv sein muss.

Der (verzerrte) Maximum-Likelihood-Schätzer$${\displaystyle e^{-2{X}}\quad }$$

ist weitaus besser als dieser unverzerrte Schätzer. Sein Wert ist nicht nur immer positiv, sondern er ist auch genauer, da sein mittlerer quadratischer Fehler$${\displaystyle e^{-4\lambda }-2e^{\lambda (1/e^{2}-3)}+e^{\lambda (1/e^{4}-1)}\,}$$

ist kleiner; vergleichen Sie den MSE des erwartungstreuen Schätzers von $${\displaystyle 1-e^{-4\lambda }.\,}$$

Die mittleren quadratischen Fehler (MSE) sind Funktionen des wahren Wertes  λ . Die Verzerrung des Maximum-Likelihood-Schätzers beträgt: $${\displaystyle e^{\lambda (1/e^{2}-1)}-e^{-2\lambda }.\,}$$

Die Verzerrung von Maximum-Likelihood-Schätzern kann erheblich sein. Stellen Sie sich vor, n von 1 bis n nummerierte Tickets befinden sich in einer Box, und eines wird zufällig gezogen, wodurch sich der Wert X ergibt . Ist n unbekannt, so ist der Maximum-Likelihood-Schätzer für n gleich X , obwohl der Erwartungswert von X gegeben n nur ( n  + 1)/2 beträgt; wir können lediglich sicher sein, dass n mindestens X und wahrscheinlich größer ist. In diesem Fall ist der natürliche erwartungstreue Schätzer 2X −  1.

Die Theorie der medianunverzerrten Schätzer wurde 1947 von George W. Brown wiederbelebt: ^{[ 8 ]}

Eine Schätzung eines eindimensionalen Parameters θ heißt median-unverzerrt, wenn für ein festes θ der Median der Verteilung der Schätzung genau den Wert θ annimmt; d. h., die Schätzung unterschätzt den Wert genauso oft wie sie ihn überschätzt. Diese Anforderung erfüllt für die meisten Zwecke denselben Zweck wie die Anforderung der Mittelwertunverzerrtheit und hat zusätzlich die Eigenschaft, dass sie invariant unter einerindeutigen Transformation ist.

Further properties of median-unbiased estimators have been noted by Lehmann, Birnbaum, van der Vaart and Pfanzagl.^[9] In particular, median-unbiased estimators exist in cases where mean-unbiased and maximum-likelihood estimators do not exist. They are invariant under one-to-one transformations.

There are methods of construction median-unbiased estimators for probability distributions that have monotone likelihood-functions, such as one-parameter exponential families, to ensure that they are optimal (in a sense analogous to minimum-variance property considered for mean-unbiased estimators).^[10][11] One such procedure is an analogue of the Rao–Blackwell procedure for mean-unbiased estimators: The procedure holds for a smaller class of probability distributions than does the Rao–Blackwell procedure for mean-unbiased estimation but for a larger class of loss-functions.^[11]

Any minimum-variance mean-unbiased estimator minimizes the risk (expected loss) with respect to the squared-error loss function (among mean-unbiased estimators), as observed by Gauss.^[12] A minimum-average absolute deviationmedian-unbiased estimator minimizes the risk with respect to the absolute loss function (among median-unbiased estimators), as observed by Laplace.^[12][13] Other loss functions are used in statistics, particularly in robust statistics.^[12][14]

Bei univariaten Parametern bleiben medianunverzerrte Schätzer auch unter Transformationen , die die Ordnung erhalten (oder umkehren), medianunverzerrt. Es ist zu beachten, dass die Anwendung einer Transformation auf einen mittelwertunverzerrten Schätzer nicht zwangsläufig einen mittelwertunverzerrten Schätzer der entsprechenden Populationsstatistik liefert. Gemäß der Jensen-Ungleichung führt eine konvexe Funktion als Transformation zu einer positiven Verzerrung, eine konkave Funktion zu einer negativen Verzerrung, und eine Funktion mit gemischter Konvexität kann je nach Funktion und Verteilung Verzerrungen in beide Richtungen verursachen. Das heißt, für eine nichtlineare Funktion f und einen mittelwertunverzerrten Schätzer U eines Parameters p muss der zusammengesetzte Schätzer f ( U ) kein mittelwertunverzerrter Schätzer von f ( p ) sein. Beispielsweise ist die Quadratwurzel des erwartungstreuen Schätzers der Populationsvarianz kein erwartungstreuer Schätzer der Populationsstandardabweichung : Die Quadratwurzel der erwartungstreuen Stichprobenvarianz , die korrigierte Stichprobenstandardabweichung , ist verzerrt. Die Verzerrung hängt sowohl von der Stichprobenverteilung des Schätzers als auch von der Transformation ab und kann recht aufwendig zu berechnen sein – siehe dazu die Erläuterungen zur erwartungstreuen Schätzung der Standardabweichung .

Während die Verzerrung die durchschnittliche Abweichung zwischen einem Schätzer und dem zugrunde liegenden Parameter quantifiziert, kann ein auf einer endlichen Stichprobe basierender Schätzer aufgrund der Zufälligkeit der Stichprobe zusätzlich vom Parameter abweichen. Ein Schätzer, der die Verzerrung minimiert, minimiert nicht notwendigerweise den mittleren quadratischen Fehler. Ein Maß, das versucht, beide Arten von Abweichungen zu berücksichtigen, ist der mittlere quadratische Fehler [ ^{2 ].} Dieser entspricht dem Quadrat der Verzerrung plus der Varianz ^{[ 2 ] .}$${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} {\big [}({\hat {\theta }}-\theta )^{2}{\big ]}.}$$$${\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})=&(\operatorname {E} [{\hat {\theta }}]-\theta )^{2}+\operatorname {E} [\,({\hat {\theta }}-\operatorname {E} [\,{\hat {\theta }}\,])^{2}\,]\\=&(\operatorname {Bias} ({\hat {\theta }},\theta ))^{2}+\operatorname {Var} ({\hat {\theta }})\end{aligned}}}$$

Wenn der Parameter ein Vektor ist, kommt eine analoge Zerlegung zum Einsatz: ^{[ 15 ]} wobei die Spur (Diagonalsumme) der Kovarianzmatrix des Schätzers und die quadratische Vektornorm ist . $${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))+\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}}$$${\displaystyle \operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))}$${\displaystyle \left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}}$

Nehmen wir beispielsweise ^{[ 16 ]} einen Schätzer der Form an

$${\displaystyle T^{2}=c\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}=cnS^{2}}$$

wird wie oben beschrieben nach der Populationsvarianz gesucht, diesmal jedoch mit dem Ziel, den mittleren quadratischen Fehler (MSE) zu minimieren:

$${\displaystyle {\begin{aligned}\operatorname {MSE} =&\operatorname {E} \left[(T^{2}-\sigma ^{2})^{2}\right]\\=&\left(\operatorname {E} \left[T^{2}-\sigma ^{2}\right]\right)^{2}+\operatorname {Var} (T^{2})\end{aligned}}}$$

Wenn die Variablen X ₁ ... X _n einer Normalverteilung folgen, dann hat nS ² /σ ² eine Chi-Quadrat-Verteilung mit n  − 1 Freiheitsgraden, was Folgendes ergibt:

$${\displaystyle \operatorname {E} [nS^{2}]=(n-1)\sigma ^{2}{\text{ and }}\operatorname {Var} (nS^{2})=2(n-1)\sigma ^{4}.}$$

und so

$${\displaystyle \operatorname {MSE} =(c(n-1)-1)^{2}\sigma ^{4}+2c^{2}(n-1)\sigma ^{4}}$$

Mit ein wenig Algebra lässt sich bestätigen, dass es c = 1/( n  + 1) ist, das diese kombinierte Verlustfunktion minimiert, und nicht c = 1/( n  − 1), das nur das Quadrat der Verzerrung minimiert.

Allgemeiner gilt dies nur für eingeschränkte Problemklassen, bei denen es einen Schätzer gibt, der den MSE unabhängig von den Parameterwerten minimiert.

Es kommt jedoch sehr häufig vor, dass ein Bias-Varianz-Kompromisse wahrgenommen wird , sodass ein kleiner Anstieg des Bias gegen eine größere Verringerung der Varianz eingetauscht werden kann, was insgesamt zu einem wünschenswerteren Schätzer führt.

Die meisten Bayesianer legen wenig Wert auf die Unverzerrtheit ihrer Schätzungen (zumindest im oben genannten formalen Sinne der Stichprobentheorie). Gelman et al. (1995) schreiben beispielsweise: „Aus bayesianischer Sicht ist das Prinzip der Unverzerrtheit im Grenzfall großer Stichproben sinnvoll, ansonsten aber potenziell irreführend.“ ^{[ 17 ]}

Der grundlegende Unterschied zwischen dem Bayes'schen Ansatz und dem oben beschriebenen stichprobentheoretischen Ansatz besteht darin, dass beim stichprobentheoretischen Ansatz der Parameter als fest angenommen wird und anschließend Wahrscheinlichkeitsverteilungen einer Statistik auf Basis der vorhergesagten Stichprobenverteilung der Daten betrachtet werden. Beim Bayes'schen Ansatz hingegen sind die Daten bekannt und fest, und es wird versucht, mithilfe des Bayes'schen Theorems eine Wahrscheinlichkeitsverteilung für den unbekannten Parameter zu konstruieren .

$${\displaystyle p(\theta \mid D,I)\propto p(\theta \mid I)p(D\mid \theta ,I)}$$

Der zweite Term, die Wahrscheinlichkeit der Daten gegeben den unbekannten Parameterwert θ, hängt hier ausschließlich von den erhobenen Daten und der Modellierung des Datengenerierungsprozesses ab. Eine Bayes'sche Berechnung berücksichtigt jedoch auch den ersten Term, die A-priori-Wahrscheinlichkeit für θ, welche alles einbezieht, was der Analytiker vor dem Eintreffen der Daten über θ weiß oder vermutet. Diese Information spielt im Rahmen der Stichprobentheorie keine Rolle; jeder Versuch, sie einzubeziehen, würde als Verzerrung weg von dem betrachtet, was rein datenbasiert nahegelegt wurde. Insofern Bayes'sche Berechnungen A-priori-Informationen einbeziehen, ist es daher im Wesentlichen unvermeidlich, dass ihre Ergebnisse im Sinne der Stichprobentheorie nicht „unverzerrt“ sind.

Die Ergebnisse eines Bayes'schen Ansatzes können sich jedoch von denen des Stichprobentheorieansatzes unterscheiden, selbst wenn der Bayes'sche Ansatz versucht, eine "uninformative" A-priori-Verteilung anzunehmen.

Betrachten wir beispielsweise erneut die Schätzung einer unbekannten Populationsvarianz σ² ^einer Normalverteilung mit unbekanntem Mittelwert, wobei der Parameter c in der erwarteten Verlustfunktion optimiert werden soll.

$${\displaystyle \operatorname {ExpectedLoss} =\operatorname {E} \left[\left(cnS^{2}-\sigma ^{2}\right)^{2}\right]=\operatorname {E} \left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}$$

Eine gängige Wahl für eine nicht-informative Priorverteilung bei diesem Problem ist die Jeffreys-Priorverteilung , die äquivalent zur Annahme einer reskalierungsinvarianten flachen Priorverteilung für ln(σ ² ) ist . ${\displaystyle \scriptstyle {p(\sigma ^{2})\;\propto \;1/\sigma ^{2}}}$

Eine Konsequenz der Annahme dieser A-priori-Verteilung ist, dass S ² /σ ^{2 eine} zentrale Größe bleibt , d. h. die Wahrscheinlichkeitsverteilung von S ² /σ ² hängt nur von S ² /σ ² ab , unabhängig vom Wert von S ² oder σ ² :

$${\displaystyle p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid S^{2}\right)=p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid \sigma ^{2}\right)=g\left({\tfrac {S^{2}}{\sigma ^{2}}}\right)}$$

Jedoch,

$${\displaystyle \operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]=\sigma ^{4}\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}$$

im Gegensatz

$${\displaystyle \operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]\neq \sigma ^{4}\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}$$

Wird der Erwartungswert über die Wahrscheinlichkeitsverteilung von σ² gegeben S² gebildet ^, wie im Bayes'schen Fall, anstatt über S² gegeben σ² ^{, kann σ⁴} nicht mehr als Konstante betrachtet und ausgeklammert werden. Daraus folgt, dass die Bayes'sche Berechnung im Vergleich zur Berechnung nach der Stichprobentheorie größeren Werten von σ² mehr Gewicht beimisst ^{, da sie} (anders als die Berechnung nach der Stichprobentheorie) berücksichtigt, dass die Unterschätzung großer Werte von σ² unter dieser quadratischen Verlustfunktion ^höhere quadratische Verluste verursacht als die Überschätzung kleiner Werte von ^σ² .

Die ausgearbeitete Bayes'sche Berechnung ergibt eine skalierte inverse Chi-Quadrat-Verteilung mit n  − 1 Freiheitsgraden für die A-posteriori-Wahrscheinlichkeitsverteilung von σ² ^{. Der} erwartete Verlust ist minimal, wenn cnS²  = <σ² ^> ; dies tritt ein, wenn c  = 1/( n  − 3).

Selbst bei einer nicht-informativen A-priori-Verteilung kann eine Bayes'sche Berechnung daher nicht dasselbe Ergebnis hinsichtlich der Minimierung des erwarteten Verlusts liefern wie die entsprechende Berechnung nach der Stichprobentheorie.

• Brown, George W. „Über die Schätzung kleiner Stichproben.“ The Annals of Mathematical Statistics , Bd. 18, Nr. 4 (Dez. 1947), S. 582–585. JSTOR  2236236 .
• Lehmann, EL (Dezember 1951). „Ein allgemeines Konzept der Unverzerrtheit“. The Annals of Mathematical Statistics . 22 (4): 587–592 . doi : 10.1214/aoms/1177729549 . JSTOR  2236928 .
• Birnbaum, Allan (März 1961). „Eine einheitliche Schätztheorie, I“. The Annals of Mathematical Statistics . 32 (1): 112–135 . doi : 10.1214/aoms/1177705145 .
• Van der Vaart, HR (Juni 1961). „Einige Erweiterungen des Konzepts der Verzerrung“ . The Annals of Mathematical Statistics . 32 (2): 436–447 . doi : 10.1214/aoms/1177705051 .
• Pfanzagl, Johann (1994). Parametrische statistische Theorie . Walter de Gruyter.
• Stuart, Alan; Ord, Keith; Arnold, Steven [F.] (2010). Klassische Inferenz und das lineare Modell . Kendalls fortgeschrittene Statistiktheorie. Band 2A. Wiley. ISBN 978-0-4706-8924-0DieDie
• Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1993). Unbiased estimators and their applications . Vol. 1: Univariate case. Dordright: Kluwer Academic Publishers. ISBN 0-7923-2382-3Die
• Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1996). Unbiased estimators and their applications . Vol. 2: Multivariate case. Dordright: Kluwer Academic Publishers. ISBN 0-7923-3939-8Die
• Klebanov, Lev [B.]; Rachev, Svetlozar [T.]; Fabozzi, Frank [J.] (2009). Robuste und nicht-robuste Modelle in der Statistik . New York: Nova Scientific Publishers. ISBN 978-1-60741-768-2Die

• „Unverzerrter Schätzer“ , Enzyklopädie der Mathematik , EMS Press , 2001 [1994]