Statistisches Modell

Ein statistisches Modell ist ein mathematisches Modell , das eine Reihe statistischer Annahmen zur Generierung von Stichprobendaten (und ähnlichen Daten aus einer größeren Population ) beinhaltet. Es repräsentiert, oft in stark idealisierter Form, den Datengenerierungsprozess . ^{[ 1 ]} Im Zusammenhang mit Wahrscheinlichkeiten spricht man von einem probabilistischen Modell . Alle statistischen Hypothesentests und Schätzer werden mithilfe statistischer Modelle abgeleitet. Allgemeiner gesagt, bilden statistische Modelle die Grundlage statistischer Inferenz . Ein statistisches Modell wird üblicherweise als mathematische Beziehung zwischen einer oder mehreren Zufallsvariablen und anderen nicht-zufälligen Variablen spezifiziert. Somit ist ein statistisches Modell „eine formale Darstellung einer Theorie“ ( Herman Adèr zitiert Kenneth Bollen ). ^{[ 2 ]}

Anschaulich gesprochen kann man sich ein statistisches Modell als eine statistische Annahme (oder eine Menge statistischer Annahmen) mit einer bestimmten Eigenschaft vorstellen : Die Annahme erlaubt es uns, die Wahrscheinlichkeit eines beliebigen Ereignisses zu berechnen . Betrachten wir beispielsweise zwei gewöhnliche sechsseitige Würfel . Wir werden zwei verschiedene statistische Annahmen über die Würfel untersuchen.

Die erste statistische Annahme lautet: Bei jedem Würfel ist die Wahrscheinlichkeit, dass eine der Seiten (1, 2, 3, 4, 5 und 6) erscheint, gleich ⁠1/6Aus dieser Annahme lässt sich die Wahrscheinlichkeit berechnen , dass beide Würfel eine 5 zeigen :1/6×​​1/6⁠ = ⁠1/36Allgemeiner lässt sich die Wahrscheinlichkeit für jedes beliebige Ereignis berechnen, z . B. (1 und 2), (3 und 3) oder (5 und 6). Die alternative statistische Annahme lautet: Bei jedem Würfel beträgt die Wahrscheinlichkeit, dass die Seite 5 erscheint, …1/8( weil die Würfel gewichtet sind ). Aus dieser Annahme lässt sich die Wahrscheinlichkeit berechnen, dass beide Würfel eine 5 zeigen :1/8×​​1/8⁠ = ⁠1/64Wir können jedoch die Wahrscheinlichkeit anderer nicht-trivialer Ereignisse nicht berechnen, da die Wahrscheinlichkeiten der anderen Seiten unbekannt sind .

Die erste statistische Annahme bildet ein statistisches Modell, da sich allein mit ihr die Wahrscheinlichkeit jedes Ereignisses berechnen lässt. Die alternative statistische Annahme bildet kein statistisches Modell, da sich mit ihr allein nicht die Wahrscheinlichkeit jedes Ereignisses berechnen lässt. Im obigen Beispiel ist die Berechnung der Wahrscheinlichkeit eines Ereignisses mit der ersten Annahme einfach. Bei anderen Beispielen kann die Berechnung jedoch schwierig oder sogar praktisch unmöglich sein (z. B. könnte sie Millionen von Jahren Rechenzeit erfordern). Damit eine Annahme ein statistisches Modell darstellt, ist eine solche Schwierigkeit akzeptabel: Die Berechnung muss nicht praktisch, sondern lediglich theoretisch möglich sein.

Mathematisch gesehen ist ein statistisches Modell ein Paar ( ), wobei die Menge der möglichen Beobachtungen, also der Stichprobenraum , und eine Menge von Wahrscheinlichkeitsverteilungen auf ist . ^{[ 3 ]} Die Menge repräsentiert alle als möglich betrachteten Modelle. Diese Menge wird typischerweise parametrisiert: . Die Menge definiert die Parameter des Modells. Wenn eine Parametrisierung so beschaffen ist, dass unterschiedliche Parameterwerte zu unterschiedlichen Verteilungen führen, d. h. (anders ausgedrückt: die Abbildung ist injektiv ), dann wird sie als identifizierbar bezeichnet . ^{[ 3 ]}${\displaystyle S,{\mathcal {P}}}$${\displaystyle S}$${\displaystyle {\mathcal {P}}}$${\displaystyle S}$${\displaystyle {\mathcal {P}}}$${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$${\displaystyle \Theta }$${\displaystyle F_{\theta _{1}}=F_{\theta _{2}}\Rightarrow \theta _{1}=\theta _{2}}$

In einigen Fällen kann das Modell komplexer sein.

• In der Bayes'schen Statistik wird das Modell erweitert, indem eine Wahrscheinlichkeitsverteilung über den Parameterraum hinzugefügt wird .${\displaystyle \Theta }$
• Ein statistisches Modell kann mitunter zwei Mengen von Wahrscheinlichkeitsverteilungen unterscheiden. Die erste Menge umfasst die für die Schlussfolgerung herangezogenen Modelle. Die zweite Menge umfasst alle Modelle, die die Daten generiert haben könnten und ist deutlich größer als die Standardabweichung . Solche statistischen Modelle sind entscheidend, um die Robustheit eines Verfahrens zu überprüfen , d. h. um sicherzustellen, dass es keine schwerwiegenden Fehler erzeugt, wenn seine Annahmen über die Daten falsch sind.${\displaystyle {\mathcal {Q}}=\{F_{\theta }:\theta \in \Theta \}}$${\displaystyle {\mathcal {P}}=\{F_{\lambda }:\lambda \in \Lambda \}}$${\displaystyle {\mathcal {Q}}}$

Angenommen, wir haben eine Population von Kindern, deren Alter gleichmäßig verteilt ist . Die Körpergröße eines Kindes hängt stochastisch vom Alter ab: Beispielsweise beeinflusst das Alter eines Kindes von 7 Jahren die Wahrscheinlichkeit, dass es 1,5 Meter groß ist. Diese Beziehung lässt sich in einem linearen Regressionsmodell formalisieren : Körpergröße _{_i} = b _₀  + b _₁ * Alter _{_i}  + ε _{_i} , wobei b _₀ der Achsenabschnitt, b_₁ ein Parameter ist, mit dem das Alter multipliziert wird, um die Körpergröße vorherzusagen, ε_{_i} der Fehlerterm und i das jeweilige Kind bezeichnet. Dies bedeutet, dass die Körpergröße mit einer gewissen Fehlertoleranz durch das Alter vorhergesagt werden kann.

Ein zulässiges Modell muss mit allen Datenpunkten konsistent sein. Daher kann eine Gerade (Größe _i  = b₀ ₊ b₁ _* Alter _i ) als Modell für die Daten nicht zulässig sein – es sei denn  , sie passt exakt zu allen Datenpunkten, d. h. alle Datenpunkte liegen perfekt auf der Geraden. Der Fehlerterm εᵢ _muss in die Gleichung aufgenommen werden, damit das Modell mit allen Datenpunkten konsistent ist. Für die statistische Inferenz müssen wir zunächst Wahrscheinlichkeitsverteilungen für die εᵢ annehmen _. Beispielsweise könnten wir annehmen, dass die εᵢ _{- Verteilungen} unabhängig und identisch verteilt (iid ₎ und normalverteilt mit Mittelwert null sind. In diesem Fall hätte das Modell drei Parameter: b₀ , b₁ und die Varianz der Normalverteilung. Wir können das Modell formal in der Form ( ) wie folgt spezifizieren. Der Stichprobenraum unseres Modells umfasst die Menge aller möglichen Paare (Alter, Größe). Jeder mögliche Wert von  = ( b ₀ , b ₁ , σ ² ) bestimmt eine Verteilung auf ; diese Verteilung bezeichnen wir mit . Wenn die Menge aller möglichen Werte von ist , dann . (Die Parametrisierung ist identifizierbar, und dies lässt sich leicht überprüfen.) ${\displaystyle S,{\mathcal {P}}}$${\displaystyle S}$${\displaystyle \theta }$${\displaystyle S}$${\displaystyle F_{\theta }}$${\displaystyle \Theta }$${\displaystyle \theta }$${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$

In diesem Beispiel wird das Modell durch (1) die Spezifizierung von und (2) durch einige für relevante Annahmen bestimmt . Es gibt zwei Annahmen: dass die Körpergröße durch eine lineare Funktion des Alters angenähert werden kann und dass die Fehler dieser Approximation unabhängig und identisch normalverteilt sind. Diese Annahmen genügen, um zu spezifizieren – was auch erforderlich ist. ${\displaystyle S}$${\displaystyle {\mathcal {P}}}$${\displaystyle {\mathcal {P}}}$

Ein statistisches Modell ist eine spezielle Klasse mathematischer Modelle . Es unterscheidet sich von anderen mathematischen Modellen dadurch, dass es nicht- deterministisch ist . In einem statistischen Modell, das durch mathematische Gleichungen spezifiziert wird, haben einige Variablen keine festen Werte, sondern Wahrscheinlichkeitsverteilungen; sie sind also stochastisch . Im obigen Beispiel mit der Körpergröße von Kindern ist ε eine stochastische Variable; ohne diese wäre das Modell deterministisch. Statistische Modelle werden häufig auch dann verwendet, wenn der modellierte Datengenerierungsprozess deterministisch ist. Beispielsweise ist der Münzwurf prinzipiell ein deterministischer Prozess; dennoch wird er üblicherweise als stochastisch (mittels eines Bernoulli-Prozesses ) modelliert. Die Wahl eines geeigneten statistischen Modells zur Darstellung eines gegebenen Datengenerierungsprozesses ist mitunter äußerst schwierig und erfordert unter Umständen Kenntnisse sowohl des Prozesses als auch relevanter statistischer Analysemethoden. In diesem Zusammenhang sagte der Statistiker Sir David Cox : „Die Art und Weise, wie die Übersetzung eines Sachproblems in ein statistisches Modell erfolgt, ist oft der kritischste Teil einer Analyse.“ ^{[ 4 ]}

Laut Konishi & Kitagawa gibt es drei Zwecke für ein statistisches Modell: ^{[ 5 ]}

1. Vorhersagen
2. Informationsgewinnung
3. Beschreibung stochastischer Strukturen

Diese drei Zwecke entsprechen im Wesentlichen den drei von Friendly & Meyer genannten Zwecken: Vorhersage, Schätzung, Beschreibung. ^{[ 6 ]}

Angenommen, wir haben ein statistisches Modell ( ) mit . In der Notation schreiben wir , wobei k eine positive ganze Zahl ist ( bezeichnet die reellen Zahlen ; prinzipiell sind auch andere Mengen möglich). Hierbei wird k als Dimension des Modells bezeichnet . Das Modell heißt parametrisch, wenn endliche Dimension hat. Nehmen wir beispielsweise an, dass die Daten aus einer univariaten Normalverteilung stammen , dann nehmen wir an, dass ${\displaystyle S,{\mathcal {P}}}$${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$${\displaystyle \Theta \subseteq \mathbb {R} ^{k}}$${\displaystyle \mathbb {R} }$${\displaystyle \Theta }$

${\displaystyle {\mathcal {P}}=\left\{F_{\mu ,\sigma }(x)\equiv {\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right):\mu \in \mathbb {R} ,\sigma >0\right\}}$Die

In diesem Beispiel ist die Dimension k gleich 2. Nehmen wir als weiteres Beispiel an, die Daten bestünden aus Punkten ( x , y ), die gemäß einer Geraden mit unabhängig und identisch verteilten Gaußschen Residuen (Mittelwert null) verteilt sind: Dies führt zum gleichen statistischen Modell wie im Beispiel mit den Körpergrößen von Kindern. Die Dimension des statistischen Modells ist 3: der Achsenabschnitt der Geraden, die Steigung der Geraden und die Varianz der Verteilung der Residuen. (Beachten Sie, dass die Menge aller möglichen Geraden die Dimension 2 hat, obwohl eine Gerade geometrisch gesehen die Dimension 1 hat.)

Obwohl es sich formal um einen einzelnen Parameter der Dimension k handelt, wird es oft als aus k separaten Parametern bestehend betrachtet . Beispielsweise ist bei der univariaten Gaußverteilung der Parameter formal ein einzelner Parameter der Dimension 2, wird aber häufig als aus zwei separaten Parametern bestehend angesehen – dem Mittelwert und der Standardabweichung. Ein statistisches Modell ist nichtparametrisch, wenn die Parametermenge unendlichdimensional ist. Ein statistisches Modell ist semiparametrisch , wenn es sowohl endlichdimensionale als auch unendlichdimensionale Parameter besitzt. Formal gilt: Ist k die Dimension von und n die Anzahl der Stichproben, so haben sowohl semiparametrische als auch nichtparametrische Modelle die Dimension k ≤ n . Wenn k ≤ n , dann ist das Modell semiparametrisch; andernfalls ist es nichtparametrisch. ${\displaystyle \theta \in \Theta }$${\displaystyle \theta }$${\displaystyle \Theta }$${\displaystyle \Theta }$${\displaystyle k\rightarrow \infty }$${\displaystyle n\rightarrow \infty }$${\displaystyle k/n\rightarrow 0}$${\displaystyle n\rightarrow \infty }$

Parametrische Modelle sind mit Abstand die am häufigsten verwendeten statistischen Modelle. Sir David Cox sagte zu semiparametrischen und nichtparametrischen Modellen: „Diese beinhalten typischerweise weniger Annahmen über die Struktur und Verteilungsform, enthalten aber in der Regel starke Annahmen über die Unabhängigkeit der Variablen.“ ^{[ 7 ]}

Zwei statistische Modelle sind verschachtelt , wenn sich das erste Modell durch Einschränkungen seiner Parameter in das zweite Modell transformieren lässt. Beispielsweise enthält die Menge aller Gaußverteilungen die Menge der Gaußverteilungen mit Mittelwert Null: Durch Einschränkung des Mittelwerts in der Menge aller Gaußverteilungen erhält man die Verteilungen mit Mittelwert Null. Ein weiteres Beispiel ist das quadratische Modell.

y  = b ₀  + b ₁ x  + b ₂ x ²  + ε, ε ~ 𝒩(0, σ ² )

hat darin das lineare Modell eingebettet.

y  = b ₀  + b ₁ x  + ε, ε ~ 𝒩(0, σ ² )

—wir setzen den Parameter b ₂ gleich 0.

In beiden Beispielen hat das erste Modell eine höhere Dimension als das zweite (im ersten Beispiel hat das Modell mit Mittelwert Null die Dimension 1). Dies ist häufig, aber nicht immer der Fall. Ein Beispiel, bei dem beide Modelle die gleiche Dimension haben, ist die Menge der Gaußverteilungen mit positivem Mittelwert, die in der Menge aller Gaußverteilungen enthalten ist; beide haben die Dimension 2.

Der Vergleich statistischer Modelle ist grundlegend für viele statistische Inferenzverfahren . Konishi & Kitagawa (2008 , S. 75) stellen fest: „Die meisten Probleme der statistischen Inferenz lassen sich auf Probleme der statistischen Modellierung zurückführen. Sie werden typischerweise als Vergleiche mehrerer statistischer Modelle formuliert.“ Gängige Kriterien für den Vergleich von Modellen sind unter anderem das Bestimmtheitsmaß ^R² , der Bayes-Faktor , das Akaike-Informationskriterium und der Likelihood-Quotienten-Test sowie dessen Verallgemeinerung, die relative Likelihood .

Eine weitere Möglichkeit, zwei statistische Modelle zu vergleichen, bietet der von Lucien Le Cam eingeführte Begriff der Defizienz . ^{[ 8 ]}

• Davison, AC (2008), Statistische Modelle , Cambridge University Press
• Drton, M.; Sullivant, S. (2007), „ Algebraische statistische Modelle“ (PDF) , Statistica Sinica , 17 : 1273–1297
• Freedman, DA (2009), Statistische Modelle , Cambridge University Press
• Helland, IS (2010), Schritte hin zu einer einheitlichen Grundlage für wissenschaftliche Modelle und Methoden , World Scientific
• Kroese, DP ; Chan, JCC (2014), Statistische Modellierung und Berechnung , Springer
• Shmueli, G. (2010), „Erklären oder vorhersagen?“, Statistical Science , 25 (3): 289–310 , arXiv : 1101.0891 , doi : 10.1214/10-STS330 , S2CID  15900983