p -Wert

Beim Signifikanztest unter der Nullhypothese ist der p- Wert ^{[ Anmerkung 1 ]} die Wahrscheinlichkeit , ein Testergebnis zu erhalten, das mindestens so extrem ist wie das tatsächlich beobachtete Ergebnis , unter der Annahme, dass die Nullhypothese korrekt ist. ^{[ 2 ] [ 3 ]} Ein sehr kleiner p -Wert bedeutet, dass ein solch extremes Ergebnis unter der Nullhypothese sehr unwahrscheinlich wäre . Obwohl die Angabe von p -Werten statistischer Tests in wissenschaftlichen Publikationen vieler quantitativer Disziplinen üblich ist , sind Fehlinterpretationen und Missbrauch von p-Werten weit verbreitet und stellen ein wichtiges Thema in Mathematik und Metawissenschaft dar . ^{[ 4 ] [ 5 ]}

Die American Statistical Association (ASA) gab 2016 eine offizielle Erklärung ab, in der sie feststellte, dass „ p -Werte nicht die Wahrscheinlichkeit messen, dass die untersuchte Hypothese wahr ist, oder die Wahrscheinlichkeit, dass die Daten allein durch Zufall entstanden sind“ und dass „ein p -Wert bzw. eine statistische Signifikanz weder die Effektstärke noch die Bedeutung eines Ergebnisses misst“ und „ohne Kontext oder weitere Belege kein ausreichendes Maß für die Evidenz eines Modells oder einer Hypothese darstellt“ ^{[ 6 ]} . Eine 2019 von der ASA eingesetzte Arbeitsgruppe veröffentlichte jedoch eine Stellungnahme zur statistischen Signifikanz und Replizierbarkeit, die zu dem Schluss kam: „ p -Werte und Signifikanztests erhöhen, wenn sie korrekt angewendet und interpretiert werden, die Aussagekraft der aus den Daten gezogenen Schlussfolgerungen“ ^{[ 7 ] .}

In der Statistik wird jede Vermutung über die unbekannte Wahrscheinlichkeitsverteilung einer Menge von Zufallsvariablen, die die beobachteten Daten einer Studie repräsentieren, als statistische Hypothese bezeichnet . Wenn wir nur eine Hypothese aufstellen und das Ziel des statistischen Tests darin besteht, zu prüfen, ob diese Hypothese haltbar ist, ohne andere spezifische Hypothesen zu untersuchen, dann wird ein solcher Test als Nullhypothesentest bezeichnet . ${\displaystyle X}$

Da unsere statistische Hypothese definitionsgemäß eine Eigenschaft der Verteilung aussagt, ist die Nullhypothese die Standardhypothese, unter der diese Eigenschaft nicht existiert. Die Nullhypothese besagt typischerweise, dass ein bestimmter Parameter (wie eine Korrelation oder eine Differenz zwischen Mittelwerten) in den untersuchten Populationen null ist. Unsere Hypothese kann die Wahrscheinlichkeitsverteilung präzise festlegen oder lediglich angeben, dass sie zu einer bestimmten Verteilungsklasse gehört. Häufig reduzieren wir die Daten auf eine einzelne numerische Statistik, z. B. , deren Randverteilung eng mit einer zentralen Fragestellung der Studie verknüpft ist. ${\displaystyle X}$${\displaystyle T}$

Der p -Wert wird im Kontext von Nullhypothesentests verwendet, um die statistische Signifikanz eines Ergebnisses zu quantifizieren. Das Ergebnis ist der beobachtete Wert der gewählten Statistik . ^{[ Anmerkung 2 ]} Je kleiner der p -Wert ist, desto geringer ist die Wahrscheinlichkeit, dieses Ergebnis zu erhalten, wenn die Nullhypothese wahr wäre. Ein Ergebnis gilt als statistisch signifikant, wenn es die Ablehnung der Nullhypothese erlaubt. Unter sonst gleichen Bedingungen werden kleinere p -Werte als stärkere Evidenz gegen die Nullhypothese gewertet. ${\displaystyle T}$

Vereinfacht gesagt bedeutet die Ablehnung der Nullhypothese, dass es genügend Beweise dagegen gibt.

Nehmen wir als konkretes Beispiel die Nullhypothese, dass eine bestimmte Kennzahl der Standardnormalverteilung folgt . Die Ablehnung dieser Nullhypothese könnte bedeuten, dass (i) der Mittelwert ungleich null ist, (ii) die Varianz ungleich 1 ist oder (iii) die Kennzahl nicht normalverteilt ist. Unterschiedliche Tests derselben Nullhypothese reagieren unterschiedlich sensitiv auf verschiedene Alternativen. Selbst wenn es gelingt, die Nullhypothese für alle drei Alternativen abzulehnen und wir wissen, dass die Verteilung normal ist und die Varianz 1 beträgt, gibt der Nullhypothesentest keine Auskunft darüber, welche von null verschiedenen Mittelwertwerte nun am plausibelsten sind. Je mehr unabhängige Beobachtungen aus derselben Wahrscheinlichkeitsverteilung vorliegen, desto genauer ist der Test und desto präziser lässt sich der Mittelwert bestimmen und seine Abweichung von null nachweisen. Dies erhöht jedoch auch die Bedeutung der Bewertung der praktischen oder wissenschaftlichen Relevanz dieser Abweichung. ${\displaystyle T}$${\displaystyle {\mathcal {N}}(0,1),}$${\displaystyle T}$${\displaystyle T}$${\displaystyle T}$

Der p -Wert ist die Wahrscheinlichkeit unter der Nullhypothese, eine reelle Teststatistik zu erhalten, die mindestens so extrem ist wie die beobachtete. Betrachtet man eine beobachtete Teststatistik aus einer unbekannten Verteilung , so entspricht der p -Wert der A-priori-Wahrscheinlichkeit, einen Teststatistikwert zu beobachten, der mindestens so „extrem“ ist, als wäre die Nullhypothese wahr. Das heißt: ${\displaystyle t}$${\displaystyle T}$${\displaystyle p}$${\displaystyle t}$${\displaystyle H_{0}}$

• ${\displaystyle p=\Pr(T\geq t\mid H_{0})}$für eine einseitige rechtsseitige Teststatistikverteilung.
• ${\displaystyle p=\Pr(T\leq t\mid H_{0})}$für eine einseitige linksseitige Teststatistikverteilung.
• ${\displaystyle p=2\min\{\Pr(T\geq t\mid H_{0}),\Pr(T\leq t\mid H_{0})\}}$für eine zweiseitige Teststatistikverteilung. Wenn die Verteilung von symmetrisch um Null ist, dann${\displaystyle T}$${\displaystyle p=\Pr(|T|\geq |t|\mid H_{0}).}$

Der Fehler, den ein praktizierender Statistiker als den wichtigsten zu vermeidenden einstuft (eine subjektive Einschätzung), wird als Fehler erster Art bezeichnet. Die erste Forderung der mathematischen Theorie besteht darin, Testkriterien abzuleiten, die sicherstellen, dass die Wahrscheinlichkeit, einen Fehler erster Art zu begehen, einem vorgegebenen Wert α entspricht (oder annähernd entspricht oder diesen nicht überschreitet), beispielsweise α = 0,05 oder 0,01 usw. Dieser Wert wird als Signifikanzniveau bezeichnet.

Bei einem Signifikanztest wird die Nullhypothese verworfen, wenn der p -Wert kleiner als ein vordefinierter Schwellenwert ist , das sogenannte Alpha-Niveau oder Signifikanzniveau . Dieses wird nicht aus den Daten abgeleitet, sondern vom Forscher vor der Datenanalyse festgelegt. Üblicherweise wird es auf 0,05 gesetzt, obwohl auch niedrigere Alpha-Niveaus verwendet werden. Der Wert von 0,05 (entspricht einer Wahrscheinlichkeit von 1/20) wurde ursprünglich 1925 von Ronald Fisher in seinem bekannten Buch „ Statistical Methods for Research Workers “ vorgeschlagen . ^{[ 9 ]}${\displaystyle H_{0}}$${\displaystyle \alpha }$${\displaystyle \alpha }$${\displaystyle \alpha }$

Unterschiedliche p -Werte, die auf unabhängigen Datensätzen basieren, können kombiniert werden, beispielsweise mithilfe des Fisher-Kombinationstests .

Der p -Wert ist eine Funktion der gewählten Teststatistik und somit eine Zufallsvariable . Legt die Nullhypothese die Wahrscheinlichkeitsverteilung von λ präzise fest (z. B. λ = 0 , wobei λ der einzige Parameter ist) und ist diese Verteilung stetig, so ist der p -Wert bei Gültigkeit der Nullhypothese gleichverteilt zwischen 0 und 1. Unabhängig von der Gültigkeit der Nullhypothese ist der p -Wert jedoch nicht festgelegt; wird derselbe Test mit neuen Daten unabhängig wiederholt, erhält man typischerweise in jeder Iteration einen anderen p -Wert.${\displaystyle T}$${\displaystyle T}$${\displaystyle H_{0}:\theta =\theta _{0},}$${\displaystyle \theta }$${\displaystyle H_{0}}$

Üblicherweise wird nur ein einzelner p -Wert zu einer Hypothese beobachtet. Dieser p -Wert wird dann im Rahmen eines Signifikanztests interpretiert, ohne dass die zugrunde liegende Verteilung ermittelt wird. Stehen mehrere p -Werte zur Verfügung (z. B. bei der Betrachtung mehrerer Studien zum selben Thema), wird die Verteilung der signifikanten p -Werte mitunter als p -Kurve bezeichnet . ^{[ 10 ]} Mithilfe einer p -Kurve lässt sich die Zuverlässigkeit wissenschaftlicher Literatur beurteilen, beispielsweise durch Aufdecken von Publikationsbias oder p -Hacking . ^{[ 10 ] [ 11 ]}

Bei parametrischen Hypothesentests bezeichnet eine einfache oder Punkthypothese eine Hypothese, bei der der Parameterwert als einzelne Zahl angenommen wird. Im Gegensatz dazu wird der Parameterwert bei einer zusammengesetzten Hypothese durch eine Zahlenmenge angegeben. Ist die Nullhypothese zusammengesetzt (oder die Verteilung der Teststatistik diskret), so ist die Wahrscheinlichkeit, einen p -Wert kleiner oder gleich einer Zahl zwischen 0 und 1 zu erhalten, auch dann kleiner oder gleich dieser Zahl, wenn die Nullhypothese wahr ist. Anders ausgedrückt: Sehr kleine Werte sind relativ unwahrscheinlich, wenn die Nullhypothese wahr ist, und ein Signifikanztest auf dem Niveau α wird durch Verwerfen der Nullhypothese erreicht, wenn der p - Wert kleiner oder gleich α ist . ^{[ 12 ] [ 13 ]}${\displaystyle \alpha }$${\displaystyle \alpha }$

Wenn man beispielsweise die Nullhypothese testet, dass eine Verteilung normalverteilt ist mit einem Mittelwert kleiner oder gleich null, gegen die Alternativhypothese, dass der Mittelwert größer als null ist (bei bekannter Varianz), legt die Nullhypothese nicht die genaue Wahrscheinlichkeitsverteilung der entsprechenden Teststatistik fest. In diesem Beispiel wäre das die Z -Statistik des einseitigen Einstichproben -Z- Tests. Für jeden möglichen Wert des theoretischen Mittelwerts hat die Z -Teststatistik eine andere Wahrscheinlichkeitsverteilung. Unter diesen Umständen wird der p -Wert durch den ungünstigsten Fall der Nullhypothese definiert, der typischerweise an der Grenze zwischen Null- und Alternativhypothese liegt. Diese Definition gewährleistet die Komplementarität von p-Werten und Alpha-Niveaus: Man verwirft die Nullhypothese nur, wenn der p -Wert kleiner oder gleich ist , und der Hypothesentest hat tatsächlich eine maximale Fehlerwahrscheinlichkeit 1. Art von 0,05 . ${\displaystyle H_{0}:\mu \leq 0}$${\displaystyle \alpha =0.05}$${\displaystyle 0.05}$${\displaystyle 0.05}$

Der p -Wert findet breite Anwendung in statistischen Hypothesentests , insbesondere bei Signifikanztests der Nullhypothese. Bei dieser Methode wählt man vor Beginn der Studie ein Modell (die Nullhypothese ) und das Signifikanzniveau α (meist 0,05). Ist der p -Wert nach der Datenanalyse kleiner als α , bedeutet dies, dass die beobachteten Daten ausreichend im Widerspruch zur Nullhypothese stehen , um diese zu verwerfen. Dies beweist jedoch nicht, dass die Nullhypothese falsch ist. Der p -Wert selbst liefert keine Wahrscheinlichkeiten für Hypothesen. Er dient vielmehr als Hilfsmittel, um zu entscheiden, ob die Nullhypothese verworfen wird. ^{[ 14 ]}

Laut ASA besteht weitgehend Einigkeit darüber, dass p -Werte häufig missbraucht und falsch interpretiert werden. ^{[ 3 ]} Besonders kritisiert wird die Praxis, die Alternativhypothese bei einem p -Wert von unter 0,05 ohne weitere Belege anzunehmen. Obwohl p -Werte hilfreich sind, um die Kompatibilität der Daten mit einem bestimmten statistischen Modell zu beurteilen, müssen auch Kontextfaktoren berücksichtigt werden, wie beispielsweise „das Studiendesign, die Qualität der Messungen, externe Belege für das untersuchte Phänomen und die Gültigkeit der Annahmen, die der Datenanalyse zugrunde liegen“. ^{[ 3 ]} Ein weiteres Problem ist, dass der p -Wert oft fälschlicherweise als Wahrscheinlichkeit für die Richtigkeit der Nullhypothese verstanden wird. ^{[ 3 ] [ 15 ]} p -Werte und Signifikanztests sagen zudem nichts darüber aus, ob sich Schlussfolgerungen von einer Stichprobe auf eine Population ziehen lassen.

Einige Statistiker haben vorgeschlagen, p-Werte aufzugeben ^{und sich stattdessen stärker auf andere inferenzstatistische Verfahren zu konzentrieren [3], wie beispielsweise Konfidenzintervalle [} 16 , ^{17 ] , Likelihood -Ratios [18, 19} ] oder Bayes ^{- Faktoren [ 20} , 21 ^{, 22]. Die Umsetzbarkeit dieser Alternativen wird jedoch kontrovers diskutiert [23, 24 ] . Gleichzeitig wird} die Verwendung von ^{p - Werten als nützliches statistisches Werkzeug} verteidigt ^{, das nicht aufgegeben werden sollte} [ 25 , 26, 27, 28]. ^{Andere wiederum haben vorgeschlagen , feste Signifikanzschwellen abzuschaffen und p - Werte} als kontinuierliche Indizes für die Stärke der Evidenz gegen die Nullhypothese zu interpretieren [ 29 ^{, 30 ] . Diese Vorschläge} wurden jedoch ihrerseits kritisiert ^{. [ 31 ]} Andere schlugen jedoch vor, neben den p -Werten auch die A-priori-Wahrscheinlichkeit eines tatsächlichen Effekts anzugeben , die erforderlich wäre, um ein falsch-positives Risiko (d. h. die Wahrscheinlichkeit, dass kein tatsächlicher Effekt vorliegt) unterhalb eines vorab festgelegten Schwellenwerts (z. B. 5 %) zu erhalten. ^{[ 32 ]}

Dennoch wurde 2019 von der ASA eine Arbeitsgruppe einberufen, um den Einsatz statistischer Methoden in wissenschaftlichen Studien, insbesondere Hypothesentests und p -Werte, sowie deren Zusammenhang mit der Replizierbarkeit zu untersuchen. ^{[ 7 ]} Darin heißt es: „Verschiedene Unsicherheitsmaße können sich ergänzen; kein einzelnes Maß ist für alle Zwecke geeignet.“ Der p -Wert wird als eines dieser Maße genannt. Weiterhin wird betont, dass p -Werte sowohl einzeln als auch im Vergleich zu einem Schwellenwert wertvolle Informationen liefern können. Generell wird hervorgehoben, dass „ p -Werte und Signifikanztests, wenn sie korrekt angewendet und interpretiert werden, die Aussagekraft der aus den Daten gezogenen Schlussfolgerungen erhöhen“. Diese Ansicht wurde durch einen Kommentar in Nature Human Behaviour bekräftigt , der als Reaktion auf Empfehlungen zur Neudefinition der statistischen Signifikanz auf p ≤ 0,005 vorschlug, dass „Forschende alle Entscheidungen, die sie bei der Studienplanung treffen, einschließlich des Alpha-Niveaus, transparent darlegen und begründen sollten“. ^{[ 33 ]}

Üblicherweise handelt es sich um eine Teststatistik . Eine Teststatistik ist das Ergebnis einer Skalarfunktion , die alle Beobachtungen berücksichtigt. Diese Statistik liefert einen einzelnen Wert, wie beispielsweise eine t- Statistik oder eine F- Statistik . Daher folgt die Teststatistik einer Verteilung, die durch die Funktion, mit der sie definiert wurde, und die Verteilung der Eingangsdaten bestimmt wird. ${\displaystyle T}$

Für den wichtigen Fall, dass die Daten als Zufallsstichprobe aus einer Normalverteilung angenommen werden, wurden je nach Art der Teststatistik und den zu prüfenden Hypothesen über deren Verteilung verschiedene Nullhypothesentests entwickelt. Beispiele hierfür sind der z -Test für Hypothesen über den Mittelwert einer Normalverteilung mit bekannter Varianz, der t -Test basierend auf der t -Verteilung einer geeigneten Statistik für Hypothesen über den Mittelwert einer Normalverteilung mit unbekannter Varianz und der F -Test basierend auf der F -Verteilung einer weiteren Statistik für Hypothesen über die Varianz. Für Daten anderer Art, beispielsweise kategoriale (diskrete) Daten, können Teststatistiken konstruiert werden, deren Nullhypothesenverteilung auf Normalapproximationen geeigneter Statistiken basiert, die durch Anwendung des zentralen Grenzwertsatzes für große Stichproben gewonnen werden, wie im Fall des Pearson-Chi-Quadrat-Tests .

Die Berechnung eines p -Wertes erfordert somit eine Nullhypothese, eine Teststatistik (sowie die Entscheidung, ob ein einseitiger oder zweiseitiger Test durchgeführt wird ) und Daten. Obwohl die Berechnung der Teststatistik anhand gegebener Daten einfach sein kann, stellt die Berechnung der Stichprobenverteilung unter der Nullhypothese und anschließend ihrer kumulativen Verteilungsfunktion (CDF) oft eine schwierige Aufgabe dar. Heutzutage erfolgt diese Berechnung mithilfe von Statistiksoftware, häufig über numerische Methoden (anstatt exakter Formeln). Im frühen und mittleren 20. Jahrhundert wurde dies jedoch mithilfe von Wertetabellen durchgeführt, aus denen die p -Werte interpoliert oder extrapoliert wurden. Anstatt eine p -Wert-Tabelle zu verwenden, invertierte Fisher die CDF und veröffentlichte eine Liste von Werten der Teststatistik für gegebene feste p- Werte; dies entspricht der Berechnung der Quantilfunktion (inverse CDF).

Als Beispiel für einen statistischen Test wird ein Experiment durchgeführt, um festzustellen, ob ein Münzwurf fair ist (gleiche Wahrscheinlichkeit für Kopf oder Zahl) oder unfair verzerrt (ein Ergebnis ist wahrscheinlicher als das andere).

Angenommen, die experimentellen Ergebnisse zeigen, dass die Münze bei 14 von 20 Würfen auf Kopf landet. Die vollständigen Daten wären eine Folge von zwanzig Malen des Symbols „K“ oder „Z“. Die relevante Statistik wäre die Gesamtzahl der Würfe mit „Kopf“. Die Nullhypothese besagt, dass die Münze fair ist und die Würfe unabhängig voneinander sind. Bei einem rechtsseitigen Test, der angewendet wird, wenn man die Möglichkeit einer möglichen Tendenz der Münze zu „Kopf“ untersucht, entspricht der p -Wert der Wahrscheinlichkeit, dass eine faire Münze bei mindestens 14 von 20 Würfen auf „Kopf“ landet. Diese Wahrscheinlichkeit lässt sich mithilfe der Binomialkoeffizienten berechnen . ${\displaystyle X}$${\displaystyle T}$

${\displaystyle {\begin{aligned}&\Pr(14{\text{ Kopf}})+\Pr(15{\text{ Kopf}})+\cdots +\Pr(20{\text{ Kopf}})\\&={\frac {1}{2^{20}}}\left[{\binom {20}{14}}+{\binom {20}{15}}+\cdots +{\binom {20}{20}}\right]={\frac {60\,460}{1\,048\,576}}\approx 0.058.\end{aligned}}}$

Diese Wahrscheinlichkeit ist der p -Wert, wobei nur extreme Ergebnisse zugunsten von Kopf berücksichtigt werden. Dies wird als einseitiger Test bezeichnet . Man könnte jedoch an Abweichungen in beide Richtungen interessiert sein, die entweder Kopf oder Zahl begünstigen. In diesem Fall kann der zweiseitige p -Wert berechnet werden, der Abweichungen zugunsten von Kopf oder Zahl berücksichtigt. Da die Binomialverteilung für eine faire Münze symmetrisch ist, ist der zweiseitige p -Wert einfach das Doppelte des oben berechneten einseitigen p- Werts: Der zweiseitige p- Wert beträgt 0,115.

Im obigen Beispiel:

• Nullhypothese ( H ₀ ): Die Münze ist fair, mit Pr(Kopf) = 0,5.
• Teststatistik: Anzahl der Würfe mit Kopf.
• Alpha-Niveau (festgelegte Signifikanzschwelle): 0,05.
• Beobachtung O : 14 Mal Kopf bei 20 Würfen.
• Zweiseitiger p -Wert der Beobachtung O gegeben H ₀ = 2 × min(Pr(Anzahl Kopf ≥ 14 Kopf), Pr(Anzahl Kopf ≤ 14 Kopf)) = 2 × min(0,058, 0,978) = 2 × 0,058 = 0,115.

Die Wahrscheinlichkeit P(Anzahl Kopf ≤ 14 Kopf) = 1 − P(Anzahl Kopf ≥ 14 Kopf) + P(Anzahl Kopf = 14) = 1 − 0,058 + 0,036 = 0,978. Aufgrund der Symmetrie dieser Binomialverteilung ist die Berechnung der kleineren der beiden Wahrscheinlichkeiten jedoch überflüssig. Der berechnete p -Wert ist größer als 0,05, was bedeutet, dass die Daten im Bereich dessen liegen, was in 95 % der Fälle zu erwarten wäre, wenn die Münze fair wäre. Daher wird die Nullhypothese auf dem 5%-Niveau nicht verworfen.

Hätte man jedoch einen weiteren Kopf erzielt, wäre der resultierende p -Wert (zweiseitig) 0,0414 (4,14 %) gewesen, in welchem ​​Fall die Nullhypothese auf dem 0,05-Niveau verworfen worden wäre.

Der Unterschied zwischen den beiden Bedeutungen von „extrem“ wird deutlich, wenn wir einen sequenziellen Hypothesentest oder einen optionalen Stopp zur Gewährleistung der Fairness betrachten. Im Allgemeinen verändert ein optionaler Stopp die Berechnung des p-Werts. ^{[ 34 ] [ 35 ]} Angenommen, wir gestalten das Experiment wie folgt:

• Wirf die Münze zweimal. Wenn beide Male Kopf oder Zahl erscheint, beende das Experiment.
• Ansonsten wirf die Münze noch 4 Mal.

Dieses Experiment hat 7 mögliche Ergebnisse: 2x Kopf, 2x Zahl, 5x Kopf, 1x Zahl, ..., 1x Kopf, 5x Zahl. Wir berechnen nun den p -Wert für das Ergebnis „3x Kopf, 3x Zahl“.

Wenn wir die Teststatistik # verwenden , dann ist unter der Nullhypothese (d. h. # ) der zweiseitige p -Wert genau gleich 1, und sowohl der einseitige linksseitige p-Wert als auch der einseitige rechtsseitige p -Wert sind genau gleich . ${\displaystyle {\text{Kopf}}/{\text{Zahl}}}$${\displaystyle {\text{heads}}\leq 3}$${\displaystyle 19/32}$

Wenn wir jedes Ergebnis, dessen Wahrscheinlichkeit gleich oder geringer als die von „3x Kopf, 3x Zahl“ ist, als „mindestens genauso extrem“ betrachten, dann ist der p -Wert genau${\displaystyle 1/2.}$

Angenommen, wir hätten jedoch geplant, die Münze einfach 6 Mal zu werfen, egal was passiert, dann würde die zweite Definition des p -Werts bedeuten, dass der p -Wert von „3 Kopf 3 Zahl“ genau 1 beträgt.

Die Definition des p -Werts als „mindestens ebenso extrem“ ist daher stark kontextabhängig und hängt davon ab, was der Experimentator geplant hatte , selbst in Situationen, die nicht eintraten.

P-value computations date back to the 1700s, where they were computed for the human sex ratio at birth, and used to compute statistical significance compared to the null hypothesis of equal probability of male and female births.^[36]John Arbuthnot studied this question in 1710,^{[37][38][39][40]} and examined birth records in London for each of the 82 years from 1629 to 1710. In every year, the number of males born in London exceeded the number of females. Considering more male or more female births as equally likely, the probability of the observed outcome is 1/2⁸², or about 1 in 4,836,000,000,000,000,000,000,000; in modern terms, the p-value. This is vanishingly small, leading Arbuthnot to conclude that this was not due to chance, but to divine providence: "From whence it follows, that it is Art, not Chance, that governs." In modern terms, he rejected the null hypothesis of equally likely male and female births at the p = 1/2⁸² significance level. This and other work by Arbuthnot is credited as "… the first use of significance tests …"^[41] the first example of reasoning about statistical significance,^[42] and "… perhaps the first published report of a nonparametric test …",^[38] specifically the sign test; see details at Sign test § History.

The same question was later addressed by Pierre-Simon Laplace, who instead used a parametric test, modeling the number of male births with a binomial distribution:^[43]

In the 1770s Laplace considered the statistics of almost half a million births. The statistics showed an excess of boys compared to girls. He concluded by calculation of a p-value that the excess was a real, but unexplained, effect.

Der p -Wert wurde erstmals formal von Karl Pearson in seinem Pearson-Chi-Quadrat-Test ^{[ 44 ]} unter Verwendung der Chi-Quadrat-Verteilung eingeführt und mit einem großen P bezeichnet. ^{[ 44 ]} Die p -Werte für die Chi-Quadrat-Verteilung (für verschiedene Werte von χ² ^und Freiheitsgraden), die nun mit P bezeichnet werden, wurden in ( Elderton 1902 ) berechnet und in ( Pearson 1914 , S. xxxi–xxxiii, 26–28, Tabelle XII ) gesammelt.

Ronald Fisher formalisierte und popularisierte die Verwendung des p -Werts in der Statistik ^{[ 45 , 46 ], wobei} dieser eine zentrale Rolle in seinem Ansatz zu diesem Thema spielte ^{[ 47 ]} . In seinem einflussreichen Buch „Statistical Methods for Research Workers “ (1925) schlug Fisher das Signifikanzniveau p = 0,05 vor, was einer Wahrscheinlichkeit von 1 zu 20 entspricht, diesen Wert zufällig zu überschreiten . Er wandte dies auf eine Normalverteilung (als zweiseitigen Test) an und leitete daraus die Zwei-Standardabweichungen-Regel (bei einer Normalverteilung) für statistische Signifikanz ab (siehe 68-95-99,7-Regel ) ^{[ 48 , Anmerkung 3 , 49 ] .}

Anschließend erstellte er eine Wertetabelle, ähnlich der von Elderton, wobei er jedoch die Rollen von χ² und p umkehrte ^. Anstatt p für verschiedene Werte von χ² (und Freiheitsgrade n) zu berechnen , ermittelte ^er χ² - Werte ^, die bestimmte p -Werte ergaben, nämlich 0,99, 0,98, 0,95, 0,90, 0,80, 0,70, 0,50, 0,30, 0,20, 0,10, 0,05, 0,02 und 0,01. ^{[ 50 ]} Dadurch konnten die berechneten χ²-Werte ^mit Schwellenwerten verglichen werden, und es wurde die Verwendung von p -Werten (insbesondere 0,05, 0,02 und 0,01) als Schwellenwerte anstelle der Berechnung und Angabe der p -Werte selbst gefördert. Die gleichen Tabellen wurden dann in ( Fisher & Yates 1938 ) zusammengestellt, was den Ansatz festigte. ^{[ 49 ]}

Als Beispiel für die Anwendung von p -Werten bei der Planung und Interpretation von Experimenten präsentierte Fisher in seinem nachfolgenden Buch „The Design of Experiments “ (1935) das Experiment mit der Teeverkostung durch eine Frau ^{[ 51 ]} , das als archetypisches Beispiel für den p -Wert gilt.

Um die Behauptung einer Frau ( Muriel Bristol ) zu überprüfen, sie könne anhand des Geschmacks unterscheiden, wie Tee zubereitet wird (erst die Milch, dann der Tee, oder umgekehrt), wurden ihr nacheinander acht Tassen präsentiert: vier auf die eine, vier auf die andere Art zubereitet. Sie sollte die Zubereitung jeder Tasse bestimmen (wobei sie wusste, dass es jeweils vier Tassen gab). Die Nullhypothese lautete, dass sie keine besondere Fähigkeit besitze. Der Test war der Fisher-Exakt-Test , und der p -Wert war so hoch, dass Fisher die Nullhypothese verwerfen würde (er hielt es für höchst unwahrscheinlich, dass das Ergebnis zufällig entstanden sei), wenn alle Tassen korrekt klassifiziert würden. (Im tatsächlichen Experiment klassifizierte Bristol alle acht Tassen korrekt.) ${\displaystyle 1/{\binom {8}{4}}=1/70\approx 0.014,}$

Fisher bekräftigte den Schwellenwert p = 0,05 und erläuterte dessen Begründung wie folgt: ^{[ 52 ]}

Es ist üblich und zweckmäßig, dass Experimentatoren 5 Prozent als Standard-Signifikanzniveau annehmen, in dem Sinne, dass sie bereit sind, alle Ergebnisse zu ignorieren, die diesen Standard nicht erreichen, und dadurch den größten Teil der Schwankungen, die durch Zufallsursachen in ihre experimentellen Ergebnisse eingebracht wurden, aus der weiteren Diskussion auszuschließen.

Er wendet diesen Schwellenwert auch auf die Versuchsplanung an und merkt an, dass bei nur sechs präsentierten Bechern (je drei von jeder Sorte) eine perfekte Klassifizierung lediglich einen p -Wert ergeben hätte, der dieses Signifikanzniveau nicht erreicht hätte. ^{[ 52 ]} Fisher betonte zudem die Interpretation des p-Werts als den langfristigen Anteil der Werte, die mindestens so extrem sind wie die Daten, unter der Annahme, dass die Nullhypothese zutrifft. ${\displaystyle 1/{\binom {6}{3}}=1/20=0,05,}$

In späteren Ausgaben stellte Fisher die Verwendung des p -Werts für statistische Schlussfolgerungen in den Naturwissenschaften explizit dem Neyman-Pearson-Verfahren gegenüber, das er als „Akzeptanzverfahren“ bezeichnet. ^{[ 53 ]} Fisher betont, dass feste Signifikanzniveaus wie 5 %, 2 % und 1 % zwar praktisch sind, aber auch der exakte p -Wert verwendet werden kann und die Beweiskraft durch weitere Experimente angepasst werden kann und wird. Im Gegensatz dazu erfordern Entscheidungsverfahren eine eindeutige Entscheidung, die zu einer irreversiblen Handlung führt, und basieren auf Fehlerkosten, die seiner Ansicht nach in der wissenschaftlichen Forschung nicht anwendbar sind.

Der E-Wert kann zwei Bedeutungen haben, die beide mit dem p-Wert verwandt sind und bei multiplen Tests eine Rolle spielen . Erstens stellt er eine generische, robustere Alternative zum p-Wert dar , die die optionale Fortsetzung von Experimenten berücksichtigt . Zweitens wird er auch als Abkürzung für „Erwartungswert“ verwendet. Dieser gibt an, wie oft man erwartet , eine Teststatistik zu erhalten, die mindestens so extrem ist wie die tatsächlich beobachtete, wenn man die Nullhypothese als wahr annimmt. ^{[ 54 ]} Der Erwartungswert ist das Produkt aus der Anzahl der Tests und dem p -Wert.

Der q -Wert ist das Analogon zum p -Wert in Bezug auf die Falsch-Positiv-Rate . ^{[ 55 ]} Er wird bei multiplen Hypothesentests verwendet , um die statistische Power aufrechtzuerhalten und gleichzeitig die Falsch-Positiv-Rate zu minimieren . ^{[ 56 ]}

Die Wahrscheinlichkeit der Richtung ( pd ) ist das Bayes'sche numerische Äquivalent des p -Werts. ^{[ 57 ]} Sie entspricht dem Anteil der A- posteriori-Verteilung , der das Vorzeichen des Medians aufweist, typischerweise zwischen 50 % und 100 %, und repräsentiert die Sicherheit, mit der ein Effekt positiv oder negativ ist.

p-Werte der zweiten Generation erweitern das Konzept der p-Werte, indem sie extrem kleine, praktisch irrelevante Effektstärken nicht als signifikant betrachten. ^{[ 58 ]}

Der S-Wert, auch Überraschungswert genannt, ist als logarithmische Transformation des p-Werts definiert: S-Wert = -log₂ ₍ p-Wert). Die Transformation in S-Werte soll die Interpretation von p-Werten erleichtern, indem eine intuitivere logarithmische Skala verwendet wird, die angibt, wie „überrascht“ man von einem Ergebnis ist. ^{[ 59 ] [ 60 ] [ 61 ]}

• Student-t-Test
• Bonferroni-Korrektur
• Counternull
• Fishers Methode zur Kombination von p -Werten
• Verallgemeinerter p -Wert
• Harmonischer Mittelwert p -Wert
• Holm-Bonferroni-Methode
• Problem der Mehrfachvergleiche
• p -rep
• p- Wert-Trugschluss

• Kostenlose Online -Rechner für p -Werte für verschiedene spezifische Tests (Chi-Quadrat-Test, Fisher-F-Test usw.).
• Verständnis von p -Werten , einschließlich eines Java-Applets, das veranschaulicht, wie die numerischen Werte von p -Werten einen irreführenden Eindruck von der Wahrheit oder Falschheit der zu testenden Hypothese vermitteln können.
• StatQuest: P-Werte, klar erklärt auf YouTube
• StatQuest: Fallstricke beim p-Wert und Berechnungen der Teststärke auf YouTube
• Science Isn't Broken – Artikel darüber, wie p -Werte manipuliert werden können, und ein interaktives Tool zur Visualisierung.