Post-hoc-Analyse

In einer wissenschaftlichen Studie bezeichnet die Post-hoc-Analyse (vom lateinischen „post hoc“ , „danach“) statistische Analysen , die erst nach der Datenerhebung durchgeführt werden. ^{[ 1 ] [ 2 ] [ 3 ]} Eine Post-hoc-Analyse dient üblicherweise dazu, spezifische, statistisch signifikante Unterschiede zwischen den Mittelwerten von drei oder mehr unabhängigen Gruppen zu untersuchen – Unterschiede, die mit einer Varianzanalyse (ANOVA) festgestellt wurden. ^{[ 4 ]} Eine ANOVA identifiziert die Gruppe(n) nicht; hierfür ist eine Post-hoc-Analyse erforderlich. ^{[ 5 ]}

Da jede Post-hoc-Analyse im Grunde ein statistischer Test ist , führt die Durchführung mehrerer Post-hoc-Vergleiche zu einem Problem mit der Fehlerrate erster Art (Family-Wise Error Rate) , einer Form des Problems multipler Tests . Dies erhöht die Wahrscheinlichkeit falsch positiver Ergebnisse, sofern keine Korrekturmaßnahmen ergriffen werden.

Post-hoc-Tests sind Folgeuntersuchungen, die nach einem signifikanten ANOVA-Ergebnis durchgeführt werden ^{[ 6 ]} , um die Unterschiede zwischen den Gruppen zu identifizieren. Um dies zu kompensieren, werden mitunter mehrere Post-hoc-Tests durchgeführt, was jedoch oft schwierig oder unmöglich präzise umzusetzen ist. Post-hoc-Analysen, die ohne ausreichende Berücksichtigung dieses Problems durchgeführt und interpretiert werden, werden von Kritikern mitunter als Data Dredging ( p -Hacking) bezeichnet, da die gefundenen statistischen Zusammenhänge häufig trügerisch sind ^{[ 7 ]} . Anders ausgedrückt: Ergebnisse aus Data Dredging sind ungültig oder nicht vertrauenswürdig.

Post-hoc-Analysen sind zulässig, sofern sie transparent als explorativ gekennzeichnet sind. Anders ausgedrückt: Post-hoc-Analysen sind nicht per se unethisch. ^{[ 8 ]} Die wichtigste Voraussetzung für ihre ethische Anwendung ist, dass ihre Ergebnisse nicht fälschlicherweise als die ursprüngliche Hypothese dargestellt werden. ^{[ 8 ]} Moderne Ausgaben wissenschaftlicher Handbücher haben diesen Punkt verdeutlicht; so legt beispielsweise der APA-Stil fest, dass „Hypothesen in drei Gruppen unterteilt werden sollten: geplante primäre, geplante sekundäre und explorative (Post-hoc-)Hypothesen. Explorative Hypothesen sind zulässig, und es sollte kein Druck bestehen, sie als geplante Hypothesen zu tarnen.“ ^{[ 8 ]}

Zu den Arten oder Kategorien von Post-hoc-Analysen gehören: ^{[ 9 ]}

• Paarweise Vergleiche: Testet alle möglichen Paare
• Trendanalyse: Tests auf lineare oder quadratische Trends in geordneten Gruppen
• Analyse einfacher Effekte: Untersucht Effekte innerhalb einer faktoriellen ANOVA
• Interaktionsanalyse: Analysiert Interaktionsbeschränkungen innerhalb einer faktoriellen ANOVA.

• Eingeschränkte Kontrastmengen: Testen kleinerer Vergleichsgruppen

Zusätzlich wird in einer Subgruppenanalyse ^{[ 10 ]} untersucht, ob sich die Ergebnisse zwischen verschiedenen Kategorien von Probanden in der Stichprobe unterscheiden. Dieses Vorgehen ist in klinischen und Beobachtungsstudien üblich.

Gängige Post-hoc-Tests sind: ^{[ 11 ] [ 12 ]}

• Fishers kleinste signifikante Differenz
• Holm-Bonferroni-Verfahren
• Newman-Keuls
• Rodgers Methode
• Scheffé-Methode
• Tukey-Test und ehrliche Signifikanzdifferenz (HSD) (siehe auch: Studentisierte Spannweitenverteilung )

Mit Ausnahme des Scheffé-Tests sollten diese Tests jedoch „a priori“ festgelegt werden, obwohl sie im allgemeinen Sprachgebrauch als „post hoc“ bezeichnet werden. Beispielsweise kann ein Mittelwertunterschied mit der Holm-Bonferroni-Methode signifikant sein, nicht aber mit dem Tukey-Test – und umgekehrt. Es wäre keine gute Praxis, wenn ein Datenanalyst den zu berichtenden Test allein aufgrund des gewünschten Ergebnisses auswählt.

Manchmal entsteht die Versuchung, nachträgliche Analysen durchzuführen, aus dem Wunsch heraus, positive Ergebnisse zu erzielen oder ein Projekt als erfolgreich zu betrachten. In der pharmazeutischen Forschung kann ein Fehlschlag erhebliche finanzielle Folgen haben.

• HARKing
• Testen der aus den Daten abgeleiteten Hypothesen
• Nemenyi-Test
• Ergebniswechsel