Gültigkeit (Statistik)

Validität bezeichnet das Ausmaß, in dem ein Konzept , eine Schlussfolgerung oder eine Messung fundiert ist und die Realität wahrscheinlich zutreffend abbildet. ^{[ 1 ] [ 2 ]} Das Wort „valid“ stammt vom lateinischen „validus “ ab , was „stark“ bedeutet. Die Validität eines Messinstruments (z. B. eines Tests im Bildungsbereich) gibt an, inwieweit das Instrument tatsächlich das misst, was es zu messen vorgibt. ^{[ 3 ]} Validität basiert auf der Aussagekraft verschiedener Evidenzarten (z. B. Augenscheinvalidität, Konstruktvalidität usw.), die im Folgenden genauer beschrieben werden.

In der Psychometrie hat Validität eine besondere Anwendung, die als Testvalidität bezeichnet wird : „das Ausmaß, in dem Evidenz und Theorie die Interpretationen von Testergebnissen stützen“ („wie sie sich aus den vorgeschlagenen Verwendungszwecken von Tests ergeben“). ^{[ 4 ]}

Es gilt allgemein als anerkannt, dass der Begriff der wissenschaftlichen Validität die Natur der Realität anhand statistischer Messungen erfasst und somit sowohl eine erkenntnistheoretische und philosophische als auch eine messtechnische Frage darstellt . In der Logik ist der Begriff enger gefasst und bezieht sich auf das Verhältnis zwischen Prämissen und Schlussfolgerung eines Arguments. In der Logik bezeichnet Validität die Eigenschaft eines Arguments, dass die Wahrheit der Schlussfolgerung notwendigerweise aus der Wahrheit der Prämissen folgt. Die Schlussfolgerung eines Arguments ist wahr, wenn das Argument stichhaltig ist, also wenn das Argument gültig ist und seine Prämissen wahr sind.

Im Gegensatz dazu ist „wissenschaftliche oder statistische Validität“ keine deduktive Aussage, die notwendigerweise die Wahrheit bewahrt, sondern eine induktive Aussage, deren Wahrheitsgehalt ungewiss bleibt. Daher ist „wissenschaftliche oder statistische Validität“ eine Aussage, die je nach ihrer Natur als stark oder schwach einzustufen ist; sie ist weder notwendig noch mit Sicherheit wahr. Dies führt dazu, dass Aussagen über „wissenschaftliche oder statistische Validität“ interpretationsbedürftig sind und die Bedeutung der Faktenlage offenlassen.

Validität ist wichtig, weil sie dabei helfen kann, die Art der einzusetzenden Tests zu bestimmen und sicherzustellen, dass die Forscher Methoden anwenden, die nicht nur ethisch und kosteneffektiv sind, sondern auch die betreffenden Ideen oder Konstrukte tatsächlich messen.

Die Validität ^{[ 5 ]} einer Messung beschreibt, inwieweit sie das misst, was sie messen soll. Sie ist nicht mit der Reliabilität gleichzusetzen , die angibt, inwieweit eine Messung konsistente Ergebnisse liefert. Im Gegensatz zur Reliabilität müssen die Messwerte bei der Validität nicht immer übereinstimmen. Allerdings ist eine Messung nicht zwangsläufig valide, nur weil sie reliabel ist. Beispielsweise ist eine Waage, die 5 Pfund zu viel anzeigt, zwar reliabel, aber nicht valide. Ein Test kann nur valide sein, wenn er reliabel ist. Validität setzt außerdem voraus, dass die Messung tatsächlich das misst, was sie messen soll, und nicht etwas anderes. ^{[ 6 ]} Validität (ähnlich wie Reliabilität) ist ein relativer Begriff; sie ist keine Alles-oder-Nichts-Entscheidung. Es gibt viele verschiedene Arten von Validität.

Konstruktvalidität bezeichnet das Ausmaß, in dem Operationalisierungen eines Konstrukts (z. B. auf einer Theorie basierende praktische Tests) dieses Konstrukt gemäß der Definition der Theorie messen. Sie umfasst alle anderen Validitätsarten. Beispielsweise ist die Frage, inwieweit ein Test Intelligenz misst, eine Frage der Konstruktvalidität. Ein Intelligenztest setzt unter anderem voraus, dass er mit den Dingen korreliert, mit denen er korreliert sein sollte ( konvergente Validität ), und nicht mit Dingen, mit denen er nicht korreliert sein sollte ( diskriminante Validität ). ^{[ 7 ]}

Evidenz für die Konstruktvalidität umfasst die empirische und theoretische Unterstützung der Interpretation des Konstrukts. Zu diesen Evidenzlinien gehören statistische Analysen der internen Struktur des Tests, einschließlich der Zusammenhänge zwischen den Antworten auf verschiedene Testitems. Sie umfassen auch Zusammenhänge zwischen dem Test und Messungen anderer Konstrukte. Nach heutigem Verständnis ist Konstruktvalidität nicht zu trennen von der Unterstützung der inhaltlichen Theorie des Konstrukts, das der Test messen soll. Daher tragen auch Experimente, die Aspekte der kausalen Rolle des Konstrukts aufdecken sollen, zur Evidenz für die Konstruktvalidität bei. ^{[ 7 ]}

Inhaltsvalidität ist eine nicht-statistische Validitätsart, die die systematische Untersuchung des Testinhalts umfasst, um festzustellen, ob er eine repräsentative Stichprobe des zu messenden Verhaltensbereichs abdeckt (Anastasi & Urbina, 1997, S. 114). Enthält ein Intelligenzfragebogen beispielsweise Items, die alle in der wissenschaftlichen Literatur diskutierten Bereiche der Intelligenz abdecken?

Die Inhaltsvalidität bezieht sich auf den Grad, in dem der Testinhalt mit einem Inhaltsbereich übereinstimmt, der mit dem Konstrukt verknüpft ist. Beispielsweise sollte ein Test zur Addition zweier Zahlen eine Reihe von Ziffernkombinationen umfassen. Ein Test, der nur einstellige oder nur gerade Zahlen enthält, deckt den Inhaltsbereich nicht ausreichend ab. Inhaltsbezogene Nachweise werden typischerweise von Fachexperten erbracht, die die Testitems anhand der Testspezifikationen bewerten. Experten sollten dabei kulturelle Unterschiede berücksichtigen. Wenn beispielsweise ein Fragebogen zur Fahreignungsprüfung aus England übernommen wird (z. B. DBQ), sollten die Experten den Rechtsverkehr in Großbritannien berücksichtigen. Einige Studien haben gezeigt, dass dies für einen validen Fragebogen entscheidend ist. ^{[ 8 ]} Vor der endgültigen Durchführung der Befragung sollte der Forscher die Validität der Items in Bezug auf jedes Konstrukt oder jede Variable überprüfen und die Messinstrumente entsprechend der Einschätzung der Fachexperten anpassen.

Ein Test verfügt über eine inhärente Inhaltsvalidität, die durch die sorgfältige Auswahl der Testitems gewährleistet wird (Anastasi & Urbina, 1997). Die Items werden so ausgewählt, dass sie der Testspezifikation entsprechen, welche durch eine gründliche Analyse des jeweiligen Themenbereichs erstellt wurde. Foxcroft, Paterson, le Roux & Herbst (2004, S. 49) ^{[ 9 ]} weisen darauf hin, dass die Inhaltsvalidität eines Tests durch die Hinzuziehung eines Expertengremiums zur Überprüfung der Testspezifikation und der Itemauswahl verbessert werden kann. Die Experten können die Items begutachten und beurteilen, ob sie eine repräsentative Stichprobe des Verhaltensbereichs abdecken.

Die Augenscheinvalidität ist eine Einschätzung, ob ein Test ein bestimmtes Kriterium zu messen scheint; sie garantiert jedoch nicht, dass der Test tatsächlich Phänomene in diesem Bereich misst. Messinstrumente können eine hohe Validität aufweisen, aber wenn der Test nicht das zu messen scheint, was er vorgibt zu messen, ist seine Augenscheinvalidität gering. Tatsächlich kann eine geringe Augenscheinvalidität bei Tests, die anfällig für Manipulation (Simulation) sind, die Validität des Tests sogar erhöhen. Da man mit geringerer Augenscheinvalidität möglicherweise ehrlichere Antworten erhält, ist es manchmal wichtig, während der Durchführung der Messungen den Anschein einer geringen Augenscheinvalidität zu erwecken.

Die Augenscheinvalidität steht in engem Zusammenhang mit der Inhaltsvalidität. Während die Inhaltsvalidität auf einer theoretischen Grundlage beruht, die annimmt, ob ein Test alle Bereiche eines bestimmten Kriteriums erfasst (z. B. ist die Erfassung von Additionsfähigkeiten ein geeignetes Maß für mathematische Fähigkeiten? Um dies zu beantworten, muss man wissen, welche verschiedenen Arten von Rechenfertigkeiten mathematische Fähigkeiten umfassen), bezieht sich die Augenscheinvalidität darauf, ob ein Test auf den ersten Blick ein geeignetes Messinstrument zu sein scheint oder nicht. Diese Beurteilung erfolgt anhand des ersten Eindrucks des Tests und kann daher auch von Laien vorgenommen werden.

Die Gültigkeit auf den ersten Blick ist ein Ausgangspunkt, sollte aber niemals als wahrscheinlich gültig für einen bestimmten Zweck angesehen werden, da die „Experten“ sich schon einmal geirrt haben – der Malleus Malificarum (Hexenhammer) stützte seine Schlussfolgerungen lediglich auf die selbstverschuldete Kompetenz zweier „Experten“ in der „Hexereierkennung“, wurde aber dennoch als „Test“ verwendet, um Zehntausende von Männern und Frauen als „Hexen“ zu verurteilen und auf dem Scheiterhaufen zu verbrennen. ^{[ 10 ]}

Die Kriteriumsvalidität beruht auf der Korrelation zwischen dem Test und einer oder mehreren Kriteriumsvariablen, die als repräsentativ für das Konstrukt gelten. Anders ausgedrückt: Der Test wird mit anderen, bereits als valide geltenden Messgrößen oder Ergebnissen (den Kriterien) verglichen. Beispielsweise werden Eignungstests für Mitarbeiter häufig anhand von Leistungsmessungen (dem Kriterium) validiert , und Intelligenztests werden häufig anhand von Leistungsmessungen (dem Kriterium) validiert.

Werden Testdaten und Kriteriumsdaten gleichzeitig erhoben, spricht man von Übereinstimmungsvalidität. Werden die Testdaten hingegen zuerst erhoben, um später erhobene Kriteriumsdaten vorherzusagen, spricht man von prädiktiver Validität.

Die Kriteriumsvalidität beschreibt, inwieweit die Operationalisierung mit anderen Messungen desselben Konstrukts korreliert, die gleichzeitig erhoben werden. Vergleicht man die Messung mit einer anderen Messung desselben Typs, so besteht ein Zusammenhang (oder eine Korrelation). Im Beispiel des Auswahltests bedeutet dies, dass die Tests den aktuellen Mitarbeitern vorgelegt und anschließend mit ihren Leistungsbeurteilungen korreliert werden.

Die prädiktive Validität beschreibt, inwieweit die Operationalisierung andere Messungen desselben Konstrukts, die zu einem späteren Zeitpunkt durchgeführt werden, vorhersagen (oder mit diesen korrelieren) kann. Im Beispiel des Auswahltests bedeutet dies, dass die Tests den Bewerbern vorgelegt werden, alle Bewerber eingestellt werden, ihre Leistungen zu einem späteren Zeitpunkt überprüft werden und anschließend ihre Testergebnisse korreliert werden.

Hierbei handelt es sich auch um Messungen, die eine Beziehung zwischen dem Messobjekt und etwas anderem vorhersagen; sie prognostizieren, ob das andere in Zukunft eintreten wird oder nicht. Eine hohe Korrelation zwischen den vorhergesagten und den tatsächlich eingetretenen Ergebnissen ist der stärkste Beweis für die Validität.

Die Validität des Designs experimenteller Forschungsstudien ist ein grundlegender Bestandteil der wissenschaftlichen Methode [ ^{2 ]} und ein Anliegen der Forschungsethik . Ohne ein valides Design lassen sich ^keine validen wissenschaftlichen Schlussfolgerungen ziehen.

Die statistische Schlussfolgerungsvalidität beschreibt den Grad, in dem Schlussfolgerungen über den Zusammenhang zwischen Variablen auf Basis der Daten korrekt oder „angemessen“ sind. Ursprünglich ging es dabei ausschließlich um die Korrektheit der statistischen Schlussfolgerung über den Zusammenhang der Variablen, mittlerweile geht der Trend jedoch hin zu „angemessenen“ Schlussfolgerungen, die quantitative, statistische und qualitative Daten einbeziehen. ^{[ 11 ]}

Die statistische Validität von Schlussfolgerungen erfordert die Anwendung adäquater Stichprobenverfahren, geeigneter statistischer Tests und zuverlässiger Messverfahren. ^{[ 12 ]} Da sich diese Art der Validität ausschließlich auf die Beziehung zwischen Variablen bezieht, kann es sich bei dieser Beziehung lediglich um eine Korrelation handeln.

Die interne Validität ist eine induktive Einschätzung, inwieweit Schlussfolgerungen über Kausalzusammenhänge (z. B. Ursache und Wirkung) auf Grundlage der verwendeten Messinstrumente, des Forschungsumfelds und des gesamten Forschungsdesigns gezogen werden können . Gute experimentelle Techniken, bei denen die Wirkung einer unabhängigen Variable auf eine abhängige Variable unter streng kontrollierten Bedingungen untersucht wird, ermöglichen in der Regel eine höhere interne Validität als beispielsweise Einzelfallstudien.

Acht Arten von Störvariablen können die interne Validität (d. h. den Versuch, Kausalzusammenhänge zu isolieren) beeinträchtigen:

1. Historie , d. h. die spezifischen Ereignisse, die zwischen der ersten und zweiten Messung zusätzlich zu den experimentellen Variablen auftreten.
2. Reifung , Prozesse innerhalb der Teilnehmer als Funktion des Zeitablaufs (nicht spezifisch für bestimmte Ereignisse), z. B. älter werden, hungriger werden, müder werden usw.
3. Testen , die Auswirkungen der Teilnahme an einem Test auf die Ergebnisse eines zweiten Tests.
4. Instrumentelle Veränderungen , Änderungen der Kalibrierung eines Messinstruments oder Änderungen der Beobachter oder Auswerter können zu Veränderungen der erhaltenen Messwerte führen.
5. Statistische Regression , die dort angewendet wird, wo Gruppen anhand ihrer Extremwerte ausgewählt wurden.
6. Selektionsverzerrungen , die sich aus der unterschiedlichen Auswahl von Befragten für die Vergleichsgruppen ergeben.
7. Experimentelle Mortalität oder unterschiedlicher Verlust von Studienteilnehmern aus den Vergleichsgruppen.
8. Selektions-Reifungs-Interaktion usw., z. B. in quasi-experimentellen Mehrgruppen-Designs

Externe Validität bezieht sich darauf, inwieweit die (intern validen) Ergebnisse einer Studie auch für andere Fälle gelten, beispielsweise für andere Personen, Orte oder Zeiten. Anders ausgedrückt: Es geht darum, ob die Ergebnisse valide verallgemeinert werden können. Würde dieselbe Studie in diesen anderen Fällen zu denselben Ergebnissen führen?

Ein wesentlicher Faktor hierbei ist, ob die Studienpopulation (z. B. die Studienteilnehmer) hinsichtlich relevanter Dimensionen repräsentativ für die Allgemeinbevölkerung ist. Weitere Faktoren, die die externe Validität gefährden, sind:

1. Reaktiver Effekt oder Interaktionseffekt des Testens : Ein Vortest kann die Ergebnisse eines Nachtests erhöhen.
2. Wechselwirkungseffekte von Selektionsverzerrungen und der experimentellen Variable .
3. Reaktive Effekte experimenteller Anordnungen , die eine Verallgemeinerung über die Wirkung der experimentellen Variable auf Personen, die ihr in nicht-experimentellen Kontexten ausgesetzt sind, ausschließen würden.
4. Interferenz durch Mehrfachbehandlungen , bei der die Auswirkungen früherer Behandlungen nicht rückgängig gemacht werden können.

Ökologische Validität beschreibt, inwieweit Forschungsergebnisse auf reale Situationen außerhalb des Forschungskontexts übertragbar sind. Sie steht in engem Zusammenhang mit externer Validität und umfasst die Frage, inwieweit experimentelle Befunde die Beobachtungen in der realen Welt widerspiegeln (Ökologie = die Wissenschaft von der Wechselwirkung zwischen Organismus und Umwelt). Für eine ökologische Validität müssen Methoden, Materialien und Studiendesign die untersuchte reale Situation möglichst genau abbilden.

Die ökologische Validität hängt unter anderem mit der Frage nach Experiment versus Beobachtung zusammen. In der Wissenschaft unterscheidet man typischerweise zwei Forschungsbereiche: die beobachtende (passive) und die experimentelle (aktive). Experimentelle Studien dienen dazu, Kausalzusammenhänge zu untersuchen, um beispielsweise zu folgern, dass A die Ursache für B oder B die Ursache für A ist. Manchmal verhindern jedoch ethische und/oder methodische Einschränkungen die Durchführung eines Experiments (z. B. wie sich Isolation auf die kognitive Entwicklung eines Kindes auswirkt). In diesem Fall ist zwar weiterhin Forschung möglich, sie ist aber nicht kausal, sondern korrelativ. Man kann lediglich feststellen, dass A und B gemeinsam auftreten. Beide Methoden haben ihre Stärken und Schwächen.

Auf den ersten Blick scheinen interne und externe Validität einander zu widersprechen – für ein erfolgreiches Versuchsdesign müssen alle Störvariablen kontrolliert werden. Daher werden Experimente häufig im Labor durchgeführt. Zwar wird interne Validität gewonnen (durch die Konstanthaltung von Störvariablen), jedoch geht ökologische oder externe Validität verloren, da eine künstliche Laborumgebung geschaffen wird. Bei Beobachtungsstudien hingegen können Störvariablen nicht kontrolliert werden (geringe interne Validität), jedoch können Messungen im natürlichen Umfeld, also dort, wo das Verhalten üblicherweise auftritt, durchgeführt werden. Dabei wird jedoch die interne Validität beeinträchtigt.

Der scheinbare Widerspruch zwischen interner und externer Validität ist jedoch nur oberflächlich. Die Frage, ob sich die Ergebnisse einer bestimmten Studie auf andere Personen, Orte oder Zeiten übertragen lassen, stellt sich erst bei einer induktiven Forschungsstrategie . Wenn das Ziel einer Studie die deduktive Überprüfung einer Theorie ist, konzentriert man sich ausschließlich auf Faktoren, die die Strenge der Studie beeinträchtigen könnten, also auf Bedrohungen der internen Validität. Anders ausgedrückt: Die Relevanz externer und interner Validität für eine Forschungsstudie hängt von deren Zielen ab. Darüber hinaus kann die Vermischung von Forschungszielen und Validitätsbelangen zum Problem der wechselseitigen internen Validität führen, bei dem Theorien Phänomene nur in künstlichen Laborumgebungen, nicht aber in der realen Welt erklären können. ^{[ 13 ] [ 14 ]}

In der Psychiatrie besteht ein besonderes Problem bei der Beurteilung der Validität der Diagnosekategorien selbst. In diesem Zusammenhang: ^{[ 15 ]}

• Die Inhaltsvalidität kann sich auf Symptome und Diagnosekriterien beziehen;
• Die Übereinstimmungsvalidität kann durch verschiedene Korrelate oder Marker und möglicherweise auch durch das Ansprechen auf die Behandlung definiert werden;
• Die prädiktive Validität bezieht sich hauptsächlich auf die diagnostische Stabilität im Zeitverlauf;
• Die diskriminante Validität kann die Abgrenzung von anderen Störungen erfordern.

Robins und Guze schlugen 1970 formale Kriterien zur Feststellung der Gültigkeit psychiatrischer Diagnosen vor, die später einflussreich werden sollten. Sie führten fünf Kriterien auf: ^{[ 15 ]}

• detaillierte klinische Beschreibung (einschließlich Symptomprofilen, demografischen Merkmalen und typischen Auslösern)
• Laboruntersuchungen (einschließlich psychologischer Tests, radiologischer Untersuchungen und Obduktionsbefunde)
• Abgrenzung von anderen Störungen (mittels Ausschlusskriterien)
• Nachfolgestudien, die einen charakteristischen Verlauf zeigen (einschließlich des Nachweises diagnostischer Stabilität)
• Familienstudien, die familiäre Häufungen aufzeigen

Diese wurden in die Feighner-Kriterien und Forschungsdiagnosekriterien aufgenommen , die seither die Grundlage der DSM- und ICD-Klassifikationssysteme bilden.

Kendler unterschied 1980 zwischen: ^{[ 15 ]}

• Vorläufervalidatoren (familiäre Häufung, prämorbide Persönlichkeit und auslösende Faktoren)
• gleichzeitige Validierungsmethoden (einschließlich psychologischer Tests)
• prädiktive Validatoren (diagnostische Konsistenz im Zeitverlauf, Rückfall- und Genesungsraten sowie Ansprechen auf die Behandlung)

Nancy Andreasen (1995) nannte mehrere weitere Validierungsmethoden – Molekulargenetik und Molekularbiologie , Neurochemie , Neuroanatomie , Neurophysiologie und kognitive Neurowissenschaften –, die alle potenziell in der Lage sind, Symptome und Diagnosen mit ihren neuronalen Grundlagen zu verknüpfen . ^{[ 15 ]}

Kendell und Jablinsky (2003) betonten die Wichtigkeit der Unterscheidung zwischen Validität und Nützlichkeit und argumentierten, dass diagnostische Kategorien, die durch ihre Syndrome definiert sind, nur dann als valide gelten sollten, wenn nachgewiesen wurde, dass sie eigenständige Einheiten mit natürlichen Grenzen darstellen, die sie von anderen Störungen abgrenzen. ^{[ 15 ]}

Kendler (2006) betonte, dass ein Validierungskriterium, um nützlich zu sein, einerseits sensitiv genug sein muss, um die meisten Syndrome, die tatsächlich Störungen darstellen, zu bestätigen, andererseits aber auch spezifisch genug, um die meisten Syndrome, die keine tatsächlichen Störungen darstellen, auszuschließen. Aus diesem Grund argumentiert er, dass das Robins-und-Guze-Kriterium „familiäre Häufung“ unzureichend spezifisch sei, da die meisten menschlichen psychischen und physischen Merkmale diese Kriterien erfüllen würden – beispielsweise würde ein willkürliches Syndrom, bestehend aus einer Kombination von „Körpergröße über 1,83 m, roten Haaren und einer großen Nase“, zwar als „familiär gehäuft“ und „ erblich “ eingestuft, dies sollte jedoch nicht als Beweis für eine Störung gelten. Kendler hat zudem angedeutet, dass „ essentialistische “ Genmodelle psychiatrischer Störungen und die Hoffnung, kategorische psychiatrische Diagnosen allein aufgrund von Genentdeckungen durch „Entschlüsselung der Natur an ihren Gelenken“ bestätigen zu können, unplausibel seien. ^{[ 16 ]}

Im US-amerikanischen Bundesgerichtssystem werden Gültigkeit und Zuverlässigkeit von Beweismitteln anhand des Daubert-Standards bewertet (siehe Daubert v. Merrell Dow Pharmaceuticals ). Perri und Lichtenwald (2010) bieten mit ihrer Analyse einer Fehlverurteilung wegen Mordes einen Ausgangspunkt für die Diskussion einer Vielzahl von Aspekten der Zuverlässigkeit und Gültigkeit von Beweismitteln. ^{[ 17 ]}

• Cronbach, L. J.; Meehl, P. E. (1955). Konstruktvalidität in psychologischen Tests. Psychological Bulletin , 52 (4), 281–302 . doi : 10.1037/h0040957 , hdl : 11299/184279 , PMID  13245896 , S2CID  5312179
• Rupp, AA; Pant, HA (2007), „Validitätstheorie“, in Salkind, Neil J. (Hrsg.), Encyclopedia of Measurement and Statistics , SAGE Publishing