Testgültigkeit

Testvalidität bezeichnet das Ausmaß, in dem ein Test (z. B. ein chemischer , physikalischer oder schulischer Test ) das misst , was er messen soll . In der psychologischen und pädagogischen Diagnostik bezieht sich Validität auf den Grad, in dem Evidenz und Theorie die Interpretationen der Testergebnisse im Hinblick auf die beabsichtigten Testanwendungen stützen. ^{[ 1 ]} Obwohl klassische Modelle das Konzept in verschiedene Validitäten unterteilten (z. B. Inhaltsvalidität , Kriteriumsvalidität und Konstruktvalidität ), ^{[ 2 ]} herrscht heute die Auffassung vor, dass Validität ein einheitliches Konstrukt ist. ^{[ 3 ]}

Validität gilt allgemein als der wichtigste Aspekt psychologischer und pädagogischer Tests ^{[ 4 ]} , da sie die Interpretation von Testergebnissen betrifft ^{[ 3 ]} . Obwohl viele Lehrbücher Validität als statisches Konstrukt darstellen ^{[ 5 ],} haben sich seit den ersten veröffentlichten Empfehlungen zur Erstellung psychologischer und pädagogischer Tests verschiedene Validitätsmodelle entwickelt ^{[ 6 ]} . Diese Modelle lassen sich in zwei Hauptgruppen einteilen: klassische Modelle, die verschiedene Validitätsarten umfassen, und moderne Modelle, die Validität als einheitliches Konstrukt betrachten. Die modernen Modelle reorganisieren klassische „Validitäten“ entweder in „Aspekte“ der Validität ^{[ 3 ]} oder in „Arten“ validitätsbelegender Evidenz ^{[ 1 ].}

Die Validität eines Tests wird oft mit seiner Reliabilität verwechselt , die die Konsistenz eines Messinstruments beschreibt. Eine ausreichende Reliabilität ist eine Voraussetzung für Validität, aber eine hohe Reliabilität garantiert keineswegs die Validität eines Messinstruments.

Obwohl Psychologen und Pädagogen bereits vor dem Zweiten Weltkrieg verschiedene Aspekte der Validität kannten, beschränkten sich ihre Methoden zur Validitätsbestimmung üblicherweise auf Korrelationen von Testergebnissen mit einem bekannten Kriterium. ^{[ 7 ]} Unter der Leitung von Lee Cronbach versuchten die 1954 veröffentlichten „Technical Recommendations for Psychological Tests and Diagnostic Techniques ^{“ [ 6 ]} , den Validitätsbegriff zu präzisieren und zu erweitern, indem sie ihn in vier Bereiche unterteilten: (a) Kriteriumsvalidität , (b) Vorhersagevalidität , (c) Inhaltsvalidität und (d) Konstruktvalidität . In ihrer späteren Publikation ^{[ 8 ]} fassten Cronbach und Meehl die Vorhersage- und Kriteriumsvalidität unter dem Begriff „Kriteriumsorientierung“ zusammen, aus der schließlich die Kriteriumsvalidität hervorging .

In den folgenden vier Jahrzehnten äußerten viele Theoretiker, darunter auch Cronbach selbst ^{[ 9 ]} , ihre Unzufriedenheit mit diesem dreigliedrigen Validitätsmodell. ^{[ 10 ] [ 11 ] [ 12 ]} Ihre Argumente gipfelten in Samuel Messicks Artikel von 1995, in dem er Validität als ein einziges Konstrukt beschrieb, das sich aus sechs „Aspekten“ zusammensetzt. ^{[ 3 ]} Seiner Ansicht nach können verschiedene Schlussfolgerungen aus Testergebnissen zwar unterschiedliche Arten von Evidenz erfordern, jedoch keine unterschiedlichen Validitäten.

Die 1999 veröffentlichten Standards für pädagogische und psychologische Tests ^{[ 1 ]} kodifizierten weitgehend Messicks Modell. Sie beschreiben fünf Arten von Validitätsnachweisen, die jeden Aspekt von Messick einbeziehen, und erwähnen die Inhalts-, Kriteriums- und Konstruktvalidität der klassischen Modelle nicht.

Gemäß den Standards von 1999 [ ^{1 ] ist Validierung der Prozess der Datenerhebung ,} um eine „fundierte wissenschaftliche Grundlage“ für die Interpretation der Testergebnisse gemäß den Vorschlägen des Testentwicklers und/oder des Testanwenders zu schaffen. Die Validierung beginnt daher mit einem Rahmenwerk, das den Umfang und die Aspekte (im Falle mehrdimensionaler Skalen) der vorgeschlagenen Interpretation definiert. Das Rahmenwerk beinhaltet zudem eine rationale Begründung, die die Interpretation mit dem jeweiligen Test verknüpft.

Validitätsforscher erstellen anschließend eine Reihe von Annahmen, die erfüllt sein müssen, damit die Interpretation gültig ist. Alternativ können sie auch eine Liste von Problemen zusammenstellen, die die Gültigkeit der Interpretationen gefährden könnten. In beiden Fällen sammeln die Forscher Evidenz – sei es durch eigene empirische Forschung, Metaanalysen, die Auswertung bestehender Literatur oder logische Analysen der Problematik –, um die Annahmen der Interpretation (oder die Gefährdungen ihrer Gültigkeit) zu stützen oder infrage zu stellen. Dabei wird der Qualität der Evidenz mehr Bedeutung beigemessen als der Quantität.

Eine einzelne Interpretation eines Testergebnisses kann die Richtigkeit mehrerer Annahmen voraussetzen (oder durch eine von mehreren Bedrohungen seiner Gültigkeit in Frage gestellt werden). Starke Beweise für eine einzelne Annahme mindern nicht die Notwendigkeit, die anderen Annahmen zu stützen.

Belege, die die Gültigkeit einer Interpretation stützen (oder in Frage stellen), lassen sich in eine von fünf Kategorien einteilen:

1. Nachweise basierend auf den Testinhalten
2. Evidenz basierend auf Reaktionsprozessen
3. Evidenz basierend auf der inneren Struktur
4. Evidenz basierend auf Beziehungen zu anderen Variablen
5. Evidenz basierend auf den Folgen von Tests

Techniken zur Erhebung der jeweiligen Beweismittel sollten nur dann eingesetzt werden, wenn sie Informationen liefern, die die für die jeweilige Interpretation erforderlichen Annahmen stützen oder in Frage stellen.

Jedes Beweisstück wird schließlich in ein Validitätsargument integriert. Dieses Argument kann eine Überarbeitung des Tests, seines Durchführungsprotokolls oder der den Interpretationen zugrunde liegenden theoretischen Konstrukte erfordern. Sollten der Test und/oder die Interpretationen der Testergebnisse in irgendeiner Weise überarbeitet werden, muss ein neues Validierungsverfahren Beweise zur Stützung der neuen Version erbringen.

• Validitätsskala