Unter Testäquivalenz versteht man traditionell das statistische Verfahren zur Ermittlung vergleichbarer Ergebnisse auf verschiedenen Versionen einer Prüfung . [ 1 ] Dies kann anhand der beobachteten Ergebnisse oder mithilfe der Item-Response-Theorie erfolgen .

In der Item-Response-Theorie bezeichnet Äquivalenz [ 2 ] das Verfahren, bei dem die Ergebnisse zweier oder mehrerer paralleler Testformen auf eine gemeinsame Skala übertragen werden. Dadurch können die Ergebnisse zweier verschiedener Testformen direkt verglichen oder so behandelt werden, als stammten sie aus derselben Testform. Sind die Tests nicht parallel, spricht man von Verknüpfung. Dabei werden die Einheiten und Ursprünge zweier Skalen angeglichen, anhand derer die Fähigkeiten von Schülern aus verschiedenen Testergebnissen eingeschätzt wurden. Dieses Verfahren ist analog zur Umrechnung von Grad Fahrenheit in Grad Celsius. Die Ermittlung vergleichbarer Ergebnisse ist ein Nebenprodukt der Äquivalenz, das sich aus der Angleichung der aus den Testergebnissen gewonnenen Skalen ergibt.

Zweck

Angenommen, Dick und Jane legen beide eine Prüfung ab, um eine Berufszulassung zu erhalten. Da der hohe Einsatz (man darf den Beruf ausüben, wenn man die Prüfung besteht) die Versuchung zum Betrug erhöhen kann, erstellt die Prüfungsorganisation zwei Prüfungsformulare. Wenn wir wissen, dass Dick in Formular A 60 % und Jane in Formular B 70 % erreicht hat, wissen wir dann mit Sicherheit, wer von beiden den Stoff besser beherrscht? Was, wenn Formular A sehr schwierige Aufgaben enthält, während Formular B relativ einfach ist? Um genau dieses Problem zu lösen und möglichst faire Ergebnisse zu erzielen, werden Äquivalenzanalysen durchgeführt.

Gleichsetzung in der Item-Response-Theorie

Abbildung 1: Testcharakteristikkurven, die den Zusammenhang zwischen Gesamtpunktzahl und Personenposition für zwei verschiedene Tests in Bezug auf eine gemeinsame Skala darstellen. In diesem Beispiel entspricht eine Gesamtpunktzahl von 37 in Test 1 einer Gesamtpunktzahl von 34,9 in Test 2, wie durch die vertikale Linie dargestellt.

In der Item-Response-Theorie werden die „Positionen“ von Personen (die Messwerte einer durch einen Test erfassten Eigenschaft) auf einer Intervallskala geschätzt ; d. h., die Positionen werden in Bezug auf eine Einheit und einen Ursprung geschätzt. In der Bildungsdiagnostik ist es üblich , Tests zur Beurteilung verschiedener Schülergruppen einzusetzen, um eine gemeinsame Skala zu erstellen. Dies geschieht durch Angleichung der Ursprünge und gegebenenfalls auch der Einheiten der Skalen, die aus den Antwortdaten der verschiedenen Tests gewonnen werden. Dieser Prozess wird als Äquivalenzierung oder Testäquivalenzierung bezeichnet.

In der Item-Response-Theorie werden zwei Arten der Äquivalenz unterschieden: die horizontale und die vertikale Äquivalenz. [ 3 ] Vertikale Äquivalenz bezeichnet die Äquivalenz von Tests, die an Gruppen von Schülern mit unterschiedlichen Fähigkeiten, beispielsweise Schüler verschiedener Klassenstufen (Schuljahre), vergeben werden. [ 4 ] Horizontale Äquivalenz bezeichnet die Äquivalenz von Tests, die an Gruppen mit ähnlichen Fähigkeiten vergeben werden; beispielsweise zwei Tests, die Schülern derselben Klassenstufe in zwei aufeinanderfolgenden Kalenderjahren vorgelegt werden. Unterschiedliche Tests werden verwendet, um Übungseffekte zu vermeiden.

Im Rahmen der Item-Response-Theorie ist die Äquivalenzierung ein Spezialfall des allgemeineren Skalierungsverfahrens , das Anwendung findet, wenn mehrere Tests eingesetzt werden. In der Praxis wird die Skalierung jedoch häufig separat für verschiedene Tests durchgeführt und die Skalen anschließend äquivaliert.

Man unterscheidet häufig zwischen zwei Äquivalenzmethoden: der Äquivalenz mit gemeinsamen Personen und der Äquivalenz mit gemeinsamen Items . Bei der Äquivalenz mit gemeinsamen Personen werden zwei Tests an einer gemeinsamen Personengruppe durchgeführt. Mittelwert und Standardabweichung der Skalenwerte dieser Gruppe in den beiden Tests werden mittels einer linearen Transformation angeglichen. Bei der Äquivalenz mit gemeinsamen Items wird ein Satz gemeinsamer Items, der sogenannte Ankertest, in zwei verschiedene Tests eingebettet. Der mittlere Itemwert dieser gemeinsamen Items wird angeglichen.

Äquivalenz der beobachteten Werte

Die Mittelwertäquivalenz passt die Verteilung der Ergebnisse so an, dass der Mittelwert der beiden Testformen vergleichbar ist. Obwohl die Mittelwertäquivalenz aufgrund ihrer Einfachheit attraktiv ist, mangelt es ihr an Flexibilität, insbesondere an der Berücksichtigung möglicher Unterschiede in den Standardabweichungen der Testformen. [ 1 ]

Die lineare Äquivalenzmethode passt die Werte so an, dass die beiden Testformen einen vergleichbaren Mittelwert und eine vergleichbare Standardabweichung aufweisen . Es gibt verschiedene Arten der linearen Äquivalenzmethode, die sich in den Annahmen und der zur Parameterschätzung verwendeten Mathematik unterscheiden. Die Tucker-Levine-Methode (Observed Score) schätzt die Beziehung zwischen den beobachteten Werten der beiden Testformen, während die Levine-Methode (True Score) die Beziehung zwischen den wahren Werten der beiden Testformen schätzt. [ 1 ]

Die Äquiperzentil-Methode legt fest, dass ein Wert auf beiden Formularen denselben Perzentilwert haben kann . Diese Beziehung kann nichtlinear sein.

Anders als bei der Item-Response-Theorie unterscheidet sich die Äquivalenzierung beobachteter Werte etwas von der Skalierung. Bei der Äquivalenzierung handelt es sich um eine Rohwerttransformation, bei der ein Rohwert auf Formular B geschätzt wird, der jedem Rohwert auf dem Basisformular A entspricht. Jede verwendete Skalierungstransformation wird dann zusätzlich zur Äquivalenzierung angewendet.

Siehe auch

Referenzen

  1. Kolen , MJ ; Brennan, RL (1995). Test Equating . New York: Spring. doi : 10.1007/978-1-4757-2412-7 . ISBN 978-0-387-94486-9Die
  2. ^ „National Council on Measurement in Education“ . Archiviert vom Original am 22.07.2017.
  3. ^ Baker, F. (1983). „Vergleich von Fähigkeitsmetriken, die mit zwei Verfahren der latenten Merkmalstheorie gewonnen wurden“ . Applied Psychological Measurement . 7 : 97–110 . Archiviert vom Original am 28. Januar 2025.
  4. ^ Baker, F. (1984). „Transformationen von Fähigkeitsmetriken bei der vertikalen Äquivalenzierung im Rahmen der Item-Response-Theorie“ . Applied Psychological Measurement . 8 (3): 261–271 .