Item-Response-Theorie

In der Psychometrie ist die Item-Response-Theorie ( IRT , auch bekannt als Theorie latenter Merkmale , Theorie starker True Scores oder moderne Theorie mentaler Tests ) ein Paradigma für die Entwicklung, Analyse und Auswertung von Tests , Fragebögen und ähnlichen Instrumenten zur Messung von Fähigkeiten, Einstellungen oder anderen Variablen. Sie ist eine Testtheorie, die auf dem Zusammenhang zwischen der Leistung von Personen bei einem Testitem und ihrer Gesamtleistung in einem Maß für die Fähigkeit basiert, die dieses Item messen soll. Verschiedene statistische Modelle werden verwendet, um sowohl Item- als auch Testteilnehmercharakteristika abzubilden. ^{[ 1 ]} Im Gegensatz zu einfacheren Alternativen zur Skalenerstellung und Auswertung von Fragebogenantworten geht die IRT nicht davon aus, dass alle Items gleich schwierig sind. Dies unterscheidet sie beispielsweise von der Likert-Skala , bei der „alle Items als Replikationen voneinander oder, anders ausgedrückt, als parallele Instrumente betrachtet werden“. ^{[ 2 ]} Im Gegensatz dazu betrachtet die Item-Response-Theorie die Schwierigkeit jedes Items (die Itemcharakteristikkurven oder ICCs ) als Information, die bei der Skalierung der Items berücksichtigt werden soll.

Die Item-Response-Theorie (IRT) basiert auf der Anwendung mathematischer Modelle auf Testdaten . Aufgrund ihrer Fähigkeit, im Vergleich zur klassischen Testtheorie komplexere Testsituationen zu bewältigen ^{[ 3 ]} , ist die IRT die bevorzugte Methode bei mehreren wichtigen Prüfungen, darunter der Graduate Record Examination (GRE) und der Graduate Management Admission Test (GMAT).

Die Bezeichnung Item-Response-Theorie (IRT) rührt daher, dass die Theorie den Fokus auf das einzelne Item legt, im Gegensatz zur klassischen Testtheorie, die sich auf den Test selbst konzentriert. Die IRT modelliert somit die Reaktion jedes Testteilnehmers mit einer bestimmten Fähigkeit auf jedes Item im Test. Der Begriff „ Item“ ist allgemein und umfasst alle Arten von Informationsfragen. Dies können Multiple-Choice- Fragen mit richtigen und falschen Antworten sein, aber auch Aussagen in Fragebögen, die es den Befragten ermöglichen, ihre Zustimmung (mittels einer Bewertungs- oder Likert-Skala ) anzugeben , Patientensymptome als vorhanden/nicht vorhanden zu bewerten oder diagnostische Informationen in komplexen Systemen zu erfassen.

Die Item-Response -Theorie (IRT) basiert auf der Annahme, dass die Wahrscheinlichkeit einer korrekten Antwort auf eine Aufgabe eine mathematische Funktion von Personen- und Aufgabenparametern ist . (Der Ausdruck „eine mathematische Funktion von Personen- und Aufgabenparametern“ ist analog zu Lewins Gleichung B = f(P, E) , die besagt, dass Verhalten eine Funktion der Person in ihrer Umgebung ist.) Der Personenparameter wird (üblicherweise) als einzelnes latentes Merkmal oder Dimension verstanden. Beispiele hierfür sind allgemeine Intelligenz oder die Stärke einer Einstellung. Zu den Parametern, anhand derer Aufgaben charakterisiert werden, gehören ihr Schwierigkeitsgrad (auch „Lage“ genannt), ihre Trennschärfe (Steigung oder Korrelation), die angibt, wie stark die Erfolgsquote von Personen mit ihren Fähigkeiten variiert, und ein Pseudoratenparameter, der die (untere) Asymptote charakterisiert , bei der selbst die leistungsschwächsten Personen aufgrund von Raten punkten (z. B. 25 % für einen reinen Zufallswert bei einer Multiple-Choice-Aufgabe mit vier Antwortmöglichkeiten).

Das Konzept der Item-Response-Funktion existierte bereits vor 1950. Die Pionierarbeit zur IRT-Theorie fand in den 1950er- und 1960er-Jahren statt. Drei der Pioniere waren der Psychometriker Frederic M. Lord vom Educational Testing Service ^{[ 4 ]} , der dänische Mathematiker Georg Rasch und der österreichische Soziologe Paul Lazarsfeld , die unabhängig voneinander parallel forschten. Zu den Schlüsselfiguren, die die Entwicklung der IRT vorantrieben, zählen Benjamin Drake Wright und David Andrich . Die IRT fand erst Ende der 1970er- und in den 1980er-Jahren breite Anwendung, als Praktiker einerseits auf den Nutzen und die Vorteile der IRT hingewiesen wurden und andererseits Personalcomputer vielen Forschern die für die IRT notwendige Rechenleistung ermöglichten. In den 1990er-Jahren entwickelte Margaret Wu zwei Softwareprogramme zur Item-Response-Analyse von PISA- und TIMSS -Daten: ACER ConQuest (1998) und das R -Paket TAM (2010).

Die Item-Response-Theorie (IRT) dient unter anderem dazu, einen Rahmen für die Bewertung der Wirksamkeit von Tests und einzelner Testaufgaben bereitzustellen. Am häufigsten findet die IRT Anwendung im Bildungsbereich, wo Psychometriker sie zur Entwicklung und Gestaltung von Prüfungen , zur Pflege von Aufgabenpools und zur Angleichung des Schwierigkeitsgrades von Aufgaben in aufeinanderfolgenden Prüfungsversionen einsetzen (beispielsweise um Vergleiche zwischen Ergebnissen im Zeitverlauf zu ermöglichen). ^{[ 5 ]}

IRT-Modelle werden oft auch als latente Merkmalsmodelle bezeichnet . Der Begriff „latent“ betont, dass die Antworten auf einzelne Items als beobachtbare Manifestationen hypothetischer Merkmale, Konstrukte oder Attribute verstanden werden, die nicht direkt beobachtet, sondern aus den Antworten erschlossen werden müssen. Latente Merkmalsmodelle wurden in der Soziologie entwickelt, sind aber nahezu identisch mit IRT-Modellen.

Die Item-Response-Theorie ( IRT) gilt allgemein als Verbesserung gegenüber der klassischen Testtheorie (KTT). Für Aufgaben, die sich mit der KTT lösen lassen, bietet die IRT in der Regel mehr Flexibilität und liefert differenziertere Informationen. Einige Anwendungen, wie beispielsweise computergestütztes adaptives Testen , sind erst durch die IRT möglich und lassen sich mit der klassischen Testtheorie allein nicht sinnvoll durchführen. Ein weiterer Vorteil der IRT gegenüber der KTT besteht darin, dass die differenzierteren Informationen, die die IRT liefert, es Forschern ermöglichen, die Zuverlässigkeit einer Beurteilung zu verbessern .

Die IRT beinhaltet drei Annahmen:

1. Ein eindimensionales Merkmal, das mit dem Symbol bezeichnet wird  ;${\displaystyle {\theta }}$
2. Lokale Unabhängigkeit der Artikel;
3. Die Reaktion einer Person auf einen Gegenstand kann durch eine mathematische Item-Response-Funktion (IRF) modelliert werden.

Es wird weiterhin angenommen, dass das Merkmal auf einer Skala messbar ist (allein die Existenz eines Tests setzt dies voraus), typischerweise auf einer Standardskala mit einem Mittelwert von 0,0 und einer Standardabweichung von 1,0. Eindimensionalität ist als Homogenität zu interpretieren, eine Eigenschaft, die in Bezug auf einen bestimmten Zweck oder eine bestimmte Anwendung definiert oder empirisch nachgewiesen werden sollte, aber keine messbare Größe. „Lokale Unabhängigkeit“ bedeutet (a), dass die Wahrscheinlichkeit der Verwendung eines Items nicht mit der Verwendung anderer Items zusammenhängt und (b), dass die Antwort auf ein Item die unabhängige Entscheidung jedes einzelnen Testteilnehmers ist, d. h. es gibt kein Schummeln oder Partner- bzw. Gruppenarbeit. Das Thema Dimensionalität wird häufig mit Faktorenanalyse untersucht , während die IRF die grundlegende Grundlage der IRT bildet und im Zentrum eines Großteils der Forschung und Literatur steht.

Die Item-Response-Funktion (IRF) gibt die Wahrscheinlichkeit an, mit der eine Person mit einem bestimmten Fähigkeitsniveau eine Aufgabe richtig beantwortet. Personen mit geringeren Fähigkeiten haben eine geringere Chance, während Personen mit hohen Fähigkeiten mit hoher Wahrscheinlichkeit richtig antworten; beispielsweise lösen Schüler mit besseren mathematischen Fähigkeiten eine Mathematikaufgabe mit größerer Wahrscheinlichkeit richtig. Der genaue Wert der Wahrscheinlichkeit hängt neben den Fähigkeiten auch von einer Reihe von Itemparametern der IRF ab.

Im Drei-Parameter-Logistikmodell ( 3PL ) beträgt beispielsweise die Wahrscheinlichkeit einer korrekten Antwort auf ein dichotomes Item i , üblicherweise eine Multiple-Choice-Frage:

$${\displaystyle p_{i}({\theta })=c_{i}+{\frac {1-c_{i}}{1+e^{-a_{i}({\theta }-b_{i})}}}}$$

Hierbei wird angegeben, dass die Fähigkeiten der Person zum Zweck der Schätzung der Itemparameter als Stichprobe aus einer Normalverteilung modelliert werden. Nach der Schätzung der Itemparameter werden die Fähigkeiten einzelner Personen für die Berichtserstellung geschätzt. , und sind die Itemparameter. Die Itemparameter bestimmen die Form der IRF. Abbildung 1 zeigt einen idealen 3PL-ICC. ${\displaystyle {\theta }}$${\displaystyle a_{i}}$${\displaystyle b_{i}}$${\displaystyle c_{i}}$

Die Artikelparameter können so interpretiert werden, dass sie die Form der Standard -Logistikfunktion verändern : Kurz gesagt, die Parameter werden wie folgt interpretiert (Indizes werden zur besseren Lesbarkeit weggelassen); b ist der grundlegendste Parameter und wird daher zuerst aufgeführt: $${\displaystyle P(t)={\frac {1}{1+e^{-t}}}.}$$

• b – Schwierigkeitsgrad, Position des Items: der Mittelpunkt zwischen (min) und 1 (max), an dem auch die Steigung maximal ist.${\displaystyle p(b)=(1+c)/2,}$${\displaystyle c_{i}}$
• a – Diskriminierung, Skala, Steigung: die maximale Steigung${\displaystyle p'(b)=a\cdot (1-c)/4.}$
• c – Pseudo-Raten, Zufall, asymptotisches Minimum${\displaystyle p(-\infty )=c.}$

Dann vereinfachen sich diese Gleichungen zu und bedeuten, dass b dem 50%-Erfolgsniveau (Schwierigkeitsgrad) entspricht und a (geteilt durch vier) die maximale Steigung (Diskriminierung) darstellt, die beim 50%-Erfolgsniveau auftritt. Weiterhin ist der Logit (Logarithmus der Wahrscheinlichkeit ) einer korrekten Antwort (unter der Annahme ): Insbesondere wenn die Fähigkeit θ dem Schwierigkeitsgrad b entspricht , besteht eine 50%ige Wahrscheinlichkeit (1:1, also Logit 0) für eine korrekte Antwort. Je größer die Fähigkeit über (oder unter) dem Schwierigkeitsgrad liegt, desto wahrscheinlicher (oder unwahrscheinlicher) ist eine korrekte Antwort. Die Diskriminierung a bestimmt dabei, wie schnell die Wahrscheinlichkeit mit der Fähigkeit steigt oder fällt. ${\displaystyle c=0,}$${\displaystyle p(b)=1/2}$${\displaystyle p'(b)=a/4,}$${\displaystyle a(\theta -b)}$${\displaystyle c=0}$

Anders ausgedrückt: Die Standard-Logistikfunktion hat ein asymptotisches Minimum von 0 ( ), ist um 0 zentriert ( , ) und hat eine maximale Steigung. Der Parameter dehnt die horizontale Skala, der Parameter verschiebt die horizontale Skala und der Parameter staucht die vertikale Skala von auf . Dies wird im Folgenden näher erläutert. ${\displaystyle c=0}$${\displaystyle b=0}$${\displaystyle P(0)=1/2}$${\displaystyle P'(0)=1/4.}$${\displaystyle a}$${\displaystyle b}$${\displaystyle c}$${\displaystyle [0,1]}$${\displaystyle [c,1].}$

Der Parameter repräsentiert die Position des Items, die bei Kompetenztests als Itemschwierigkeit bezeichnet wird. Es handelt sich um den Punkt, an dem die Impulsantwortfunktion (IRF) ihre maximale Steigung aufweist und der Wert genau in der Mitte zwischen dem Minimalwert und dem Maximalwert von 1 liegt. Das Beispielitem hat eine mittlere Schwierigkeit, da = 0,0, was nahe am Zentrum der Verteilung liegt. Dieses Modell skaliert die Itemschwierigkeit und die Persönlichkeitseigenschaft auf demselben Kontinuum. Daher ist es zulässig zu sagen, dass ein Item etwa so schwierig ist wie die Persönlichkeitseigenschaft von Person A oder dass die Persönlichkeitseigenschaft einer Person etwa der Schwierigkeit von Item Y entspricht, in dem Sinne, dass die erfolgreiche Bearbeitung der mit einem Item verbundenen Aufgabe ein bestimmtes Fähigkeitsniveau widerspiegelt. ${\displaystyle b_{i}}$${\displaystyle {\theta }}$${\displaystyle c_{i}}$${\displaystyle b_{i}}$

Der Itemparameter repräsentiert die Diskriminierungsfähigkeit des Items: also den Grad, in dem das Item zwischen Personen in verschiedenen Bereichen des latenten Kontinuums differenziert. Dieser Parameter charakterisiert die Steigung der IRF an der Stelle ihres Maximums. Das Beispielitem hat einen Wert von 1,0, was eine recht gute Diskriminierungsfähigkeit bedeutet; Personen mit geringeren Fähigkeiten haben tatsächlich eine deutlich geringere Wahrscheinlichkeit, korrekt zu antworten, als Personen mit höheren Fähigkeiten. Dieser Diskriminierungsparameter entspricht dem Gewichtungskoeffizienten des jeweiligen Items oder Indikators in einer standardmäßigen gewichteten linearen Regression (Methode der kleinsten Quadrate, OLS ) und kann daher zur Erstellung eines gewichteten Index von Indikatoren für die unüberwachte Messung eines zugrunde liegenden latenten Konzepts verwendet werden. ${\displaystyle a_{i}}$${\displaystyle a_{i}}$

Bei Aufgaben wie Multiple-Choice- Fragen wird der Parameter verwendet, um den Einfluss des Ratens auf die Wahrscheinlichkeit einer korrekten Antwort zu berücksichtigen. Er gibt die Wahrscheinlichkeit an, dass Personen mit sehr geringen Fähigkeiten die Aufgabe zufällig richtig beantworten, mathematisch dargestellt als untere Asymptote . Eine Multiple-Choice-Frage mit vier Antwortmöglichkeiten könnte eine IRF wie die Beispielaufgabe aufweisen; die Wahrscheinlichkeit, dass ein Kandidat mit extrem geringen Fähigkeiten die richtige Antwort errät, liegt bei 1/4, sodass der Parameter ungefähr 0,25 betragen würde. Dieser Ansatz setzt voraus, dass alle Optionen gleich plausibel sind, denn wenn eine Option keinen Sinn ergibt, könnte selbst die Person mit den geringsten Fähigkeiten sie ausschließen. IRT-Parameterschätzmethoden berücksichtigen dies und schätzen den Parameter auf Basis der beobachteten Daten. ^{[ 6 ]}${\displaystyle c_{i}}$${\displaystyle c_{i}}$${\displaystyle c_{i}}$

Grundsätzlich lassen sich IRT-Modelle in zwei Gruppen einteilen: unidimensionale und multidimensionale. Unidimensionale Modelle benötigen nur eine einzige Merkmalsdimension (Fähigkeit) . Multidimensionale IRT-Modelle modellieren Antwortdaten, die mutmaßlich von mehreren Merkmalen beeinflusst werden. Aufgrund der deutlich höheren Komplexität verwenden die meisten IRT-Forschungsarbeiten und -Anwendungen jedoch eindimensionale Modelle. ${\displaystyle {\theta }}$

IRT-Modelle lassen sich auch anhand der Anzahl der bewerteten Antworten kategorisieren. Typische Multiple-Choice- Aufgaben sind dichotom ; selbst wenn vier oder fünf Antwortmöglichkeiten vorliegen, erfolgt die Bewertung lediglich als richtig/falsch. Eine andere Modellklasse findet Anwendung bei polytomen Ergebnissen, bei denen jede Antwort einen anderen Punktwert hat. ^{[ 7 ] [ 8 ]} Ein gängiges Beispiel hierfür sind Likert -Skalen, z. B. „Bewerten Sie auf einer Skala von 1 bis 5“. Ein weiteres Beispiel ist die Vergabe von Teilpunkten, auf die Modelle wie das polytome Rasch-Modell angewendet werden können.

Dichotome IRT-Modelle werden durch die Anzahl der verwendeten Parameter beschrieben. ^{[ 9 ]} Das 3PL-Modell wird so genannt, weil es drei Itemparameter verwendet. Das Zwei-Parameter-Modell (2PL) geht davon aus, dass die Daten kein Raten beinhalten, die Items jedoch hinsichtlich ihrer Lage ( ) und Trennschärfe ( ) variieren können. Das Ein-Parameter-Modell (1PL) nimmt an, dass Raten Teil der Fähigkeit ist und dass alle Items, die zum Modell passen, eine gleichwertige Trennschärfe aufweisen, sodass die Items nur durch einen einzigen Parameter ( ) beschrieben werden. Dies führt dazu, dass Ein-Parameter-Modelle die Eigenschaft der spezifischen Objektivität besitzen, d. h., der Rang der Itemschwierigkeit ist für alle Befragten unabhängig von ihrer Fähigkeit gleich, und der Rang der Personenfähigkeit ist für Items unabhängig von der Schwierigkeit gleich. Somit sind Ein-Parameter-Modelle stichprobenunabhängig, eine Eigenschaft, die für Zwei-Parameter- und Drei-Parameter-Modelle nicht gilt. Theoretisch existiert außerdem ein Vier-Parameter-Modell (4PL) mit einer oberen Asymptote , bezeichnet durch , wobei im 3PL durch ersetzt wird . Dieses Modell wird jedoch selten verwendet. Die alphabetische Reihenfolge der Itemparameter entspricht nicht ihrer praktischen oder psychometrischen Bedeutung. Der Parameter „Standort/Schwierigkeit“ ( ) ist eindeutig am wichtigsten, da er in allen drei Modellen enthalten ist. Das 1PL-Modell verwendet nur , das 2PL-Modell verwendet und , das 3PL-Modell fügt hinzu und das 4PL-Modell fügt hinzu . ${\displaystyle b_{i}}$${\displaystyle a_{i}}$${\displaystyle b_{i}}$${\displaystyle d_{i},}$${\displaystyle 1-c_{i}}$${\displaystyle d_{i}-c_{i}}$${\displaystyle b_{i}}$${\displaystyle b_{i}}$${\displaystyle b_{i}}$${\displaystyle a_{i}}$${\displaystyle c_{i}}$${\displaystyle d_{i}}$

Das 2PL-Modell ist äquivalent zum 3PL-Modell mit und eignet sich für Aufgaben, bei denen das Raten der richtigen Antwort sehr unwahrscheinlich ist, wie z. B. Lückentextaufgaben („Was ist die Quadratwurzel von 121?“), oder bei denen das Konzept des Ratens nicht anwendbar ist, wie z. B. Aufgaben zu Persönlichkeit, Einstellung oder Interessen (z. B. „Ich mag Broadway-Musicals. Zustimmung/Ablehnung“). ${\displaystyle c_{i}=0}$

Das 1PL-Modell geht nicht nur davon aus, dass Raten nicht vorkommt (oder irrelevant ist), sondern auch, dass alle Items hinsichtlich ihrer Trennschärfe gleichwertig sind, analog zu einer gemeinsamen Faktorenanalyse mit identischen Ladungen für alle Items. Einzelne Items oder Personen können sekundäre Faktoren aufweisen, diese werden jedoch als voneinander unabhängig und gemeinsam orthogonal angenommen .

Eine alternative Formulierung konstruiert IRFs auf Basis der Normalverteilung ; diese werden auch als Normal- Ogive -Modelle bezeichnet . Die Formel für eine Zwei-Parameter-Normal-Ogive-IRF lautet beispielsweise:

$${\displaystyle p_{i}(\theta )=\Phi \left({\frac {\theta -b_{i}}{\sigma _{i}}}\right)}$$

wobei Φ die kumulative Verteilungsfunktion (CDF) der Standardnormalverteilung ist.

Das Normal-Ogive-Modell basiert auf der Annahme normalverteilter Messfehler und ist daher theoretisch plausibel. Hierbei handelt es sich erneut um den Schwierigkeitsparameter. Der Trennschärfeparameter ist die Standardabweichung des Messfehlers für Item i und vergleichbar mit 1/ . ${\displaystyle b_{i}}$${\displaystyle {\sigma }_{i}}$${\displaystyle a_{i}}$

Ein latentes Merkmalsmodell mit Normalverteilungsfunktion lässt sich durch Faktorenanalyse einer Matrix tetrachorischer Korrelationen zwischen Items schätzen. ^{[ 10 ]} Dies bedeutet, dass es technisch möglich ist, ein einfaches IRT-Modell mithilfe gängiger Statistiksoftware zu schätzen.

Durch Reskalierung des Fähigkeitsparameters lässt sich das 2PL-logistische Modell gut an die kumulative Normalverteilung annähern . ^{[ 11 ]} Typischerweise unterscheiden sich die IRFs des 2PL-logistischen Modells und der Normalverteilung über den gesamten Funktionsbereich um nicht mehr als 0,01. Der Unterschied ist jedoch in den Randbereichen der Verteilung am größten, die tendenziell einen größeren Einfluss auf die Ergebnisse haben.

Das latente Merkmalsmodell/IRT-Modell wurde ursprünglich mithilfe von Normalverteilungsogiven entwickelt, was jedoch in den 1960er Jahren als zu rechenintensiv für die damaligen Computer galt. Das logistische Modell wurde als einfachere Alternative vorgeschlagen und findet seither weite Verbreitung. Kürzlich wurde jedoch gezeigt, dass das Normalverteilungsogivenmodell bei Verwendung standardmäßiger Polynomapproximationen der kumulativen Verteilungsfunktion der Normalverteilung [ ^{12 ] nicht} rechenintensiver ist als logistische Modelle. ^{[ 13 ]}

Das Rasch-Modell wird häufig als das 1PL-IRT-Modell betrachtet. Befürworter der Rasch-Modellierung sehen es jedoch als einen völlig anderen Ansatz zur Konzeptualisierung des Verhältnisses zwischen Daten und Theorie. ^{[ 14 ]} Wie andere statistische Modellierungsansätze betont die IRT die primäre Passung eines Modells an die beobachteten Daten, ^{[ 15 ]} während das Rasch-Modell die Anforderungen an die fundamentale Messung in den Vordergrund stellt. Eine adäquate Daten-Modell-Passung ist zwar eine wichtige, aber sekundäre Voraussetzung, die erfüllt sein muss, bevor ein Test oder ein Forschungsinstrument ein Merkmal messen kann. ^{[ 16 ]} Konkret bedeutet dies, dass die IRT-Ansätze zusätzliche Modellparameter einbeziehen, um die in den Daten beobachteten Muster abzubilden (z. B. indem sie Items erlauben, in ihrer Korrelation mit dem latenten Merkmal zu variieren). Im Rasch-Ansatz hingegen gelten Aussagen über das Vorhandensein eines latenten Merkmals nur dann als gültig, wenn sowohl (a) die Daten zum Rasch-Modell passen als auch (b) Testitems und Testpersonen dem Modell entsprechen. Daher erfordern Fehlanpassungen gemäß Rasch-Modellen eine Diagnose der Ursache für die Fehlanpassung und können aus dem Datensatz ausgeschlossen werden, wenn substanziell erklärt werden kann, warum sie das latente Merkmal nicht abbilden. ^{[ 17 ]} Somit kann der Rasch-Ansatz als konfirmatorischer Ansatz im Gegensatz zu explorativen Ansätzen betrachtet werden, die versuchen, die beobachteten Daten zu modellieren.

Das Vorhandensein oder Fehlen eines Parameters für Raten oder Pseudo-Zufall ist ein wichtiger und mitunter kontroverser Unterschied. Der IRT-Ansatz beinhaltet einen Parameter für die linke Asymptote, um Raten in Multiple-Choice -Prüfungen zu berücksichtigen, während das Rasch-Modell darauf verzichtet, da angenommen wird, dass Raten den Daten zufällig verteiltes Rauschen hinzufügt. Da dieses Rauschen zufällig verteilt ist, wird angenommen, dass sich die Rangfolge der Personen hinsichtlich des latenten Merkmals anhand der Rohpunktzahl bei ausreichender Anzahl getesteter Items nicht ändert, sondern lediglich einer linearen Reskalierung unterliegt. Im Gegensatz dazu erreicht die Drei-Parameter-IRT eine gute Anpassung der Daten an das Modell durch die Auswahl eines Modells, das die Daten am besten beschreibt ^{[ 18 ],} allerdings auf Kosten der spezifischen Objektivität .

In der Praxis bietet das Rasch-Modell gegenüber dem IRT-Ansatz mindestens zwei wesentliche Vorteile. Erstens haben die spezifischen Anforderungen des Rasch-Modells Vorrang ^{[ 19 ]} , die (sofern erfüllt) eine grundlegende personenneutrale Messung ermöglichen (Personen und Items können auf dieselbe invariante Skala abgebildet werden) ^{[ 20 ]} . Ein weiterer Vorteil des Rasch-Ansatzes ist die einfachere Parameterschätzung aufgrund der vorhandenen suffizienten Statistiken. Dies bedeutet in dieser Anwendung eine eindeutige Zuordnung der Rohwerte zu den Rasch- Schätzwerten ^{[ 21 ]} .${\displaystyle {\theta }}$

Wie bei jeder Anwendung mathematischer Modelle ist es wichtig, die Passung der Daten zum Modell zu überprüfen. Wird eine Fehlpassung eines Items an ein Modell aufgrund mangelhafter Itemqualität festgestellt, beispielsweise durch verwirrende Antwortmöglichkeiten in einem Multiple-Choice-Test, können die Items aus dem betreffenden Test entfernt und in zukünftigen Testversionen neu formuliert oder ersetzt werden. Treten jedoch zahlreiche Fehlpassungen ohne erkennbaren Grund auf, muss die Konstruktvalidität des Tests überprüft und die Testspezifikationen gegebenenfalls überarbeitet werden. Die Analyse von Fehlpassungen liefert somit wertvolle Diagnoseinstrumente für Testentwickler und ermöglicht die empirische Überprüfung der den Testspezifikationen zugrunde liegenden Hypothesen anhand von Daten.

Zur Beurteilung der Modellpassung stehen verschiedene Methoden zur Verfügung, beispielsweise der Chi-Quadrat-Test oder eine standardisierte Version davon. Zwei- und Drei-Parameter-IRT-Modelle optimieren die Trennschärfe der Items und gewährleisten so eine verbesserte Anpassung des Modells an die Daten. Daher fehlt den Fit-Statistiken der konfirmatorische diagnostische Wert, der bei Ein-Parameter-Modellen gegeben ist, bei denen das idealisierte Modell im Voraus festgelegt wird.

Daten sollten nicht aufgrund einer Modellabweichung entfernt werden, sondern nur dann, wenn ein konstruktrelevanter Grund für die Abweichung festgestellt wurde, beispielsweise wenn ein Nicht-Muttersprachler des Englischen einen englischsprachigen naturwissenschaftlichen Test absolviert. Je nach Dimensionalität des Tests kann argumentiert werden, dass ein solcher Kandidat nicht derselben Population angehört. Obwohl IRT-Messungen mit einem Parameter als stichprobenunabhängig gelten, sind sie nicht populationsunabhängig. Daher ist eine solche Abweichung konstruktrelevant und führt nicht zur Ungültigkeit des Tests oder des Modells. Dieser Ansatz ist ein wesentliches Instrument zur Validierung von Messinstrumenten. Bei Modellen mit zwei und drei Parametern, bei denen das psychometrische Modell an die Daten angepasst wird, muss bei zukünftigen Testdurchführungen die Anpassung an dasselbe Modell überprüft werden, das bei der ersten Validierung verwendet wurde. Dies dient der Bestätigung der Hypothese, dass die Ergebnisse jeder Testdurchführung auf andere Testdurchführungen generalisierbar sind. Wird für jede Testdurchführung ein anderes Modell spezifiziert, um eine Daten-Modell-Anpassung zu erreichen, wird ein anderes latentes Merkmal gemessen, und die Testergebnisse sind nicht vergleichbar.

Einer der wichtigsten Beiträge der Item-Response-Theorie (IRT) ist die Erweiterung des Reliabilitätskonzepts . Traditionell bezeichnet Reliabilität die Messgenauigkeit (d. h. den Grad, in dem die Messung fehlerfrei ist). Sie wird üblicherweise anhand eines einzelnen Index gemessen, der auf verschiedene Weise definiert ist, beispielsweise als Verhältnis der wahren zur beobachteten Varianz der Testwerte. Dieser Index ist hilfreich, um die durchschnittliche Reliabilität eines Tests zu charakterisieren, beispielsweise um zwei Tests zu vergleichen. Die IRT verdeutlicht jedoch, dass die Genauigkeit nicht über den gesamten Wertebereich des Tests einheitlich ist. Werte an den Rändern des Wertebereichs weisen beispielsweise im Allgemeinen einen höheren Fehleranteil auf als Werte im mittleren Bereich.

Die Item-Response-Theorie erweitert das Konzept der Item- und Testinformation und ersetzt damit die Reliabilität. Information ist auch eine Funktion der Modellparameter. Laut Fishers Informationstheorie entspricht die im Fall des 1PL für dichotome Antwortdaten gelieferte Iteminformation beispielsweise einfach der Wahrscheinlichkeit einer korrekten Antwort multipliziert mit der Wahrscheinlichkeit einer falschen Antwort.

$${\displaystyle I(\theta )=p_{i}(\theta )q_{i}(\theta ).\,}$$

Der Standardfehler der Schätzung (SE) ist der Kehrwert der Testinformation auf einer gegebenen Merkmalsebene.

$${\displaystyle {\text{SE}}(\theta )={\frac {1}{\sqrt {I(\theta )}}}.}$$

Mehr Informationen bedeuten also einen geringeren Messfehler.

Bei anderen Modellen, wie beispielsweise den Zwei- und Drei-Parameter-Modellen, spielt der Diskriminierungsparameter eine wichtige Rolle in der Funktion. Die Item-Informationsfunktion für das Zwei-Parameter-Modell lautet:

$${\displaystyle I(\theta )=a_{i}^{2}p_{i}(\theta )q_{i}(\theta ).\,}$$

Die Iteminformationsfunktion für das Drei-Parameter-Modell ist ^{[ 22 ].}

$${\displaystyle I(\theta )=a_{i}^{2}{\frac {(p_{i}(\theta )-c_{i})^{2}}{(1-c_{i})^{2}}}{\frac {q_{i}(\theta )}{p_{i}(\theta )}}.}$$

Im Allgemeinen weisen Iteminformationsfunktionen eine glockenförmige Kurve auf. Stark differenzierende Items haben hohe, schmale Informationsfunktionen; sie tragen zwar wesentlich zur Gesamtinformation bei, jedoch nur in einem engen Bereich. Weniger differenzierende Items liefern weniger Information, dafür aber über einen größeren Bereich.

Diagramme der Iteminformationsfunktionen zeigen, welchen Informationsbeitrag ein Item leistet und zu welchem ​​Bereich der Skalenpunktzahl es beiträgt. Aufgrund lokaler Unabhängigkeit sind die Iteminformationsfunktionen additiv . Die Testinformationsfunktion ist somit die Summe der Informationsfunktionen der Items der Prüfung. Mithilfe dieser Eigenschaft und eines großen Itempools lassen sich Testinformationsfunktionen so gestalten, dass Messfehler sehr präzise kontrolliert werden.

Die Charakterisierung der Genauigkeit von Testergebnissen ist wohl die zentrale Fragestellung der psychometrischen Theorie und ein wesentlicher Unterschied zwischen IRT und CTT. IRT-Ergebnisse zeigen, dass das CTT-Konzept der Reliabilität eine Vereinfachung darstellt. Anstelle der Reliabilität bietet die IRT die Testinformationsfunktion, welche den Grad der Präzision bei verschiedenen Werten von Theta (θ) aufzeigt.

Diese Ergebnisse ermöglichen es Psychometrikern, die Reliabilität für verschiedene Fähigkeitsbereiche durch die Auswahl geeigneter Testitems gezielt zu steuern. Beispielsweise lässt sich in einem Zertifizierungsverfahren , bei dem ein Test nur bestanden oder nicht bestanden werden kann, es nur einen einzigen Grenzwert gibt und die tatsächliche Bestehensgrenze keine Rolle spielt, ein sehr effizienter Test entwickeln, indem man ausschließlich Items auswählt, die nahe am Grenzwert einen hohen Informationsgehalt aufweisen. Diese Items entsprechen in der Regel solchen, deren Schwierigkeitsgrad in etwa dem des Grenzwerts entspricht.

Der Personenparameter repräsentiert die Ausprägung eines latenten Persönlichkeitsmerkmals , also die durch den Test gemessene menschliche Fähigkeit oder Eigenschaft. ^{[ 23 ]} Es kann sich dabei beispielsweise um eine kognitive Fähigkeit, eine körperliche Fähigkeit, eine Fertigkeit, Wissen, eine Einstellung oder eine Persönlichkeitseigenschaft handeln. ${\displaystyle {\theta }}$

Die Schätzung des Personenparameters – der „Score“ in einem IRT-Test – wird im Vergleich zu traditionellen Werten wie der Anzahl oder dem Prozentsatz korrekter Antworten ganz anders berechnet und interpretiert. Die Gesamtzahl der korrekten Antworten entspricht nicht dem tatsächlichen Testergebnis, sondern basiert auf den IRFs (Item Response Functions). Enthält das Modell Parameter zur Itemdiskrimination, ergibt sich daraus ein gewichteter Score. Dieser wird berechnet, indem die Item-Response-Funktion jedes Items mit der Likelihood-Funktion multipliziert wird . Der höchste Punkt dieser Funktion stellt die Maximum-Likelihood-Schätzung des Personenparameters dar . Dieser höchste Punkt wird typischerweise mit IRT-Software mithilfe des Newton-Raphson-Verfahrens geschätzt . ^{[ 24 ]} Obwohl die Auswertung mit IRT deutlich komplexer ist, ist die Korrelation zwischen der Theta-Schätzung und einem traditionellen Testergebnis bei den meisten Tests sehr hoch; sie beträgt oft 0,95 oder mehr. Ein Diagramm, das IRT-Scores mit traditionellen Testergebnissen vergleicht, zeigt eine Ogive. Dies deutet darauf hin, dass die IRT-Schätzungen Personen an den Rändern des Wertebereichs stärker differenzieren als in der Mitte. ${\displaystyle {\theta }}$

Ein wichtiger Unterschied zwischen der klassischen Testtheorie (CTT) und der Item-Response-Theorie (IRT) liegt im Umgang mit Messfehlern, die durch den Standardmessfehler ausgedrückt werden. Alle Tests, Fragebögen und Inventare sind ungenaue Instrumente; wir können den wahren Wert einer Person nie genau kennen , sondern nur eine Schätzung, den beobachteten Wert. Es gibt einen gewissen Zufallsfehler, der den beobachteten Wert höher oder niedriger als den wahren Wert ausfallen lassen kann. Die CTT geht davon aus, dass der Fehler für jede Testperson gleich groß ist, während die IRT eine Variation zulässt. ^{[ 25 ]}

Auch widerlegt die IRT in keiner Weise die menschliche Entwicklung oder Verbesserung und geht davon aus, dass ein Persönlichkeitsmerkmal unveränderlich ist. Eine Person kann Fähigkeiten, Wissen oder auch sogenannte „Teststrategien“ erlernen, was zu einem höheren wahren Wert führen kann. Tatsächlich konzentriert sich ein Teil der IRT-Forschung auf die Messung von Veränderungen des Persönlichkeitsmerkmals. ^{[ 26 ]}

Die klassische Testtheorie (KTT) und die Item-Response-Theorie (IRT) befassen sich zwar weitgehend mit denselben Problemen, stellen aber unterschiedliche Theoriebereiche dar und beinhalten unterschiedliche Methoden. Obwohl die beiden Paradigmen im Allgemeinen konsistent und komplementär sind, gibt es eine Reihe von Unterschieden:

• Die IRT trifft im Vergleich zur CTT strengere Annahmen und liefert in vielen Fällen entsprechend aussagekräftigere Ergebnisse, insbesondere hinsichtlich der Charakterisierung von Fehlern. Diese Ergebnisse gelten natürlich nur, wenn die Annahmen der IRT-Modelle tatsächlich erfüllt sind.
• Obwohl die Ergebnisse der CTT wichtige praktische Erkenntnisse ermöglicht haben, bietet die modellbasierte Natur der IRT viele Vorteile gegenüber analogen CTT-Ergebnissen.
• Die Auswertungsverfahren für CTT-Tests haben den Vorteil, einfach zu berechnen (und zu erklären) zu sein, wohingegen die Auswertung von IRT-Tests im Allgemeinen relativ komplexe Schätzverfahren erfordert.
• Die Item-Response-Theorie (IRT) bietet mehrere Verbesserungen bei der Skalierung von Aufgaben und Personen. Die Details hängen vom jeweiligen IRT-Modell ab, aber die meisten Modelle skalieren die Schwierigkeit von Aufgaben und die Fähigkeiten von Personen anhand derselben Metrik. Dadurch lassen sich die Schwierigkeit einer Aufgabe und die Fähigkeiten einer Person sinnvoll vergleichen.
• Eine weitere Verbesserung der IRT besteht darin, dass die Parameter von IRT-Modellen im Allgemeinen nicht stichproben- oder testabhängig sind, während der wahre Wert in der CTT im Kontext eines spezifischen Tests definiert wird. Daher bietet die IRT eine deutlich höhere Flexibilität in Situationen, in denen unterschiedliche Stichproben oder Testformen verwendet werden. Diese Erkenntnisse der IRT bilden die Grundlage für computergestütztes adaptives Testen .

Erwähnenswert sind auch einige spezifische Ähnlichkeiten zwischen CTT und IRT, die zum Verständnis der Korrespondenz zwischen den Konzepten beitragen. Erstens zeigte Lord ^{[ 27 ]} , dass unter der Annahme einer Normalverteilung die Diskriminierungsfähigkeit im 2PL-Modell annähernd eine monotone Funktion der punktbiserialen Korrelation ist . Insbesondere: ${\displaystyle \theta }$

$${\displaystyle a_{i}\cong {\frac {\rho _{it}}{\sqrt {1-\rho _{it}^{2}}}}}$$

Dabei ist die punktbiseriale Korrelation des Items i . Wenn die Annahme also zutrifft, führt eine höhere Trennschärfe im Allgemeinen zu einer höheren punktbiserialen Korrelation. ${\displaystyle \rho _{it}}$

Eine weitere Ähnlichkeit besteht darin, dass die IRT zwar einen Standardfehler für jede Schätzung und eine Informationsfunktion liefert, es aber auch möglich ist, einen Index für einen Test als Ganzes zu erhalten, der direkt analog zu Cronbachs Alpha ist – den sogenannten Separationsindex . Dazu ist es notwendig, zunächst eine IRT-Schätzung in einen wahren Wert und einen Fehler zu zerlegen, analog zur Zerlegung eines beobachteten Wertes in einen wahren Wert und einen Fehler in der CTT.

$${\displaystyle {\hat {\theta }}=\theta +\epsilon }$$

Dabei ist der tatsächliche Ort und der Fehler, der mit einer Schätzung zusammenhängt. Dann ist eine Schätzung der Standardabweichung von für eine Person mit einem gegebenen gewichteten Wert, und der Trennungsindex wird wie folgt ermittelt. ${\displaystyle \theta }$${\displaystyle \epsilon }$${\displaystyle {\mbox{SE}}({\theta })}$${\displaystyle \epsilon }$

$${\displaystyle R_{\theta }={\frac {{\text{var}}[\theta ]}{{\text{var}}[{\hat {\theta }}]}}={\frac {{\text{var}}[{\hat {\theta }}]-{\text{var}}[\epsilon ]}{{\text{var}}[{\hat {\theta }}]}}}$$

Der mittlere quadratische Standardfehler der Personenschätzung liefert eine Schätzung der Varianz der Fehler über alle Personen hinweg. Die Standardfehler werden üblicherweise als Nebenprodukt des Schätzprozesses ermittelt. Der Trennungsindex liegt typischerweise sehr nahe am Wert von Cronbachs Alpha. ^{[ 28 ]}${\displaystyle \epsilon _{n}}$

Die IRT wird manchmal auch als starke True-Score-Theorie oder moderne Theorie mentaler Tests bezeichnet , weil sie ein neueres Theoriegebiet darstellt und die in der CTT impliziten Hypothesen expliziter formuliert.

Implementierungen verschiedener Varianten der Item-Response-Theorie sind in vielen verschiedenen Statistikprogrammen und -sprachen verfügbar, darunter die Programmiersprache R ^{[ 29 ] [ 30 ] [ 31 ]} und Python ^{[ 32 ]} .

Es gibt zahlreiche Bücher, die sich mit der Item-Response-Theorie (IRT) oder IRT-ähnlichen Modellen befassen. Diese Liste ist unvollständig und konzentriert sich auf Texte, die das Thema vertiefen.

• Lord, F. M. (1980). Anwendungen der Item-Response-Theorie auf praktische Testprobleme . Mahwah, NJ: Lawrence Erlbaum Associates, Inc. doi : 10.4324/9780203056615 . ISBN 978-1-136-55724-8Die

Dieses Buch fasst einen Großteil von Lords Arbeiten zur IRT zusammen und enthält Kapitel über das Verhältnis zwischen IRT und klassischen Methoden, die Grundlagen der IRT, Schätzungen sowie verschiedene fortgeschrittene Themen. Das Kapitel zu Schätzungen ist mittlerweile veraltet, da es hauptsächlich die gemeinsame Maximum-Likelihood-Methode und nicht die von Darrell Bock und seinen Kollegen angewandte marginale Maximum-Likelihood- Methode behandelt.

• Embretson, Susan E.; Reise, Steven P. (2000). Item-Response-Theorie für Psychologen . Psychology Press. ISBN 978-0-8058-2819-1Die

Dieses Buch ist eine leicht verständliche Einführung in die IRT und richtet sich, wie der Titel schon sagt, an Psychologen.

• Baker, Frank (2001). Die Grundlagen der Item-Response-Theorie . ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD.

Dieses Einführungsbuch stammt von einem der Pioniere auf diesem Gebiet.

• Baker, Frank B.; Kim, Seock-Ho (2004). Item Response Theory: Parameter Estimation Techniques (2. Aufl.). Marcel Dekker. ISBN 978-0-8247-5825-7Die

Dieses Buch beschreibt verschiedene Modelle der Item-Response-Theorie und liefert detaillierte Erläuterungen zu Algorithmen, mit denen sich die Item- und Fähigkeitsparameter schätzen lassen. Teile des Buches sind als eingeschränkte Leseprobe bei Google Books verfügbar .

• van der Linden, Wim J.; Hambleton, Ronald K., Hrsg. (1996). Handbuch der modernen Item-Response-Theorie . Springer. ISBN 978-0-387-94661-0Die

Dieses Buch bietet einen umfassenden Überblick über verschiedene gängige IRT-Modelle. Es eignet sich gut für Personen, die bereits über Grundkenntnisse der IRT verfügen.

• de Boeck, Paul; Wilson, Mark (2004). Explanatory Item Response Models: A Generalized Linear and Nonlinear Approach . Springer. ISBN 978-0-387-40275-8Die

Dieser Band bietet eine integrierte Einführung in Item-Response-Modelle und richtet sich vor allem an Praktiker, Forscher und Doktoranden.

• Fox, Jean-Paul (2010). Bayesianische Item-Response-Modellierung: Theorie und Anwendungen . Springer. ISBN 978-1-4419-0741-7Die

Dieses Buch behandelt den Bayes'schen Ansatz zur Item-Response-Modellierung. Es ist nützlich für Leser mit Vorkenntnissen in der Item-Response-Theorie (IRT), die Item-Response-Daten aus einer Bayes'schen Perspektive analysieren möchten.

• "GESCHICHTE DER ITEM-RESPONSE-THEORIE (bis 1982)" . Universität von Illinois in Chicago .
• „Ein einfacher Leitfaden zur Item-Response-Theorie“ (PDF) .
• „Psychometrische Software-Downloads“ . Archiviert vom Original am 5. Juni 2011.
• "IRT-Tutorial" . Archiviert vom Original am 10. Dezember 2004.
• "IRT Tutorial FAQ" .
• „Eine Einführung in die IRT“ . Archiviert vom Original am 05.02.2024 . Abgerufen am 01.01.2005 .
• „Die Standards für pädagogische und psychologische Tests“ .
• „IRT Command Language (ICL) Computerprogramm“ . Archiviert vom Original am 13. Juni 2006.
• „IRT-Programme von SSI, Inc.“ Archiviert vom Original am 16. Juli 2011.
• "Latent Trait Analysis and IRT Models" .
• „Rasch-Analyse“ . Archiviert vom Original am 25.08.2009.
• "Rasch-Analyseprogramme von Winsteps" .
• "Item Response Theory" . 25. Mai 2024.
• "Kostenlose IRT-Software" .
• "IRT-Pakete in R" . 15. Dezember 2023.
• „IRT/EIRT-Unterstützung in Lertap 5“ (PDF) . Archiviert vom Original (PDF) am 04.03.2016.
• "Visuelle IRT-Analyse und Berichterstellung mit Xcalibre" .