Wertschöpfungsmodellierung

Wertschöpfungsmodellierung (auch bekannt als Wertschöpfungsmessung , Wertschöpfungsanalyse oder Wertschöpfungsbewertung ) ist eine Methode der Lehrerevaluation, die den Beitrag einer Lehrkraft in einem bestimmten Schuljahr misst. Dazu werden die aktuellen Testergebnisse der Schülerinnen und Schüler mit den Ergebnissen derselben Schülerinnen und Schüler in den Vorjahren sowie mit den Ergebnissen anderer Schülerinnen und Schüler derselben Klassenstufe verglichen. Auf diese Weise zielt die Wertschöpfungsmodellierung darauf ab, den Beitrag bzw. die Wertschöpfung jeder Lehrkraft in einem bestimmten Jahr zu ermitteln und mit den Leistungskennzahlen anderer Lehrkräfte zu vergleichen. Wertschöpfungsmodelle gelten als fairer als der bloße Vergleich von Schülerleistungen oder Lernfortschritten ohne Berücksichtigung potenziell verzerrender Kontextvariablen wie bisherige Leistungen oder Einkommen. Mit diesem Ansatz lässt sich auch die Wertschöpfung der Schulleitung oder der gesamten Schule ermitteln.

Kritiker bemängeln, dass die Verwendung von Tests zur Beurteilung einzelner Lehrkräfte wissenschaftlich nicht validiert sei und viele Ergebnisse auf Zufall oder Faktoren zurückzuführen seien, die außerhalb des Einflussbereichs der Lehrkraft liegen, wie beispielsweise Nachhilfe von außen. ^{[ 1 ]} Studien zeigen jedoch, dass Unterschiede in der Effektivität von Lehrkräften, gemessen am Mehrwert der Lehrkräfte, nur geringe wirtschaftliche Auswirkungen auf die Schüler haben. ^{[ 2 ]}

Forscher nutzen statistische Verfahren, um anhand der bisherigen Testergebnisse eines Schülers dessen zukünftige Testergebnisse vorherzusagen. Dabei gehen sie davon aus, dass Schüler in der Regel jedes Jahr ähnliche Ergebnisse erzielen wie in den Vorjahren. Das tatsächliche Ergebnis des Schülers wird dann mit dem vorhergesagten Ergebnis verglichen. Etwaige Abweichungen zwischen den vorhergesagten und tatsächlichen Ergebnissen werden dem Lehrer und der Schule zugeschrieben und nicht den natürlichen Fähigkeiten oder sozioökonomischen Umständen des Schülers.

Auf diese Weise versucht die Wertzuwachsmodellierung, den Beitrag des Lehrers von Faktoren zu isolieren, die außerhalb der Kontrolle des Lehrers liegen und bekanntermaßen einen starken Einfluss auf die Testergebnisse der Schüler haben, einschließlich der allgemeinen Intelligenz des Schülers , Armut und der Beteiligung der Eltern.

Durch die Zusammenführung all dieser Einzelergebnisse können Statistiker ermitteln, inwieweit ein bestimmter Lehrer die Schülerleistungen verbessert, verglichen damit, inwieweit der durchschnittliche Lehrer die Schülerleistungen verbessert hätte.

Statisticians use hierarchical linear modeling to predict the score for a given student in a given classroom in a given school. This prediction is based on aggregated results of all students. Each student's predicted score may take into account student level (e.g., past performance, socioeconomic status, race/ethnicity), teacher level (e.g., certification, years of experience, highest degree earned, teaching practices, instructional materials, curriculum) and school level (e.g., size, type, setting) variables into consideration. Which variables are included depends on the model.

As of 2010, a few school districts across the United States had adopted the system, including the Chicago Public Schools, New York City Department of Education and District of Columbia Public Schools. The rankings have been used to decide on issues of teacher retention and the awarding of bonuses, as well as a tool for identifying those teachers who would benefit most from teacher training.^[1] Under Race to the Top and other programs advocating for better methods of evaluating teacher performance, districts have looked to value-added modeling as a supplement to observing teachers in classrooms.^[1]

Louisiana legislator Frank A. Hoffmann introduced a bill to authorize the use of value-added modeling techniques in the state's public schools as a means to reward strong teachers and to identify successful pedagogical methods, as well as providing a means to provide additional professional development for those teachers identified as weaker than others. Despite opposition from the Louisiana Federation of Teachers, the bill passed the Louisiana State Senate on May 26, 2010, and was immediately signed into law by GovernorBobby Jindal.^[3]

Experts do not recommend using value-added modeling as the sole determinant of any decision.^[4] Instead, they recommend using it as a significant factor in a multifaceted evaluation program.^[5]

As a norm-referenced evaluation system, the teacher's performance is compared to the results seen in other teachers in the chosen comparison group. It is therefore possible to use this model to infer that a teacher is better, worse, or the same as the typical teacher, but it is not possible to use this model to determine whether a given level of performance is desirable.

Da die erwartete Punktzahl jedes Schülers maßgeblich von dessen tatsächlichen Punktzahlen der Vorjahre abgeleitet wird, ist dieses Modell nur schwer zur Bewertung von Lehrkräften im Kindergarten und in der ersten Klasse anwendbar. Einige Studien beschränken das Modell daher auf Lehrkräfte ab der dritten Klasse.

Schulen können möglicherweise die vorherigen Testergebnisse neuer Schüler nicht von deren vorherigen Schulen erhalten, oder die Ergebnisse sind aufgrund der mangelnden Vergleichbarkeit mancher Tests nicht aussagekräftig. Schulen mit hoher Schülerfluktuation haben unter Umständen Schwierigkeiten, genügend Daten für die Anwendung dieses Modells zu erheben. Wenn Schüler mitten im Schuljahr die Schule wechseln, ist ihr Lernfortschritt im Laufe des Jahres nicht allein auf ihre vorherigen Lehrkräfte zurückzuführen.

Die Wertzuwachs-Ergebnisse reagieren im Fach Mathematik empfindlicher auf Lehrereinflüsse als im Fach Sprache. ^{[ 4 ]} Dies könnte an der weitverbreiteten Verwendung schlecht konzipierter Tests für Lese- und Sprachkompetenzen liegen oder daran, dass Lehrkräfte letztendlich weniger Einfluss auf die Sprachentwicklung haben . ^{[ 4 ]} Schüler erwerben Sprachkompetenzen aus vielen Quellen, insbesondere aus ihren Familien, während sie mathematische Kompetenzen primär in der Schule erlernen.

Die Ergebnisse variieren von Jahr zu Jahr und von Klasse zu Klasse. Diese Variation ähnelt Leistungsmessungen in anderen Bereichen, wie beispielsweise im Profi-Baseball , und kann daher reale, natürliche Schwankungen in der Lehrerleistung widerspiegeln. ^{[ 4 ]} Aufgrund dieser Variation sind die Ergebnisse am aussagekräftigsten, wenn sie auf einer großen Anzahl von Schülern (typischerweise 50 oder mehr) basieren. Daher ist es schwierig, dieses Modell zur Beurteilung von Lehrkräften im ersten Berufsjahr, insbesondere an Grundschulen, zu verwenden, da diese möglicherweise erst 20 Schüler unterrichtet haben. Eine Rangliste, die auf einer einzelnen Klasse basiert, klassifiziert die Lehrkraft wahrscheinlich in etwa 65 % der Fälle korrekt. Dieser Wert steigt auf 88 %, wenn Daten aus zehn Jahren vorliegen. ^{[ 6 ]} Da das Konfidenzintervall zudem breit ist, eignet sich die Methode am besten zur Identifizierung von Lehrkräften, die konstant zu den besten oder schlechtesten 10 % gehören, anstatt feine Unterscheidungen zwischen Lehrkräften mit mehr oder weniger typischen Leistungen vorzunehmen, beispielsweise um zu bestimmen, ob eine Lehrkraft leicht über oder leicht unter dem Median liegt. ^{[ 6 ]}

Wertzuwachsmessungen setzen voraus, dass Schüler zufällig Lehrern zugeordnet werden. In der Realität erfolgt die Zuordnung von Schülern zu Lehrern oder Schulen jedoch selten zufällig. Laut dem Wirtschaftswissenschaftler und Professor Dr. Jesse M. Rothstein von der University of California, Berkeley , „kann die nicht-zufällige Zuordnung von Schülern zu Lehrern die Wertzuwachs-Schätzungen der kausalen Effekte von Lehrern verfälschen.“ ^{[ 7 ]} Die Problematik möglicher Verzerrungen bei der Verwendung von Wertzuwachsmessungen war Gegenstand zahlreicher aktueller Studien, und andere Forscher kommen zu dem Schluss, dass Wertzuwachsmessungen gute Schätzungen der Lehrereffektivität liefern. Siehe beispielsweise die jüngsten Arbeiten des Projekts „Measures of Effective Teaching“ ^{[ 8 ]} und die Analyse von Professor Raj Chetty von Harvard und seinen Kollegen zum Zusammenhang zwischen Wertzuwachsmessungen und zukünftigen Einkommen . ^{[ 9 ]}

Die Idee, die Effektivität von Lehrkräften anhand der Lernfortschritte ihrer Schüler zu beurteilen, wurde ¹⁹⁷¹ von Eric Hanushek ^{[ 11 ]} , derzeit Senior Fellow an der konservativen Hoover Institution ^{[ 12 ] [ 13 ] [ 14 ]} , einem amerikanischen Thinktank für öffentliche Politik an der Stanford University in Kalifornien , erstmals in die Forschungsliteratur eingeführt ^{[ 10} ]. Sie wurde anschließend unter anderem von Richard Murnane von der Harvard University analysiert ^{[ 15 ]} . Der Ansatz wurde in verschiedenen Analysen verwendet, um die Unterschiede in der Effektivität von Lehrkräften innerhalb von Schulen zu untersuchen. Die Ergebnisse zeigten große und konsistente Unterschiede im Lerntempo der Schüler zwischen den Lehrkräften ^{[ 16 ] .}

Der Statistiker William Sanders , leitender Forschungsmanager bei SAS, führte das Konzept in den Schulbetrieb ein, als er Wertschöpfungsmodelle für Schulbezirke in North Carolina und Tennessee entwickelte . Ursprünglich in den 1990er Jahren als Instrument zur Lehrerevaluation für Schulprogramme in Tennessee entwickelt, fand die Methode mit dem Inkrafttreten des Gesetzes „ No Child Left Behind“ im Jahr 2002 eine breitere Anwendung. Basierend auf seinen Erfahrungen und Forschungsergebnissen argumentierte Sanders: „Wenn man strenge, robuste Methoden anwendet und diese mit Schutzmechanismen absichert, kann man hochwirksame Lehrkräfte zuverlässig von durchschnittlichen und ineffektiven Lehrkräften unterscheiden.“ ^{[ 1 ]}

Eine 2003 von der RAND Corporation im Auftrag der Carnegie Corporation of New York erstellte Studie stellte fest, dass die Wertschöpfungsmodellierung „das Potenzial birgt, die Effekte von Lehrkräften und Schulen von den starken Einflüssen nicht-pädagogischer Faktoren wie dem familiären Hintergrund zu trennen“. Weiterhin wurde festgestellt, dass Studien eine große Streuung der Lehrerbewertungen bei Anwendung solcher Modelle gezeigt hätten. Dies könnte die Wertschöpfungsmodellierung zu einem effektiven Instrument zur Bewertung und Belohnung von Lehrerleistungen machen, sofern sich die Variabilität nachweislich mit der Leistung einzelner Lehrkräfte in Verbindung bringen ließe. ^{[ 17 ]}

Die Los Angeles Times berichtete über den Einsatz des Programms an den Schulen der Stadt und erstellte eine durchsuchbare Website, die die vom Wertzuwachsmodell berechneten Werte für 6.000 Grundschullehrer des Bezirks bereitstellte. US-Bildungsminister Arne Duncan lobte die Berichterstattung der Zeitung über die Lehrerbewertungen und bezeichnete sie als Beispiel für mehr Transparenz. Er merkte jedoch an, dass größere Offenheit mit Bedenken hinsichtlich „Datenschutz, Fairness und Respekt gegenüber Lehrkräften“ abgewogen werden müsse. ^{[ 1 ]} Im Februar 2011 veröffentlichten Derek Briggs und Ben Domingue vom National Education Policy Center (NEPC) einen Bericht, in dem sie denselben Datensatz des LA Unified School District erneut analysierten, um die in der Times veröffentlichten Ergebnisse zu replizieren . Sie stellten jedoch gravierende Mängel der vorherigen Forschung fest und kamen zu dem Schluss, dass die „Forschung, auf die sich die Los Angeles Times für ihren Bericht zur Lehrereffektivität vom August 2010 stützte, nachweislich unzureichend war, um die veröffentlichten Ranglisten zu begründen.“ ^{[ 18 ]}

Die Bill & Melinda Gates Foundation fördert im Rahmen ihres Programms „Measures of Effective Teaching“ (MET) eine mehrjährige Studie zur Wertschöpfungsmodellierung. Erste Ergebnisse, die im Dezember 2010 veröffentlicht wurden, deuten darauf hin, dass sowohl die Wertschöpfungsmodellierung als auch die Wahrnehmung wichtiger Lehrereigenschaften durch die Schüler – wie etwa die Kontrolle des Unterrichts und die Herausforderung der Schüler durch anspruchsvolle Aufgaben – effektive Lehrkräfte korrekt identifizieren. ^{[ 4 ]} Die Studie zu den Schülerbewertungen wurde von Ronald Ferguson durchgeführt . Sie ergab außerdem, dass Lehrkräfte, die auf die Prüfung hin unterrichten, deutlich weniger effektiv sind und signifikant niedrigere Werte in der Wertschöpfungsmodellierung erzielen als Lehrkräfte, die ein tiefes konzeptionelles Verständnis des gesamten Lehrplans fördern. ^{[ 4 ]} Eine erneute Analyse der Ergebnisse des MET-Berichts durch Jesse Rothstein, Wirtschaftswissenschaftler und Professor an der University of California, Berkeley , stellt einige dieser Interpretationen jedoch infrage. ^{[ 19 ]} Rothstein argumentiert, dass die Analysen im Bericht die Schlussfolgerungen nicht stützen und dass sie, „richtig interpretiert, wertschöpfungsbasierte Ansätze zur Lehrerbewertung eher untergraben als bestätigen“. ^{[ 20 ]} Neuere Arbeiten des MET-Projekts bestätigen jedoch den Nutzen von Ansätzen mit Mehrwert. ^{[ 8 ]}

Das Grundprinzip der Wertschöpfungsmodellierung wurde auch auf Schulleiter und andere Führungskräfte im Schulwesen ausgeweitet. Obwohl die Bedeutung von Schulleitern bereits vielfach diskutiert wurde, gibt es kaum systematische Forschung zu ihrem Einfluss auf die Lernergebnisse der Schüler. Jüngste Analysen in Texas belegen die Effektivität von Schulleitern, indem sie untersuchen, wie sich die Leistungssteigerungen der Schüler nach einem Schulleiterwechsel verändern. Dieser ergebnisorientierte Ansatz zur Messung der Effektivität von Schulleitern ähnelt der Wertschöpfungsmodellierung, die zur Beurteilung von Lehrkräften eingesetzt wird. Erste Forschungsergebnisse aus Texas zeigen, dass Schulleiter einen sehr großen Einfluss auf die Schülerleistungen haben. ^{[ 21 ]} Konservative Schätzungen gehen davon aus, dass ein effektiver Schulleiter die Leistungen aller Schüler einer Schule verbessert, und zwar im Durchschnitt um zwei zusätzliche Lernmonate pro Schuljahr. Diese Verbesserungen resultieren zumindest teilweise aus dem Einfluss des Schulleiters auf die Auswahl und Bindung qualifizierter Lehrkräfte. Ineffektive Schulleiter haben jedoch einen ähnlich starken negativen Einfluss auf die Schulleistungen, was darauf hindeutet, dass Beurteilungsfragen im Hinblick auf Schulleiter genauso wichtig sind wie im Hinblick auf Lehrkräfte.

Ein im August 2010 vom Economic Policy Institute (EPI) veröffentlichter Bericht stellte fest, dass „amerikanische öffentliche Schulen im Allgemeinen die systematische Weiterentwicklung und Bewertung von Lehrkräften vernachlässigen“, äußerte jedoch Bedenken, dass die Verwendung standardisierter Testergebnisse als Messinstrument nicht zu besseren Leistungen führen werde. Der EPI-Bericht empfiehlt, Leistungsmessungen auf Basis standardisierter Testergebnisse als einen von vielen Faktoren zu betrachten, die berücksichtigt werden sollten, um „ein genaueres Bild davon zu erhalten, was Lehrkräfte tatsächlich im Unterricht leisten und wie dies zum Lernerfolg der Schüler beiträgt“. Die Studie bezeichnete die Wertschöpfungsmodellierung als fairere Methode zum Vergleich von Lehrkräften, die eine bessere Messung pädagogischer Methoden und der Gesamtleistung der Schule ermöglicht, argumentierte aber, dass Schülerleistungstests nicht ausreichend zuverlässig seien, um „wichtige Personalentscheidungen“ zu treffen. ^{[ 22 ]}

Edward Haertel, der das Forschungsteam des Economic Policy Institute leitete, schrieb, dass die im Rahmen des Programms „Race to the Top“ propagierten Methoden „zu viel Wert auf Messgrößen des Lernfortschritts von Schülern legen, die für die Bewertung von Lehrern und Schulleitern noch nicht ausreichend untersucht wurden“, und dass die Techniken der Wertschöpfungsmodellierung gründlicher evaluiert werden müssten und nur „in sorgfältig untersuchten Pilotprojekten“ eingesetzt werden sollten. ^{[ 1 ]}

Der Bildungsforscher Gerald Bracey argumentierte weiterhin, dass eine Korrelation zwischen Lehrkräften und kurzfristigen Veränderungen der Testergebnisse möglicherweise nichts über die tatsächliche Qualität des Unterrichts aussagt. Daher „können daraus keine kausalen Schlüsse über einzelne Lehrkräfte gezogen werden. Im besten Fall ist sie ein erster Schritt, um Lehrkräfte zu identifizieren, die möglicherweise zusätzliche Fortbildungen benötigen.“ ^{[ 23 ]}

Die American Statistical Association (ASA) veröffentlichte am 8. April 2014 eine Stellungnahme, in der sie die Verwendung von Wertzuwachsmodellen in der Bildungsbewertung kritisierte , ohne jedoch deren Nutzen auszuschließen. Die ASA nannte als Gründe die Beschränkungen der Eingangsdaten, den Einfluss von Faktoren, die in den Modellen nicht berücksichtigt wurden, sowie große Standardfehler, die zu instabilen Ranglisten im Jahresvergleich führten. ^{[ 24 ]}

John Ewing kritisierte in den Notices of the American Mathematical Society den Einsatz von Wertzuwachsmodellen in der Bildungsbewertung als eine Form der „mathematischen Einschüchterung“ und als „rhetorische Waffe“. Ewing führte Probleme mit den Eingangsdaten und den Einfluss von Faktoren an, die nicht im Modell berücksichtigt wurden. ^{[ 25 ]}

Es wurden mehrere Alternativen zur Lehrerbewertung eingeführt:

• Evaluation durch Studierende : Werden ihnen validierte Fragen gestellt, können bereits Viertklässler gute Lehrkräfte zuverlässig identifizieren. ^{[ 4 ]} Kursbewertungen sind an Universitäten üblich, spielen aber bei der Entscheidung über die Weiterbeschäftigung oder Entlassung einer Lehrkraft nur eine untergeordnete Rolle.
• Aktivitäten außerhalb des Unterrichts : Die Teilnahme an Fortbildungsveranstaltungen ist üblicherweise Teil der Lehrerbewertung. So erhält beispielsweise eine Lehrkraft mit Masterabschluss fast immer ein höheres Gehalt, obwohl ein Masterabschluss keinen Einfluss auf die Schülerleistungen hat. ^{[ 26 ]}

Die meisten Experten empfehlen, zur Beurteilung der Effektivität von Lehrkräften mehrere Messinstrumente einzusetzen. ^{[ 27 ]}

• Effektivität der Lehrkräfte
• Ipsative Bewertung , bei der die Schüler mit ihrer eigenen vorherigen Leistung verglichen werden
• Qualitätsbeurteilung der Lehrkräfte
• Kontextueller Mehrwert

• Los Angeles Teacher Ratings database and news stories by the Los Angeles Times