Im allgemeinen Sprachgebrauch bezeichnet Evaluation die systematische Ermittlung und Bewertung des Nutzens und Werts eines Sachverhalts [ 1 ] anhand von Kriterien, die durch festgelegte Standards bestimmt werden . Sie kann Organisationen, Programmen, Entwürfen, Projekten oder anderen Interventionen bzw. Initiativen dabei helfen, Ziele, realisierbare Konzepte/Vorschläge oder Alternativen zu bewerten, um die Entscheidungsfindung zu unterstützen oder den Grad der Zielerreichung bzw. des Nutzens im Hinblick auf die Ziele und Ergebnisse abgeschlossener Maßnahmen zu ermitteln . [ 2 ]

Der Hauptzweck von Evaluationen besteht neben der Gewinnung von Erkenntnissen über frühere oder laufende Initiativen darin, Reflexion zu ermöglichen und zukünftige Veränderungen zu identifizieren. [ 3 ] Evaluationen werden häufig eingesetzt, um relevante Themen in einer Vielzahl menschlicher Bereiche zu charakterisieren und zu bewerten, darunter Kunst , Strafjustiz , Stiftungen , gemeinnützige Organisationen , Regierung , Gesundheitswesen und andere soziale Dienstleistungen. Sie sind langfristig angelegt und werden am Ende eines bestimmten Zeitraums durchgeführt.

Der Begriff „Evaluation“ wird üblicherweise im Sinne von Programmevaluation oder Politikbewertung verwendet , die die Bewertung sozialer Maßnahmen und Programme umfasst. Er kann sich aber auch auf eine Transdisziplin beziehen : jeden Ansatz, der evaluatives Denken beinhaltet, unabhängig vom Fachgebiet. [ 4 ]

Definition

Evaluierung ist die strukturierte Interpretation und Bedeutungsgebung der prognostizierten oder tatsächlichen Auswirkungen von Vorhaben oder Ergebnissen. Sie betrachtet die ursprünglichen Ziele sowie die prognostizierten oder erreichten Ergebnisse und deren Umsetzung. Evaluierung kann formativ sein , d. h. sie findet während der Entwicklung eines Konzepts, eines Vorhabens, eines Projekts oder einer Organisation statt, mit dem Ziel, deren Wert oder Effektivität zu verbessern . Sie kann aber auch summativ sein und zu einem späteren Zeitpunkt oder unter anderen Umständen Lehren aus einer abgeschlossenen Maßnahme, einem abgeschlossenen Projekt oder einer abgeschlossenen Organisation ziehen. [ 5 ]

Evaluation ist ihrem Wesen nach ein theoretisch fundierter Ansatz (ob explizit oder implizit), und folglich ist jede Definition von Evaluation auf ihren Kontext zugeschnitten – auf die Theorie, die Bedürfnisse, den Zweck und die Methodik des jeweiligen Evaluationsprozesses. Evaluation wurde wie folgt definiert:

  • Die systematische, rigorose und sorgfältige Anwendung wissenschaftlicher Methoden zur Bewertung des Designs, der Implementierung, der Verbesserung oder der Ergebnisse eines Programms. Es handelt sich um einen ressourcenintensiven Prozess, der häufig Ressourcen wie Evaluierungsexpertise, Arbeitskraft, Zeit und ein beträchtliches Budget erfordert [ 6 ].
  • „Die kritische, möglichst objektive Bewertung des Ausmaßes, in dem eine Dienstleistung oder ihre Bestandteile festgelegte Ziele erfüllen“ (St Leger und Wordsworth-Bell). [ 7 ] Im Mittelpunkt dieser Definition steht die Erlangung objektiven Wissens und die wissenschaftliche oder quantitative Messung vorgegebener und externer Konzepte.
  • „Eine Studie, die dazu dient, einem bestimmten Publikum die Beurteilung des Nutzens und Wertes eines Objekts zu erleichtern“ (Stufflebeam). [ 7 ] In dieser Definition liegt der Fokus sowohl auf Fakten als auch auf wertenden Beurteilungen der Ergebnisse und des Wertes des Programms.

Zweck

Der Hauptzweck einer Programmevaluation kann darin bestehen, „die Qualität eines Programms durch eine Beurteilung zu ermitteln“ (Marthe Hurteau, Sylvain Houle, Stéphanie Mongiat, 2009) [ 8 ] . Eine alternative Sichtweise besagt, dass „Projekte, Evaluatoren und andere Stakeholder (einschließlich Geldgeber) potenziell unterschiedliche Vorstellungen davon haben, wie ein Projekt am besten evaluiert werden kann, da jeder eine andere Definition von ‚Wert‘ haben kann. Der Kern des Problems liegt daher in der Definition dessen, was wertvoll ist.“ [ 7 ] Aus dieser Perspektive ist Evaluation „ein umstrittener Begriff“, da „Evaluatoren“ den Begriff Evaluation verwenden, um eine Bewertung oder Untersuchung eines Programms zu beschreiben, während andere Evaluation einfach als Synonym für angewandte Forschung verstehen.

Im Hinblick auf den Evaluierungszweck lassen sich zwei Funktionen unterscheiden. Formative Evaluierungen liefern Informationen zur Verbesserung eines Produkts oder Prozesses. Summative Evaluierungen liefern Informationen zur kurzfristigen Wirksamkeit oder zu den langfristigen Auswirkungen, um über die Einführung eines Produkts oder Prozesses zu entscheiden. [ 9 ]

Nicht alle Evaluationen dienen demselben Zweck; manche haben eine Monitoring-Funktion und konzentrieren sich nicht ausschließlich auf messbare Programmergebnisse oder Evaluationsbefunde. Eine vollständige Liste aller Evaluationsarten wäre schwer zu erstellen. [ 7 ] Dies liegt daran, dass Evaluation keinem einheitlichen theoretischen Rahmenwerk angehört [ 10 ] , sondern auf einer Reihe von Disziplinen basiert, darunter Management- und Organisationstheorie , Politikanalyse , Pädagogik , Soziologie , Sozialanthropologie und Sozialwandelforschung . [ 11 ]

Diskussion

Die strikte Einhaltung methodischer Annahmen mag zwar die Akzeptanz von Evaluationen in der breiten Öffentlichkeit erhöhen, doch behindert sie gleichzeitig die Entwicklung neuer Strategien zur Bewältigung der vielfältigen Probleme von Programmen. [ 11 ] Es wird behauptet, dass nur ein kleiner Teil der Evaluationsberichte vom Auftraggeber genutzt wird (Data, 2006). [ 8 ] Eine Begründung hierfür lautet: „Wenn Evaluationsergebnisse angezweifelt oder nicht genutzt werden, liegt das daran, dass Stakeholder und Auftraggeber die Schlussfolgerungen als schwach oder die Begründungen als nicht überzeugend empfanden“ (Fournier und Smith, 1993). [ 8 ] Gründe hierfür können sein, dass es dem Evaluator nicht gelingt, gemeinsame Ziele mit dem Auftraggeber zu definieren oder zu ambitionierte Ziele zu setzen, sowie dass kulturelle Unterschiede von Einzelpersonen und Programmen in den Evaluationszielen und -prozess nicht ausreichend berücksichtigt werden. [ 7 ] Keines dieser Probleme ist auf eine fehlende Definition von Evaluation zurückzuführen, sondern vielmehr darauf, dass Evaluatoren versuchen, den Auftraggebern vorgefasste Meinungen und Definitionen von Evaluationen aufzuzwingen. Der Hauptgrund für die mangelhafte Nutzung von Evaluationen liegt wohl darin, dass diese nicht auf die Bedürfnisse des Auftraggebers zugeschnitten werden, da eine vorgefasste Vorstellung (oder Definition) von Evaluation im Vordergrund steht, anstatt sich an den tatsächlichen Bedürfnissen des Auftraggebers zu orientieren (House, 1980). [ 8 ] Die Entwicklung einer Standardmethodik für Evaluationen erfordert, dass geeignete Wege gefunden werden, um ethische Fragen wie die Agent-Prinzipal-Beziehung, Datenschutz, Stakeholder-Definition, beschränkte Haftung und die Frage nach einer sinnvolleren Mittelverwendung zu stellen und deren Ergebnisse darzustellen.

Standards

Je nach Thema gibt es Fachgruppen, die die Qualität und Strenge von Evaluierungsprozessen überprüfen.

Die Bewertung von Programmen und Projekten hinsichtlich ihres Werts und ihrer Wirkung im jeweiligen Kontext kann ethisch herausfordernd sein. Evaluatoren stoßen möglicherweise auf komplexe, kulturspezifische Systeme, die sich einer externen Bewertung widersetzen. Darüber hinaus können die Projektorganisation oder andere Stakeholder ein Interesse an einem bestimmten Bewertungsergebnis haben. Schließlich können Evaluatoren selbst mit Interessenkonflikten konfrontiert werden oder unter Druck gesetzt werden, Ergebnisse zu präsentieren, die eine bestimmte Bewertung stützen.

Allgemeine berufsständische Verhaltenskodizes , die von der jeweiligen Organisation festgelegt werden, umfassen in der Regel drei Hauptaspekte von Verhaltensstandards: kollegiale Beziehungen (wie Respekt für Vielfalt und Privatsphäre ), operative Angelegenheiten (angemessene Kompetenz , Genauigkeit der Dokumentation und sachgemäßer Umgang mit Ressourcen) sowie Interessenkonflikte ( Vetternwirtschaft , Annahme von Geschenken und andere Formen der Bevorzugung). [ 12 ] Es bedarf jedoch spezifischer Richtlinien, die auf die Rolle des Evaluators zugeschnitten sind und bei der Bewältigung besonderer ethischer Herausforderungen Anwendung finden können. Der Gemeinsame Ausschuss für Standards der Bildungsbewertung hat Standards für die Programm-, Personal- und Studierendenbewertung entwickelt. Diese Standards sind in vier Abschnitte unterteilt: Nutzen, Durchführbarkeit, Angemessenheit und Genauigkeit. Verschiedene europäische Institutionen haben ebenfalls eigene Standards erarbeitet, die mehr oder weniger mit denen des Gemeinsamen Ausschusses übereinstimmen. Sie bieten Leitlinien für die Bewertung auf der Grundlage systematischer Untersuchungen, der Kompetenz und Integrität der Evaluatoren, des Respekts vor Menschen und der Berücksichtigung des Gemeinwohls. [ 13 ]

Die American Evaluation Association hat eine Reihe von Leitprinzipien für Evaluatoren entwickelt. [ 14 ] Die Reihenfolge dieser Prinzipien impliziert keine Priorität; die Priorität variiert je nach Situation und Rolle des Evaluators. Die Prinzipien lauten wie folgt:

Unabhängigkeit wird dadurch gewährleistet, dass die Unabhängigkeit des Urteilsvermögens gewahrt bleibt, sodass die Bewertungsergebnisse nicht von Dritten beeinflusst oder unter Druck gesetzt werden, und dass Interessenkonflikte vermieden werden, sodass der/die Evaluator/in kein Eigeninteresse an einem bestimmten Ergebnis hat. Interessenkonflikte sind insbesondere dann problematisch, wenn die Finanzierung von Evaluierungen von bestimmten Stellen erfolgt, die ein Interesse an den Ergebnissen der Evaluierung haben. Dies kann die Unabhängigkeit des/der Evaluators/in gefährden. Es wird zwar anerkannt, dass Evaluatoren mit den zu evaluierenden Einrichtungen oder Projekten vertraut sein können, Unabhängigkeit erfordert jedoch, dass sie nicht an der Planung oder Durchführung des Projekts beteiligt waren. Jegliche Vorteile oder Verbindungen zum Projekt müssen offengelegt werden. Die Unabhängigkeit des Urteilsvermögens muss gegenüber jeglichem Druck auf die Evaluatoren gewahrt bleiben, beispielsweise durch Projektförderer, die Evaluierungen so verändern möchten, dass das Projekt wirksamer erscheint, als es die Ergebnisse belegen. [ 12 ]

Unparteilichkeit bedeutet, dass die Ergebnisse eine faire und umfassende Bewertung der Stärken und Schwächen eines Projekts oder Programms darstellen. Dies erfordert die angemessene Berücksichtigung aller beteiligten Interessengruppen sowie die unvoreingenommene Präsentation der Ergebnisse mit einem transparenten, verhältnismäßigen und überzeugenden Zusammenhang zwischen Ergebnissen und Empfehlungen. Daher müssen die Evaluatoren ihre Ergebnisse auf empirischen Belegen basieren. Ein Mechanismus zur Sicherstellung von Unparteilichkeit ist die externe und interne Begutachtung. Eine solche Begutachtung ist bei bedeutenden (bestimmt anhand der Kosten oder der Sensitivität) Evaluierungen erforderlich. Die Begutachtung basiert auf der Qualität der Arbeit und dem Grad, in dem ein nachweisbarer Zusammenhang zwischen Ergebnissen und Empfehlungen hergestellt wird. [ 12 ]

Transparenz erfordert, dass die Beteiligten über den Grund der Evaluierung, die Bewertungskriterien und die Zwecke, für die die Ergebnisse verwendet werden, informiert sind. Der Zugang zum Evaluierungsdokument sollte durch eine leicht verständliche Darstellung der Ergebnisse sowie durch klare Erläuterungen der Evaluierungsmethoden, -ansätze, Informationsquellen und entstandenen Kosten erleichtert werden. [ 12 ]

  • Respekt vor Menschen: Evaluatoren respektieren die Sicherheit , Würde und das Selbstwertgefühl der Befragten, Programmteilnehmer , Klienten und anderer Stakeholder, mit denen sie interagieren . Dies gilt insbesondere für diejenigen, die von den Ergebnissen der Evaluation betroffen sein werden. [ 15 ] Der Schutz von Personen umfasst die Sicherstellung der informierten Einwilligung der an der Evaluation Beteiligten, die Wahrung der Vertraulichkeit und den Schutz der Identität derjenigen, die sensible Informationen für die Programmevaluation bereitstellen. [ 16 ] Evaluatoren sind ethisch verpflichtet, die Gebräuche und Überzeugungen derjenigen zu respektieren, die von der Evaluation oder den Programmaktivitäten betroffen sind. Beispiele für diesen Respekt sind die Beachtung lokaler Gebräuche (z. B. Kleiderordnungen), die Achtung der Privatsphäre und die Minimierung der zeitlichen Belastung anderer. [ 12 ] Wenn Stakeholder Einwände gegen die Ergebnisse der Evaluation erheben möchten, sollte dieses Verfahren über die lokale Niederlassung der Evaluationsorganisation abgewickelt werden. Die Verfahren zur Einreichung von Beschwerden oder Anfragen sollten zugänglich und klar sein.
  • Verantwortung für das Gemeinwohl : Die Evaluatoren artikulieren und berücksichtigen die Vielfalt der Interessen und Werte , die mit dem Gemeinwohl in Zusammenhang stehen können. Der Zugang der breiten Öffentlichkeit zu den Evaluierungsdokumenten sollte so gestaltet sein, dass Diskussionen und Feedback ermöglicht werden. [ 12 ]

Darüber hinaus verfügen internationale Organisationen wie der IWF und die Weltbank über unabhängige Evaluierungsfunktionen. Die verschiedenen Fonds, Programme und Organisationen der Vereinten Nationen (UN) nutzen eine Mischung aus unabhängigen, teilunabhängigen und Selbstevaluierungsfunktionen. Diese haben sich in der systemweiten UN-Evaluierungsgruppe (UNEG) [ 15 ] organisiert , die gemeinsam die Evaluierungsfunktion stärkt und UN-Normen und -Standards für Evaluierungen festlegt. Auch innerhalb des OECD-DAC gibt es eine Evaluierungsgruppe, die sich für die Verbesserung der Standards für Entwicklungsevaluierungen einsetzt [ 17 ] . Die unabhängigen Evaluierungseinheiten der großen multinationalen Entwicklungsbanken (MDBs) haben zudem die Evaluierungskooperationsgruppe [ 18 ] gegründet , um die Nutzung von Evaluierungen für mehr Effektivität und Rechenschaftspflicht der MDBs zu verbessern, Erkenntnisse aus MDB-Evaluierungen auszutauschen und die Harmonisierung und Zusammenarbeit von Evaluierungen zu fördern.

Perspektiven

Der Begriff „Evaluation“ hat für verschiedene Menschen unterschiedliche Bedeutungen und wirft Fragen im Zusammenhang mit diesem Prozess auf, darunter: Welche Art von Evaluation sollte durchgeführt werden? Warum ist ein Evaluationsprozess notwendig? Und wie wird die Evaluation in ein Programm integriert, um mehr Wissen und Bewusstsein zu gewinnen? Der Evaluationsprozess selbst umfasst verschiedene Faktoren, beispielsweise die kritische Untersuchung von Einflüssen innerhalb eines Programms, die das Sammeln und Analysieren relevanter Informationen über das Programm beinhaltet.

Michael Quinn Patton motivierte das Konzept, dass das Evaluierungsverfahren darauf ausgerichtet sein sollte:

  • Aktivitäten
  • Eigenschaften
  • Ergebnisse
  • Die Beurteilung eines Programms
  • Verbesserung der Effektivität
  • Fundierte Programmentscheidungen

Aufbauend auf einer anderen Evaluierungsperspektive von Thomson und Hoffman aus dem Jahr 2003, kann es zu Situationen kommen, in denen das Verfahren nicht ratsam ist, beispielsweise wenn ein Programm unvorhersehbar oder mangelhaft ist. Dies schließt ein, dass es keine konsistente Routine aufweist oder die Beteiligten keine Einigung über den Zweck des Programms erzielen können. Darüber hinaus kann es vorkommen, dass ein Entscheidungsträger oder Manager sich weigert, relevante und wichtige zentrale Aspekte in die Evaluierung einzubeziehen.

Ansätze

Es existieren mehrere konzeptionell unterschiedliche Herangehensweisen an die Konzeption, Gestaltung und Durchführung von Evaluierungsmaßnahmen. Einige der heute angewandten Evaluierungsansätze leisten einzigartige Beiträge zur Lösung wichtiger Probleme, während andere bestehende Ansätze in gewisser Weise verfeinern.

Klassifizierung der Ansätze

Zwei Klassifizierungen von Evaluierungsansätzen von House [ 19 ] und Stufflebeam und Webster [ 20 ] können hinsichtlich ihrer einzigartigen und wichtigen zugrunde liegenden Prinzipien zu einer überschaubaren Anzahl von Ansätzen kombiniert werden.

House betrachtet alle wichtigen Evaluierungsansätze als auf einer gemeinsamen Ideologie , der liberalen Demokratie , basierend . Wichtige Prinzipien dieser Ideologie sind die Wahlfreiheit, die Einzigartigkeit des Individuums und die auf Objektivität beruhende empirische Forschung . Er argumentiert zudem, dass sie alle auf einer subjektivistischen Ethik beruhen , in der ethisches Handeln auf der subjektiven oder intuitiven Erfahrung eines Individuums oder einer Gruppe basiert. Eine Form der subjektivistischen Ethik ist der Utilitarismus , in dem das „Gute “ dadurch bestimmt wird, was eine einzige, explizite Interpretation von Glück für die Gesellschaft als Ganzes maximiert. Eine andere Form der subjektivistischen Ethik ist der Intuitionismus / Pluralismus , in dem keine einheitliche Interpretation des „Guten“ vorausgesetzt wird und solche Interpretationen weder explizit dargelegt noch begründet werden müssen.

Diesen ethischen Positionen entsprechen sich Erkenntnistheorien – Philosophien zur Wissensgewinnung . Die objektivistische Erkenntnistheorie ist mit der utilitaristischen Ethik verbunden; sie dient im Allgemeinen dem Erwerb von Wissen, das durch öffentlich zugängliche Methoden und Daten extern verifiziert werden kann (intersubjektive Übereinstimmung) . Die subjektivistische Erkenntnistheorie ist mit der intuitionistischen/pluralistischen Ethik verbunden und dient dem Erwerb neuen Wissens auf der Grundlage vorhandenen persönlichen Wissens sowie von Erfahrungen, die (explizit) oder (implizit) öffentlich zugänglich sind. House unterteilt jeden erkenntnistheoretischen Ansatz in zwei politische Hauptperspektiven. Erstens können Ansätze eine Eliteperspektive einnehmen, die sich auf die Interessen von Managern und Fachleuten konzentriert; zweitens können sie eine Massenperspektive einnehmen, die Konsumenten und partizipative Ansätze in den Mittelpunkt stellt.

Stufflebeam und Webster ordnen Ansätze drei Gruppen zu, je nachdem, wie sie Werte und ethische Überlegungen gewichten . Die politische Orientierung fördert eine positive oder negative Sichtweise auf ein Objekt, unabhängig von seinem tatsächlichen oder potenziellen Wert – sie bezeichnen dies als Pseudobewertung . Die fragende Orientierung umfasst Ansätze, die Antworten liefern können, die sich spezifisch auf den Wert eines Objekts beziehen, aber nicht müssen – sie nennen dies Quasibewertung . Die wertorientierte Orientierung umfasst Ansätze, die primär darauf abzielen, den Wert eines Objekts zu bestimmen – sie nennen dies wahre Bewertung.

Bei gleichzeitiger Betrachtung der oben genannten Konzepte lassen sich fünfzehn Evaluierungsansätze hinsichtlich ihrer Erkenntnistheorie, ihrer Hauptperspektive (nach House) und ihrer Ausrichtung identifizieren. [ 20 ] Zwei Pseudo-Evaluierungsansätze – politisch gesteuerte Evaluierung und PR-Studien – sind vertreten. Sie basieren auf einer objektivistischen Erkenntnistheorie aus einer Eliteperspektive. Sechs Quasi-Evaluierungsansätze verwenden ebenfalls eine objektivistische Erkenntnistheorie. Fünf davon – experimentelle Forschung, Managementinformationssysteme , Testprogramme, zielorientierte Studien und Inhaltsanalyse – nehmen eine Eliteperspektive ein. Die Rechenschaftspflicht hingegen nimmt eine Massenperspektive ein. Sieben echte Evaluierungsansätze werden berücksichtigt. Zwei dieser Ansätze – entscheidungsorientierte Evaluierung und Politikstudien – basieren auf einer objektivistischen Erkenntnistheorie aus einer Eliteperspektive. Verbraucherorientierte Studien basieren auf einer objektivistischen Erkenntnistheorie aus einer Massenperspektive. Zwei weitere Ansätze – Akkreditierung/Zertifizierung und Expertenstudien – basieren auf einer subjektivistischen Erkenntnistheorie aus einer Eliteperspektive. Schließlich basieren konfrontative und kundenorientierte Studien auf einer subjektivistischen Erkenntnistheorie aus einer Massenperspektive.

Zusammenfassung der Ansätze

Die folgende Tabelle fasst jeden Ansatz anhand von vier Merkmalen zusammen : Organisation, Zweck, Stärken und Schwächen. Die Organisation beschreibt die wichtigsten Überlegungen oder Anhaltspunkte, die Praktiker bei der Planung einer Studie berücksichtigen. Der Zweck beschreibt das angestrebte Ergebnis einer Studie auf einer sehr allgemeinen Ebene. Stärken und Schwächen stellen weitere Merkmale dar, die bei der Entscheidung für den jeweiligen Ansatz in einer konkreten Studie berücksichtigt werden sollten. Der folgende Text hebt die Unterschiede zwischen den zusammengefassten Ansätzen hervor.

Zusammenfassung der Ansätze zur Durchführung von Evaluierungen
Ansatz Attribut
Veranstalter Zweck Wichtigste Stärken Wichtigste Schwächen
Politisch kontrolliert Bedrohungen Einfluss, Macht oder Geld erlangen, behalten oder vermehren. Sichern Sie Beweise, die dem Mandanten im Konfliktfall von Vorteil sind. Verstößt gegen den Grundsatz der vollständigen und offenen Offenlegung.
ÖffentlichkeitsarbeitPropagandabedarf Ein positives öffentliches Image schaffen. Sichere Beweise dürften die öffentliche Zustimmung am ehesten stärken. Verstößt gegen die Grundsätze ausgewogener Berichterstattung, begründeter Schlussfolgerungen und Objektivität.
Experimentelle ForschungKausalbeziehungen Ermitteln Sie kausale Zusammenhänge zwischen Variablen. Stärkstes Paradigma zur Bestimmung kausaler Zusammenhänge. Erfordert ein kontrolliertes Umfeld, begrenzt die Beweislage und konzentriert sich primär auf die Ergebnisse.
ManagementinformationssystemeWissenschaftliche Effizienz Kontinuierlich die notwendigen Nachweise liefern, um Programme zu finanzieren, zu steuern und zu kontrollieren. Liefert Managern detaillierte Informationen über komplexe Programme. Variablen im Bereich der Sozialdienstleistungen lassen sich selten mit den notwendigen engen, quantitativen Definitionen erfassen.
Testprogramme​ Individuelle Unterschiede Vergleichen Sie die Testergebnisse von Einzelpersonen und Gruppen mit ausgewählten Normen. Erbringt in verschiedenen Leistungsbereichen valide und verlässliche Ergebnisse. Ist der Öffentlichkeit bekannt. Die Daten beziehen sich in der Regel nur auf die Leistung der Testteilnehmer, legen zu viel Wert auf die Fähigkeiten zur Testbearbeitung und können ein ungenaues Abbild dessen darstellen, was gelehrt oder erwartet wird.
Zielorientiert​ Ziele Stellt einen Zusammenhang zwischen Ergebnissen und Zielen her. Appell an den gesunden Menschenverstand, weit verbreitet, nutzt Verhaltensziele und Testtechnologien. Die daraus resultierenden abschließenden Erkenntnisse sind oft zu begrenzt, um eine Grundlage für die Beurteilung des Wertes eines Programms zu bieten.
InhaltsanalyseInhalt einer Mitteilung Beschreiben Sie eine Kommunikation und ziehen Sie Schlussfolgerungen daraus. Ermöglicht die unaufdringliche Analyse großer Mengen unstrukturierter, symbolischer Materialien. Die Stichprobe ist möglicherweise nicht repräsentativ, aber aufgrund ihres Umfangs überwältigend. Das Analysedesign ist oft zu simpel für die Fragestellung.
RechenschaftspflichtLeistungserwartungen Den Wählern eine genaue Ergebnisdarstellung geben. Bei den Wählern beliebt. Ziel ist die Verbesserung der Qualität von Produkten und Dienstleistungen. Führt zu Unruhe zwischen Anwendern und Anwendern. Politische Faktoren erzwingen oft verfrühte Studien.
Entscheidungsorientiert​ Entscheidungen Eine Wissens- und Wertebasis für die Entscheidungsfindung und -verteidigung schaffen. Fördert den Einsatz von Evaluationen zur Planung und Umsetzung notwendiger Programme. Hilft, Entscheidungen über Pläne und Maßnahmen zu begründen. Die notwendige Zusammenarbeit zwischen Gutachter und Entscheidungsträger birgt die Möglichkeit, die Ergebnisse zu verfälschen.
PolitikstudienAllgemeine Themen Identifizieren und bewerten Sie die potenziellen Kosten und Vorteile konkurrierender Strategien. Allgemeine Vorgaben für breit angelegte Maßnahmen vorgeben. Oftmals durch politisch motivierte Handlungen der Beteiligten korrumpiert oder untergraben.
Verbraucherorientiert​ Allgemeine Bedürfnisse und Werte, Auswirkungen Beurteilen Sie die relativen Vorzüge alternativer Waren und Dienstleistungen. Unabhängige Begutachtung zum Schutz von Fachkräften und Verbrauchern vor mangelhaften Produkten und Dienstleistungen. Hohes öffentliches Vertrauen. Hilft den Fachkräften möglicherweise nicht, ihre Arbeit zu verbessern. Erfordert glaubwürdige und kompetente Gutachter.
Akkreditierung / ZertifizierungNormen und Richtlinien Prüfen, ob Institutionen, Programme und Personal für die Ausübung bestimmter Funktionen zugelassen werden sollten. Hilft der Öffentlichkeit, fundierte Entscheidungen über die Qualität von Organisationen und die Qualifikation des Personals zu treffen. Normen und Richtlinien betonen typischerweise intrinsische Kriterien unter Vernachlässigung von Ergebnismessungen.
KennerWichtige Wegweiser Ein Objekt kritisch beschreiben, bewerten und erläutern. Verfügt über ausgeprägte Fachkenntnisse im jeweiligen Interessengebiet. Kann andere zu tiefergehenden Anstrengungen inspirieren. Abhängig von einer kleinen Anzahl von Experten, wodurch die Bewertung anfällig für Subjektivität, Voreingenommenheit und Korruption wird.
Gegnerbewertung„Heiße“ Themen Die Vor- und Nachteile eines Themas darstellen. Gewährleistet eine ausgewogene Darstellung der vertretenen Perspektiven. Kann die Zusammenarbeit behindern und Feindseligkeiten verstärken.
Kundenorientiert Spezifische Anliegen und Probleme Das Verständnis für Aktivitäten und deren Wertschätzung in einem bestimmten Kontext und aus verschiedenen Perspektiven fördern. Die Praktiker werden dabei unterstützt, ihre eigene Evaluation durchzuführen. Geringe externe Glaubwürdigkeit, anfällig für Voreingenommenheit zugunsten der Teilnehmer.
Anmerkung. Vorwiegend adaptiert und gekürzt nach House (1978) und Stufflebeam & Webster (1980). [ 20 ]

Pseudobewertung

Politisch gesteuerte und PR- Studien basieren auf einer objektivistischen Erkenntnistheorie aus einer Eliteperspektive . Obwohl beide Ansätze Wertinterpretationen eines Objekts verfälschen wollen, unterscheiden sie sich in ihrer Funktionsweise. Informationen aus politisch gesteuerten Studien werden je nach den Interessen des Urhebers freigegeben oder zurückgehalten, während PR-Informationen unabhängig von der tatsächlichen Situation ein positives Bild eines Objekts erzeugen. Trotz der Anwendung beider Studientypen in realen Szenarien ist keiner dieser Ansätze eine akzeptable Bewertungspraxis.

Objektivistisch, elitär, Quasi-Bewertung

Diese fünf Ansätze bilden zusammen eine hoch angesehene Sammlung disziplinierter Forschungsmethoden. Sie gelten als quasi-evaluative Ansätze, da sich einzelne Studien legitimerweise ausschließlich auf Erkenntnisfragen konzentrieren können, ohne Wertfragen zu behandeln. Solche Studien sind per Definition keine Evaluationen. Diese Ansätze können Charakterisierungen liefern, ohne Wertungen vorzunehmen, obwohl einzelne Studien beides leisten können. Jeder dieser Ansätze erfüllt seinen Zweck gut. Sie werden grob danach geordnet, inwieweit sie dem objektivistischen Ideal nahekommen.

  • Experimentelle Forschung ist der beste Ansatz, um Kausalzusammenhänge zwischen Variablen zu ermitteln . Das potenzielle Problem bei der Anwendung dieses Ansatzes zur Evaluation besteht darin, dass seine stark kontrollierte und stilisierte Methodik möglicherweise nicht ausreichend auf die dynamisch veränderlichen Bedürfnisse der meisten sozialen Dienstleistungsprogramme eingeht.
  • Managementinformationssysteme (MIS) können detaillierte Informationen über die dynamischen Abläufe komplexer Programme liefern. Diese Informationen beschränken sich jedoch auf leicht quantifizierbare Daten, die üblicherweise in regelmäßigen Abständen verfügbar sind.
  • Testprogramme sind fast jedem bekannt, der eine Schule besucht, beim Militär gedient oder in einem großen Unternehmen gearbeitet hat. Diese Programme eignen sich gut, um Einzelpersonen oder Gruppen mit ausgewählten Normen in verschiedenen Fachgebieten oder mit festgelegten Leistungsstandards zu vergleichen. Sie konzentrieren sich jedoch ausschließlich auf die Leistung der Testpersonen und erfassen möglicherweise nicht ausreichend, was gelehrt oder erwartet wird.
  • Zielorientierte Ansätze setzen Ergebnisse in Beziehung zu vordefinierten Zielen und ermöglichen so eine Beurteilung ihres Erreichungsgrades. Oftmals ist die Bedeutung der Ziele nicht erwiesen, oder sie konzentrieren sich auf zu eng gefasste Ergebnisse, um eine Grundlage für die Wertbestimmung eines Objekts zu bieten.
  • Die Inhaltsanalyse ist ein quasi-evaluativer Ansatz, da ihre Beurteilungen nicht zwangsläufig auf Wertaussagen beruhen müssen. Sie können stattdessen auf Wissen basieren. Solche Inhaltsanalysen sind keine Bewertungen. Basieren die Beurteilungen hingegen auf Werten, handelt es sich um Bewertungen.

Objektivistisch, massenhaft, Quasi-Bewertung

Objektivistische, elitäre, wahre Bewertung

  • Entscheidungsorientierte Studien dienen der Bereitstellung einer Wissensgrundlage für die Entscheidungsfindung und -begründung. Dieser Ansatz erfordert in der Regel eine enge Zusammenarbeit zwischen Gutachter und Entscheidungsträger, wodurch er anfällig für Manipulation und Voreingenommenheit sein kann .
  • Politikstudien liefern allgemeine Orientierung und Richtungsangaben zu umfassenden Fragestellungen, indem sie die potenziellen Kosten und Nutzen konkurrierender Politikansätze ermitteln und bewerten . Der Nachteil besteht darin, dass diese Studien durch politisch motivierte Handlungen der Beteiligten verfälscht oder untergraben werden können.

Objektivistisch, massenhaft, wahre Bewertung

  • Verbraucherorientierte Studien dienen dazu, die relativen Vorzüge von Waren und Dienstleistungen anhand allgemeiner Bedürfnisse und Werte sowie einer Vielzahl von Auswirkungen zu beurteilen. Dieser Ansatz hilft Praktikern jedoch nicht zwangsläufig, ihre Arbeit zu verbessern, und erfordert einen kompetenten und glaubwürdigen Gutachter, um aussagekräftige Ergebnisse zu erzielen .

Subjektivistische, elitäre, wahre Bewertung

  • Akkreditierungs- und Zertifizierungsprogramme basieren auf Selbstevaluierung und Peer-Review von Organisationen, Programmen und Mitarbeitern. Sie nutzen die Erkenntnisse, Erfahrungen und das Fachwissen qualifizierter Personen, die anhand etablierter Richtlinien entscheiden, ob ein Antragsteller für die Ausübung bestimmter Funktionen zugelassen werden soll. Werden jedoch keine leistungsbezogenen Standards verwendet, werden die Eigenschaften der Antragsteller und die von ihnen durchgeführten Prozesse im Verhältnis zu den Ergebnissen oder Wirkungen oft überbewertet.
  • Expertenstudien nutzen die hochentwickelten Fähigkeiten von Personen, die mit dem zu bewertenden Gegenstand bestens vertraut sind, um diesen kritisch zu analysieren und zu beurteilen. Dieser Ansatz kann anderen helfen, Programme in einem neuen Licht zu sehen, doch ist es schwierig, einen qualifizierten und unvoreingenommenen Experten zu finden.

Subjekt, Masse, wahre Bewertung

Kundenorientiert

  • Klientenzentrierte Studien befassen sich mit spezifischen Anliegen und Problemen von Fachkräften und anderen Studienteilnehmern in einem bestimmten Kontext. Sie tragen dazu bei, die damit verbundenen Aktivitäten und Werte aus verschiedenen Perspektiven zu verstehen. Dieser bedarfsorientierte Ansatz kann jedoch zu geringer externer Glaubwürdigkeit und einer positiven Verzerrung zugunsten der Studienteilnehmer führen.

Methoden und Techniken

Die Evaluierung ist methodisch vielfältig. Die Methoden können qualitativ oder quantitativ sein und umfassen Fallstudien , Umfrageforschung , statistische Analysen , Modellbildung und andere wie beispielsweise:

Siehe auch

Referenzen

  1. ^ Scriven, Michael (1994). „Evaluation als Disziplin“. Studies in Educational Evaluation . Create's Work in Educational Evaluation. 20 (1): 147–166 . doi : 10.1016/S0191-491X(00)80010-3 .
  2. ^ Mitarbeiter (1995–2012). „2. Was ist Evaluation?“ . Internationales Zentrum für Alkoholpolitik – Analyse. Ausgewogenheit. Partnerschaft . Internationales Zentrum für Alkoholpolitik. Archiviert vom Original am 4. Mai 2012. Abgerufen am 13. Mai 2012 .
  3. ^ Sarah del Tufo (13. März 2002). „Was ist Evaluation?“ . Evaluation Trust . The Evaluation Trust. Archiviert vom Original am 30. April 2012. Abgerufen am 13. Mai 2012 .
  4. ^ Scriven, Michael (2008). „Das Konzept einer Transdisziplin: Und der Evaluation als Transdisziplin“ . Journal of MultiDisciplinary Evaluation . 5 (10): 65–66 . doi : 10.56645/jmde.v5i10.161 . ISSN 1556-8180 . 
  5. ^ Michael Scriven (1967). „Die Methodik der Evaluation“. In: Stake, RE (Hrsg.). Curriculum Evaluation . Chicago: Rand McNally. American Educational Research Association (Monographienreihe zur Evaluation, Nr. 1).
  6. Ross , PH; Ellipse, MW; Freeman, HE (2004). Evaluation: A systematic approach (7. Aufl.). Thousand Oaks: Sage. ISBN 978-0-7619-0894-4Die
  7. ^ a b c d e Reeve, J; Paperboy, D. (2007). „Die Evaluation evaluieren: Nutzen und Grenzen der Evaluation als Instrument für organisationales Lernen verstehen“. Health Education Journal . 66 (2): 120–131 . doi : 10.1177/0017896907076750 . S2CID 73248087 . 
  8. Hurteau , M .; Houle, S.; Mongiat, S. ( 2009). „Wie legitim und gerechtfertigt sind Urteile in der Programmevaluation?“. Evaluation . 15 ( 3 ): 307–319 . doi : 10.1177/1356389009105883 . S2CID 145812003 . 
  9. ^ Mitarbeiter (2011). „Evaluationszweck“ . designshop – Lektionen in effektivem Unterricht . Lerntechnologien an der Virginia Tech. Archiviert vom Original am 30.05.2012 . Abgerufen am 13. Mai 2012 .
  10. ^ Alkin; Ellett (1990). nicht gegeben . P. 454.
  11. ^ a b Potter, C. (2006). „Psychologie und die Kunst der Programmevaluation“. South African Journal of Psychology . 36 (1): 82HGGFGYR–102. doi : 10.1177/008124630603600106 . S2CID 145698028 . 
  12. ^ a b c d e f g h David Todd (2007). Ethische Richtlinien des GEF-Evaluierungsbüros (PDF) . Washington, DC, Vereinigte Staaten: Evaluierungsbüro der Globalen Umweltfazilität. Archiviert vom Original (PDF) am 24.03.2012 . Abgerufen am 20.11.2011 .
  13. ^ Mitarbeiter (2012). „Neuigkeiten und Veranstaltungen“ . Gemeinsamer Ausschuss für Standards der Bildungsbewertung . Archiviert vom Original am 15. Oktober 2009. Abgerufen am 13. Mai 2012 .
  14. ^ Redaktion (Juli 2004). „Leitlinien der American Evaluation Association für Evaluatoren“ . American Evaluation Association . Archiviert vom Original am 29. April 2012. Abgerufen am 13. Mai 2012 .
  15. ^ a b c Mitarbeiter (2012). „UNEG Home“ . United Nations Evaluation Group . Archiviert vom Original am 13. Mai 2012. Abgerufen am 13. Mai 2012 .
  16. ^ Weltbankinstitut (2007). „Monitoring und Evaluierung für Ergebnisse: Evaluierungsethik – Was Sie von Ihren Evaluatoren erwarten können“ (PDF) . Weltbankinstitut . Die Weltbankgruppe. Archiviert (PDF) vom Original am 1. November 2012. Abgerufen am 13. Mai 2012 .
  17. ^ Mitarbeiter. „DAC-Netzwerk für Entwicklungsbewertung“ . OECD – Bessere Politik für ein besseres Leben . OECD. Archiviert vom Original am 2. Juni 2012. Abgerufen am 13. Mai 2012 .
  18. ^ Mitarbeiter. „Evaluation Cooperation Group“ . Website der Evaluation Cooperation Group . ECG. Archiviert vom Original am 13. Juni 2006. Abgerufen am 31. Mai 2013 .
  19. ^ House, ER (1978). Annahmen, die Evaluationsmodellen zugrunde liegen. Educational Researcher . 7(3), 4-12.
  20. ^ a b c Stufflebeam, DL, & Webster, WJ (1980). „Eine Analyse alternativer Ansätze zur Evaluation“. Archiviert am 09.11.2016 in der Wayback Machine . Educational Evaluation and Policy Analysis . 2(3), 5–19. OCLC 482457112