Gollwitzer⋅

Jäger: Evaluation. Workbook. Weinheim: Beltz PVU, 2007 1

9 Messfragen: Operationalisierungvon Evaluationsobjektenund -kriterien

Was ist Evaluation?Kapitel 1

Aufgaben, Standards und ModelleKapitel 2

Fragestellungen

ZuständeKapitel 3

VeränderungenKapitel 4

WirkungenKapitel 5

FormativeEvaluationKapitel 8

ProspektiveEvaluationKapitel 7

EffizienzanalyseKapitel 6

MessfragenKapitel 9

DesignfragenKapitel 10

AuswertungsfragenKapitel 11

Methodik

Teil I: „Was“und „wozu“?

Teil II: „Wann“und „warum“?

Teil III: „Wie“und „womit“?

Hauptfrage-stellungen

Nebenfrage-stellungen

Methoden der Datengewinnung. In diesem Kapitel wurden quantitative und quali-

tative Methoden der Datengewinnung für unterschiedliche Evaluationsfragestellun-

gen skizziert. Quantitative Methoden sind dabei für jene Fragestellungen eher ge-

eignet, die hypothesentestend angelegt sind und bei denen eine Quantifizierung des

Evaluationskriteriums inhaltlich sinnvoll erscheint (Wirksamkeit, Effizienz, ggf.

Bedarf). Qualitative Methoden sind eher für jene Fragestellungen geeignet, die

hypothesengenerierend angelegt sind und bei denen eine reine Quantifizierung dem

Evaluationskriterium allein nicht gerecht würde (Problemanalyse, Konzeptionsqua-

lität, Ausführungsintegrität usw.).

Wirksamkeit. In Bezug auf das Evaluationskriterium Wirksamkeit wurde festgestellt,

dass im Einzelfall zunächst meist eine Präzisierung nötig ist. Es ist Aufgabe des Eva-

luators, gegebenenfalls gemeinsam mit den Auftraggebern der Untersuchung zu

ermitteln,

l in welchen Phänomenbereichen sich die Wirksamkeit manifestieren sollte, d. h.

welche Konstrukte gemessen werden sollen;

l in welchen Modalitäten das zu messende Phänomen vorliegt,

l welche Facetten des Konstrukts zur Messung herangezogen werden sollen,

l welche Datenquellen für das Konstrukt am ehesten informativ und geeignet sein

dürften und

l welche Methoden zur Datengewinnung am ehesten angemessen erscheinen.

Gollwitzer⋅

Jäger: Evaluation. Workbook. Weinheim: Beltz PVU, 2007 2

Multimodale und multimethodale Erfassung. In den meisten Fällen zeigt sich die

Wirksamkeit einer Maßnahme in mehreren Bereichen. Als Konsequenz ergibt sich

daraus die Notwendigkeit, unterschiedliche Konstrukte zu erfassen. Diese Konstruk-

te sollten multimodal und multimethodal gewonnen werden (multimodale und

multimethodale Diagnostik). Damit können Wirksamkeitshypothesen spezifischer

geprüft und Phänomenbereiche umfassender untersucht werden. Korrelieren die

unterschiedlichen Modalitäten bzw. Methoden zu einem gewissen Mindestmaß

miteinander, so kann es außerdem sinnvoll sein, Messungen über verschiedene

Indikatoren hinweg zu aggregieren. Aggregierte Maße haben den Vorteil, dass sie –

unter bestimmten Umständen – gegenüber Einzelindikatoren eine höhere Reliabili-

tät und eine höhere Validität besitzen.

Messmodell. Konstrukte, die nicht direkt empirisch beobachtbar sind, müssen indi-

rekt erfasst werden. Hierzu ist die Entwicklung eines Messmodells notwendig, das

die Beziehung zwischen dem latenten Konstrukt und den manifesten Indikatoren

spezifiziert. Solche Messmodelle können auf ihre Gültigkeit hin getestet werden

(z. B. mit Hilfe konfirmatorischer Faktorenanalysen).

Gütekriterien. Wirksamkeitsindikatoren müssen bestimmte Gütekriterien erfüllen.

Hierbei ist es nicht nur notwendig, dass sie ausreichend reliabel (messgenau bzw.

messfehlerfrei) und valide sind (d. h. tatsächlich das messen, was gemessen werden

soll), sondern zusätzlich

l eine inhaltliche Symmetrie zum Interventionsgegenstand aufweisen,

l neutral gegenüber der Art der Intervention,

l den Eigenschaften der Evaluationsstichprobe sowie den Randbedingungen ange-

messen und

l gegebenenfalls änderungssensitiv sind.

In aller Regel lassen sich die psychometrischen Gütekriterien einer Messung empi-

risch bestimmen. Die Reliabilität und die Validität eines Messinstruments werden

vor allem über Korrelationen mit anderen Messinstrumenten, über Messzeitpunkte

hinweg oder mit externen Kriterien ermittelt.

Einschränkungen der Validität bei empirischen Messungen ergeben sich im Rahmen

von Evaluationsuntersuchungen insbesondere durch soziale Erwünschtheit, den

Aufforderungscharakter einer Untersuchungssituation (Demand Characteristics)

sowie den Hawthorne- und den Rosenthal-Effekt.

Qualitative Methoden. Anschließend wurden einige qualitative Methoden der Da-

tengewinnung dargestellt. Zu diesen gehören vor allem Befragungs-, Beobachtungs-

sowie inhaltsanalytische Methoden. Das narrative Interview ist eine spezielle

qualitative Befragungsmethode. Schließlich wurden allgemeine Gütekriterien der

qualitativen Forschung und deren Bezug zu psychometrischen Gütekriterien der

quantitativen Forschung dargestellt.