„Developmental Evaluation in Aktion“ - degeval.org · Konzept „Computer-Science-Management“ (CSM) „Technik zu den Mädchen bringen“ Technische Ausbildung an einer typischen

1 Developmental Evaluation in Aktion

Evaluation und Organisationsberatung Evaluation and Organisational Development

Dr. Maria Gutknecht-Gmeiner 13. September 2013

„Developmental Evaluation in Aktion“ Erfahrungen mit Pattons Ansatz zur Bewältigung von Unsicherheit und Komplexität

DeGEval Jahrestagung 2013, Workshop D1


„Was Sie erwartet“ oder das Präsentations-Dilemma

Inhalte - traditionell ◼  Beschreibung des Evaluationsgegenstands: in diesem Fall der neue

Ausbildungsschwerpunkt CSM

◼  Beschreibung der Evaluation: Design/Methoden, Umsetzung

◼  Reflexion der Evaluation, Erkenntnisse, offene Fragen, Diskussion

Verfügbare Zeit?

-- Erfahrungen reflektieren an einem Beispiel


Innovative Projekte: Kennzeichen

◼  Neuland

◼  Komplexe und relevante Probleme

◼  Allgemein gehaltene Ziele

◼  Relativ hohe Unsicherheit

◼  Projekte entwickeln sich im Prozess

◼  Engagement und Expertise der Umsetzenden

◼  („schwieriges“ Umfeld)


Erste Reflexion

Was bedeuten diese Voraussetzungen für die Evaluation?

◼  Hoher Bedarf an (expliziter) Definition und Operationalisierung

◼  Notwendigkeit die Evaluation an die Entwicklung des Projekts anzupassen

◼  „Etappenweise“ Evaluation – Zweck der Evaluation: Formative? Summativ?

◼  Stark evaluative Vorgansweise der Projekte – Rolle der EvaluatorInnen?

-- Developmental Evaluation nach Patton

(aka „evolutive Evaluation“)


Definition „Developmental Evaluation“

Evaluation, die

„speziell auf die Bewertung von Innovationen

in komplexen dynamischen Umfeldern abzielt,

in denen innovative Interventionen

eine ständige Anpassung

unter von hoher Unbeständigkeit und Unsicherheit geprägten Rahmenbedingungen erfordern“

Michael Patton, EVALTALK, 23.8.2011, s. auch Patton 2008 und 2010


Merkmale der Developmental Evaluation (DE)

◼  Fokus auf Entwicklung (versus Verbesserung, Rechenschaft oder summative Bewertung)

◼  Findet in einem komplexen, dynamischen Umfeld statt ◼  Feedback ist zeitnah (so “Echtzeit” wie möglich). ◼  Die/der EvaluatorIn arbeitet mit den Programmumsetzenden zusammen,

um neue Ansätze zu konzipieren, zu designen und zu testen in einem langfristigen, andauernden Prozess der Anpassung, bewussten Veränderung und der Entwicklung.

◼  Die/der EvaluatorIn kann Teil des Interventionsteams sein ◼  Die wichtigsten Aufgaben der Evaluatorin sind:

Innovation sowie Anpassungsprozesse beleuchten und erklären; ihre Implikationen und Ergebnisse nachverfolgen & den Entscheidungsprozess ständig, datenbasiert & in “Echtzeit” zu unterstützen.

◼  DE wird Teil der Intervention. ◼  Kein “Modell” – eine Herangehensweise


CSM: Hintergründe

◼  Geschlechtsspezifische Segregation der beruflichen Bildung in Sekundarstufe II in Ö ◼  „HTL“ – technische Schulen: Burschen

◼  „HLW“ – wirtschaftsberufliche Schulen: Mädchen

◼  Starre Schultypen

◼  Kaum Veränderung der Geschlechterzusammensetzung bei SchülerInnen in HTL trotz langjähriger Bemühungen ◼  Konzept: „Mädchen in die Technik bringen“

◼  ABER: kritische Masse nicht erreicht

◼  2011/12 ◼  HTL (im engeren Sinn): Mädchen 12,7%

◼  HLW: Mädchen 90,3%


CSM: Lösungsansatz

Konzept „Computer-Science-Management“ (CSM)

◼  „Technik zu den Mädchen bringen“

◼  Technische Ausbildung an einer typischen „Mädchenschule“

◼  Breite hybride Ausbildung: IT, Nawi, Sprachen, Wirtschaft

◼  Propädeutischer Ansatz durch Kooperation mit technischer Fachhochschule


Komplexität

Gewissheit

Übe

rein

stim

mun

g

Nahe zu Fern von

Fern

von

N

ahe

zu

Einfach Planen, kontrollieren

Zone der Komplexität

Technisch kompliziert Experimentieren, Expertise koordinieren

sozial kompliziert Beziehungen pflegen, eine gemeinsame Basis aufbauen


Merkmale CSM: Komplexität

Zone der Komplexität

Gewissheit

Übe

rein

stim

mun

g

Nahe zu Fern von

Fern

von

N

ahe

zu

Einfach Planen, kontrollieren

Technisch kompliziert Experimentieren, Expertise koordinieren

sozial kompliziert Beziehungen pflegen, eine gemeinsame Basis aufbauen

Einzigartiges Curriculum

Neuartige Kooperationen

Zielgruppe ansprechen?

Schultypen Systemmerkmal

Lehrplan NEU OE & PE


5 Funktionen von DE

1. Laufende Entwicklung unterstützen

2. Wirksame Prinzipien an einen neuen Kontext anpassen

3. Rasche ReakBonen in turbulenten Katastrophen(arBgen)-‐SituaBonen unterstützen

4. Prä-‐formaBve Entwicklung von potenBell übertrag-‐ und skalierbaren InnovaBonen

5. Umfassende Veränderungen im System


Vorgehensweise 1

Explorative Vorstudie ab 2008 während der Entwicklung von CSM

◼  36 qualitative Interviews mit der Zielgruppe, d.h. Mädchen mit nawi/technischem Interesse, vor und nach der Bildungsentscheidung mit 15

◼  Fragestellung: Eignung des Konzepts für gesamte Ausbildungsphase (Wahl bis Abschluss), relevante Prägungen vor Ausbildungswahl

Teilnahme der Evaluatorin an Sitzungen der Steuerungsgruppe seit erster Sitzung 2008, laufende Datenerhebung/aufbereitung & Berichterstattung


Vorgehensweise 2

Ab 2010/11 (Beginn der Ausbildung): begleitende Evaluationen (3)

◼  3 Zyklen: Jahr 1, Jahr 2, Jahr 3

◼  Durchgängige Schwerpunkte ◼  Eignung des Konzepts, (Erreichung der) Zielgruppe, Umsetzung

◼  Jahresweise Schwerpunkte, pro- oder reaktiv an Entwicklungen angepasst ◼  Z.B. Individualisierung, gendergerechter Unterricht, IT-Unterricht, Sicht der Wirtschaft,

gendergerechte Fachdidaktik IT

◼  Weiter Teilnahme der Evaluatorin an Sitzungen der Steuerungsgruppe, laufende Datenerhebung/aufbereitung & Berichterstattung


Programmbaum (Beywl) als Modell für die Einordnung der Fragestellungen

◼  Incomes

◼  Konzept

◼  Umsetzung, Zwischenergebnisse

◼  Input/Struktur; Kontext; erste Auswirkungen auf Beteiligte

Betroffene und Beteiligte („360°“)

◼  SchülerInnen

◼  Lehrkräfte

◼  Management der beteiligten Institutionen

◼  Eltern

◼  VertreterInnen der Wirtschaft und KooperationspartnerInnen

◼  (Schulaufsicht)

Design & Methoden 1


Design & Methoden 2

Mixed methods, Triangulation

◼  Qualitative Interviews mit allen SchülerInnen 1-2x pro Jahr ◼  Gruppendiskussionen und Reflexionen im LehrerInnenteam ◼  Qualitative Beobachtungen im Unterricht ◼  Teilnehmende Beobachtung Tag der offenen Tür ◼  Interviews mit einzelnen LehrerInnen (KV, IT/Nawi-Lehrkräfte) ◼  Interviews und Diskussion mit Eltern, VertreterInnen der Wirtschaft,

KooperationspartnerInnen, ExpertInnen (IT, Lehre)

◼  Umfangreiche Sekundäranalysen, SchülerInnenprofile ◼  Quantitative Befragung am Tag der offenen Tür ◼  Quantitative Befragung aller SchülerInnen aller Jahrgänge 1-2x pro Jahr

◼  Diskussionen und Reflexionen der Steuergruppe, regelmäßige Besprechungen mit Umsetzenden (Management, Lehrkräfte)

qual

quant


Spezielle Charakteristika

3 Ebenen

◼  Ebene der Schulverwaltung

◼  Ebene der Institutionen

◼  Ebene der Lehrkräfte

Rollen und Aufgaben der Evaluatorin

◼  Auftragsklärung Erstellung eines Designs, Durchführung Erhebung & Auswertung, Berichterstattung

◼  Teilnahme der Evaluatorin an Sitzungen der Steuerungsgruppe seit erster Sitzung 2008, laufende Datenerhebung/aufbereitung & Berichterstattung

◼  Moderation und Koordination des Entwicklungsteams

◼  Wissenschaftliche Begleitung (Individualisierung, IT-Fachdidaktik), auch Einbindung weiterer ExpertInnen

◼  (((Marketing)))


Reflexion 1

◼  Es macht Spaß (wenn man gerne mit engagierten Menschen in innovativen Projekten zusammenarbeitet, gerne immer wieder knifflige Probleme löst und Neues ausprobiert)

◼  Enge Zusammenarbeit mit AuftraggeberIn und Umsetzenden essenziell

◼  Hohes Ausmaß an Interaktion und Kommunikation

◼  Berücksichtigung der Ergebnisse in der Umsetzung und damit hohe Zufriedenheit der Evaluatorin (UFE-Ausrichtung)

◼  Vorbedingungen

◼  Hohes gegenseitiges Vertrauen und sehr gute Arbeitsbeziehung

◼  Anerkennung der Rolle der Evaluatorin


Reflexion 2

◼  Außergewöhnlich tiefe Einblicke in den Evaluationsgegenstand, intensive Befassung und umfassende Kenntnis, „wandelndes Archiv“

◼  Abgrenzung der eigenen Rolle immer wieder nötig (strategisch, operativ; emotional)

◼  Unabhängigkeit? v.a. externe Wahrnehmung

◼  3-Ebenen-Berichterstattung ist Herausforderung: Vertraulichkeit, „Sitzenbleiben“ auf Wissen

◼  Fragestellungen: manche durchgängig, manche nicht; Herausforderung: durchgängige Fragestellungen möglichst rasch erkennen und berücksichtigen, Anhaltspunkte:

◼  Kernziele des Evaluationsgegenstand, Zielgruppe(n), Kernstreitpunkte

Ihre Kommentare, Anregungen, Fragen...


Danke für Ihre Aufmerksamkeit

Dr. Maria Gutknecht-Gmeiner

IMPULSE – Evaluation und Organisationsberatung

[email protected]

www.impulse.at

Documents

„Developmental Evaluation in Aktion“ - degeval.org · Konzept „Computer-Science-Management“ (CSM) „Technik zu den Mädchen bringen“ Technische Ausbildung an einer typischen