Methodische Erfahrungen mit einer Online- Tracer-Studie im Berufsbildungsbereich Dieter Zürcher, Katharina Walker, KEK-CDC Consultants 9. September 2010

Methodische Erfahrungen mit einer Online-Tracer-Studie im Berufsbildungsbereich

Dieter Zürcher, Katharina Walker, KEK-CDC Consultants

9. September 2010

Final Evaluation of the vocational education programme in the ICT sector of Usbekistan

Inhalt

1. GTZ-Vorhaben und Schlussevaluation

2. Ausgangslage der Daten

3. Evaluationsdesign der Tracer-Studie

4. Illustration der Online-Befragung

5. Herausforderungen

6. Zwischenfazit

2

GTZ-Vorhaben und Schlussevaluierung

Berufliche Ausbildung im Bereich ICT•Projektdauer: 2002 – 2010

•13 Mio. EUR Projektkosten (GTZ und KfW)

•32 Berufscolleges

•Drei Vertiefungsrichtungen: Elektronik, Programmierung, Business

•Unterstützung des Zentrums für Fachschul- und Berufsbildung

•Zusammenarbeit mit der Privatwirtschaft

Schlussevaluation durch KEK-CDC ConsultantsKlassische Evaluation mit Einbezug einer Tracer-Studie

3

“A graduate tracer study tracks down a group of graduated trainees who have participated in VET programmes in specific trades and explores their current and past employment activities“ (HELVETAS, Tracer Studies for Vocational Education and Training Programmes – a Practical Tool Kit)

Ausgangslage der Daten

1. Tracer-Studie der Jahrgänge 2007 und 2008• Absolventen- und Firmenbefragung• Schriftliche, persönliche und telefonische Befragung

Diese bestätigen gute Erreichung der Projektziele

2. Monitoring • Befragung der Lehrkräfte, Schüler und Unternehmen in den Jahren 2006 und

2007

4

4) Rabotaete li Vi v danniy moment? da (dalee vopros 5) 216 (70,82%) net (dalee vopros 13 ) 89 (29,18%) ____________ ______________ Summe 305 ohne Antwort 0

70.82% der antwortenden Absolventen von 2008 arbeiten 1 Jahr nach der Graduierung

Evaluationsdesign - Begründung der Befragungsmethodik (1)

5

2010 Neue Befragungsmethodik

Begründung Online-Tracer-Studie

1. Kosten-Nutzen-ÜberlegungenTracer-Studien 2007/08: 70 resp. 90 Arbeitstage für Befragung und Auswertung: Effektiver Aufwand bedeutend höher

2. ICT-Ausbildung

Schriftliche, persönliche und

telefonische Befragung

Online-Befragung, schriftliche Befragung

April Mai Juni Juli August September Oktober

Evaluationsdesign der Tracer-Studie (2)

6

„Tracing“ der Absolventen

Analyse Datenlage,

MachbarkeitVorbereitung Evaluation

Berufscolleges suchen

Kontaktdaten von

Absolventen

Auswer-tung

früherer Tracer-Studien

Überprüfen der Ergebnisse der Online-Befra-

gung, schriftliche Befragung

Vormission

Online-Befragung

Sekundäranalyse

Evaluation

Handels-kammer, lokaler

Evaluator

Erarbeitung Fragebogen, Übersetzung

Kontakt Firmen

Evaluationsdesign der Tracer-Studie (3)

1. Onlinebefragung der Absolventen und Firmen in Russisch und Usbekisch• Absolventen, die z.Z. in Beruf arbeiten

• Firmen (CEO und ICT-Spezialist)

2. Ausweitung der Tracer-Studie an drei ausgewählten Berufscolleges

• Im Rahmen der Evaluierungsmission

• Schriftliche Befragung in Rahmen von Alumni-Events

3. Sekundäranalyse der Tracer Studies von 2007/8• Nach Geschlecht

• Nach Vertiefungsrichtung

• Nach geografischer Lage (urban vs. ruraler Kontext)

7

Illustration der Online-Befragung (1)

8

E-Mail mit Hyperlink zum Online-Fragebogen


9

Online-Fragebogen


10

Auswertung des Online-Fragebogens

Herausforderungen

11

1. „Tracing“ der Absolventen• Zeitaufwändig

• Unvollständige Listen

• Kein Besitz von E-Mail-Adressen

2. E-Mail-Adressen der Firmen• Persönlicher Kontakt

• Skepsis gegenüber Befragungen

Anzahl E-Mail-Adressen

Anzahl Funktionierende E-Mail-Adressen

Fehlerquote E-Mail-Adressen

Rücklauf (Stand 07.09.10)

Absolventen 513 341 33.5% 25.5%

Firmen 316 248 21.5% 10.5%

№ п/пФамилия,имя,отчество

выпускникаЭлектронный адрес,

Контактные телефоны с кодом

Специальность, профессия

1 Айдарова Гулхаё Раджабовна [email protected]Информатика и информационные

технологии: техник по ИКТ с уклоном на программирование

2 Жураева Нигора НикеевнаИнформатика и информационные технологии:

техник по ИКТ с уклоном на программирование

3 Худойбердиева Сарвиноз Зокировна Sarvinoz [email protected]Информатика и информационные


4 Батанова Людмила ВикторовнаИнформатика и информационные технологии:


5 Гафаров Артур ИсломовичИнформатика и информационные технологии:


6 Дустова Мухаббат АрслоновнаИнформатика и информационные технологии:


7 Золотарев Максим ВячеславовичИнформатика и информационные технологии:


8 Лезвинская Лилия Анатольевна [email protected]Информатика и информационные


9 Махмудова Мукаддас РауповнаИнформатика и информационные технологии:


10 Оньков Тимур ГандьевичИнформатика и информационные технологии:


Zwischenfazit

• Befragungsmethodik der Online-Befragung: In der Schweiz weit verbreitet, in Usbekistan kaum bekannt

• „Tracing“ der Absolventen: Schulleitern vor Ort den Nutzen einer Tracer-Studie erklären

• Befragung der Absolventen: Anreiz dank Sackmesser• Schlussfolgerung: Verfälschung der Ergebnisse• Repräsentativität / Generalisierbarkeit: Online-

Befragung mit schriftlicher Befragung vor Ort ergänzen

12

13

VIELEN DANK FÜR IHRE AUFMERKSAMKEIT!

Documents

Methodische Erfahrungen mit einer Online- Tracer-Studie im Berufsbildungsbereich Dieter Zürcher, Katharina Walker, KEK-CDC Consultants 9. September 2010