Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Summatives Assessment undformatives Progress Testing

Kombination zweier Evaluationsformen im Bereich der Dozentenrückmeldung, des Studierenden-Mentorings und der curricularen Weiterentwicklung

Johann AriasAlexander Schiffel

Sonja FinstererWolfgang DottMelanie Simon


Bausteine eines Evaluationsergebnisses


Bausteine eines Evaluationsergebnisses


• Gründe– Erreichen des „Ziels“– Curriculare

Weiterentwicklung– Verpflichtung

• „… den gesetzlichen Anforderungen wird Genüge getan“

• meist ohne Auswirkungen

Evaluation in der Lehre


• Evaluation wird zum Selbstzweck?– Potential für die

Qualitätssicherung wird nicht erkannt

• Evaluation wird zu Entscheidungen missbraucht?– Negatives Image– Opinion based vs. Evidence

based

Kromrey, H. [2005]

Probleme der Lehrevaluation


Ziele der Lehre

• Welche Ziele hat ein Studiengang?– „Ziel […] ist der wissenschaftlich und praktisch in der Medizin ausgebildete Arzt

[…]. Die Ausbildung soll grundlegende Kenntnisse, Fähigkeiten und Fertigkeiten in allen Fächern vermitteln, […]“ (ÄAppO, 2003)

• Wie sollen die Ziele erreicht werden?– Qualität in der Lehre (Identifizieren und Beheben

von Problemen)– Vermittlung von Wissen und Kompetenzen der

Absolventen

• Woran erkennt man die Zielerreichung?– Befragen der Zielgruppen und

Prüfungsergebnisse

Spiel, C. [2011]


• Studentische Lehrveranstaltungs-Evaluation– Vorteile

• bewährte standardisierte Fragebögen• Hoher Erfahrungswert

– Probleme• Hoher Einfluss individueller Studienmotivation und

Erwartungshaltung• Image des/der Dozenten/Dozentin und keine

Vergleichsmöglichkeit• Positive Bewertung der Lehrveranstaltung nicht gleichbedeutend

mit Lernerfolg

Welche Formen der Evaluation stehen aktuell zur Verfügung? (1)


• Outcome-basierte Prüfungen

– Summativ– Formativ

– Messung von Wissenszuwachs und Kompetenz durch Prüfungen• Kursnoten und sonstige Testergebnisse sind Indikatoren für Qualifikation

– Herausforderungen• Qualität der Prüfungsfragen (Relevanz, Aussagekraft)

=> Reviewprozess

Welche Formen der Evaluation stehen aktuell zur Verfügung? (2)


Aachener Modellstudiengang Medizin

1. Ärztl. Prüfung

2. Ärztl. Prüfung

1.+2. Studien-abschnitt

3. Studien-abschnitt & PJ

Progress Tests Progress Tests

60 Kursprüfungen summativ fachbezogen

2 Staatsexamina summativ allgemein

12 Progress Tests formativ allgemein


• Idee entstanden in den 70er Jahren• Vorreiter in NL und GB• Organisiert von der Charité, Berlin

(seit 1999)• Kooperation zwischen 15

Medizinischen Fakultäten- Fakultätsvergleiche

• Zentrale Fragendatenbank- Reviewprozesse

• 200 MC-Fragen auf Absolventenniveau

• Blueprint 14 Organsysteme,27 Fachgebiete

Progress Test Medizin (PTM)


• Idee entstanden in den 70er Jahren• Vorreiter in NL und GB• Organisiert von der Charité, Berlin

(seit 1999)• Kooperation zwischen 15

Medizinischen Fakultäten- Fakultätsvergleiche

• Zentrale Fragendatenbank- Reviewprozesse

• 200 MC-Fragen auf Absolventenniveau

• Blueprint 14 Organsysteme,27 Fachgebiete

Progress Test Medizin (PTM)

Organsystem Anzahl FragenAllgemeine Krankheitslehre 10Atmungsorgane 22… ..… ..… ..… ..… ..… ..… ..… ..… ..… ..… ..… ..


Synthese der Evaluationsformen

Evaluations-Datenbank

Progress Test

Ergebnisse

Summative Ergebnisse

PTM Ergebnisse

Stud.LV-Evaluation


Bezüge zwischen summativen und formativen Ergebnissen

Kurse

Aachener Curriculum

Progress Test

Organsysteme

Fachgebiete

MC-Fragen

1 MC-Frage : 1 Organsystem + 1 Fachgebiet



Kurse

Aachener Curriculum

Progress Test

Organsysteme

Fachgebiete

MC-Fragen

1 MC-Frage : 1 Organsystem + 1 Fachgebiet1 Kurs : n Organsysteme + m Fachgebiete



Kurse

Aachener Curriculum

Progress Test

Organsysteme

Fachgebiete

MC-Fragen

1 MC-Frage : 1 Organsystem + 1 Fachgebiet1 Kurs : n Organsysteme + m Fachgebiete=> 1 MC-Frage : x Kurse


?Wissensentwicklung im

Curriculum

Vergleiche von Evaluationsformen

Dozenten-Rückmeldung

Studierenden-Rückmeldung


Wissensentwicklung Gesamt


Wissensentwicklung Atmungsorgane







WS 10/11

WS 10/11 WS 10/11

WS 10/11

WS 10/11



Curriculum





• Gibt es übereinstimmende Tendenzen beider Evaluationsformen?

– „Der persönliche Lerneffekt für mich war…“:– 1- sehr hoch bis 6- nicht vorhanden

Fragestellungen an den Vergleich PTM/Studentische LV-Evaluation

=?


Vergleich PTM/Studentische LV-Evaluation


„Der persönliche Lerneffekt für mich war…“: 1- sehr hoch bis 6- nicht vorhanden

Vergleich PTM/Studentische LV-Evaluation



Curriculum





Rückmeldung an Dozenten


Rückmeldung an Dozenten



Curriculum





• Beratung in der Medizinischen Fakultät seit 2003- Ein Berater pro Jahrgang (jeweils ca. 250

Studierende)- Gruppen- und Einzelgespräche

• Ziele– Verbesserung der Prüfungsleistungen– Studiendauer reduzieren– Frühzeitiges Erkennen von Bedürfnissen,

Problemen und Potentialen• Studierende gezielter kontaktieren

– Self-Assessment fördern

Mentoring Konzept


Student A Student B

Kurzübersicht


Vergleich Summativ/Formativ


Vergleich Summativ/Formativ


• Identifizierung vorhandener Evaluationsformen– Zusammenführung und Vergleich war

weiterführend

• Neue Themen in der Studierendenberatung– Bessere Einschätzung von Stärken und

Schwächen– Lerntypen identifizieren– Nachhaltigkeit von Gelerntem

Zusammenfassung


Fazit

Stud. LV

-

Bewertung Su

mmative

Prüfunge

n

Form

ative

Prüfunge

n

Evaluation


Akzeptanz, Nachhaltigkeit

Valides Evaluationsergebnis

Fazit


• Erstellung eines Lernzielkatalogs– Eigenes Curriculum daran ausrichten und überprüfen

• Kompetenzvermittlung durch angepasste Prüfungsformate• Weg von reiner Bewertung anhand von Abschlussprüfungen

– Datenlage zur Bewertung nach Studienabschluss nicht vorhanden

• Optimierung der Evaluationsformen– Mentoringbedarf erkennen– Zugang Mentoring-Tool für Studierende– Bedarfsorientiertes Dozentenfeedback– Studentische Lehrevaluation weiter analysieren– Reviewprozess der summativen Prüfungsfragen

Ausblick


• An das PTM Team der Charité• Kollegen im Aachener Modellstudiengang

Medizin

Vielen Dank

AACHEN

www.gma2012.de


• Evaluation– Von Lehrveranstaltungsevaluation zu

Curriculumsentwicklung. Spiel , GMA 2011http://www.gma2011.de/index.php?option=com_content&view=article&id=420&Itemid=581&lang=en

– Zwischen Selbstzweck und Qualitätsmanagement. Quo vadis, Evaluatione? Spiel et al. In C. Spiel (Hrsg.), Evaluation universitärer Lehre - zwischen Qualitätsmanagement und Selbstzweck (S. 9-20). Münster: Waxmann., 2001

– Selbstevaluation in der Lehre. Beywel et al. Waxmann 2011

– Studierendenbefragung als Evaluation der Lehre? – Anforderung an Methodik und Design. Kromrey. Hg: Engel, Hochschulranking. Zur Qualitätsbewertung von Studium und Lehre, Campus Verlag, Frankfurt M., 2001

Literatur


• Progress Testing– Progress testing in German speaking countries. Nouns & Georg. Medical Teacher 2010.

– Progress Testing- ein Verfahren zur detaillierten Leistungsdarstellung und Lehrevaluation auf Basis der Wissensentwicklung von Studierenden. Nouns & Brauns. Blickpunkt Hochschuldidaktik 2008.

– Flexible electronic feedback using the virtues of progress testing. Muijtjens et al. Medical teacher 2010.

– Medical Teacher. Progress Testing Themed Issue. Volume 32, Number 6, June 2010, AMEE

• Mentoring– Querschnittsevaluation des Medizinischen Curriculums München (MeCuM) mit

Hilfe des Progress Tests Medizin (PTM). Schmidmaier et al. GMS Z Med Ausbild 2010.

– Aufbau eines innovativen Mentorenprogramms für eine große Zahl Medizinstudierender nach quantitativer und qualitativer Bedarfsanalyse. von der Borch et al. GMS Z Med Ausbild 2011, Vol. 28(2)

Literatur


• Welche Ziele hat ein Studiengang?• Wie sollen die Ziele erreicht werden?• Woran erkennt man die Zielerreichung?• Sind die entsprechenden Ressourcen

vorhanden?

• Evaluationsformen an Ihrer Fakultät?• Progress Test in anderen Fachrichtungen?• Lernzielkatalog für andere Fachrichtungen?• Reviewprozesse für Kursprüfungsfragen?

Diskussion

Documents

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen