Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers,...

Beoordelen van competenties:Ontwerpen van authentieke performance

assessments

Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)

Wat gaan we doen?

CGO vraagt ‘andersom denken’ Performance assessment / authentiek assessment Ontwerpen van een AA:

Stappenplan Stiggins 5-dimensionale model authentiek beoordelen

Rubrics: hoe, waarom (niet)?

Andersom denken

Beroepsrelevante,

herkenbare

uitkomsten

(= competenties)

Onderwijs:

lessen

Beoordelings-

criteria en situatie

voor assessment

Vakken

Inhoud

Toetsen

Onderwijs:

Leeractviteiten

Competentiegericht beoordelen

CGO zegt iets over het wat niet over het hoe Wat gebaseerd op de SHL competenties / werkprocessen Wat moet terugkomen in beoordelingscriteria De geschikte toetsmethode hierbij is, is pas vervolgvraag

Maar: binnen CGO filosofie wel andere doelen voor “toetsen” andere “toets”kenmerken hoog gewaardeerd én bepaalde beoordelingsvormen passen beter bij

competentiegerichte filosofie

Cruciale vraag in CGO

Om te beoordelen of iemand goed kan functioneren in de beroepspraktijk, wat moet er dan allemaal getoetst worden?

En als we dat dan weten: Hoe maken we dan een goede toets hiervoor? Hoe laten we de praktijk op een goede manier

terug komen in de toetsing?

Inkomertje 1……………… Competentie?

“Koe Bertha is al twee dagen niet opgestaan, haar poep is dunner dan het moet zijn en je meent iets te zien aan haar vacht en ogen. De boer is er niet. Wat nu?”

Beschrijf de handelingen die je zou uitvoeren.

Waar hou je rekening mee?

Competente dierenverzorger?

‘Kennis over’ is niet genoeg voor competentie uitspraak

Observatie van daadwerkelijke handelen nodig (actie)

Interactie met koe in de stal en overleg met de boer (context)

Bewust handelen?

Inkomertje 2 …….. Competentie??

Vind je het praktische gedeelte van het

rijexamen een goed examen?

Waarom wel? Waarom niet?

Competente automobilist?

Half uurtje goed rijden kan toevalstreffer zijn

Niet alle activiteiten behorende bij goed autorijden aan bod gekomen

Niet alle voorkomende situaties gedekt Bewust handelen? Routine?

WAT wil je toetsen? Piramide van Miller

Knows Feitgerichte toetsen: MCQ, open vragen, mondeling…..

Knows how Contextueel rijke toetsen:MCQ, open vragen, mondeling…..

Shows how Performance assessment in vitro:Observatie, simulaties…………....

DoesPerformance assessment in vivo: Praktijkbeoordeling, video…..

Aut

hent

icite

it

Performance assessment (PA)

Laag 3 / 4 van Miller

Beoordelen of iemand kan functioneren in deberoepspraktijk Demonstreren van gedrag: ACTIE In betekenisvolle situatie: IN CONTEXT

Achterliggende gedachte: als iemand goed gedrag laat zien bezit hij/zij de onderliggende KVA’s

Controle op conducteurs

UTRECHT – Kantoorbedienden en andere medewerkers van de NS kijken in de trein de conducteur op de vingers. Het NS-personeel houdt bij hoe vaak een conducteur kaartjes controleert en of er voldoende informatie bij vertragingen wordt gegeven.

Performance assessment gekaderd

Proeve vanbekwaamheid

Performanceassessment

Retrospectievebeoordeling

MysteryguestA

ssess

or

is:

expliciet aanwezig

impliciet aanwezig

Te beoordelen gedrag is:

reactie op natuurlijke gang van zaken

reactie op uitlokking

Voorbeeld:Beoordelingen tijdens de LIO (leraar in opleiding)-

stage

Voorbeeld:360 graden feedback

In vitroIn vivo

Niet denken vanuit methode

Het maken van PA mag niet het doel op zich zijn!

WAT wil ik gaan beoordelen?

Is PA de goede vorm hierbij?

Beroepsonderwijs: toetsen relevant voor praktijk Authentiek beoordelen

Cruciaal criterium Inspectie: Is de

gekozen beoordelingsvorm

passend?

Wat maakt een assessment

authentiek???

“The criterion for a good test is its congruence with reality” Wiggins (1993, p. 206)

Hoe nu aan de slag?

4-stappenplan van Stiggins voor systematisch ontwerpen van performance assessments

5 dimensionaal model voor authentieke toetsing Gulikers (2005)

4 stappen

1. Toetsspecificatieplan: Redenen voor beoordeling

2. Prestatiespecificatie: Welke prestatie moet geëvalueerd worden en onder welke condities

3. Opdrachten: creëren van mogelijkheid geven tot demonstreren van competent gedrag

4. Beoordelingsplan: om beoordeling zo expliciet, gemotiveerd en betrouwbaar mogelijk te maken

Stap 1: Toetsspecificatieplan

Doel en functie van beoordeling:summatief en/of formatief?Inrichten van onderwijstraject (EVC)?

Specificeer de studenten (aantal, niveau) Wie zijn de beoordelaars en de beslissers? Relevante randvoorwaarden?

Stap 2: prestatiespecificatie

WAT wil je gaan beoordelen? WAT moet student laten zien?

Wat is beroepspraktijk van deze opleiding? Kritische beroepssituatie benoemen Rollen van opleiding benoemen

Welke competentie(s) zijn hierin nodig?

Maar hoe krijgt dit vorm in een concreet assessment?

Gebruik van 5-dimensionale model :

5 assessment aspecten kunnen

meer / minder

op beroepspraktijk (referentiesituatie) lijken

5-dimensionaal model voor authenticiteit

Authentieke beoordeling

&

Authentieke instructie

Authenticiteit is méér dan alleen een fysieke context!

Overeenkomstig de beroepspraktijk: 5 dimensies

Taak: opdracht die leerling moet uitvoeren

Fysieke context: omgeving/situatie waarin taak moet worden uitgevoerd

Sociale context: samenwerkings- en hulp (on)mogelijkheden

Vorm: leer- / assessmentmethode, onafhankelijk van inhoud

Criteria: punten waarop leerling wordt beoordeeld

Vervolg stap 2: Opdrachtenschema

1. Welke criteria gebruikt praktijk voor goed handelen in beroepssituatie?

2. Vertaal criteria naar niveau van de student en in concreet waarneembaar gedrag

Welke taken passen bij deze criteria? In welke context? Vraagt dit samenwerking / hulp? Gaat het om een product of proces? (vorm)

Stap 3: Ontwerp van opdrachten

Uitlokken van gedrag? Wil je gaan uitlokken of juist niet? Transparant maken in assessmentopdracht

Assessment programma: 1 PA genoeg om gehele kritische beroepssituatie te

beoordelen? Meerdere PA’s nodig? Combineren met andere toetsvormen?

Competentie assessment programma (Baartman, et al 2004); Protocol portfolio scoring (Straetmans, 2004)

Stap 4: beoordelingsplan

Beoordelingscriteria Beoordelen van gedrag vraagt om beoordelingscriteria

gericht op observeerbaar gedrag!!

Gebruik van rubrics leent zich goed: niveaus van gedrag

Welk type score is nodig?Holistisch of analystisch

Transparant maken voor alle partijen!

Stap 4: beoordelingsplan, vervolg

Beoordelaars Wie beoordeelt / hoeveel beoordelaars? Zelf-assessment / peer-assessment onderdeel?Training nodig voor assessoren?

Beoordelingsprocedure Hoe verloopt beoordelingsproces / hoe komt

eindoordeel tot stand? (zwak punt!)

Hoe verloopt feedback?

Gereedschapskist

Ontwikkeld door: APS, CPS, KPC groep, CITO en ECS/WUR

Meer info: Judith.gulikers@wur.nl

Rubric: wat is het?

= beschrijving van een aantal concreet te observeren gedragsniveaus (van eenvoudiger naar complexer) op een beoordelingscriterium

Verschillende soorten schalen Anayltisch / holistisch Kwalitatief / kwantitatief

Competentie: samenwerken

Beoordelingscriterium: luisteren naar anderen

1. Nooit

2. Soms

3. Vaak

4. Vrijwel altijd

Competentie: leiding geven

Beoordelingscriterium: omgaan met kritiek

1

Student kan niet tegen kritiek en reageert agressief /

verdedigend

2

Student negeert kritiek en gaat eigen gang

3

Student luistert naar kritiek van anderen maar doet er niets mee

4

Student doet actief iets met kritiek om eigen gedrag te verbeteren

Competentie: samenwerken in team

Beoordelingscriterium: Actieve inzet tonen

Neemt initiatieven 1 2 3 4 5 Wacht af

Zegt tijdig wat hij/zij wil

1 2 3 4 5 Komt achteraf met kritiek

Neemt voorzittersrol of ondersteunt deze

1 2 3 4 5 Houdt zich niet aan vergaderprocedures

Geeft steeds aan wat gedaan moet worden

1 2 3 4 5 Gaat eigen gang

Voordelen / mogelijkheden van Rubrics• Communicatie instrument: transparantie voor

leerlingen / beoordelaars

• Ontwikkelen en voorbereiden van leerlingen

• Trainen van beoordelaars: zelfde intrepretatie geven

• Objectievere beoordeling

• Geven van feedback

Zeer waardevol voor:

1. Aansluiting onderwijs – formatief / summatief assessen (zwak!!)

2. Gebruiken bij alle beoordelingsvormen

Maar gaat niet vanzelf

Rubric maken is erg tijdsintensief Vraagt samenwerking en afstemming tussen betrokkenen Alles willen objectiveren kan niet Valkuil: terug naar gedetailleerd beoordelen ipv holistisch Nog niet vaak in onderwijs / formatief gebruikt Gevaar van wildgroei aan rubrics

Zoeken naar een goede balans!