Workshop VCNFormatieve Evaluatie met Google Classroom

Adam LenaartsA.Lenaarts@tabor.nl / @skandibal

https://padlet.com/a_lenaarts/vcn

Deel tijdens de workshop uw mening, opmerkingen en vragen.

Voorstellen: Adam Lenaarts

Docent Aardrijkskunde, Tabor College, Hoorn

Onderwijs innovatie Digitale didaktiekOnderwijs onderzoek

Meetup072Sharing = caring

Programma

Fasen formatieve evaluatie

Praktijk voorbeelden

Van summatief naar formatieve evaluatie

Toegevoegde waarde van digitale didaktiek

Google classroom en evaluatie

Formatieve evaluatie

1TTO Klimaten (Rubrics)

1TTO Natuurrampen (Google Forms)

Zelf aan de slag

Summatieve evaluatie• Van summatieve toetsen naar formatieve evaluatie• Van product naar proces;

Vormen van evaluatie

Formatieve evaluatie –leerproces in beeld, directe feedback/ feed forward

Summatieve evaluatie – kwaliteit omhoog (betrouwbare en valide toetsen) en kritisch kijken naar het aantal toetsen

Mistakes should play no part in the grading process. They should only guide more teaching, guiding, discovery...

Vormen van evaluatie

Formatieve evaluatie –leerproces in beeld, directe feedback/ feed forward

Summatieve evaluatie – kwaliteit omhoog (betrouwbare en valide toetsen) en kritisch kijken naar het aantal toetsen

5 Fasen van Formatief Evalueren (FE)

1. Verwachtingen communiceren [feedup] 2. Informatie ontlokken 3. Informatie interpreteren 4. Communiceren met studenten (leerlingen) [feedback] 5. Vervolgacties: Onderwijs aanpassen [feedforward]

Gulikers & Baartman (2017)

5 Fasen van Formatief Evalueren (FE)

1. Verwachtingen communiceren [feedup] 2. Informatie ontlokken 3. Informatie interpreteren 4. Communiceren met studenten (leerlingen) [feedback] 5. Vervolgacties: Onderwijs aanpassen [feedforward]

Per fase: Wat doet de docent? Welke vragen stel je jezelf en elkaar?

Gulikers & Baartman (2017)

Fase 1Wat DOET de docent in fase 1.

1 Weet kennis over leerlijn (= learning progression) in eigen vakgebied te vertalen naar goede leerdoelen en succescriteria

2. Communiceert heldere leerdoelen op meerdere manieren en meerdere momenten tijdens lessenserie

3. Stelt doelen over participatie/leren leren/autonomie

4. Gebruikt actieve werkvormen om met studenten leer doelen en succescriteria te benoemen en verhelderen

5. Gebruikt concrete voorbeeldproducten om succescriteria uit te distilleren

6. Formuleert leerdoelen die randvoorwaarden aangeven, maar ook ruimte voor individuele invulling laten

Fase 1Welke vragen stel je jezelf en elkaar?

1. Welke doelen wil ik met mijn studenten bereiken?

Alleen cognitieve doelen (begrip/inzicht)?

2. Wil ik met formatief toetsen bereiken dat studenten meer verantwoordelijkheid over hun eigen leren nemen?

3. Heb ik zicht op hoe studenten kennis ontwikkelen in mijn vakgebied en welke misconcepties ze vaak hebben?

4. Werk ik met succescriteria? Hoe betrek ik studenten hierbij?

5. Hoe krijgen mijn studenten een goed beeld van de doelen en hoe ze die kunnen bereiken?

6. Is “vrijheid binnen randvoorwaarden” van toepassing op mijn leerdoelen?

Autonomie

Steps to Planning, Teaching and Monitoring

(Content)Knowledge&Expertise**

Reading Comprehension& Writing/Composition

LanguageComprehension& ExpressionPrint-BasedKnowledge(including decoding&encoding skills)

Fluency

MorphologyWord Phonics,

Recognition & Spelling

About Print

LinguisticKnowledge

Language M ult ip ly, Sequences D iv ide

C oncep t o f C oncep t o f C oncep t o f C oncep t o f D ev elop ing Fact o r ising Add ,

M an ipu lat e N umbers &Concepts Quant it y Shape/Size Sequence C alcu lat ion N umerical F luency Simp lif ying

Sub t ract , N umbers N umber

Contexts for Application

Approaching RealApproaching to WorldSituationsIll-Structure with MathematicalProblems Methods /Logic

Performing MathematicalOperations (equations aspropositions)

Applying MathematicalConcepts to SolveDiscrete MathematicalProblems

Communicating throughthe Language ofMathematics

Experiences, Environments, Intentions, Motivation & Cognitive Skills Experiences, Environments, Intentions, Practices & Cognitive Skills

Step #2: Set Appropriate Language, Literacy, Numeracy

and Learning Goals

Step #1: Developa StudentProfile

1.2.

3.4.

5.6.

Step #6: Set an AppropriateTeaching & Learning Sequence

(e.g. breaking down a task)

Step #3: Gather Together a Plan of Activities &Content

Step #5: Identify aSuitable Teaching Space,

Time& Resources

Step #7: Reflect onTeaching PracticeRegularly/Routinely

Step #6: ConductLessons (in a Lesson Cycle)

Step #9:Assess/ReflectUpon Development on

a Periodic Basis

Step #8: Monitor ProgressRegularly and Adapt

Teaching Accordingly

Step #10:Update Student Profile

Verhoeven, L. and Snow, C. (2001). Literacy and motivation: bridging cognitive and sociocultural viewpoints. In Verhoeven, L. and Snow, C. (Eds.), Literacy and motivation: reading engagement in individuals and groups (pp. 1- 22). New Jersey: Lawrence Erlbaum AssociatesPublishers.

Fase 2Wat DOET de docent in fase 2

1. Gebruikt manieren om studentreacties te ontlokken passend bij leerdoelen

2. Zet een variatie aan methodieken in, zowel formeel maar vooral ook veel informeel

3. Stelt open vragen gericht op diep begrip in plaats van op het goede antwoord

4. Stimuleert klas/groepsdiscussies om zicht te krijgen op begrip, onbegrip en misconcepties van de klas

5. Zet studenten zelf en onderling in actie om hun begrip te expliciteren en uit te diepen (dus naar meer studentsturing)

6. Kan inspringen op wat studenten inbrengen

Fase 2Welke vragen stel je jezelf en elkaar?

1. Op welke manieren doe ik aan formeel en informeel formatief toetsen (zie kader)

2. Denk ik bij het kiezen van formatieve toets methode aan de leerdoelen die ik heb?

3. Welke vragen stel ik mijn studenten om te achterhalen wat hun begrip van mijn vak is? Geven die vragen mij de informatie die ik zoek?

4. Hoe kan ik een klas/groepsdiscussie gebruiken voor formatief toetsen?

5. Hoe daag ik studenten uit om hun eigen begrip te expliciteren en uit te diepen met elkaar?

Fase 3Wat DOET de docent in fase 3?

1. Neemt de tijd om studentreacties kritisch te bekijken

2. Analyseert studentreacties op kernaspecten en leerdoelen van het vakgebied in plaats van op oppervlakkige vormkenmerken

3. Identificeert misconcepties, sterke punten en zwakke punten op klasniveau

4. Oordeelt niet te snel, maar vraagt door en verzamelt aanvullend bewijs

5. Laat studenten actief hun eigen en elkaars werk vergelijken en interpreteren

6. Kan technologie effectief gebruiken voor formatieve doeleinden en punten 1-5

Fase 3Welke vragen stel je jezelf en elkaar?

1. Op basis waarvan analyseer ik studentreacties?

2. Is het hebben van veel vakkennis handig voor het analyseren van student antwoorden?

3. Trap ik weleens in de valkuil van (te) snel oordelen? Hoe kan dat anders?

4. Zoek ik naar:

Individuele zwakheden?

Individuele sterke punten?

Zwakheden op klasniveau?

Misconcepties?

Organiseer ik gerichte activiteiten waarmee studenten eigen en elkaars antwoorden kunnen analyseren?

Fase 4Wat DOET de docent in fase 4?

1. Koppelt feedback aan leerdoelen

2. Geeft concrete suggesties voor verbetering gekoppeld aan de leerdoelen

3. Biedt ruimte om iets te doen met de feedback en verbetering te laten zien

4. Laat studenten zichzelf en elkaar feedback geven, maar biedt hier een heldere structuur voor.

Fase 4Welke vragen stel je jezelf en elkaar?

1. Hoe geef ik feedback?

Op welke manier maak ik hierbij gebruik van de leerdoelen?

2. Wat voor een soort verbetersuggesties doe ik?

Hoe zinvol zijn die?

3. Op welke manier geef ik studenten de mogelijkheid om zich te verbeteren na feedback?

En hoe waardeer ik dat?

4. Hoe zet ik zelf- en peer-feedback in?

Op welke manier geef ik hier structuur aan?

Is dit de meest zinvolle vorm?

Fase 5Wat DOET de docent in fase 5?

1. Past vervolginstructie/werkvorm aan naar aanleiding van analyse van studentantwoorden:

1. Zwakten, sterktes, misconcepties

2. Individueel, groeps, klasniveau

3. Leerdoelen en leerlijn

2. Zet een breder didactische reportoire in dan “herhalen” en “vertragen of versnellen”

3. Durft af te wijken van voorgestructureerde curriculum/lesplan

4. Biedt structuur aan zelfregulerende/zelfsturende activiteiten

Fase 5Welke vragen stel je jezelf en elkaar?

1. Pas ik mijn lessen weleens aan naar aanleiding van studentreacties?

2. Waarop baseer ik mijn keuzen dan?

Analyses van studentreacties?

3. Heb ik voldoende didactisch repertoire om stof op een andere manier aan te bieden?

4. Verwacht ik dat studenten naar aanleiding van hun resultaten hun eigen leren verder sturen?

Hoe help ik hen hierbij?

Programma

Fasen formatieve evaluatie

Praktijk voorbeelden Van summatief naar formatieve evaluatie

Toegevoegde waarde van digitale didaktiek

Google classroom en evaluatie

Formatieve evaluatie

1TTO Klimaten (Rubrics-> Peer /teacher Feedback)

1TTO Natuurrampen (Google Forms - > Rapport Card)

Zelf aan de slag

Van summatieve naar formatieve evaluatie

met

Professionalisering: ICT

Docenten gaan verschillend om met ICT• Van summatieve toetsen naar formatieve evaluatie• Van product naar proces;

App-smashHet combineren van

applicaties om meerwaarde te creëren

Werkdruk verlaging en Quayn

Cognitieve metadata: RTTI

RTTI- feedback - uitval op R

RTTI- feedback - uitval op R

Analyses en QuaynAnalyse door docenten: RTTI

Analyses en QuaynAnalyse door docenten: paragraaf

Analyses en QuaynAnalyse door docenten: domeinen

Analyses en QuaynAnalyse door docenten: (kaart)vaardigheden

Analyses en QuaynAnalyses: prachtig!

Wat doe je ermee?

Hoe profiteren mijn leerlingen van deze informatie?

Wie kunnen hier nog meer van profiteren?

Eigenaarschap leerling!Analyses: prachtig!

Wat doe je ermee?

Hoe profiteren mijn leerlingen van deze informatie?

Wie kunnen hier nog meer van profiteren?

Eigenaarschap leerling!• Stel de resultaten open voor leerlingen

Eigenaarschap leerling!• Maak de resultaten en feedback beschikbaar!

Eigenaarschap leerling!• Maak de resultaten en feedback beschikbaar!

Eigenaarschap leerling!• Maak de resultaten en feedback beschikbaar!

Analyses en QuaynAnalyse door leerling- niveau van de vraag:Reproductie, Toepassing, Inzicht

Analyses en QuaynAnalyse door leerling: paragraaf

Analyses en QuaynAnalyse door leerling: domeinen

Eigenaarschap leerling!Leerling maakt analyse!

Eigenaarschap leerling!• Leerling maakt zelf een analyse in

Eigenaarschap leerling!• Leerling maakt zelf een analyse in:

Eigenaarschap leerling!• Alle analyses beschikbaar in map in

Deze zijn dus deelbaar met de mentor, collega’s, ouders etc..

Eigenaarschap leerling!• Leerling stelt zelf leerdoelen!

• Bijvoorbeeld: “Ik moet meer aandacht besteden aan mijn (kaart)vaardigheden!”

Eigenaarschap leerling!• Leerling controleert eigen leerdoelen!

2-toets (formatieve toets)

4-toets (summatieve toets)

Eigenaarschap leerling!Resultaat: • Zelfkennis leerling neemt toe• Vaardigheden: analyse en evaluatie!• Attitude: Leerlingen willen meer Feedback!• Cijfers sterk verbeterd door gericht studeren!

Beter onderwijs!Resultaat:• Zonder gerichte feedback en evaluatie

Effect = 0,05• Met gerichte feedback en evaluatie

Effect = 0,46

Wat werkt in het onderwijs?

Formatieve Evaluatie met Rubrics

Rubrics:1. Feed up: vooraf duidelijk wat je moet doen.2. Feed back: waar sta je nu.3. Feed forward: welke stappen moet je nog ondernemen om verder te komen

Formatieve Evaluatie met Rubrics

Feedback werkt op vier niveau’s

• Taak• Proces• Zelf regulering• Eigenwaarden

Feedback met Rubrics

Stap 1 maak een Rubric

Bijvoorbeeld in Google Sheets

Google classroom opdracht: Presentaties

Rubric: evaluatie door docent

Presentatie

Feedback in presentatie

• Mail uitslag

Goobric en Doctopus

Verzamel de gegevens in sheets

Rubric: evaluatie door LEERLING ZELF!

Presentatie

Feedback in presentatie

• Mail uitslag

Rubrics

1. Het opstellen, verduidelijken en communiceren van leerdoelen2. Informatie verkrijgen over het niveau van de leerling door het leren zichtbaar te maken3. Feedback die leidt tot doelgerichte activiteit

Feedback werkt pas formatief als de informatie gebruikt wordt om de prestatie te verbeteren

Evaluatie presentatie via Google Forms

Leer de leerlingen planmatig werken aan producten

Geef feedback op proces en resultaat

Verzamel gegevens via Formulieren

Presentaties worden door leerlingen kwalitatief en kwantitatief beoordeeld

Leerlingen gebruiken de peer feedbackom hun resultaat te verbeteren.

Video presentatie

Kahoot

Leerlingen krijgen een eindrapportZij schrijven een reflectie op het proces en het resultaat adhv een video van de presntatie Video presentatie

Kahoot

Programma

Fasen formatieve evaluatie

Praktijk voorbeelden

Van summatief naar formatieve evaluatie

Toegevoegde waarde van digitale didaktiek

Google classroom en evaluatie

Formatieve evaluatie

1TTO Klimaten (Rubrics)

1TTO Natuurrampen (Google Forms)

Zelf aan de slag

Ga naar classroom.google.com

Login met een google account

Class code VCN Classroom:

yfgbvn

Zelf aan de slag

Rubrics worden veel gebruikt bij Webkwesties

Zelf aan de slag 1 Ga in groepen uiteen

Gebruik een (bestaande) opdracht die je binnenkort gaat gebruiken

Ontwikkel een rubric bij deze opdracht.

Criteria:

Kwalitatieve beschrijving

Goede leerdoelen stellen in ‘leerling taal’.

Leerlingen moeten zichzelf kunnen beoordelen en kunnen verbeteren

Rubrics worden veel gebruikt bij Webkwesties

Rubrics via Webkwestie Latijn: http://www.webkwestie.nl/vo_digitheek/latijn.htm

Grieks: http://www.webkwestie.nl/vo_digitheek/grieks.htm

Zelf aan de slag 2

Gebruik een bestaande opdracht die je binnenkort gaat gebruiken

Ontwikkel een rubric bij deze opdracht.

• Feedback moet:• Denken veroorzaken• Richting geven aan hoe te verbeteren• De leerling meer tijd kosten dan de leraar• Iets mee gedaan worden door de leerling!• Verwijzen naar succescriteria/rubrics

Zelf aan de slag 3

https://leerling2020.nl/opdrachten-werkconferentie-formatief-evalueren/

De opdracht Starten met formatief evalueren van Anke Swanenberg helpt bij het opstellen van randvoorwaarden voor formatieve evaluatie. Je begint met het bedenken van leerdoelen en bijbehorende criteria.

De opdracht Van controleren naar informeren van Wessel Peeters is voor docenten die al langer bezig zijn met formatieve evaluatie. Je leert hoe je formatief evalueren binnen het curriculum kunt inzetten.

Met de opdracht Formatief evalueren met de tool Formative van Ko Smidt ontdek je op welke momenten in het leerproces feedback meerwaarde heeft.

De opdracht Ontwerp je eigen formatieve werkvorm van Gijs Noordergraaf en Femme de Groot leert je om zelf formatieve werkvormen te ontwerpen.

Meer doen met formatieve Evaluatie?

Facebook: Actief leren zonder cijfers.

Leerlabs van leerling2020:

Differentiëren in de klas

http://toetsrevolutie.nl/

Dylan William 3 tm 5 September 2018

http://formatiefleren.nl/

https://www.vernieuwenderwijs.nl/rubrics-klas-zo-ga-er-mee-aan-slag/

Kathy Schrock's guide to rubrics

Meer weten over formatieve evaluatie?