Wat is er bekend over het effectief en efficiënt formatief beoordelen?

Geplaatst op 4 oktober 2018

Samenvatting

Er zijn verschillende definities van formatief toetsen en het wordt op evenzovele verschillende manieren en doelen ingezet. Afhankelijk van de gebruikte methode heeft het effect op leeropbrengsten, schrijfvaardigheid, de motivatie, de houding en/of het zelfregulerend vermogen van studenten. Formatief toetsen is het meest effectief voor het leerproces als docenten een formatieve toetscyclus van vijf fases geheel en vaker doorlopen. De fases zijn: doelen verhelderen, studentreacties ontlokken, studentreacties analyseren en interpreteren, met studenten communiceren over resultaten en tot slot vervolgactiviteiten ondernemen. Er is geen onderzoek met uitspraken over efficiënt (dat wil zeggen met minimale inzet door de docent) formatief beoordelen.

Er wordt onderscheid gemaakt tussen formatief en summatief toetsen. Summatief toetsen – meestal als afronding van een leerproces – meet wat een student heeft geleerd. Formatief toetsen wordt gebruikt om te bepalen

  • 1) waar studenten staan in hun leren,
  • 2) waar ze naar toe moeten en
  • 3) hoe ze daar het beste naar toe kunnen werken.

Formatief toetsen kan continu en op verschillende manieren plaatsvinden tijdens het leren. Er is daarbij altijd sprake van interactie tussen docent en student. Docenten kunnen op de fases in het leerproces reageren met

  • 1) feedback
  • 2) feedup
  • 3) feedforward.

Formatief toetsen lijkt een positief effect te hebben op het leerproces.

Effectief formatief toetsen

De opbrengsten van formatief toetsen zijn bijna altijd afhankelijk van de vakinhoudelijke en -didactische kwaliteiten van de docenten, de kennis die zij hebben over domein specifieke leerproblemen bij studenten en hun toetsdeskundigheid. Daarnaast is het belangrijk dat docenten een onderzoekende houding hebben en er binnen de school waar ze werken aandacht is voor professionalisering.
Formatief toetsen is het meest effectief als docenten een cyclus met de volgende vijf fases in zijn geheel en vaker doorlopen:

  1. Doelen verhelderen. Belangrijk is dat doelen beschreven zijn in 'wat studenten moeten kennen of kunnen' en niet in 'wat studenten moeten doen'.
  2. Studentreacties ontlokken. De docent ontlokt reacties door voortdurend met de student in gesprek te gaan over de opdracht en de wijze waarop de student aan het werk is.
  3. Studentreacties analyseren en interpreteren. De docent bestudeert het werk van de student om meer informatie te krijgen over bijvoorbeeld misconcepties die er zijn bij de student of over onderdelen die de student nog niet heeft begrepen. Juist dit vraagt van docenten veel vakkennis en inzicht in de leerdoelen en de kennisontwikkeling in het vakgebied.
  4. Met studenten communiceren over resultaten. Docenten geven gerichte en adequate feedback. Ook daarvoor is vakkennis nodig en zicht op de kennisontwikkeling binnen het leergebied.
  5. Vervolgactiviteiten ondernemen. Dit betekent bijvoorbeeld de instructie aanpassen en/of studenten op een andere manier stimuleren. Input hiervoor wordt geleverd door de opbrengsten van de eerste vier stappen met elkaar in verband te brengen. Voor docenten lijkt dit de moeilijkste fase van de formatieve toetscyclus. Het is lastig om zomaar anders te handelen dan gewend.

Voor docenten is het belangrijk dat zij steeds opnieuw vaststellen en bespreken: waar studenten zijn in hun leerproces, waar ze naar toe moeten/willen en hoe ze daar kunnen komen. Docenten die deze cyclus goed en vaker doorlopen bereiken meer met formatief toetsen.

Deze manier van formatief evalueren kan bij studenten leiden tot kennisontwikkeling, beter schrijven, meer motivatie en een betere studiehouding. Bovendien kan deze leiden tot verbetering van het leerproces zoals meer zelfregulatie, en tot meer enthousiasme bij studenten en daardoor een betere sfeer in de klas.

Efficiënt formatief toetsen

Efficiënt zien we hier als ‘met minimale inzet door de docent’, impliciet gekoppeld aan optimale opbrengst voor de student. Er is geen onderzoek gevonden over de samenhang tussen de inzet in tijd van docenten en effectiviteit van formatief te toetsen.

Uitgebreide beantwoording

Opgesteld door: Gerda Geerdink
Vraagsteller: teamleider MBO

Vraag

Wat is er uit onderzoek bekend over het effectief en efficiënt formatief beoordelen van verslagen van projectopdrachten? 

Kort antwoord

Formatief toetsen wordt op verschillende manieren gedefinieerd, en op evenzovele verschillende manieren en doelen ingezet. Afhankelijk van de gebruikte methode heeft het effect op leeropbrengsten, schrijfvaardigheid, de motivatie, de houding en/of het zelfregulerend vermogen van studenten. Onderzoek laat zien dat formatief toetsen het meest effectief is (gedefinieerd als optimale opbrengst voor het leerproces van de studenten) als docenten een formatieve toetscyclus bestaande uit vijf fases geheel en vaker doorlopen.

De fases zijn: verhelderen van doelen; ontlokken van studentreacties; analyseren en interpreteren van studentreacties; het communiceren met studenten over resultaten; en tot slot vervolgactiviteiten ondernemen. Er is geen onderzoek met uitspraken over efficiënt (gedefinieerd als minimale inzet door de docent) formatief beoordelen.

Toelichting antwoord

In de literatuur wordt onderscheid gemaakt tussen formatief en summatief toetsen (Dunn & Mulvenon, 2009; Sluijsmans, Joosten-ten Brinke, & Van der Vleuten, 2013). Summatief toetsen betekent – meestal als afronding van een leerproces - vaststellen of een leerling of student (vanaf nu student) voldoet aan vooraf gestelde eisen, einddoelen, kwalificaties of competenties. Toetsuitslagen worden gebruikt voor beslissingen over de selectie voor een vervolgopleiding of diplomering, zakken of slagen, wel of niet voldaan aan een opdracht. Formatieve toetsing is niet bedoeld om te selecteren of te verwijzen.

In de literatuur over formatief toetsen zijn verschillende definities, afhankelijk van soort informatie dat de docent wil hebben of waar opleidingen naar op zoek zijn. Gebruikers willen informatie: over het leerproces, over het leerproduct, voor onderwijsbeslissingen, om te gebruiken voor leergesprekken met studenten opdat hun leerproces verbetert; of informatie die de motivatie en zelfregulatie van studenten vergroot. Een definitie waarin dit alles terugkomt is die van de Assessment Reform Group (2002 in Sluijsmans et al, 2013).

ARG definieert formatief toetsen als het proces van het zoeken en interpreteren van bewijs dat studenten en docenten gebruiken om te bepalen

  • 1) waar studenten staan in hun leren,
  • 2) waar ze naar toe moeten en
  • 3) hoe ze daar het beste naar toe kunnen werken.

In die definitie lezen we dat formatief toetsen continu kan plaatsvinden tijdens het onderwijs en het leren en op veel verschillende manieren gedaan kan worden waarbij er altijd sprake is van interactie tussen docent en student (Wiliam, 2011; 2013). Docenten kunnen op de te onderscheiden fases in het leerproces reageren met 1) feedback; 2) feedup en 3) feedforward (Hattie & Timperley, 2007).  

De aandacht voor formatief toetsen is vooral de laatste jaren sterk gegroeid omdat steeds meer onderzoek laat zien dat (summatieve) toetsen die leiden tot een cijfer een negatieve invloed hebben op het leerproces van studenten (Baartman & Gulikers, 2014; Gulikers & Baartman, 2017; Hattie & Timperley, 2007; Wiliams, 2013). Studenten zijn niet gemotiveerd verder te leren als er geen informatieve feedback is en de toetsing geen onderdeel is van het leerproces. Formatief toetsen lijkt een positief effect te hebben op het leerproces. Het is nog de vraag op welke wijze er het best formatief getoetst kan worden.

In de voor dit rapport geformuleerde vraag gaat het om kenmerken van effectief en efficiënt toetsen. Met effectief wordt bedoeld: met optimale opbrengst voor het leerproces van de student. Met efficiënt wordt bedoeld: met minimale tijdsinvestering door de docent. Daar wordt achtereenvolgens op in gegaan.

Kenmerken van effectief formatief toetsen

Sluijsmans et al. (2013) hebben in een uitgebreide literatuurstudie geïnventariseerd wat de meest effectieve manier van formatief toetsen is. Zij stellen vast dat er op veel manieren  formatief getoetst wordt. Ze halen uit de onderzoeksliteratuur acht verschillende methodes die allemaal in een bepaalde mate bijdragen aan verbetering van het leerproces. Methodes die afzonderlijk maar ook gecombineerd als formatief toetsen worden ingezet zijn:

  • 1) het geven van feedback, feedup en feedforward,
  • 2) het effectief vragen stellen,
  • 3) het organiseren van toetsdialogen,
  • 4) het verzorgen van reflectieve lessen;
  • 5) het organiseren van self-assessments,
  • 6) het organiseren van peer-assessments,
  • 7) het werken met beoordelingsrubrieken en het
  • 8) formatief gebruik van de summatieve toets.

Uit de reviewstudie blijkt dat het succes van formatief toetsen onafhankelijk van de gebruikte methode voor een belangrijk deel in handen ligt van de kwaliteit van de docent en van een aantal condities op schoolniveau. Voor docenten gaat het om hun toetsbekwaamheid maar ook om hun vakdidactische en –inhoudelijke bekwaamheid. Op schoolniveau is het belangrijk dat er aandacht is voor professionalisering van docenten, voor het stimuleren van een onderzoekende houding naar de eigen toets praktijk en voor het creëren van een lerende organisatie (Sluijsmans, et al., 2013; zie ook Herman, Osmundson, Dai, Ringstaff, & Timms, 2015).

Gulikers en Baartman (2017) hebben op basis van een literatuurstudie geïnventariseerd hoe effectieve formatieve toetspraktijken er in de klas uit zien en vooral gekeken naar wat docenten ‘doen’ als ze formatief aan het toetsen zijn. Een combinatie van de verschillende toetsmodellen die docenten gebruiken heeft geleid tot een door hen ontwikkelde formatieve toetscyclus. Docenten die deze cyclus goed en vaker doorlopen bereiken meer met het formatief toetsen. Bij studenten bereiken ze afhankelijk van de mate waarin ze de fases inzetten: kennisontwikkeling; beter schrijven; meer motivatie, een betere houding; verbetering van het leerproces als meer zelf-regulatie; en/of meer enthousiasme bij studenten en daardoor een betere sfeer in de klas.

Deze vijf fasen binnen de toetscyclus zijn:

  1. Het verhelderen van doelen. Er zijn duidelijk omschreven doelen nodig om met studenten te kunnen communiceren over hun werkzaamheden zoals het maken van een opdracht. Belangrijk is dat doelen beschreven zijn in 'wat studenten moeten kennen of kunnen' en niet in 'wat studenten moeten doen'. Het benoemen van te realiseren doelen moet bij de start van de opdracht maar kan vaker tijdens een les of bespreking herhaald worden.
  2. Het ontlokken van studentreacties. Bij deze fase horen allerlei manieren die docenten gebruiken om reacties van studenten te ontlokken en te verzamelen. De docent gaat voortdurend met de student in gesprek over de opdracht en de wijze waarop de student daarmee aan het werk is.
  3. Het analyseren en interpreteren van studentreacties. Dit is de fase waarin de docent zelf het meest actief is. De docent bestudeert het werk van de student om meer informatie te krijgen over bijvoorbeeld misconcepties die leven bij studenten of informatie over onderdelen die studenten nog niet begrepen hebben. Bij het beoordelen van schriftelijk werk zoals opdrachten gaat het niet om de verzorging of de schrijfstel maar om meer zicht te krijgen op het begrip van de student: wat heeft de student al begrepen, wat nog niet. Juist dit vraagt van docenten veel vakkennis en inzicht in de te realiseren leerdoelen en de kennisontwikkeling in het vakgebied.
  4. Het communiceren over resultaten met studenten. Docenten moeten gerichte en adequate feedback geven. Ook daarvoor is vakkennis nodig en zicht op de kennisontwikkeling binnen het leergebied. Docenten kunnen in deze fase gebruik maken van rubrics, en daarnaast ook zelf- of peerassessment inzetten.
  5. Vervolgactiviteiten ondernemen. Dit betekent bijvoorbeeld de instructie aanpassen en/of studenten op een andere manier stimuleren. Voor docenten lijkt dit de moeilijkste fase van de formatief toetscyclus. Het is lastig om zomaar anders te handelen dan gewend.

Wat de docenten zouden moeten ‘doen’ stemt overeen met de inhoud van de methodes die Sluijsmans et al. (2013) onderscheiden. Het grote voordeel van de studie van Gulikers en Baartman (2017) is dat ze het beschrijven in te verrichten handelingen. In de docenthandelingen vinden we ook de drie processen terug die Wiliams (2011; 2013) beschrijft. Het gaat steeds om het vaststellen van en communiceren over: waar studenten staan, waar ze naar toe moeten/willen, en hoe ze daar kunnen komen. De interactie die daarover tussen docenten en studenten moet plaatsvinden, is in de studie van Gulikers en Baartman eveneens geconcretiseerd. Daarmee is het een heel bruikbaar handvat voor de praktijk.   

Kenmerken van efficiënt formatief toetsen

Efficiënt is voor dit rapport omschreven als ‘met minimale inzet door de docent’, impliciet gekoppeld aan optimale opbrengst voor de student. Er is geen onderzoek gevonden over de samenhang tussen de inzet in tijd van docenten en effectiviteit van formatief te toetsen. Zowel Sluijsmans et al. (2013) als Gulikers en Baartman (2017) stellen vast dat het succes en daarmee de opbrengst van formatief toetsen voor een belangrijk deel afhankelijk is van de kwaliteit van de docent; over de inzet van de docent wordt niet geschreven.

Succesvol formatief toetsen vraagt vakinhoudelijk en -didactisch goed onderlegd zijn, kennis hebben over domein specifieke leerproblemen bij studenten en toetsdeskundig zijn. Daarnaast is het belangrijk dat docenten een onderzoekende houding hebben en er aandacht is voor professionalisering. Kneyber (in voorwoord Wiliams, 2013) beweert dat formatief toetsen voor de docent tijdwinst betekent. Of dat ook echt zo is, moet nog onderzocht worden.

De aanleiding tot deze rapportage was de onvrede bij docenten die naar eigen beleving te veel tijd steken in het (formatief) beoordelen van verslagen van projectopdrachten terwijl studenten daar nauwelijks van lijken te leren. Kan dat niet effectiever (met meer opbrengst voor studenten) en efficiënter (met minder tijdsinvestering voor docenten)? In dit rapport is op basis van onderzoek beschreven welke wijze van formatief toetsen effectief is. Over efficiënt formatief toetsen kunnen op basis van onderzoek geen uitspraken worden gedaan. 

Geraadpleegde bronnen

  • Bij het schrijven van dit antwoord is veel gebruik gemaakt van twee reviewstudies die gedaan zijn over formatief toetsen van Gulikers en Baartman (2017) en Sluijsmans, Joosten-ten Brinke, en Van der Vleuten (2013).
  • Baartman, L., & Gulikers, J. (2014). Beoordeling als fundament van goed beroepsonderwijs: een analyse van 11 toetsprogramma’s in het mbo en hbo. Pedagogische Studiën, 91, 54-68.
  • Bennett, R. E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy & Practice, 18(1), 5-25.
  • Clark, I. (2012). Formative assessment: Assessment is for self-regulated learning. Educational Psychology Review, 24(2), 205-249.
  • Dunn, K. E., & Mulvenon, S. W. (2009). A critical review of research on formative assessment: The limited scientific evidence on the impact of formative assessment in education. Practical Assessment, Research & Evaluation, 14, 1-11.
  • Gulikers, J., & Baartman, L. (2017). Doelgericht professionaliseren: formatieve toetspraktijken met effect! Wat DOET de docent in de klas? Wageningen University & Research/Hogeschool Utrecht, eindrapport overzichtsstudie NRO-PPO (NWO-projectnummer: 405-15-722.) Vindplaats voor de online versie en extra materiaal: https://www.nro.nl/nro-projecten-vinden/?projectid=405-15-722-doelgericht-professionaliseren-formatieve-toetscompetenties-met-effect.
  • Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81-112. doi: 10.3102/003465430298487
  • Herman, J., Osmundson, E., Dai, Y., Ringstaff, C., & Timms, M. (2015). Investigating the dynamics of formative assessment: Relationships between teacher knowledge, assessment practice and learning. Assessment in Education: Principles, Policy and Practice, 22(3), 344-367.
  • Sluijsmans, D. M. A., Joosten-ten Brinke, D., & Van der Vleuten, C. P. M. (2013). Toetsen met leerwaarde. Een reviewstudie naar effectieve kenmerken van formatief toetsen. NWO-PROO 411-11-697. Den Haag: NWO.
  • Williams, D., (2011). What is assessment for learning? Studies in Educational Evaluation, 37, 3-14.
  • Williams, D. (2013). Cijfers geven werkt niet. Meppel: Ten Brink/Didactief. Dit is een vertaalde en ingekorte versie van het boek ‘Embedded Formative Assessment’, dat Dylan Wiliam in 2011 schreef.

Meer weten?

Gerelateerd

Leren van toetsen
Effectief formatief toetsen - vijf strategiën met voorbeelden
Gerdineke van Silfhout
Formatief evalueren
Formatief evalueren, hoe pak ik dat aan in mijn les? Tien voorbeelden
Gerdineke van Silfhout
Formatieve assessment
Leren zichtbaar maken met formatieve assessment - In de praktijk
Arja Kerpel










Effect van RTTI®-model
Welk effect heeft het toepassen van het RTTI®-model op leerresultaten?
Effecten van formatief evalueren
Wat zijn de effecten van formatief evalueren?
Effectief en efficiënt formatief beoordelen
Formatief beoordelen: hoe effectief is dat?
Factoren die de Cito-eindtoets beinvloeden
Welke factoren spelen een rol bij de resultaten van de Cito-eindtoets of de centrale eindtoets PO?
Vervangt digitale feedback instructies leerkracht?
Vervangt digitale feedback instructies van de leerkracht?
Gestandaardiseerde toetsen in groep 1 en 2
Groep 1 en 2: wijzen gestandaardiseerde toetsen de weg?
Formatieve toetsing
Hoe kan het onderwijs met succes formatieve toetsing inzetten?
Intensieve toetsweek bijdrage aan examensucces?
Draagt een intensieve toetsweek bij aan examensucces in het vmbo?
Resultaatverplichting toetsen motiveert mbo studenten
Resultaatverplichting of deelnameverplichting? Wat werkt beter?
Tekstbegrip en leerprestaties vmbo-lln
Welke relatie is er tussen (tekst)begrip en leerprestaties?
Toetsen-leertrajecten
Gebruik van toetsen bij het plannen van leertrajecten
Formatief toetsen po
Selfassessment voor formatief toetsen van basisschoolleerlingen
Begrip door zelftoetsen
Beter begrip van informatie in teksten door zelftoetsen
Leren met zelftoetsen
Samenhang expertiseniveau leerling bij leren met zelftoetsen
Leren van teksten
Zelftoetsen voor het effectiever leren van teksten
Computer Adaptieve Oefentoetsen
Onderwijsdifferentiatie met Computer-Adaptieve Oefentoetsen met docentenfeedback
Samenstelling klas
Samenstelling van de klas en cognitieve en sociaal-emotionele uitkomsten
Opbrengstgericht werken
Opbrengstgericht werken: van beleidsspeerpunt tot de uitvoering in de groep
Kwaliteit toetsen
Kwaliteit van toetsen
Toetsvormen
Reviewstudie: verbinding tussen leerdoelen, instructie en toetsen in taalonderwijs
[extra-breed-algemeen-kolom2]



Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook

Mis geen bijdragen.