Effectieve kenmerken van formatief toetsen

Geplaatst op 1 juni 2016

De onderzoekers voerden een literatuuronderzoek uit naar de effectiviteit van het zogenoemde ‘formatief’ toetsen in het onderwijs: toetsen die verder leren stimuleren. Uit hun studie blijkt dat formatief toetsen meerwaarde biedt als condities, doelen, methoden en leeruitkomsten op elkaar worden afgestemd. Maar meer onderzoek is nodig.

De onderzoekers bestudeerden 50 onderzoekspublicaties op het gebied van formatieve toetsing, waaronder acht eerdere review studies. Belangrijkste bevinding is dat er ongeveer acht toetsmethoden effectief blijken te zijn voor het leren van leerlingen. Sluijsmans: ‘Denk hierbij aan het geven van feedback door leraren, en aan beoordelingen door leerlingen zelf – aan zichzelf en aan elkaar. Naast die acht methoden hebben we ook andere methoden gevonden die niet zo uitgebreid zijn beschreven in wetenschappelijk onderzoek, maar toch interessant kunnen zijn voor de schoolpraktijk. Belangrijk is dat leraren verschillende methoden combineren om hun leerlingen het totale leerproces succesvol te laten doorlopen.’

De onderzoekers hebben ook vier belangrijke condities gevonden die onontbeerlijk zijn voor een duurzame implementatie van formatief toetsen. Dit zijn naast uiteraard de toetsbekwaamheid van leraren ook het organiseren van effectieve vormen van professionalisering, het stimuleren van een onderzoekende houding jegens de eigen toetspraktijk en het creëren van een leergemeenschap onder leraren. Sluijsmans: ‘Factoren die de meerwaarde van toetsen kunnen bepalen, zijn condities, het doel dat leraren hebben met het toetsen, de keuze van de methode en de te verwachten uitkomsten.’

Een andere bevinding van de onderzoekers is dat er in de onderzoeksliteratuur geen eenduidige definitie is van ‘formatief toetsen’. Ook de theoretische inbedding is zwak. Sluijsmans: ‘Omdat formatief toetsen betrekking heeft op de kwaliteit van de interactie tussen leraar en leerling, maar ook gericht is op de ontwikkeling van zelfregulerend leren, lijkt een eenduidige theoretische inbedding lastig. Ook de kwaliteit van de verschillende studies wisselde nogal. De theorie rond toetsen moet versterkt worden en er moet meer onderzoek gedaan worden naar de effectiviteit van toetsen en de condities voor duurzame implementatie.’

Samenvatting 

Toetsing is 'in‘. Op de politieke agenda staat toetsing prominent op de agenda. Toetsing wordt gezien als het middel om kwaliteit van (lange termijn) leren én het onderwijs te borgen. Het toetsen van leerlingen is bovendien één van de meest kritische taken van een leraar. Onderzoek laat zien dat toetsen die gericht zijn op certificering en selectie waarbij geen sprake is van informatieve feedback of inbedding in het leerproces zelfs negatief zijn voor leren, omdat ze leerlingen belemmeren om verantwoordelijkheid te nemen en zich te motiveren om te leren. Daarom wordt in toenemende mate aandacht besteed aan toetsen die verder leren stimuleren – het zogenoemde formatief toetsen. Het besef van scholen dat de formatieve functie van toetsing kwaliteit van toetsing kan versterken is groeiende. Er is echter nauwelijks consensus over de vraag wat formatief toetsen nu precies betekent en aan welke kenmerken formatief toetsen moet voldoen om ervoor te zorgen dat het effectief bijdraagt aan leren. Vanuit de onderwijspraktijk is veel behoefte aan handvatten om formatief toetsen in te bedden in de dagelijkse onderwijspraktijk. Deze reviewstudie heeft tot doel de effectieve kenmerken van formatief toetsen in kaart te brengen op een zodanige wijze dat deze voor de onderwijspraktijk begrijpelijk en bruikbaar worden. De centrale onderzoeksvraag is: Welke kenmerken van formatief toetsen zijn effectief voor leren?

In hoofdstuk 1 wordt vanuit politieke, wetenschappelijke en maatschappelijke ontwikkelingen verantwoord waarom het uitvoeren van een reviewstudie naar formatief toetsen zinvol en nodig is. Ook wordt kort de stand van zaken geschetst op het gebied van formatief toetsen in binnen- en buitenland. Actuele ontwikkelingen legitimeren het inzetten van formatief toetsen, zoals het opbrengstgericht werken, de kwaliteitsverhoging van toetsing en het belang van het ontwikkelen van zelfregulatie-vaardigheden bij leerlingen. Toch blijkt formatief toetsen in Nederland in tegenstelling tot landen als Engeland, Schotland en Finland nog onvoldoende ingebed te zijn in curricula. Het eerste hoofdstuk besluit met de presentatie van de drie onderzoeksvragen die zijn afgeleid van de centrale onderzoeksvraag. Deze vragen zijn: 1) Wat wordt met formatief toetsen bedoeld? 2) Wat zijn methoden van formatief toetsen die effectief zijn voor leren? en 3) Welke condities zijn van belang om formatief toetsen in de school vorm te geven?

In hoofdstuk 2 wordt de aanpak van de reviewstudie geschetst. Voor selectie van studies zijn negen inclusiecriteria gedefinieerd op basis waarvan uiteindelijk 50 studies zijn geselecteerd, waaronder acht reviewstudies. Om een antwoord te vinden op de onderzoeksvragen is een narratieve review uitgevoerd, waarbij de analyses van de studies op een systematische wijze met elkaar worden vergeleken en door het onderzoeksteam worden geïnterpreteerd.

In hoofdstuk 3 en 4 worden respectievelijk de resultaten en conclusies per onderzoeksvraag beschreven. De bevindingen op de eerste onderzoeksvraag (paragraaf 3.1) hebben geleid tot twee 10 belangrijke conclusies. De eerste conclusie is dat formatief toetsen niet eenduidig wordt gedefinieerd. De concepten classroom assessment, formative assessment, assessment for learning en formative feedback worden veelvuldig in de literatuur gebruikt, maar worden niet consequent voor dezelfde doeleinden benoemd. De theoretische inbedding over formatief toetsen is bovendien zwak. Omdat formatief toetsen zowel betrekking heeft op de kwaliteit van de interactie tussen leraar en leerling, maar ook gericht is op de ontwikkeling van zelfregulerend leren, lijkt een eenduidige theoretische inbedding lastig. Een tweede conclusie is dat formatief toetsen kan worden vertaald in een zevental dimensies: 1) 'arm‘ formatief toetsen versus 'rijk‘ formatief toetsen, 2) formatief toetsen om leren van leerlingen te bevorderen versus formatief toetsen om leren van leraren te bevorderen, 3) formatief toetsen als een instrument versus formatief toetsen als een proces, 4) formatief toetsen met formatieve doelen versus formatief toetsen met summatieve doelen, 5) georganiseerde inbedding van formatief toetsen in het curriculum versus 'on-the-fly‘ gebruik van formatief toetsen, 6) formatief toetsen gestuurd door de leraar versus formatief toetsen met veel zelfsturing door leerlingen en 7) formatief toetsen in een specifieke fase van het leerproces versus formatief toetsen ingebed in een volledige leercyclus. Deze zeven dimensies worden in paragraaf 4.2 uitgelegd.

In paragraaf 3.2 worden de resultaten op de tweede onderzoeksvraag gerapporteerd. Er kunnen acht methoden van formatief toetsen worden benoemd die in bepaalde mate effectief blijken te zijn voor leren: 1) het geven van feedback, 2) het effectief vragen stellen, 3) het organiseren van toetsdialogen, 4) reflectieve lessen; 5) self-assessments, 6) peer-assessments, 7) werken met beoordelingsrubrieken en het 8) formatief gebruik van de summatieve toets. Daarnaast is er een aantal methoden gevonden die niet op grote schaal beschreven zijn, maar wel interessant zijn voor de praktijk. Een aantal van deze methoden betreft procesactiviteiten, waarbij de leraar en/of de leerlingen via handelingen het leerproces sturen. Andere methoden kunnen direct worden ingezet als instrument, zoals de beoordelingsrubrieken. Om het hele instructieproces te doorlopen (Waar werkt de leerling naar toe? - Waar staat de leerling nu? - Hoe komt de leerling naar de gewenste situatie?) zal een combinatie van methoden nodig zijn. Deze methoden maken het mogelijk om aan te sluiten bij verschillende instructiemomenten. De methoden dragen bij aan het verhelderen, begrijpen en delen van leerdoelen en criteria voor succes, het bewerkstelligen van effectieve groepsdiscussies en activiteiten die bewijs leveren voor leren, het activeren van leerlingen als belangrijke informatiebronnen voor elkaar, het activeren van leerlingen in het stimuleren van eigenaarschap over het eigen leren.

De resultaten op de derde onderzoeksvraag zijn beschreven in paragraaf 3.3. Vier condities zijn essentieel voor duurzame implementatie van formatief toetsen: 1) de toetsbekwaamheid van leraren, 2) het organiseren van effectieve vormen van professionalisering, 3) het stimuleren van een onderzoekende houding naar de eigen toetspraktijk en 4) het creëren van een leergemeenschap. De toetsbekwaamheid van leraren is van fundamenteel belang als het gaat om te komen tot goede keuzes in de vormgeving van formatief toetsen in de onderwijspraktijk. Kennis van toetsing staat niet op zichzelf, maar is sterk gerelateerd aan de aanwezige domeinkennis en vakdidactische kennis. Niet alleen de kennis maar ook percepties die leraren hebben over leren en toetsen beïnvloeden in hoge mate de effecten van formatief toetsen. Het is van belang zowel de percepties als de kennis van leraren te erkennen in aanpakken voor professionalisering. Effectieve aanpakken hiervoor zijn vormen van actieonderzoek die een cyclisch karakter hebben met aandacht voor transfer naar de eigen onderwijspraktijk. Betrokkenheid van toetsdeskundigen en het zorgvuldig kiezen van kennisbronnen zijn belangrijke ingrediënten van deze aanpakken.

Het antwoord op de centrale onderzoeksvraag 'Welke kenmerken van formatief toetsen zijn effectief voor leren?‘ is dat de effectiviteit van formatief toetsen vooral wordt bepaald door een goede afstemming tussen condities waaronder formatief toetsen wordt vormgegeven, de doelen van formatief toetsen, en keuze van methoden en de te verwachten uitkomsten op leren van leerlingen. Dit betekent dat de methoden zoals deze zijn beschreven in paragraaf 3.2 alleen waarde voor leren zullen hebben als daarvoor ook een aantal condities worden geborgd in de school, zoals het formuleren van een heldere visie op leren en toetsen, het borgen van de bekwaamheid van leraren om deze visie te vertalen naar interventies in de onderwijspraktijk en het creëren van een leergemeenschap binnen de school. Het ontwerp van formatief toetsen zal afhankelijk zijn van de doelen die met formatief toetsen worden nagestreefd. Om formatief toetsen effectief te laten zijn voor het leren van leerlingen en de professionalisering van leraren is bewustwording over het waarom van formatief toetsen een eerste stap naar het invullen van de vraag hoe dat concreet gestalte kan krijgen.

In hoofdstuk 5 wordt een drietal knelpunten besproken die de reviewstudie heeft blootgelegd. Het eerste knelpunt betreft de conceptuele verwarring (wat is formatief toetsen?). Deze verwarring maakt het lastig om een helder beeld te krijgen wat is onderzocht en wat de generaliseerbaarheid is van uitkomsten van de studies. Een tweede knelpunt is de kwaliteit van de studies. Belangrijkste kritiekpunten zijn de te weinig repliceerbare studies en het gebrek aan theoretische inbedding. De positieve effecten zijn vaak gebaseerd op methodologisch zwakke studies. Het aantal studies dat daadwerkelijk via een empirische studie aantoont dat de methoden die ze noemen effectief zijn om het leren te bevorderen is zeer beperkt. De meta-analyses zijn te breed in inhoudsdomeinen om een logische synthese te maken. Ook vindt onderzoek in een grote variëteit van contexten plaats. Dit leidt tot het vergelijken van appels met peren. De wetenschappelijke literatuur over formatief toetsen blijkt weinig handvatten te bieden voor de praktijk in termen van uitgewerkte voorbeelden van vormen van formatief toetsen. Een laatste knelpunt is het gebrek aan onderzoek gedaan naar professionalisering in (formatief) toetsen. De studies die voor deze reviewstudie zijn geselecteerd geven op dit moment te weinig houvast tot welke effecten professionalisering leidt als het gaat om leren door leraren en schoolleiders en de effecten op het leren van leerlingen. Veel studies beschrijven anekdotische informatie op basis van self-report meetinstrumenten en zijn veelal specifiek qua context en vorm. Meer onderzoek is nodig om inzicht te krijgen welke vaardigheden formatief toetsen van leraren, schoolleiders en leerlingen vraagt en wat implicaties zijn voor duurzame implementatie. 12 In verschillende studies is de noodzaak tot een gevalideerd onderzoekskader dat handvatten biedt voor onderzoek naar formatief toetsen in de toekomst geuit. Om tot meer bruikbare resultaten te komen voor het effectief gebruik van formatief toetsen in de klas is het nodig een onderzoeksagenda voor formatief toetsen te formuleren, waarin onderzoeksvragen, onderzoekscontexten en onderzoeksmethoden meer op elkaar worden afgestemd. De resultaten van deze review en de gesignaleerde knelpunten inspireren tot een voorzichtige formulering van een onderzoeksagenda. In het slothoofdstuk (hoofdstuk 6) worden drie onderzoekslijnen benoemd die verder zouden kunnen worden uitgewerkt: 1) versterking van een theorie van formatief toetsen, 2) effectiviteitsstudies naar formatief toetsen en 3) condities voor duurzame implementatie. Een programma van onderzoek met deze onderzoekslijnen biedt voor zowel wetenschap als praktijk kaders waarbinnen meer antwoorden kunnen worden gevonden op de nog vele onbeantwoorde vraagstukken over formatief toetsen.

Een dergelijk programma ontbreekt op dit moment, maar is hoognodig voor kennisontwikkeling over formatief toetsen. Deze review studie heeft laten zien dat er zeker een meerwaarde voor formatief toetsen is als condities, doelen, methoden en leeruitkomsten op elkaar afgestemd worden. Hiervoor is een gestructureerd onderzoeksprogramma nodig dat gaat helpen diverse onderzoeken in samenhang te kunnen uitvoeren en resultaten te kunnen vergelijken. Voor het opzetten en uitvoeren van een dergelijk onderzoeksprogramma is veel inzet gevraagd van leraren, leerlingen, schoolleiders en ouders. Samenwerking tussen universiteiten, hogescholen, scholen en pedagogische centra is cruciaal om deze proeftuinen mogelijk te maken en resultaten bruikbaar te maken voor de onderwijspraktijk.

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Details van het onderzoek

  
NWO-projectnummer:  411-11-697
Titel onderzoeksproject:  Wat zijn effectieve kenmerken van formatief toetsen? Een review van 25 jaar onderzoek.
Looptijd:01-01-2012 tot 31-12-2012

Projectleider(s)

Naam Instelling E-mail
Prof. dr. C.P.M. van der Vleuten Maastricht University c.vandervleuten@maastrichtuniversity.nl

Projectuitvoerder(s)

Naam Instelling E-mail
Dominique Sluijsmans Maastricht University  
Desirée Joosten-ten Brinke Open Universiteit  
Cees van der Vleuten Maastricht University  

Publicatie(s)

Relevante links(s)

[Bron: Nationaal Regieorgaan Onderwijsonderzoek (NRO)]

Gerelateerd

Webinar
Wat kun je wel en niet met toetsen in het onderwijs?
Wat kun je wel en niet met toetsen in het onderwijs?
Gratis webinar met Karen Heij
Wij-leren.nl Academie 
Congres
Concentratie in de klas in vo en mbo
Concentratie in de klas in vo en mbo
Inzicht en handvatten om de focus van je leerlingen te verbeteren
Medilex Onderwijs 
Leren van toetsen
Effectief formatief toetsen - vijf strategiën met voorbeelden
Gerdineke van Silfhout


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Zelfregulatie in een video van één minuut uitgelegd
Zelfregulatie in een video van één minuut uitgelegd
redactie
Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
[extra-breed-algemeen-kolom2]



toetsen
zelfregulatie

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest