Neem formatief niet te snel voor lief: tien lessen van Dylan Wiliam (8 t/m 10)

Dominique Sluijsmans

Onderzoeker, adviseur en spreker bij https://sluijsmans.net

Geplaatst op 9 april 2024

Naar aanleiding van de workshops van Dylan Wiliam op 3, 4 en 5 september 2018 in Amersfoort, zette Dominique Sluijsmans, lector professioneel beoordelen aan Zuyd Hogeschool, 10 lessen op papier. Hieronder volgen les 8 t/m 10. Hier vind je les 1 t/m 4 en hier les 5 t/m 7.

Stimuleer als leider dat onze goede docenten zich kunnen verbeteren

Wiliam benadrukt dat docenten voldoende kans dienen te krijgen formatief handelen te oefenen in de dagelijkse onderwijspraktijk. De opdracht voor leiders is ervoor te zorgen dat docenten zich kunnen verbeteren in datgene wat voor studenten het beste is. Als het gaat om toetsbekwaamheid zijn de volgende vragen van belang: Begrijp je wat dit toetsresultaat betekent? Heeft het waarde als het gaat om het beoogde gebruik ervan? Welke boodschap straalt de toetsing uit naar relevante betrokkenen? Wat zal het effect van deze toets zijn op studenten? Investeren in toetsbekwaamheid is overigens een van de belangrijkste adviezen uit het in 2018 verschenen advies Toets wijzer van de Onderwijsraad. Om formatief te leren denken en handelen stelt Wiliam het inrichten van een lerend docentgezelschap in dat werkt volgens een vast patroon (zie afbeelding 4).

Afbeelding 4. Een aanpak voor een lerend docentgezelschap

Voor het slagen van een dergelijke aanpak is een goede moderator om de bijeenkomsten goed te leiden essentieel. Ook is het zinvol een onderzoeker aan het gezelschap te verbinden. Door flankerend onderzoek te den naar de werking en effecten van deze aanpak, wordt kennis ontwikkeld over formatief werken op teamniveau. Ook is het zinvol opgedane ervaringen uit te wisselen met opleidingen die met en gelijke aanpak experimenteren.

Zeven principes voor curriculumontwerp

Naast veel kennis en ervaringen over formatief handelen, deelde Wiliam in de tweede dag ook een aantal richtlijnen voor curriculumontwerp. Formatief handelen kan immers niet los worden gezien van de doelen van het onderwijs en het leerplan dat wordt ingericht om die doelen te bereiken. Tot nu was mij alleen het beoogde (voorgeschreven), uitgevoerde (geïnterpreteerde) en bereikte (ervaren) curriculum bekend, waarbij er sprake is van een expliciet curriculum (de programma’s, cursussen, vakinhouden) en een impliciet/verborgen curriculum (waarden en verwachtingen, deze zijn er, maar wordt niet expliciet over gesproken).

Wat ik niet wist is dat er ook een 0-curriculum is. Het 0-curriculum verwijst naar wat opleidingen niet expliciet onderwijzen. Dit kan betekenen dat studenten bepaalde keuzes niet zullen worden aangeboden, met bepaalde perspectieven niet worden geconfronteerd en een aantal concepten en vaardigheden geen onderdeel zullen gaan uitmaken van hun intellectuele repertoire. Wiliam presenteerde vervolgens zeven principes voor curriculumontwerp, waarover hier meer achtergronden te lezen zijn: 1) gebalanceerd: er is sprake van een evenwichtige verdeling van inhouden, 2) stringent: er worden krachtige manieren van denken ontwikkeld door voortdurend met een bepaald onderwerp of discipline aan de slag te zijn, 3) samenhangend: studenten leren te zien hoe verschillende inhouden/disciplines zich tot elkaar verhouden, 4) verticaal geïntegreerd: de nadruk ligt op vooruitgang in leren waarbij inhouden herhaaldelijk aan bod komen (met verwijzing naar het spiraalcurriulum van Bruner), 5) geschikt: past het curriculum bij het niveau van de student en welke implicaties heeft dit voor het organiseren van het onderwijs (op leerfase of jaargroep), 6) gefocused: geef vooral aandacht aan de big ideas binnen een discipline en durf te kiezen, en 7) belangrijk: hoe kun je studenten geïnteresseerd krijgen voor zaken waarvan ze niet wisten dat ze er interesse voor zouden hebben? Voor alle principes stelt Wiliam dat er geen eenduidige antwoorden zijn hoe het curriculum te ontwerpen en dat de principes onderling op spanning kunnen staan. Ook hier wordt weer duidelijk hoe ingewikkeld het ontwerpen van een curriculum is.

Toetsing dient het curriculum te dienen, niet te sturen

Een interessant thema dat een rode draad is door alle eerder beschreven lessen, is de aansluiting tussen de doelen van het onderwijs, het curriculum (het leerplan) en de toetsing. De laatste jaren is er veel discussie hoe die aansluiting er zou moeten uitzien, bijvoorbeeld in het nadenken over een andere aanpak van de eindexamens. Wiliam is duidelijk dat de wijze van toetsing het curriculum moet dienen, niet beheersen. Zo ziet de praktijk er echter niet uit, voor studenten zijn de toetsen leidend en bepalen deze waar ze energie in steken, niet het curriculum (‘Moeten we dit weten voor de toets?’).

Wiliam is scherp in het duiden van de tekortkomingen in de wijze van toetsen gericht op een summatieve conclusie. Ten eerste waarschuwt hij voor Campbell’s Law: als toetsresultaten het doel worden van onderwijzen, verliezen deze resultaten hun waarde en zullen zij ongewenste effecten hebben op het leerproces. Toetsresultaten worden uiteindelijk betekenisloos. Een tweede risico is het gebrek aan validiteit door construct underrepresentation(niet alle te beoordelen aspecten komen aan de orde in de toets, bijvoorbeeld het spreken wordt bij Engels niet beoordeeld) en construct irrelevant variance (er worden aspecten beoordelen die niet er toe zouden mogen doen, bijvoorbeeld begrijpend lezen in een rekentoets). Dit is vooral aan de orde in de eindexamens, die lang niet altijd een goede afspiegeling zijn van wat in het curriculum aan bod komt.

Een mooi voorbeeld hiervan beschrijft Martin Ringenaldus in zijn blog over het examen Duits. Een derde probleem betreft de accuraatheid van een score/cijfer. Wiliam illustreert op basis van onderzoek naar betrouwbaarheid dat bijvoorbeeld een 7.1 op moment 1 net zo goed een 6.1 of 8.1 had kunnen zijn (hoe preciezer de score, des te lager de accuraatheid). Wiliam citeerde hierbij de definitie van een cijfer van Dressel (geciteerd in Chickering, 1983): “A grade is an inadequate report of an inaccurate judgment by a biased and variable judge of the extent to which a student had attained an undefined level of mastery of an unknown proportion of an indefinite material.” Het feit dat cijfers niet betrouwbaar zijn is een belangrijke constatering, aangezien we bij bijvoorbeeld het eindexamen wel zeer zwaarwegende beslissingen nemen op basis van dit cijfer.

Om te voorkomen dat toetsing zijn doel voorbijschiet, adviseert Wiliam een toetsprogramma te ontwerpen dat voldoet aan de volgende kenmerken: 1) bewijs van leren wordt niet pas aan het einde verzameld, maar op een groot aantal momenten, 2) er is voldoende ruimte kennis en vaardigheden op te bouwen, 3) er is voldoende kans alle aspecten zowel in de diepte als breedte te leren, 4) het is organiseerbaar zodat kosten in verhouding zijn met opbrengsten, en 5) alle betrokkenen hebben vertrouwen in de uitkomsten. Mijn persoonlijke vertaling is dat in het onderwijs vooral sprake is van activiteiten waaraan formatieve conclusies worden verbonden (formatief handelen gericht op langetermijnleren), en dat toetsing met summatieve doeleinden uiteindelijk een ceremonieel karakter heeft (met dank aan Ben Wilbrink voor het woord ceremonieel). Dit zou dan een andere invulling geven van ‘stakes’ (Wat staat er op het spel?): high-stake summatieve toetsen worden low-stake (het eindexamen leidt niet meer tot verrassingen), low-stake formatieve toetsen worden high-stake. Het leren gericht op een langetermijneffect staat immers centraal.

Korte beschouwing

Het seminar van Dylan Wiliam heeft mij geholpen in het bijstellen van een aantal beelden over formatief toetsen. Het wordt steeds duidelijker wat formatief handelen wel en ook niet is. Ook zet het tot nadenken over de vraag hoe formatieve en summatieve doeleinden beter kunnen worden gebalanceerd. Hier zit mijns inziens nog wel een grote uitdaging: In hoeverre is het mogelijk om als school of opleiding beide functies van toetsing waar te maken zonder aan kwaliteit van één van beide in te boeten? Zou het onderwijs er niet alleen moeten zijn om te (leren) leren, in plaats van een plek van voortdurend presteren?

Wat verder opvalt is dat formatief handelen een steeds sterkere theoretische inbedding krijgt. Wiliam lijkt de laatste jaren vooral het cognitief psychologisch perspectief te hebben ingenomen, blijkend uit vele verwijzingen naar bijvoorbeeld de cognitieve belastingstheorie en het werk van Ausubel, Kirschner en van Merriënboer. Het is een goede ontwikkeling dat formatief handelen een sterkere binding krijgt met andere perspectieven op toetsen, zoals het programmatisch toetsen, effectieve leerstrategieën en het werken aan kansengelijkheid (zie bijvoorbeeld werk van Ben Wilbrink over fair schooling). Formatief handelen gaat over leren en minder over toetsen. De vraag is dan ook of we überhaupt nog over formatief toetsen moeten willen spreken.

Ik hoop echter dat we in de verdere kennisontwikkeling aandacht blijven houden voor de relatie tussen formatief handelen en de andere doeldomeinen van het onderwijs van Biesta, zoals socialisatie en persoonsvorming. Juist de aandacht voor de student, de interactie tussen studenten en de interactie tussen docenten en studenten is iets wat mij altijd in formatief handelen zo heeft aangesproken. Ik hoop dat door de sterke cognitieve focus op formatief handelen, de pedagogische en meer persoonsvormende functie niet op de achtergrond raakt. Onderwijs is er om iets te leren – laat daar geen twijfel over zijn – maar het is ook de plek waar je in verbinding met anderen je identiteit met bijbehorende waarden en normen vormgeeft. Dat is iets dat we niet meetbaar moeten willen maken met toetsen met summatieve doeleinden, maar kan wel worden verrijkt met interacties, ontmoetingen, frusterende ervaringen waarbij je als student weet dat daarin falen en opnieuw proberen mag. Voor mij is ook dat nog steeds formatief handelen, al is het dan niet met een cognitieve insteek, maar gericht op het leren jezelf te blijven ontwikkelen als mens.

Tot slot

Formatief handelen gaat over goed onderwijs. Mijn hoop is dat we formatief niet te snel voor lief nemen, maar steeds bewust blijven waar het bij formatief handelen om gaat en waarom dat zo is vanuit de wetenschap over leren. Een seminar van Dylan Wiliam helpt om scherp te blijven, maar ook kritisch te zijn en vragen te blijven stellen. Hoewel onderzoek ons helpt goed geïnformeerd te handelen, zal de specifieke context bepalen wat kan en lukt. Wiliam zegt hierover: Alles werkt wel een keer ergens. Het blijft dus van belang ook in onderzoek te blijven rapporteren in wat ook niet lukt en feedback te organiseren welke redenen hiervoor te bedenken zijn.

Dank René Kneyber, voor het organiseren van deze ontmoeting met – naar mijn idee – toch wel dé expert op het terrein van formatief handelen. Ik denk dat met name de eerste dag en de wijze waarop Wiliam deze vormgaf, velen heeft geïnspireerd. Het terrein van formatief handelen en dat zelf in praktijk brengen is toch echt zijn ding. Alhoewel in de onderwijspraktijk nog vele vragen blijven bestaan over implementatie, scholing, facilitering en het spanningsveld tussen leren en examineren, is de wijze waarop docenten zelf steeds meer regie nemen in het beantwoorden van deze vragen (bijvoorbeeld in Facebookgroepen als deze en deze) inspirerend en aanstekelijk enthousiasmerend. Nu gaat het om de durf de focus weer te leggen op het verzorgen van goed, formatief onderwijs, en wellicht wat minder op de instrumentele benadering van de summatieve functie van toetsing. Ik kijk uit naar een nieuwe ontmoeting met Wiliam in 2028.

Dylan Wiliam is dé expert op het terrain van formative assessment. Zijn boek ‘Embedded formative assessment’ biedt veel concrete handvatten formatief handelen in de dagelijkse onderwijspraktijk vorm te geven. Ook zijn boek ‘Leadership for teacher learning: Creating a culture where all teachers improve so that all students succeed’ kan ik van harte aanbevelen. Meer weten over Wiliam? Op zijn website en YouTube kanaal (zie hier en hier) zijn veel webinars en interviews te vinden.

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!