Laat je niet wegcijferen! Waar fixatie op toetsen toe leidt.

  Geplaatst op 1 juni 2015

Zijn toetsopbrengsten eigenlijk gelijk aan dé leeropbrengsten?

Mag je summatieve toetsen gebruiken om de kwaliteit van onderwijs te beoordelen?

En weet je op basis van toetsresultaten hoe leerlingen leren en hoe je moet onderwijzen?

Wat mag je eigenlijk wel en niet met toetsresultaten doen? Welke invloed heb je op het proces waarin menselijk gedrag wordt omgezet in getallen?

Waar kan een fixatie op toetsen toe leiden?

Cito: ‘We gaan nadrukkelijker dan in het verleden kenbaar maken waarvoor de toetsen ontwikkeld zijn. Door zelf bewust met de toetsen om te gaan, door je altijd af te vragen wat voor jou het doel van toetsen is, van wie wat moet en aan wie je wel en niet verantwoording verschuldigd bent. We toetsen niet om te toetsen.’ (OMJS, thema-avond Toetsen, september 2013).

Een verontrustende trend

De laatste tijd is er een sterke tendens om kinderen en hun leerkrachten te toetsen, waardoor 'teaching to the test' sterk in opkomst is. De 'ranking' van mensen op basis van toetsen is iets volledig kunstmatigs. Het ordent leerkrachten niet in overeenstemming met hun vermogen om kinderen te helpen hun potentieel te bereiken.

Het verandert ons in individuen die hun leven alleen wijden aan het bereiken van een 'ranking'.

Het is een soort van systeem dat zoiets voortbrengt als 'de economische mens'. Dat is een mens die vooral calculeert hoe je de eigen status en welvaart kunt verhogen. Het heeft tot gevolg dat de leerkracht niet creatief meer kan zijn, en aandacht kan besteden aan individuele behoeften.

Misschien is een leerling in iets geïnteresseerd maar daar is geen tijd voor want het moet worden voorbereid op de volgende toets. De toekomst van leerlingen en leerkrachten is in dit geval alleen afhankelijk geworden van toetsen (Chomsky, N. 2015). Is het in Nederland ook zo erg?

Gebruik toetsdata dus goed

In Nederland wordt in vergelijking met Finland veel getoetst, waar toetsen onder de 8 jaar zelfs verboden is. Daar verkrijgt de leraar op andere wijzen, via observatie en diagnostische gesprekken, de gegevens die nodig zijn om het leren en ontwikkelen van kinderen te kennen en te volgen en de kwaliteit van het onderwijs te onderhouden (Sahlberg 2012).

De nadruk in Finse scholen ligt op samenwerking en niet competitie. Nina Brander, een Finse leerkracht met 17 jaar ervaring, brengt naar voren dat dát de sleutel is voor het Finse schoolsucces. In Finland zijn we meer georiënteerd op leren en werken dan op cijfers geven en evalueren. 
(Dalporto, D. 2013)

Nederland heeft misschien het beste landelijke signaleringssysteem voor toetsopbrengsten in de wereld, maar ga daar in ieder geval verstandig mee om. Soms verdwijnen kinderen en leraren helemaal achter getallen en grafieken en is hun onderwijs en het leren niet meer terug te vinden. Op basis van de analyse en ervaringen van het 'opbrengstgericht werken' in Amerika (Dianne Ravitch) en Engeland (Robin Alexander) kom ik tot de volgende aanbevelingen voor een voorzichtig gebruik van toetsdata.

Aanbevelingen toetsdata

  • Verwar toetsopbrengsten en streefcijfers niet met inhoudelijke onderwijsdoelen en onderwijsopbrengsten.
  • Verwar hoge toetsscores niet met kennisvermeerdering bij leerlingen, of met hun vaardigheidsvergroting in absolute zin.
  • Verwar cito-toetsdata dus niet met hét bewijs voor dé leeropbrengsten. Het blijft een (belangrijke) steekproef.
  • Werk niet 'data-gedreven' maar 'data-geïnformeerd'. 
  • Leid daarbij geen 'competitielijstjes' af van toetsscores met daarop scholen of leraren. Een leerlingtest is echt geen leraartest! Je kunt bijvoorbeeld hoge toetsscores op landelijke toetsen bewerkstelligen en toch slecht onderwijs verzorgen. 
  • Er zijn veel oncontroleerbare invloeden op toetsscores. Toetsscores variëren willekeurig van jaar tot jaar. Onderwijzerseffecten blijken over de jaren onstabiel te zijn. Onderwijzers met hoge testscores kunnen opeens te maken krijgen met lagere toetsscores en andersom. 'Onderwijzersresultaten' op basis van toetsscores zijn ook vak- en leerlinggroepafhankelijk en kunnen van jaar tot jaar verschillen, los van de kwaliteit van de onderwijzer(es).
  • Trendanalyses in toetsscores kunnen worden beïnvloed door veel onbekende en niet beïnvloedbare factoren. 
  • De leerwinst die een leraar(es) heeft bewerkstelligd vind je na één jaar maar voor maximaal 33% terug bij de leerlingen. Na twee jaar is die invloed nog maar 12 %. Hoe beoordeel je dan toetswinst: schrijf je dat toe aan het onderwijs in het vorig leerjaar of aan het half jaar onderwijs, voorafgaand aan de toets in het huidige leerjaar? Die effecten zijn niet meer te ontwarren. Er is dus vaak verwarring tussen korte en lange termijn toetswinst.
  • Toets-opbrengsten van het kind (uitstroom naar VO) zijn opbrengsten van een heel schoolteam. 
  • Het gebruik van toetsen voor verantwoording van de school, bederft de test als instrument om leerprestaties te meten. Testgebaseerde verantwoording van de kwaliteit van het onderwijs, kan corrumperend werken en leiden tot onderling wantrouwen. In Amerika en Engeland zijn daarvan vele voorbeelden. In een dergelijk systeem wantrouwen politici en ouders vaak bestuurders en leerkrachten.
  • De grootste geconstateerde paradox in Amerika: hoe hoger de onderwijsambitie des te lager de validiteit en betrouwbaarheid van toetsopbrengsten (!).
  • Houd bij de interpretatie van toetsopbrengsten altijd rekening met de culturele en de materiële omstandigheden van het gezin: de opleiding van ouders, de opvoedingsituatie en het inkomen van de ouders. Beoordeel leerling-resultaten altijd bij subgroepen van leerlingen en niet aan de hand van gemiddelden. Vergelijk je landen aan de hand van PISA- gegevens ten aanzien van de toetsscores van lage inkomensgroepen, dan krijg een andere rangordening van die landen, dan wanneer je de toetsscores van leerlingen uit hoge inkomensgroepen met elkaar vergelijkt. Scholen met weinig leerlingen uit armoedegezinnen in Amerika hadden in de PISA van 2010 een leesscore van 551; hoger dan alle scholen in Korea (539), Finland (536) en Japan (520)! Amerikaanse scholen met 10 tot 25% leerlingen uit armoede - gezinnen scoorden 527, vergelijkbaar met dit soort scholen in Korea, Finland en Japan! 
  • Toetstraining mag niet in de plaats komen van onderwijsverbetering.
  • Vermijd testtraining (oriënteer leerlingen wel op toetsvormen), de manipulatie van testgegevens en een ongezonde competitie tussen scholen.
  • Onderwijs is geen wedstrijd, waarbij je gedwongen wordt om te sjoemelen.
  • Werk met evaluatie van de brede vooruitgang van elke leerling (Alexander 2012; Ravitch 2011).

Gebruik toetsdata dus niet te pas en te onpas.

Ondervang de bijwerkingen van summatief toetsen

Summatieve landelijke toetsen, zoals gebruikelijk in Nederland, worden beïnvloed door het verloop in de leerlingpopulatie gedurende de meettijd. Een school met een stabiele leerling-populatie kan goede resultaten makkelijker aantonen dan scholen met een instabiele leerlingpopulatie; onderwijseffect kan worden verstoord door een sterk wisselende leerling-populatie. 

Landelijke summatieve toetsing is meestal tijdrovend en kostbaar. In de staat Wisconsin in Amerika constateerden Zellmer, Frontier en Pfeifer (2006) een investering van 4.75 tot 8.66 uur aan summatieve toetstijd per schooljaar per leerling. Voor 225 kinderen in een Nederlandse school zou dit in een gunstig geval kunnen neerkomen op ongeveer 1000 uur toetstijd per schooljaar.

Wat doe je dan als je vanwege bezuinigingen één fte verliest? Daar komt bij dat Abrams (2007) stelt dat systemen op basis van summatieve toetsen relatief weinig bruikbare informatie bevatten om het leren van leerlingen te verbeteren. Dit is ook eigenlijk de ervaring in Nederland. Ondervang deze gevaren: 

  • Gebruik het cito-leerlingvolsysteen als een eenvoudig, niet tijdrovend signaleringssysteem en veel minder als een diagnostisch systeem. 
  • Vervang summatieve toetstijd zo veel mogelijk door diagnostische gesprekken met de leerlingen en procesgerichte observatie. Bij een getal uit een summatieve toets ben je veelal te laat voor adequate hulp. Meten is vaak niet meer weten.
  • Vraag je af wat landelijke toetsen eigenlijk meten? Belangrijk is het, om binnen het team de toetskalender bij te stellen: welke toetsen wél en welke toetsen niet? Het ‘werkformat OMJS’ (www.onderwijsmaakjesamen.nl), met een overzicht van mogelijke toetsdoelen per landelijke toets, kan hierbij ondersteunend zijn en draagt bij aan je bewustwording en goed gebruik. 
  • Ga niet zomaar mee in de te snelle normveranderingen van Cito, waardoor een grotere groep kinderen die eerder goed presteerden opeens bij de zorgleerlingen gaat behoren en het aanbod alweer aangepast moet worden.
  • Veel ouders zijn summatieve toetsresultaten helaas als de belangrijkste uitkomst van het leren en welbevinden van hun kind gaan zien. Wat doen we met deze onjuiste beeldvorming van ouders dat toetsopbrengsten ook de leeropbrengsten zouden zijn? 
  • Er zullen op bestuursniveau afspraken gemaakt moeten worden over de visie van het schoolteam op opbrengstgericht werken, methodegebonden toetsen, methode-onafhankelijke toetsen, procesgerichte observatie en het gebruik van toets- en leerresultaten. Wat is wat precies en waarvoor mag je het gebruiken? (Cremers, M.2013). Doe je dit niet dan loopt het enorm uit de tijd en wordt de werkdruk van leraren onhoudbaar groot.

Individuele leerlingen 

De nieuwste versie van het Cito-toetssysteem gaat in de goede richting voor aanvaardbare summatieve methode-onafhankelijke toetsing:

de individuele vooruitgang in toetsscores van individuele leerlingen komt immers in beeld en er wordt ook een verband aangebracht met bepaalde leerinhouden, waardoor je eindelijk vanuit cito-gegevens keuzes voor wenselijke leeraanbod kunt maken.

In de Cito-publicatie 'Toetsopbrengsten op school; Primair onderwijs' (Hollenberg, 2011) vind je de uitleg hierover. Daarmee kun je de onderlinge vergelijking van leerlingen uitbannen en gaan koersen op de eigen ontwikkeling van leerlingen. Dat kan alleen als dat qua tijd haalbaar blijft; groepsgewijze individuele leerlijnen zijn illusies van mensen achter bureaus of computers. Met het grootste gemak verandert Cito overigens weer toetsscores in dé vaardigheidscores. Maak dus zelf nog steeds een onderscheid tussen toetsopbrengsten, leeropbrengsten en vaardigheden. 

Op vaardigheidsschalen per vakgebied worden in de nieuwste Cito-opzet vaardigheidscores en concrete toetsopgaven in een 'lijn' gezet. Daarmee kun je onder andere de volgende toetsopbrengsten aflezen:

  • Vergelijk de leerling met zichzelf: de mate van vooruitgang in toetsscores van de ene periode vergelijken met de mate van vooruitgang in een vorige periode. De groei of stagnatie in toetsscores per leerling.
  • De toetsopbrengsten ten opzichte van een landelijke normgroep: is achterstand of voorsprong van de individuele leerling ten opzichte van de normgroep veranderd? Groei of stagnatie in toetsscores ten opzichte van een normgroep.
  • De onderwijsinhoud: welk niveau van toetsopgaven beheerst de leerling? Cito noemt dit de beheersing in termen van een 'vaardigheidsniveau' Verder: bereikt de leerling in het geconstateerde tempo de gestelde tussen- en eindopbrengsten in toetsscores? Groei of stagnatie in toetsscores ten opzichte van de beoogde tussen- en eindopbrengsten?

Groepsplannen 

Veel methoden in de basisschool werken met een BEHV-model: Basisstof, Evaluatie, Herhaling en Verrijking. Daarmee kun je achterblijvers, methodevolgers en voorlopers bedienen. En je kunt daarmee ook op een haalbare wijze de aandacht voor excellentie en begaafdheid een plaats geven. En dit zowel op korte, middellange en lange termijn via lessen, thema's en blokken van de methode.

Zo bevat Veilig Leren lezen een mogelijke groepsindeling van methodevolgers in de Maangroep (+raket), de Zongroep (voorlopers) en de Stergroep (achterblijvers). Daarmee is een convergent differentiatiemodel beschikbaar, uitvoerbaar en haalbaar en is de bepaling van de leerbehoeften van de leerlingen in termen van de mogelijkheden van de methode beschikbaar en is zelfs een methodegebonden leerlingvolgsysteem voorhanden.

Dergelijke voorzieningen maken remedial teaching praktisch mogelijk en effectvol, waarbij de voorbereidingstijd in de hand wordt gehouden. Ik heb nooit de noodzaak tot invoering van groepsplannen begrepen; vroeger noemde we dat differentiëren.  De' Leerlingrapportages' en 'Groepsrapporten' van het nieuwste Cito-systeem zouden gebruikt kunnen worden voor het maken van globale subgroepoverzichten in het kader van de 1-zorgroute: wie geef ik meer/minder en welke aandacht de komende tijd op een bepaald vakgebied of ten aanzien van een onderdeel van de leerstof? 

Welke vragen zou je in het kader van groepsplannen en de 'Remedial Teaching' met behulp van het Cito-systeem nog meer kunnen stellen? (en beantwoorden).

  • De spreiding van de toetsscores in de groepen? 
  • Een analyse van gemaakte opgaven met behulp van de inhoudsverantwoording bij de toetsopbrengsten en de leerlijn in de eigen methode. Zijn de opgaventypen al aan bod geweest? Dit is een krachtige mogelijkheid.
  • Welke opgaven van een bepaald vaardigheidsniveau kunnen leerlingen nog wel en niet meer maken? En wat gaan we daaraan doen in de klas en in de remedial teaching? Dit is een krachtige mogelijkheid, waardoor het cito-systeem toch een combinatie van signaleringen, diagnosticeren en behandelen is geworden.

Er zijn nog veel meer onderzoeksvragen mogelijk in het Cito-systeem in het kader van je individuele hulpverlening en het ‘groepsplan’. Maak een keuze uit deze vele mogelijkheden, passend bij de onderwijsvisie van de school, de beschikbare tijd voor toetsing en toetsbespreking en voor het zorgbeleid. We ontkomen niet aan de indruk dat de makers van het nieuwe Cito-systeem met veel plezier voluit zijn gegaan bij het veranderen van menselijk gedrag in getallen. 

Tot slot: volg in het onderwijs geen fabrieksmatig model

Fabrieksmatige scholen werden ooit gemodelleerd naar een industrieel productiesysteem en opgezet als een selectie en sorteersysteem voor kinderen. Leerkrachten zorgden voor de leerinformatie en toetsten alle leerlingen op hetzelfde moment, om te bepalen welke kinderen de hoogste, gemiddelde en laagste niveaus haalden op schriftelijke toetsen. 

In zulke schoolomgevingen zullen veel leerlingen zicht ontmoedigd voelen, vooral degenen met de laagste toetsscores. Die voelen zich vaak angstig, zonder zelfvertrouwen en interesse. Op het moment dat ze worden 'uitgeschakeld' door het toetssysteem ervaren ze verveling en ontwijken het leren en extra inzet. Er is daardoor veel schooluitval.

Volwassenen dienen kinderen niet onderling te vergelijken.

Er moet minder accent komen te liggen op externe toetsen en deadlines. Essentieel is de interesse en motivatie om te leren in creatieve leergemeenschappen (Chase, C. 2014).

Aanbevelingen 

  • Gebruik toetsing niet voor de onderlinge vergelijking van leerlingen, leraren en scholen. Dat leidt tot perverse onderwijssystemen.
  • Gebruik de Cito-toetsen alleen voor eenvoudige en weinig tijdvragende signalering van methode-onafhankelijke toetsresultaten. 
  • Blijf kritisch op de afzonderlijke toetsen en gebruik ze echt niet als je intuïtie aangeeft, na een langer gezamenlijk gebruik in het team, dat een toets niet klopt.
  • Bombardeer toetsopbrengsten niet tot dé leeropbrengsten en dé vaardigheden. Cito-toetsen zijn kennelijk vaardigheidstoetsen, maar zijn niet dé vaardigheden, want dan zouden we alle methoden de deur uit moeten doen.
  • Ga gebruik maken van de nieuwe mogelijkheden van vaardigheidsgroei van het Cito-leerlingvolgsysteem ook voor de individuele hulpverlening en groepsplannen voor signalering, maar kom niet om in een grote hoeveelheid toetsinformatie. 
  • Houdt de totale toetstijd in de school in de gaten. Voorstel: bij een aantal van 225 leerlingen niet meer dan 500 uur. Gebruik niet meer dan de 5 verplichte summatieve toetsen en een beperkt aantal vragen voor de analyse van de toetsresultaten. 
  • Ik vind verder dat het idee van groepsplannen en passend Onderwijs in Nederland uit de hand loopt. Het kan veel te tijdsintensief worden en onhaalbaar voor mensen. 
  • Vervang summatieve toetsing met landelijke toetsen zoveel mogelijk door diagnostische observatie aan de hand van kijkwijzers en methodegebonden toetsing in de klas. En summatieve resultaatmeting is eigenlijk vaak droogzwemmen als je niet weet hoe leerlingen leren en hoe het is gesteld met hun motivatie. 
  • Bespreek dit discussieartikel in het schoolteam in het kader van het zorgbeleid en de rol van de remedial teaching. Maak zelf de beredeneerde keuzen en laat je niet wegcijferen! 

 

Geraadpleegde literatuur

•    Abrams , L.M. (2007) Implications of high stakes testing for the use of formative classroom assesment,. In J.H. Mc.Millan (ed , Formative classroom assessmentL Theory into Practice New Yotk: Teachers College Press.
•    Alexander, R. (2012) International Evidence, National Policy and Classroom Practice: questions of Judgement, Vision and Trust.
•    Beck, I.McKeown, M. G. & Kucan, L. (2002) Bringing words to life; Robust Vocabulary Instruction. Guilford Press. 
•    Browne, Cihi, Culligan (2007) Measuring Vocabulary Size via Online Technology. Lexica.
•    Chase, C. (2014) How Our Brains Learn.
•    Chomsky, N. (2015) https://www.youtube.com/watch?v=9JVVRWBekYo
•    Cremers. M. (2013) : http://www.onderwijsmaakjesamen.nl/actueel/toets-je-goed-of-omdat-het-moet/
•    Dalporto, D. (2013) Finlands A+ Schools; https://www.facebook.com/photo.php?fbid=572110759487424
•    Hollenberg , J. Lubbe, M. van der; Sanders. P (2011) Toetsopbrengsten op school. Primair Onderwijs; Cito.
•    PO actueel, (2012) Cito Opbrengstgericht werken: zélf doelen stellen.
•    Ravitch, D. (2011) The Death and Life of the great Amercian Schoolsystem; how Testing and Choice are Undermining Education.
•    Sahlberg, P. (2012) Finnish Lessons: What Can the World Learn from Educational Change in Finland?
•    Zellmer, M.B. Frontier, A & Pheifer, D. (2006) What are NCLB's instructional costs? Educational Leadership 64 (3), 43-46.
•    Verslag van een Thema-avond Toetsen; Cito-Informatie n.a.v. vragen over toetsen en afnamecondities bij toetsen; OMJS, september 2013.

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Congres
Kleuters met een ontwikkelingsvoorsprong
Kleuters met een ontwikkelingsvoorsprong
Begeleiden van kiene kleuters in de klas
Medilex Onderwijs 
E-learning module
Zo doe je een ontwikkelingsgerichte audit
Zo doe je een ontwikkelingsgerichte audit
Gratis korte module met downloads
Wij-leren.nl Academie 
Tegenvallende toetsresultaten
De resultaten vallen tegen. Wat nu?.
Jos Cöp
Voorbereiden op toetsen
Toetstekst als leesgenre Voorbereiding lees- en woordenschattoetsen.
Karin van de Mortel
Opbrengst toetsen en doel van onderwijs
Toetsen maken: Dat is niet het doel van ons onderwijs!.
Dolf Janson
Volgen van de ontwikkeling
Volgen van ontwikkeling: evalueren - normeren - LVS - rapportage
Arja Kerpel
Werkdruk oplossen
15 tips voor het oplossen van werkdruk in het onderwijs
Paul Filipiak
Leerwinst formatief toetsen
Grotere leerwinst door begeleiding leerkrachten bij gebruik formatieve toetsen
Annemieke Top
Toetsuitslag interpreteren
Leren van de toetsuitslag
Eveline van Baalen
Woordenschattoets
Onduidelijk wat de Cito-woordenschattoets meet
Paul Filipiak
Regeldruk en administratie
Regeldruk en administratie: 5 vragen
Machiel Karels
Onderwijstijdschrift JSW
100 jaar onderwijstijdschrift JSW
Machiel Karels
Citoscore hanteren
Citoscore hanteren
Sieneke Goorhuis
Citoscore misverstanden
Meten is niet alles weten
Teije de Vos
Teaching to the test
De vicieuze cirkel van teaching to the test
Marjolein Zwik
Route 8 en IEP eindtoets
Wat valt er te kiezen naast de Centrale Eindtoets Basisonderwijs?
Gerdineke van Silfhout
Summatieve toetsing op weg naar zelfstandigheid
De plek van summatieve toetsing op de weg naar zelfstandigheid
Dominique Sluijsmans
Belemmeringen prettig leerklimaat hoger onderwijs
Belemmeringen voor effectief en plezierig leerklimaat in het hoger onderwijs
Joost van der Horst
Beoordeling LVS-toetsen rekenen-wiskunde (6)
Beoordeling LVS-toetsen Rekenen-Wiskunde (6)
Corine Treffers
Beoordeling LVS-toetsen hoofdrekenen en overig (7)
Beoordeling LVS-toetsen Hoofdrekenen en overige specifieke vaardigheden (7)
Corine Treffers
Beoordeling LVS-toetsen rekenen-wiskunde (6)
Beoordeling LVS-toetsen Rekenen-Wiskunde (6)
Corine Treffers
Beoordeling LVS-toetsen hoofdrekenen en overig (7)
Beoordeling LVS-toetsen Hoofdrekenen en overige specifieke vaardigheden (7)
Corine Treffers
Feedback je wijzer
Feedback je wijzer!
Karen Heij
Leraren zijn net echte mensen
Leraren zijn net echte mensen -
Arja Kerpel
Toetsrevolutie
Toetsrevolutie - Naar een feedbackcultuur in het voortgezet onderwijs
Helèn de Jong
Leraren hebben meer vakantie
Leraren hebben meer vakantie dan mensen die werken
Arja Kerpel
DTT niet formatief
Wat kunnen we met de Diagnostische Tussentijdse Toets?
Karen Heij
Minder standaardtesten
Standaardtesten in het onderwijs. Moet dat nou?
Dick van der Wateren
Een sober leerlingvolgsysteem
Een sober leerling- en onderwijsvolgsysteem, dat kan en mag!
Teije de Vos
Wat van waarde is in onderwijs op afstand
Over wat van waarde is in onderwijs op afstand
Rijk van Ommeren


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
redactie
[extra-breed-algemeen-kolom2]



cito
cito-score
normering
observatiemethoden
observeren
opbrengstgericht werken
teaching to the test
toetsen
toetskalender

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest