Oorzaken verschuiving normen LVS-toetsen nader bekeken

Jacqueline Visser

Marktgroepmanager basisonderwijs bij Cito

 

  Geplaatst op 1 juni 2014

Hollenberg, J. Papenburg, I. Visser, J. (2014). Oorzaken verschuiving normen LVS-toetsen nader bekeken.
Geraadpleegd op 20-01-2018,
van https://wij-leren.nl/update-normen-reactie-cito.php

Dit artikel is mede geschreven door Ilse Papenburg en Judith Hollenberg.

Update normeringen

Nadat bleek dat de normen van een aantal toetsen niet meer aansloten bij de huidige situatie, heeft Cito vorig schooljaar voor de eerste keer een update van normen uitgebracht. Ook dit jaar is voor een aantal toetsen een update van de normen nodig. Scholen, maar ook wij bij Cito, zijn benieuwd waarom de normen verschuiven en hoe vaak een update van de normen ongeveer nodig zal zijn. Om een beter antwoord op deze vragen te krijgen, hebben we onderzocht hoe snel en wanneer normen slijten. In dit artikel delen we graag onze bevindingen. Ook behandelen we daarnaast, mede naar aanleiding van het artikel ‘Update van de Citonormen: inflatie van de vaardigheidsscore en de desastreuze gevolgen voor het onderwijs’, enkele misverstanden rondom de update van de normen. 

Onderzoek naar verschuiven van normering 

Cito heeft bestudeerd hoe de resultaten van verschillende toetsen zich de afgelopen jaren hebben ontwikkeld. Hier bespreken we de resultaten van de toetsen Begrijpend lezen. Voor het onderzoek zijn toetsresultaten Begrijpend lezen van ruim 1,3 miljoen leerlingen gebruikt. De toetsresultaten vanaf schooljaar 2006-2007 tot en met 2011-2012 zijn bekeken. Ook hebben we de ‘echte’ toetsresultaten naast de resultaten uit het normeringsonderzoek gelegd.

Verschillende oorzaken

Analyses laten zien dat met name het eerste jaar nadat de toets verschijnt de begrijpend leesprestaties toenemen ten opzichte van de normering. De jaren erna neemt de gemiddelde score en de verdeling van de scores op een afnamemoment minder sterk toe. Vlak na het verschijnen van de toets treedt dus een sprong op. Daarna kruipen de scores ieder jaar verder omhoog. 
Een veelgehoorde verklaring van scholen voor het verschuiven van de normering is dat het onderwijs zich richt op de toets. Dit zal zeker meespelen, maar aangezien de grote sprong direct na het verschijnen optreedt, dus op het moment dat de inhoud van de toets nog nieuw is voor de leerkrachten, moet er een ook andere oorzaak zijn. 

Een aannemelijke verklaring voor de sprong is dat leerlingen bij een normeringsonderzoek weten dat ‘de toets niet meetelt’ en daardoor minder gemotiveerd de toets maken dan wanneer ze ‘echt’ de toets maken. Voor de geleidelijke verschuiving die optreedt als de toets langere tijd op de markt is zijn meerdere oorzaken zoals veranderingen in het aanbod (sommige (onderdelen van) vakgebieden worden (weer) belangrijker, andere verschuiven naar de achtergrond) en de toename van het belang dat gehecht wordt aan toetsresultaten. Ook zijn scholen zich door de toetsresultaten bijvoorbeeld bewuster van hiaten in hun onderwijs. Scholen benutten zo de toetsresultaten door in hun aanbod extra aandacht aan deze hiaten te besteden. Dit heeft een positief effect op de scores van de leerlingen. 

Wat doet Cito aan het schuiven van de normering?

Om de sprong in de normering bij het verschijnen van de toets te beperken, pakt Cito sinds een tijd het normeren van de toetsen anders aan. Het normeringsonderzoek combineren we met de echte afname. De leerling krijgt een toetsboekje en weet niet welke opgaven bestaande opgaven zijn - en dus meetellen - en welke opgaven nieuw zijn - en dus horen bij het normeringsonderzoek. Zo zal de leerling de nieuwe opgaven voor het normeringsonderzoek net zo gemotiveerd maken als de ‘echte’ toetsopgaven die meetellen voor hun score. Daarnaast blijft Cito jaarlijks controleren of de normering nog past bij de huidige situatie. Wanneer uit dataretourgegevens blijkt dat de normen niet meer aansluiten bij scores die leerlingen van nu halen, volgt er een update. Onze hoop is dat dankzij de nieuwe wijze van normeren in de toekomst niet al te vaak een update nodig zal zijn. 

Misverstanden rondom de update van de normen

Met de update van de normen is een vaardigheidsscore minder waard
Bij het volgen van de leerlingen staan vaardigheidsscores centraal. Met de update van de normen veranderen de vaardigheidsscores niet. Een leerling die nu een vaardigheidsscore 42 haalt, kan nog net zoveel als een leerling die een paar jaar geleden een zelfde vaardigheidsscore haalde. Beide leerlingen hebben immers hetzelfde aantal opgaven goed. 

Met de update van de normen veranderen wel de vaardigheidsniveaus. Wanneer een leerling eerst een vaardigheidsniveau II behaalde, kan het zijn dat een leerling met dezelfde score nu een vaardigheidsniveau III behaalt. Eerst was een score 42 bovengemiddeld. Met de nieuwe normen valt die score onder de noemer ‘gemiddeld’. Nogmaals: Dit betekent niet dat die leerling opeens minder kan. Dit betekent alleen dat er nu meer leerlingen zijn met een hogere score dan de leerling. Vaardigheidsniveaus zijn een hulpmiddel om de positie van de leerling ten opzichte van andere leerlingen inzichtelijk te maken. Ze zijn uitdrukkelijk niet bedoeld om een waardering of oordeel aan een toetsresultaat te hangen. 

Dat normen zijn verschoven komt vooral door ‘teaching to the test’
Het verschuiven van de normen heeft verschillende oorzaken. Wat precies de invloed per oorzaak is, is niet vast te stellen. Dat het onderwijs zich richt op de inhoud van de toets speelt zeker een rol, maar dit is niet de enige verklaring. Uit het bovengenoemde onderzoek blijkt immers dat de grootste verschuiving in de normering zich voordoet tussen het normeringsonderzoek en het moment van de eerste toetsafnames na de uitgave. Op dat moment hebben scholen nog geen tijd gehad om het half jaar ervoor het onderwijs af te stemmen op de toetsvragen. Teaching to the test kan dus geen verklaring zijn voor deze grote verschuiving. 
Voor de geleidelijke verschuiving die hierna optreedt zijn, zoals hierboven vermeld, meerdere verklaringen waarvan teaching to the test er slechts één van is. 

Scholen zijn verplicht om vanaf 1 augustus 2014 de update van de normen te gebruiken
Met de makers van leerlingvolgsystemen is afgesproken dat zij de update van de normen uiterlijk op 1 augustus in hun systemen hebben ingebouwd. Dit betekent niet dat scholen verplicht zijn op de nieuwe normen over te stappen. De afspraak is gemaakt om alle scholen de mogelijkheid te geven om met de meest recente gegevens te kunnen werken en zo dus optimale informatie uit de toets te halen. Elke school kiest zelf -  in samenspraak met het schoolbestuur -  wanneer, voor welke groepen en hoe zij de update van de normen willen hanteren. 

Met de nieuwe normen zorgt Cito dat de inspectienormen hoger worden
Cito maakt geen inspectienormen. De inspectie bepaalt de normen door te kijken naar recente gegevens over de gemiddelde toetsscores. Doordat de inspectienormen de afgelopen jaren wel hoger werden, en de normen van Cito gelijk bleven, ontstonden rare situaties. In vergelijking met de ‘oude’ normen leek het soms alsof scholen boven het landelijk gemiddelde moesten scoren om aan de ondergrens van de inspectie te voldoen. Met de update van de normen zijn de normen bij de toetsen meer in lijn met de normen van de inspectie. 

Wanneer houdt het op?

Als reactie op de update van de normen krijgen wij bij Cito dikwijls de vraag of scholen nog hoger moeten scoren. “Is het dan nooit genoeg, wanneer houdt het op?” en “Moeten onze leerlingen echt nog meer hun best doen?“. Wij zien ook dat scholen er alles aan doen om het optimale uit hun leerlingen te halen. Scholen stellen ambitieuze doelen, maar daar zitten natuurlijk grenzen aan.  Doordat gestelde doelen dikwijls rechtstreeks gekoppeld worden aan het landelijk gemiddelde en/of aan de relatieve normen I t/m V en A t/m E, ontstaat het beeld dat scholen steeds hoger moeten scoren. Een oplossing is om te kijken naar absolute normen. Hiermee vergelijk je leerlingen met een vaste beheersingsstandaard. Een voorbeeld hiervan zijn de referentieniveaus. Bij de LVS-toetsen Rekenen-Wiskunde en Begrijpend lezen zullen we begin 2015 aangeven bij welke vaardigheidsscores de referentieniveaus 1F en 1S/2F horen. Zo heeft u in de toekomst een meer ‘vaste’ houvast bij het stellen van doelen. 

Verder lezen?

- Jos Keuning, Maartje Hilte en Anke Weekers (2014). Begrijpend leesprestaties onderzocht – Een analyse op basis van Cito dataretour. Tijdschrift voor Orthopedagogiek, nummer 53 (2014), 2-13

- Jacqueline Visser (2014). Toetsen en normeringen: enkele misstanden opgehelderd. Basisschoolmanagement Jaargang 02/2014

Hollenberg, J. Papenburg, I. Visser, J. (2014). Oorzaken verschuiving normen LVS-toetsen nader bekeken.
Geraadpleegd op 20-01-2018,
van https://wij-leren.nl/update-normen-reactie-cito.php

Gerelateerd

Leeropbrengsten verhogen middels de Citotoetsen
Leeropbrengsten verhogen middels de Citotoetsen
De Citotoetsen komen er weer aan……
BCO Onderwijsadvies 
Teaching to the test
De vicieuze cirkel van teaching to the test
Marjolein Zwik
Citoscore misverstanden
Meten is niet ŕlles weten
Teije de Vos
De inspectie gaat mank
De inspectie hinkt op twee benen
Ewald Vervaet
Leerlingvolgsysteem
Leerlingvolgsysteem: dat wordt een stuk makkelijker!
Teije de Vos
Onderzoekende leraar
Op weg naar opbrengstveroorzakend onderwijs?
Dolf Janson
Kwaliteit met NSCCT
Het organiseren van onderwijskwaliteit met de NSCCT
Herman Kolthof
Uitleg DLE
Het verantwoord gebruik van DLE’s
Gerard Melis
DLE kritiek weerlegd
De kritiek op DLE’s weerlegd
Gerard Melis
Goede schoolteksten
Een goede schooltekst. Het begin van goed leesonderwijs.
Gerdineke van Silfhout
Update Citonormen
Update van de Cito-normen: inflatie en desastreuze gevolgen
Marjolein Zwik
Onderwijsinspectie eindtoets
Visie van de onderwijsinspectie op de Cito eindtoets
Arnold Jonk
Publicatie eindtoets
Rankinglijst scores eindtoets verwerpelijk
Machiel Karels










Effect eindadvies basisschool
Eindadvies basisschool: wat doet dat met een kind?
Effecten van formatief evalueren
Wat zijn de effecten van formatief evalueren?
Factoren die de Cito-eindtoets beinvloeden
Welke factoren spelen een rol bij de resultaten van de Cito-eindtoets of de centrale eindtoets PO?
Formatieve toetsing
Hoe kan het onderwijs met succes formatieve toetsing inzetten?
meerwaarde woordenschat citotoetsen
Heeft het toetsen van de woordenschat meerwaarde voor de woordenschatontwikkeling?
Formatief toetsen po
Selfassessment voor formatief toetsen van basisschoolleerlingen
Toetsen-leertrajecten
Gebruik van toetsen bij het plannen van leertrajecten
Opleiden in de school
Effecten van het opleiden in de school
Leren van teksten
Zelftoetsen voor het effectiever leren van teksten
Begrip door zelftoetsen
Beter begrip van informatie in teksten door zelftoetsen
Leren met zelftoetsen
Samenhang expertiseniveau leerling bij leren met zelftoetsen
Schrijfonderwijs basisschool
Beter schrijfonderwijs op de basisschool
Computer Adaptieve Oefentoetsen
Onderwijsdifferentiatie met Computer-Adaptieve Oefentoetsen met docentenfeedback
Samenstelling klas
Samenstelling van de klas en cognitieve en sociaal-emotionele uitkomsten
Opbrengstgericht werken
Opbrengstgericht werken: van beleidsspeerpunt tot de uitvoering in de groep
Schrijf in voor de nieuwsbrief
[extra-breed-algemeen-kolom2]




Update normeringen



Inschrijven nieuwsbrief


Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook

Mis geen bijdragen.