Oorzaken verschuiving normen LVS-toetsen nader bekeken

Jacqueline Visser

Marktgroepmanager basisonderwijs bij Cito

 

  Geplaatst op 1 juni 2014

Dit artikel is mede geschreven door Ilse Papenburg en Judith Hollenberg.

Update normeringen

Nadat bleek dat de normen van een aantal toetsen niet meer aansloten bij de huidige situatie, heeft Cito vorig schooljaar voor de eerste keer een update van normen uitgebracht. Ook dit jaar is voor een aantal toetsen een update van de normen nodig. Scholen, maar ook wij bij Cito, zijn benieuwd waarom de normen verschuiven en hoe vaak een update van de normen ongeveer nodig zal zijn. Om een beter antwoord op deze vragen te krijgen, hebben we onderzocht hoe snel en wanneer normen slijten. In dit artikel delen we graag onze bevindingen. Ook behandelen we daarnaast, mede naar aanleiding van het artikel ‘Update van de Citonormen: inflatie van de vaardigheidsscore en de desastreuze gevolgen voor het onderwijs’, enkele misverstanden rondom de update van de normen. 

Onderzoek naar verschuiven van normering 

Cito heeft bestudeerd hoe de resultaten van verschillende toetsen zich de afgelopen jaren hebben ontwikkeld. Hier bespreken we de resultaten van de toetsen Begrijpend lezen. Voor het onderzoek zijn toetsresultaten Begrijpend lezen van ruim 1,3 miljoen leerlingen gebruikt. De toetsresultaten vanaf schooljaar 2006-2007 tot en met 2011-2012 zijn bekeken. Ook hebben we de ‘echte’ toetsresultaten naast de resultaten uit het normeringsonderzoek gelegd.

Verschillende oorzaken

Analyses laten zien dat met name het eerste jaar nadat de toets verschijnt de begrijpend leesprestaties toenemen ten opzichte van de normering. De jaren erna neemt de gemiddelde score en de verdeling van de scores op een afnamemoment minder sterk toe. Vlak na het verschijnen van de toets treedt dus een sprong op. Daarna kruipen de scores ieder jaar verder omhoog. 
Een veelgehoorde verklaring van scholen voor het verschuiven van de normering is dat het onderwijs zich richt op de toets. Dit zal zeker meespelen, maar aangezien de grote sprong direct na het verschijnen optreedt, dus op het moment dat de inhoud van de toets nog nieuw is voor de leerkrachten, moet er een ook andere oorzaak zijn. 

Een aannemelijke verklaring voor de sprong is dat leerlingen bij een normeringsonderzoek weten dat ‘de toets niet meetelt’ en daardoor minder gemotiveerd de toets maken dan wanneer ze ‘echt’ de toets maken. Voor de geleidelijke verschuiving die optreedt als de toets langere tijd op de markt is zijn meerdere oorzaken zoals veranderingen in het aanbod (sommige (onderdelen van) vakgebieden worden (weer) belangrijker, andere verschuiven naar de achtergrond) en de toename van het belang dat gehecht wordt aan toetsresultaten. Ook zijn scholen zich door de toetsresultaten bijvoorbeeld bewuster van hiaten in hun onderwijs. Scholen benutten zo de toetsresultaten door in hun aanbod extra aandacht aan deze hiaten te besteden. Dit heeft een positief effect op de scores van de leerlingen. 

Wat doet Cito aan het schuiven van de normering?

Om de sprong in de normering bij het verschijnen van de toets te beperken, pakt Cito sinds een tijd het normeren van de toetsen anders aan. Het normeringsonderzoek combineren we met de echte afname. De leerling krijgt een toetsboekje en weet niet welke opgaven bestaande opgaven zijn - en dus meetellen - en welke opgaven nieuw zijn - en dus horen bij het normeringsonderzoek. Zo zal de leerling de nieuwe opgaven voor het normeringsonderzoek net zo gemotiveerd maken als de ‘echte’ toetsopgaven die meetellen voor hun score. Daarnaast blijft Cito jaarlijks controleren of de normering nog past bij de huidige situatie. Wanneer uit dataretourgegevens blijkt dat de normen niet meer aansluiten bij scores die leerlingen van nu halen, volgt er een update. Onze hoop is dat dankzij de nieuwe wijze van normeren in de toekomst niet al te vaak een update nodig zal zijn. 

Misverstanden rondom de update van de normen

Met de update van de normen is een vaardigheidsscore minder waard
Bij het volgen van de leerlingen staan vaardigheidsscores centraal. Met de update van de normen veranderen de vaardigheidsscores niet. Een leerling die nu een vaardigheidsscore 42 haalt, kan nog net zoveel als een leerling die een paar jaar geleden een zelfde vaardigheidsscore haalde. Beide leerlingen hebben immers hetzelfde aantal opgaven goed. 

Met de update van de normen veranderen wel de vaardigheidsniveaus. Wanneer een leerling eerst een vaardigheidsniveau II behaalde, kan het zijn dat een leerling met dezelfde score nu een vaardigheidsniveau III behaalt. Eerst was een score 42 bovengemiddeld. Met de nieuwe normen valt die score onder de noemer ‘gemiddeld’. Nogmaals: Dit betekent niet dat die leerling opeens minder kan. Dit betekent alleen dat er nu meer leerlingen zijn met een hogere score dan de leerling. Vaardigheidsniveaus zijn een hulpmiddel om de positie van de leerling ten opzichte van andere leerlingen inzichtelijk te maken. Ze zijn uitdrukkelijk niet bedoeld om een waardering of oordeel aan een toetsresultaat te hangen. 

Dat normen zijn verschoven komt vooral door ‘teaching to the test’
Het verschuiven van de normen heeft verschillende oorzaken. Wat precies de invloed per oorzaak is, is niet vast te stellen. Dat het onderwijs zich richt op de inhoud van de toets speelt zeker een rol, maar dit is niet de enige verklaring. Uit het bovengenoemde onderzoek blijkt immers dat de grootste verschuiving in de normering zich voordoet tussen het normeringsonderzoek en het moment van de eerste toetsafnames na de uitgave. Op dat moment hebben scholen nog geen tijd gehad om het half jaar ervoor het onderwijs af te stemmen op de toetsvragen. Teaching to the test kan dus geen verklaring zijn voor deze grote verschuiving. 
Voor de geleidelijke verschuiving die hierna optreedt zijn, zoals hierboven vermeld, meerdere verklaringen waarvan teaching to the test er slechts één van is. 

Scholen zijn verplicht om vanaf 1 augustus 2014 de update van de normen te gebruiken
Met de makers van leerlingvolgsystemen is afgesproken dat zij de update van de normen uiterlijk op 1 augustus in hun systemen hebben ingebouwd. Dit betekent niet dat scholen verplicht zijn op de nieuwe normen over te stappen. De afspraak is gemaakt om alle scholen de mogelijkheid te geven om met de meest recente gegevens te kunnen werken en zo dus optimale informatie uit de toets te halen. Elke school kiest zelf -  in samenspraak met het schoolbestuur -  wanneer, voor welke groepen en hoe zij de update van de normen willen hanteren. 

Met de nieuwe normen zorgt Cito dat de inspectienormen hoger worden
Cito maakt geen inspectienormen. De inspectie bepaalt de normen door te kijken naar recente gegevens over de gemiddelde toetsscores. Doordat de inspectienormen de afgelopen jaren wel hoger werden, en de normen van Cito gelijk bleven, ontstonden rare situaties. In vergelijking met de ‘oude’ normen leek het soms alsof scholen boven het landelijk gemiddelde moesten scoren om aan de ondergrens van de inspectie te voldoen. Met de update van de normen zijn de normen bij de toetsen meer in lijn met de normen van de inspectie. 

Wanneer houdt het op?

Als reactie op de update van de normen krijgen wij bij Cito dikwijls de vraag of scholen nog hoger moeten scoren. “Is het dan nooit genoeg, wanneer houdt het op?” en “Moeten onze leerlingen echt nog meer hun best doen?“. Wij zien ook dat scholen er alles aan doen om het optimale uit hun leerlingen te halen. Scholen stellen ambitieuze doelen, maar daar zitten natuurlijk grenzen aan.  Doordat gestelde doelen dikwijls rechtstreeks gekoppeld worden aan het landelijk gemiddelde en/of aan de relatieve normen I t/m V en A t/m E, ontstaat het beeld dat scholen steeds hoger moeten scoren. Een oplossing is om te kijken naar absolute normen. Hiermee vergelijk je leerlingen met een vaste beheersingsstandaard. Een voorbeeld hiervan zijn de referentieniveaus. Bij de LVS-toetsen Rekenen-Wiskunde en Begrijpend lezen zullen we begin 2015 aangeven bij welke vaardigheidsscores de referentieniveaus 1F en 1S/2F horen. Zo heeft u in de toekomst een meer ‘vaste’ houvast bij het stellen van doelen. 

Samenvatting

Dit artikel, mede geschreven door Ilse Papenburg en Judith Hollenberg, belicht de update van normen in het onderwijs, vooral gericht op de toetsen van Cito. Het onderzoek naar verschuivingen in normering toont aan dat leerlingen beter presteren direct na de uitgave van de toets, mogelijk door minder motivatie tijdens normeringsonderzoek. Scholen richten zich op de toetsinhoud, maar andere factoren zoals veranderingen in het onderwijsaanbod spelen ook een rol. Cito past normering aan door echte afnames te combineren met normeringsonderzoek en regelmatig te controleren op actualiteit. Misverstanden, zoals dat vaardigheidsscores minder waard worden, worden rechtgezet. Scholen zijn niet verplicht om direct over te stappen op nieuwe normen, en Cito maakt geen inspectienormen. Het artikel pleit voor een meer absoluut beoordelingskader zoals referentieniveaus, om realistische doelen te stellen zonder voortdurende druk tot verbetering.

Verder lezen?

- Jos Keuning, Maartje Hilte en Anke Weekers (2014). Begrijpend leesprestaties onderzocht – Een analyse op basis van Cito dataretour. Tijdschrift voor Orthopedagogiek, nummer 53 (2014), 2-13

- Jacqueline Visser (2014). Toetsen en normeringen: enkele misstanden opgehelderd. Basisschoolmanagement Jaargang 02/2014

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Congres
Kleuters met een ontwikkelingsvoorsprong
Kleuters met een ontwikkelingsvoorsprong
Begeleiden van kiene kleuters in de klas
Medilex Onderwijs 
E-learning module
Wat is formatieve evaluatie?
Wat is formatieve evaluatie?
Online module over formatieve evaluatie
Wij-leren.nl Academie 
Goede schoolteksten
Een goede schooltekst. Het begin van goed leesonderwijs.
Gerdineke van Silfhout
De inspectie gaat mank
De inspectie hinkt op twee benen
Ewald Vervaet
Leerlingvolgsysteem
Leerlingvolgsysteem: dat wordt een stuk makkelijker!
Teije de Vos
Citoscore misverstanden
Meten is niet alles weten
Teije de Vos
Onderzoekende leraar
Op weg naar opbrengstveroorzakend onderwijs?
Dolf Janson
Uitleg DLE
Het verantwoord gebruik van DLE's
Gerard Melis
DLE kritiek weerlegd
De kritiek op DLE’s weerlegd
Gerard Melis
Kwaliteit met NSCCT
Het organiseren van onderwijskwaliteit met de NSCCT
Herman Kolthof
Teaching to the test
De vicieuze cirkel van teaching to the test
Marjolein Zwik
Publicatie eindtoets
Rankinglijst scores eindtoets verwerpelijk
Machiel Karels
Onderwijsinspectie eindtoets
Visie van de onderwijsinspectie op de Cito eindtoets
Arnold Jonk
Update Citonormen
Update van de Cito-normen: inflatie en desastreuze gevolgen
Marjolein Zwik


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
redactie
[extra-breed-algemeen-kolom2]



cito
cito-score
dl
dle
kleutertoetsen
niveauwaarde
normering
onderwijstoezicht
rekentoets
teaching to the test
toetsen

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest