Oorzaken verschuiving normen LVS-toetsen nader bekeken

Dit artikel is mede geschreven door Ilse Papenburg en Judith Hollenberg.

Update normeringen

Nadat bleek dat de normen van een aantal toetsen niet meer aansloten bij de huidige situatie, heeft Cito vorig schooljaar voor de eerste keer een update van normen uitgebracht. Ook dit jaar is voor een aantal toetsen een update van de normen nodig. Scholen, maar ook wij bij Cito, zijn benieuwd waarom de normen verschuiven en hoe vaak een update van de normen ongeveer nodig zal zijn. Om een beter antwoord op deze vragen te krijgen, hebben we onderzocht hoe snel en wanneer normen slijten. In dit artikel delen we graag onze bevindingen. Ook behandelen we daarnaast, mede naar aanleiding van het artikel ‘Update van de Citonormen: inflatie van de vaardigheidsscore en de desastreuze gevolgen voor het onderwijs’, enkele misverstanden rondom de update van de normen. 

Onderzoek naar verschuiven van normering 

Cito heeft bestudeerd hoe de resultaten van verschillende toetsen zich de afgelopen jaren hebben ontwikkeld. Hier bespreken we de resultaten van de toetsen Begrijpend lezen. Voor het onderzoek zijn toetsresultaten Begrijpend lezen van ruim 1,3 miljoen leerlingen gebruikt. De toetsresultaten vanaf schooljaar 2006-2007 tot en met 2011-2012 zijn bekeken. Ook hebben we de ‘echte’ toetsresultaten naast de resultaten uit het normeringsonderzoek gelegd.

Verschillende oorzaken

Analyses laten zien dat met name het eerste jaar nadat de toets verschijnt de begrijpend leesprestaties toenemen ten opzichte van de normering. De jaren erna neemt de gemiddelde score en de verdeling van de scores op een afnamemoment minder sterk toe. Vlak na het verschijnen van de toets treedt dus een sprong op. Daarna kruipen de scores ieder jaar verder omhoog. 
Een veelgehoorde verklaring van scholen voor het verschuiven van de normering is dat het onderwijs zich richt op de toets. Dit zal zeker meespelen, maar aangezien de grote sprong direct na het verschijnen optreedt, dus op het moment dat de inhoud van de toets nog nieuw is voor de leerkrachten, moet er een ook andere oorzaak zijn. 

Een aannemelijke verklaring voor de sprong is dat leerlingen bij een normeringsonderzoek weten dat ‘de toets niet meetelt’ en daardoor minder gemotiveerd de toets maken dan wanneer ze ‘echt’ de toets maken. Voor de geleidelijke verschuiving die optreedt als de toets langere tijd op de markt is zijn meerdere oorzaken zoals veranderingen in het aanbod (sommige (onderdelen van) vakgebieden worden (weer) belangrijker, andere verschuiven naar de achtergrond) en de toename van het belang dat gehecht wordt aan toetsresultaten. Ook zijn scholen zich door de toetsresultaten bijvoorbeeld bewuster van hiaten in hun onderwijs. Scholen benutten zo de toetsresultaten door in hun aanbod extra aandacht aan deze hiaten te besteden. Dit heeft een positief effect op de scores van de leerlingen. 

Wat doet Cito aan het schuiven van de normering?

Om de sprong in de normering bij het verschijnen van de toets te beperken, pakt Cito sinds een tijd het normeren van de toetsen anders aan. Het normeringsonderzoek combineren we met de echte afname. De leerling krijgt een toetsboekje en weet niet welke opgaven bestaande opgaven zijn - en dus meetellen - en welke opgaven nieuw zijn - en dus horen bij het normeringsonderzoek. Zo zal de leerling de nieuwe opgaven voor het normeringsonderzoek net zo gemotiveerd maken als de ‘echte’ toetsopgaven die meetellen voor hun score. Daarnaast blijft Cito jaarlijks controleren of de normering nog past bij de huidige situatie. Wanneer uit dataretourgegevens blijkt dat de normen niet meer aansluiten bij scores die leerlingen van nu halen, volgt er een update. Onze hoop is dat dankzij de nieuwe wijze van normeren in de toekomst niet al te vaak een update nodig zal zijn. 

Wanneer houdt het op?

Als reactie op de update van de normen krijgen wij bij Cito dikwijls de vraag of scholen nog hoger moeten scoren. “Is het dan nooit genoeg, wanneer houdt het op?” en “Moeten onze leerlingen echt nog meer hun best doen?“. Wij zien ook dat scholen er alles aan doen om het optimale uit hun leerlingen te halen. Scholen stellen ambitieuze doelen, maar daar zitten natuurlijk grenzen aan.  Doordat gestelde doelen dikwijls rechtstreeks gekoppeld worden aan het landelijk gemiddelde en/of aan de relatieve normen I t/m V en A t/m E, ontstaat het beeld dat scholen steeds hoger moeten scoren. Een oplossing is om te kijken naar absolute normen. Hiermee vergelijk je leerlingen met een vaste beheersingsstandaard. Een voorbeeld hiervan zijn de referentieniveaus. Bij de LVS-toetsen Rekenen-Wiskunde en Begrijpend lezen zullen we begin 2015 aangeven bij welke vaardigheidsscores de referentieniveaus 1F en 1S/2F horen. Zo heeft u in de toekomst een meer ‘vaste’ houvast bij het stellen van doelen. 

Samenvatting

Dit artikel, mede geschreven door Ilse Papenburg en Judith Hollenberg, belicht de update van normen in het onderwijs, vooral gericht op de toetsen van Cito. Het onderzoek naar verschuivingen in normering toont aan dat leerlingen beter presteren direct na de uitgave van de toets, mogelijk door minder motivatie tijdens normeringsonderzoek. Scholen richten zich op de toetsinhoud, maar andere factoren zoals veranderingen in het onderwijsaanbod spelen ook een rol. Cito past normering aan door echte afnames te combineren met normeringsonderzoek en regelmatig te controleren op actualiteit. Misverstanden, zoals dat vaardigheidsscores minder waard worden, worden rechtgezet. Scholen zijn niet verplicht om direct over te stappen op nieuwe normen, en Cito maakt geen inspectienormen. Het artikel pleit voor een meer absoluut beoordelingskader zoals referentieniveaus, om realistische doelen te stellen zonder voortdurende druk tot verbetering.

Verder lezen?

- Jos Keuning, Maartje Hilte en Anke Weekers (2014). Begrijpend leesprestaties onderzocht – Een analyse op basis van Cito dataretour. Tijdschrift voor Orthopedagogiek, nummer 53 (2014), 2-13

- Jacqueline Visser (2014). Toetsen en normeringen: enkele misstanden opgehelderd. Basisschoolmanagement Jaargang 02/2014