Meten is niet alles weten

Teije de Vos

Testontwikkelaar - toetsdeskundige - adviseur bij Boom test uitgevers

  

  Geplaatst op 1 juni 2014

Er worden in ons land bij het interpreteren van toetsuitslagen helaas nog steeds een aantal fouten gemaakt, die vèrstrekkende gevolgen hebben. Een lage of hoge score alléén is niet voldoende voor een oordeel, je moet ook weten waar en hoe je die score moet plaatsen.

Drie misverstanden

‘Als je Cito C hebt, zit je goed, want die C valt mooi in het midden’

Mis! De schaal van het Cito-Leerlingvolgsysteem kent de volgende verdeling: E = de laagste 10% van de scores, D = de daarop volgende 15% van de scores (samen 25%), C = de daaropvolgende 25% van de scores (we zitten nu op de helft van de scores, dus de onderste/laagste 50%), B= is de daarop volgende 25% van de scores en A = de laatste/hoogste 25% van de scores (B en A zijn samen alle scores boven het midden). M.a.w. alle C-scores zitten onder (aan de lage kant) van het midden, dus niks voldoende. Overigens kàn een C-score wel een goed resultaat zijn en een B-score daarentegen een zwak resultaat; zie daarvoor het derde probleem.
 
‘We hebben te veel E- leerlingen; de volgende keer moeten de E’s veranderd zijn in D’s’

Onzin! We hebben het hier niet over bijvoorbeeld DLE's, die een vaardigheidsniveau (op de leerlijn) aangeven, maar over deviatiescores die een positie op de frequentieschaal van zwak naar goed aangeeft. Een zwakke leerling kan op een DLE-schaal de volgende keer verder zijn, maar op een frequentieschaal wordt dat heel moeilijk. Als je een E-leerling bent, behoor je tot de 10% zwaksten en 10% zwaksten zullen/moeten er op een frequentieschaal altijd zijn, ook al worden alle E’s veranderd in D’s (er komen dan weer 10% àndere E-leerlingen voor in de plaats). We geven een voorbeeld van een zwakke lezer.
Marietje leest op de SchoolVaardigheidsToets Technisch Lezen in april groep 4 helaas slechts 30 woordjes in de minuut. Dat is DLE 3 (15 maanden ‘achter’); op de frequentietabel van Cito is dat E. De school maakt zich zorgen en gaat keihard met Marietje aan de slag. Een jaar later is de score 95 woordjes in de minuut, 65 woordjes méér! Dat is DLE 15, een vooruitgang van maar liefst 12 maanden, waar 10 gemiddeld is! Een prestatie van formaat, die je van zo’n zwakke lezer eigenlijk niet mag verwachten. Even kijken waar die 95 woordjes op de Cito-schaal staan … een E ?!?!?! Ja helaas, zij hoort met deze score op dat moment nog steeds tot de 10% zwakst scorende leerlingen ... Wat vraag je wel niet van deze zwakke, doorgaans minder begunstigde, leerlingen als je ze van E naar D wilt brengen?!? Het onmogelijke, zouden we zeggen. Toch lopen er in ons land projecten die dit als doelstelling hebben … (!).
 
‘Een zeer zwakke school is een school die onvoldoende onderwijsresultaten (eindopbrengsten) realiseert’

Dat valt nog te bezien! Een school die (ruim) onder het landelijk gemiddelde scoort, kan een meer dan voldoende opbrengst hebben. Scholen die daar boven zitten en veel leerlingen verwijzen naar HAVO en VWO kunnen een onvoldoende (eind)opbrengst hebben. Hoe zit dat? Nou, wanneer je alléén meet wat eruit komt (bijvoorbeeld m.b.v. de Eindtoets Basisonderwijs van het Cito), heb je slechts de helft gedaan van wat je zou moeten doen. Het uitgangspunt is immers, dat scholen eruit moeten halen wat erin zit. Prima!

Maar dan moet je ook méten wat erin zit. Waar niet veel inzit, kan namelijk niet veel uitkomen … En stel dat je onder het landelijk gemiddelde scoort (dat zal in één van de twee gevallen voorkomen: de ene helft zit eronder, de andere erboven) en je kunt aantonen dat je eruit gehaald hebt wat erin zit, dan ben je toch niet een zwakke school?!? Ja, op school zitten wellicht kinderen die iets minder dan gemiddeld in hun mars hebben, maar daarom kun je de school –als onderwijsinstituut- toch niet bestempelen als ‘zwak’?
 
De Master Frankeskoalle in Earnewâld hakt al een aantal jaren met dit bijltje en heeft daarbij de Inspectie van het Onderwijs weten te overtuigen: van leerlingen met meer mogelijkheden mag je meer verwachten (en andersom). Aan het woord is directeur Harm de Vlas:
“Wij werken al jaren met DLE-schalen tot grote tevredenheid van school, ouders en voortgezet onderwijs.Om te weten of we met de leerlingen ook hebben bereikt wat we kunnen bereiken, gebruiken we naast de dle-toetsen halverwege groep 8 de Drempeltest. Deze combinatie maakt het mogelijk om de eindopbrengsten goed te beoordelen, zowel van de individuele leerling als van de groep/school. We kunnen prima vaststellen of ‘we er hebben uitgehaald wat er in zit’.

Bovendien blijken deze gegevens betrouwbaar te zijn in het kader van advisering naar het voortgezet onderwijs. Met de Inspectie van het Onderwijs is op onze school vastgesteld dat de advisering van onze school naar het voortgezet onderwijs en de praktijk in de eerstvolgende drie jaren v.o. nauwelijks van elkaar verschillen”.

Hoe werkt dat, aantonen dat je eruit gehaald hebt wat erin zit?

De Inspectie van het Onderwijs spreekt bij het onderwerp ‘Opbrengsten’ van "resultaten van de leerlingen die ten minste liggen op het niveau dat op grond van de kenmerken van de leerlingenpopulatie mag worden verwacht."
 
We hebben een werkwijze ontwikkeld waarmee dat helder in beeld kan worden gebracht. 
De kenmerken van de leerlingenpopulatie worden bepaald met de Begin-, de Vervolg- (in de maak), de Tussen- en de Drempeltest. Dat gebeurt eens in de twee jaar in groep 2, 4, 6 en 7/8 omdat de kenmerken van de leerlingenpopulatie (het gaat hier om de potentie/de aanleg/de mogelijkheden van de leerlingen) een betrekkelijk stabiele factor is. De kenmerken worden onder meer uitgedrukt in Cito A t/m E (kan desgewenst ook in Cito I t/m V, een IQ of iets dergelijks).

De resultaten van de leerlingen worden in het kader van het leerlingvolgsysteem doorgaans twee maal per leerjaar gemeten (voor het laatst halverwege groep 8) met methode-onafhankelijke en landelijk genormeerde toetsen voor technisch lezen, hoofdrekenen, spellen, rekenen/wiskunde en begrijpend lezen.

De toetsen van het Cito en Boom worden hiervoor het meest gebruikt en voor dit doel worden de resultaten uitgedrukt in Cito A t/m E.
Sinds de DLE-TESTen als SchoolVaardigheidsToetsen verschenen, kunnen de gebruikers in het testcentrum van Boom dankzij de nieuwste regressietechnieken op basis van de ingevoerde DL (didactische leeftijd) en de ruwe score àlle gewenste schalen (DLE, Cito A t/m E of I t/m V, AVI, T-scores, Decielen enz.) oproepen. Die schalen (ook die van het Cito) gelden, dankzij die nieuwe technieken, bij een afname in nagenoeg èlke onderwijsmaand.
 
Met bovenstaande gegevens valt vervolgens na te gaan of eruit gekomen is wat erin zit. Dat kan per vak op leerling-, groeps- en schoolniveau. Eenvoudig gezegd, moet een leerling met ‘kenmerk’ B ook een ‘resultaat’ B halen. De Begin-, de Vervolg-, de Tussen- en de Drempeltest geven een keurig overzicht van deze A t/m E-kenmerken.

U kunt aan de hand van deze gegevens (op uw eigen manier) nagaan in hoeverre er sprake is van een ‘match’. De eenvoudigste manier is, nagaan hoeveel procent van de leerlingen een resultaat heeft dat overeenkomt met of hoger is dan hetgeen verwacht mag worden. Je hebt dan het percentage leerlingen waar (op z’n minst) uit gehaald is wat erin zit.
 
We willen die werkwijze uniform maken (iedereen moet het op dezelfde wijze doen*) en bovendien proberen we tot een zekere norm te komen: het is aannemelijk dat scholen er –landelijk gezien - niet in alle gevallen in slagen eruit te halen wat erin zit. Misschien ligt het percentage landelijk op 92% … Wanneer uw school dan op 96% zit, mag u niet ontevreden zijn.
 
*) Samen met Harrie Meinen ontwikkelde ik een programma dat u een heel eind op weg helpt om een en ander op een snelle en doelmatige wijze in beeld te brengen: RIO. Wie meer wil weten van RIO kan het programma bekijken op http://www.meesterharrie.nl/rio en http://testen-en-toetsen.blogspot.nl/2010/03/rio-is-handig.html

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Congres
Kleuters met een ontwikkelingsvoorsprong
Kleuters met een ontwikkelingsvoorsprong
Begeleiden van kiene kleuters in de klas
Medilex Onderwijs 
E-learning module
Wat is formatieve evaluatie?
Wat is formatieve evaluatie?
Online module over formatieve evaluatie
Wij-leren.nl Academie 
Voorbereiden op toetsen
Toetstekst als leesgenre Voorbereiding lees- en woordenschattoetsen.
Karin van de Mortel
Leesrijpheid toetsen
Leesrijpheid moet je toetsen! Maar op welke manier?.
Ewald Vervaet
Centrale eindtoets
Eindtoets basisonderwijs kiezen
Machiel Karels
Volgen van de ontwikkeling
Volgen van ontwikkeling: evalueren - normeren - LVS - rapportage
Arja Kerpel
wat is de doorstroomtoets
Wat is de doorstroomtoets?
Machiel Karels
Sociale ongelijkheid binnen het onderwijs
Sociale ongelijkheid binnen het onderwijs
Ilse Erich
Schoolkeuze havo/vwo
Selectie op basis van talent is goed voor de leerresultaten
Annemieke Top
Gelijke kansen
Sociaal milieu nog altijd van invloed op schoolloopbaan
Annemieke Top
Woordenschattoets
Onduidelijk wat de Cito-woordenschattoets meet
Paul Filipiak
Gevolgen verplichte eindtoets
Veel gestelde vragen over verplichte eindtoets, gevolgen po/vo
Gerdineke van Silfhout
Tips woordenschat
Knikkers spelers en spel: tips voor woordenschatonderwijs.
Paul Filipiak
Schoolvaardigheidstoets spelling
Spellingfouten categoriseren
Teije de Vos
Citoscore hanteren
Citoscore hanteren
Sieneke Goorhuis
De inspectie gaat mank
De inspectie hinkt op twee benen
Ewald Vervaet
Leerlingvolgsysteem
Leerlingvolgsysteem: dat wordt een stuk makkelijker!
Teije de Vos
Testen voor het LVS
Testen voor het leerlingvolgsysteem
Teije de Vos
Toetsen en hulp(middelen)
Toetsen met of zonder hulp(middelen)?
Teije de Vos
Cito spelling toets 1
Cito spellingtoets ter discussie
Anna Bosman
Kwaliteit met NSCCT
Het organiseren van onderwijskwaliteit met de NSCCT
Herman Kolthof
Hoe de eindtoets het curriculum en het onderwijsmodel bepaalt
Toetsing in het basisonderwijs: nuttig of belemmerend?
Karen Heij
Beoordeling LVS-toetsen rekenen-wiskunde (6)
Beoordeling LVS-toetsen Rekenen-Wiskunde (6)
Corine Treffers
Beoordeling LVS-toetsen hoofdrekenen en overig (7)
Beoordeling LVS-toetsen Hoofdrekenen en overige specifieke vaardigheden (7)
Corine Treffers
Beoordeling LVS toetsen
Welk LVS past bij jouw school? - Keuzehulp bij het kiezen van een LVS
Corine Treffers
Beoordeling LVS-toetsen rekenen-wiskunde (6)
Beoordeling LVS-toetsen Rekenen-Wiskunde (6)
Corine Treffers
Beoordeling LVS-toetsen hoofdrekenen en overig (7)
Beoordeling LVS-toetsen Hoofdrekenen en overige specifieke vaardigheden (7)
Corine Treffers
Overzicht LVS-toetsen en toelichting
Overzicht LVS-toetsen en toelichting
Corine Treffers
Praktijkvoorbeelden bij het voorkomen van schoolproblemen
Preventie van schoolproblemen (3) Praktijkvoorbeelden
Ton Mooij
Makkelijker kunnen we het niet maken, wel leuker
Makkelijker kunnen we het niet maken, wel leuker
Marianne Hogenhout
Prestatiepijn door toetsen
Prestatiepijn: toetsen als boosdoeners?
Gerdineke van Silfhout
Interview Roel Bosker
Excellente leerlingen kunnen zich heel goed redden
René Leverink
Publicatie eindtoets
Rankinglijst scores eindtoets verwerpelijk
Machiel Karels
Minder standaardtesten
Standaardtesten in het onderwijs. Moet dat nou?
Dick van der Wateren
Wegcijferen door toetsen
Laat je niet wegcijferen
Paul Filipiak
Data analyse
Big Data en leesplezier
Dick van der Wateren
Lezend in Biesta
Lezend in Biesta
Harm Klifman
Kleuters toetsen
Peuters en kleuters zijn niet toetsbaar
Sieneke Goorhuis
Verplichting Eindtoets ongewenst
Verplichting Centrale Eindtoets onnodig en onwenselijk
Teije de Vos
Onderwijsinspectie eindtoets
Visie van de onderwijsinspectie op de Cito eindtoets
Arnold Jonk
Update Citonormen
Update van de Cito-normen: inflatie en desastreuze gevolgen
Marjolein Zwik
Red de taal van de toetsenmaker!
Red de taal van de toetsenmaker!
Karen Heij
Red de taal van de toetsenmaker!
Red de taal van de toetsenmaker!
Karen Heij
Red de taal van de toetsenmaker!
Red de taal van de toetsenmaker!
Karen Heij


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Leerlingvolgsysteem in een video van één minuut uitgelegd
Leerlingvolgsysteem in een video van één minuut uitgelegd
redactie
Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
redactie
[extra-breed-algemeen-kolom2]



cito
cito-score
doorstroomtoets
eindtoets basisonderwijs
leerlingvolgsysteem
niveauwaarde
nscct
onderwijsinspectie
rtti
teaching to the test
toetsen

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest