Onduidelijk wat de Cito-woordenschattoets meet: woorden, kinderen of leraren

  Geplaatst op 1 juni 2015

Filipiak, P. (2015) Onduidelijk wat de Cito-woordenschattoets meet woorden kinderen of leraren.
Geraadpleegd op 18-12-2017,
van https://wij-leren.nl/woordkennis-woordenschat-toetsen.php

In het artikel 'Woordkennis toetsen: Weet wat je meet (JSW, juni 2014) constateren Maartje Hilte en Marianne Verhallen samen met juf Osa, dat landelijke gestandaardiseerde en normgerichte woordenschattoetsen vaak geen enkele vooruitgang laten zien. Wat is hier aan de hand?

Volgens de auteurs van het artikel worden met methode-onafhankelijke en normgerichte toetsen (MO-toetsen) de woordenschat van leerlingen vastgesteld, maar ook vergeleken met het niveau van hun leeftijdgenootjes. Daartoe doen toetsontwikkelaars een greep uit een algemene woordfrequentielijst. Zo een woordenlijst laat zien hoe vaak welke woorden in welke leerjaren gebruikt worden.

Zo selecteren de toetsontwikkelaars op een verantwoorde manier woorden die een representatief beeld geven van woorden waarmee leerlingen in het onderwijs in aanraking kunnen komen. De toetsen bevatten woorden die door bijna alle leerlingen worden gekend, maar ook woorden die slechts enkele leerlingen zullen kennen.

Zo krijgen alle leerlingen de kans te laten zien wat ze kunnen. Het is volgens de auteurs een misvatting te denken dat álle leerlingen alle opgaven zouden moeten kunnen maken. Als je intensief woordenschatonderwijs geeft kun je op MG-toetsen (methodegebonden toetsen) grote vooruitgang meten die niet correspondeert met de groei op MO-toetsen. Ook meten MO-toetsen niet de opbrengst op korte termijn. 

Ook normgerichte woordenschattoetsen onder vuur?

Schmitt en Beck (2000 respectievelijk 2008) stellen dat normgerichte landelijke woordenschat-toetsen (MO-toetsen in het genoemde JSW-artikel) niet geschikt zijn als prestatietoetsen. Curriculumonafhankelijke MO-toetsen die kinderen onderling vergelijken zijn niet geconstrueerd om op de korte termijn onderwijseffect te meten. De valkuil is dat ze daar tóch vaak voor worden gebruikt. Terecht dat de auteurs van het artikel op dit gevaar wijzen. Het kan niet vaak genoeg worden opgemerkt.

De mogelijkheden voor het samenstellen van dit soort landelijke toetsen met laag- en hoog-frequente woorden zijn eindeloos. Het is met andere woorden onwaarschijnlijk dat een gestandaardiseerde en genormeerde landelijke woordenschattoets, die is gebaseerd op een woordfrequentielijst, geschikt is voor een specifieke klas en een specifieke groep van kinderen. Dit is het eigenaardige van woorden. Een leerkracht, opgegroeid op een schip, merkte eens terecht op: geef me een toets over scheepswoorden en ik haal een tien.

Ondanks dat een steekproef voor een woordenschattoets verschillende soorten gangbare en zeldzamere woorden bevat, of is gebaseerd op een lijst met woorden die de kinderen in de basisschool kunnen verwachten: er ontstaan problemen die leerkrachten met de Citowoordenschattoets in de praktijk ook tegenkomen.

Zelfs als de toets woorden zou bevatten die waarschijnlijk door bijna alle kinderen en woorden die door slechts een klein groepje kinderen worden gekend. Kinderen verschillen namelijk sterk in de precieze woorden die ze kennen. Daar ontkom je niet aan. Joop Stoeldraijer zocht bijvoorbeeld in taalmethoden naar woorden uit de Cito-woordenschattoets en ving hoofdzakelijk bot.

Tegenstrijdig

De auteurs van het JSW-artikel worstelen hier ook mee.

'Zo selecteren de toetsontwikkelaars volgens hen op een verantwoorde manier woorden die een representatief beeld geven van woorden waarmee leerlingen in het onderwijs in aanraking kunnen komen. De toetsen bevatten woorden die door bijna alle leerlingen worden gekend, maar ook woorden die slechts enkele leerlingen zullen kennen'.

Maar dan volgt later in hun artikel de ondermijning van het eigen standpunt:

'Hoeveel woorden je ook hebt bijgeleerd, een woordenschatopgave is niet goed te maken als een leerling een gevraagd woord nog nooit eerder is tegen gekomen'.

En die kans is heel groot.

Dat wil dus zeggen dat er in de Cito-woordenschattoets weliswaar woorden zijn gekozen die leerlingen kunnen tegenkomen, maar die ze nog nooit tegen zíjn gekomen. Het is het een of het ander: ze kunnen ze tegenkomen of ze zijn ze al tegengekomen. MO-toetsen laten in het gewraakte geval dan ook volgens de auteurs inderdaad geen groei zien.

Dat zien de juffen in Nederlandse basisscholen ook en ze balen daar samen met de kinderen enorm van. Het ligt voor de hand: woorden meten die je kunt tegenkomen maar nog niet bént tegengekomen kennen leerlingen niet, en daarmee komen ook landelijke normgerichte MO-toetsen in de problemen. 

Is overigens het 'meetoptimisme' voor landelijke, normgerichte MO-woordenschattoetsen gerechtvaardigd?

Psychometrische problemen, ook bij normgerichte woordenschattoetsen

Brown, Cihi en Culligan (2007) bespreken het meten van de schatting van de woordenschatomvang bij personen, op basis van een steekproef met een woordenschattoets. Ze vonden het volgende.

'Elke toetsing waarmee wordt geprobeerd om de woordenschatomvang af te leiden van (te extrapoleren uit) de resultaten van een woordenschattoets met (zelfs!) frequente woorden, resulteert in statistisch onbetrouwbare gegevens.'

Indien je meer dan 3000 basis-woorden kent is er volgens hen een kans dat je nog 400 woorden mist van de 2000 meest frequente woorden. Dat zal bij laagfrequente woorden nog ongunstiger zijn. Elke woordenschatsteekproef is kennelijk problematisch.
De woordmoeilijkheid van woorden blijkt volgens genoemde onderzoekers tevens in hoge mate te verschillen voor verschillende groepen.

Woordenschattoetsen die woordomvang van kinderen schatten zijn hierdoor niet zomaar valide en betrouwbaar en meestal niet afgestemd op de individuele woordenschatbeheersing en op de woordkennis in verschillende basisschoolklassen van Delftzijl tot Maastricht. Ook landelijke normgerichte toetsen die kinderen onderling vergelijken komen daarmee nogmaals in de problemen. 

Aanpassen van de woordenschatsteekproef

Het is dan ook niet vreemd dat Gallego en Llach (2009) opmerken dat de steekproef van woorden waarmee getoetst wordt van jaar tot jaar moet verschillen en dat het aantal woorden van leerjaar naar leerjaar in de toets groter moet worden, zodat de kans op een slechte score bij een individuele leerling kleiner wordt. 

Veel hoge scores op curriculumonafhankelijke toetsen (MO-toetsen) zouden volgens de auteurs van het JSW-artikel laten zien dat leerkrachten samen als team goed woordenschatwerk hebben verricht, niet een paar weken of maanden, maar jaren lang. Dit kan wel zo zijn, maar of dat valide en betrouwbaar via de leerlingen gemeten kan worden voor gangbare en zeldzamere woorden, dat blijft de grote vraag. 

Toetsen voor woordkennis en woordgebruik 

Veel huidige woordenschattoetsen toetsen alleen een soort van oppervlakkige woordkennis, zoals het vragen naar synoniemen, het voorleggen van een meerkeuzevraag, waarbij de betekenis van de voorbeeldzin en de betekenis van één van de antwoorden hetzelfde is.

Wat is een ander woord voor braiseren? Kies uit:

  • A braden
  • B grillen
  • C smoren
  • D wokken

(uit: Woordkennis toetsen: weet wat je meet).

Dit soort toetsen zijn weliswaar gemakkelijk na te kijken en het antwoord is goed of fout. Maar je weet eigenlijk niet zo goed wat je meet.

  • Woordkennis?
  • Gememoriseerde woorden?
  • Gedeeltelijke voorkennis?
  • Goed woordgebruik?

Het probleem met het toetsen op deze manier is ook, dat een fout antwoord niet altijd wil zeggen dat de het kind het woord helemaal niet kent. 

In dit kader is volgens Nation (2001) en Schmitt (2000) uit onderzoek gebleken, dat een vergroting van de woordenschat die blijkt uit een meting van gedecontextualiseerde losse woorden, niet noodzakelijkerwijze wordt weerspiegeld in een toename van het juiste woordgebruik (bij luisteren, lezen, praten en schrijven in zinnen, situaties en teksten).

En wellicht dat goed woordgebruik pas juiste woordkennis oplevert. Het is dus precies andersom: het kunnen gebruiken van woorden moet veel hoger aangeschreven worden dan wat je (een beetje) weet over een woord of wat je herkent van een woord in een eenzijdige toets.

Maar wat wordt er dan wel gemeten met de Citowoordenschattoets?

Als leerlingen de woorden uit de Cito-toets nog niet tegen zijn gekomen, meet die kennelijk iets anders dan de meetpretentie.

  • Wat is dat?
  • Wat toetsen MO-toetsen volgens de auteurs van het JSW-artikel dan wél?

Ze toetsen volgens hen leerkrachten die teksten begrijpelijk hebben gemaakt voor de leerlingen, die een rijk mondeling en schriftelijk taalaanbod hebben verzorgd en die hebben gezorgd voor gemotiveerde lezers.

Maar dan wordt het betoog vager en vager.

Ze meten 'of er een beweging op gang is gebracht' waarbij leerlingen 'in de volle breedte' (Wat is vol en wat is breed?) in allerlei contexten woorden hebben verworven. Maar wellicht meet de toets vooral wat kinderen thuis aan woordkennis hebben opgedaan.

Dan zullen volgens de auteurs ook MO-toetsen vooruitgang en variatie tussen leerlingen laten zien en wordt juf Osa weer blij. Maar worden hiermee leraren, leerlingen of beiden getoetst? Hoe zit dat? En als je leraren wilt toetsen via de opbrengsten bij leerlingen moet je dan niet rechtstreeks de kwaliteit van hun woordenschatonderwijs observeren?

"Het betoog wordt onduidelijker en het bedreigt serieus de validiteit van MO-toetsen en in dit geval de Cito-woordenschattoets."

Onduidelijk wat er precies wordt gemeten met de Cito-woordenschattoets

Waarschijnlijk wordt er ook deels iets onverwachts bij de leerlingen gemeten. Wat moeten leerlingen kunnen in plaats van kennen bij veel woordenschattoetsen? Nadenken door leerlingen over de woordbetekenis (of woordkennis) in een toets, kan een behoorlijk abstracte bezigheid zijn en zo een abstractievermogen heb je ook nodig bij een relatief gedecon-textualiseerde woordenschattoets.

Je toetst dan misschien voor een groot deel verbale intelligentie of betekenis gokken en geen woordkennis. Landelijk normgerichte woordenschattoetsen zoals de Citowoordenschattoets zullen dus waarschijnlijk vooral verbale intelligentie meten of zelfs een 'woordraadvaardigheid' (Sternberg en Powel; In: Hiebert, H. en Kamil. L.M. 2005).

De leerlingen zouden precies, los van de context, heel goed moeten weten wat een woord betekent en zouden dan via deze zogenoemde 'diepe woordkennis' (wat is dat eigenlijk?) op curriculumonafhankelijke toetsen beter kunnen presteren. Dat blijft echter een grote onbekende. 

Het is eigenlijk de omgekeerde wereld: leerlingen zouden woorden uiteindelijk moeten leren om de woordkennis en niet om het juiste en brede woordgebruik in zinnen, teksten en situatie. Goed woordgebruik moet dan ook veel vaker worden getoetst dan gebruikelijk is in het onderwijs, naast toetsen van woordkennis. Het eerste met gatentoetsen (Cloze-toetsen), omdat die de betekenis én het gebruik van woorden toetsen in zinnen en teksten.

Geraadpleegd

  • Beck, I. McKeown, M. G., & Kucan, L. (2008, 2010); Creating Robust Vocabulary: Frequently Asked Questions. Guilford Press. 
  • Browne, Cihi, Culligan (2007); Measuring Vocabulary Size via Online Technology; Lexxica.
  • Gallego, M. & Llach, M. (2009); Exploring the Increase of Receptive Vocabulary Knowledge in the Foreign Language: A Longitudian Study; International Journal of English Studies.
  • Hiebert, E.H. en Kamil, M.L. (2005); Teaching and Learning Vocabualry; Bringing Research to Practice. Lawrence Erlbaum, Publishers. 
  • Hilte, M. Verhallen,M.(2014); Woordkennis toetsen: Weet wat je meet.; JSW.
  • Schmitt, N. (2000); Vocabulary in Language Teaching;Camebridge University Press. 
  • Nation, I. S. P. (2001); Learning Vocabulary in Another Language; Cambridge University Press.

Filipiak, P. (2015) Onduidelijk wat de Cito-woordenschattoets meet woorden kinderen of leraren.
Geraadpleegd op 18-12-2017,
van https://wij-leren.nl/woordkennis-woordenschat-toetsen.php

Gerelateerd

ParnasSys als bouwsteen in onderzoekend leren
ParnasSys als bouwsteen in onderzoekend leren
Van instrumenteel naar onderzoeksmatig werken
De lerende school 
Begrijpend lezen
Begrijpend lezen
verder vorm geven aan taal- en leesonderwijs
Timpaan Onderwijs 
KIJK! 0-4 Beredeneerd Aanbod
KIJK! 0-4 Beredeneerd Aanbod
Amsterdam
Bazalt | HCO | RPCZ 
Volgen van de ontwikkeling
Volgen van ontwikkeling: evalueren - normeren - LVS - rapportage
Arja Kerpel
Functionele toetsvragen
Bronnen en contexten in toetsvragen niet functioneel
Gerdineke van Silfhout
Citoscore hanteren
Citoscore hanteren
Sieneke Goorhuis
Citoscore misverstanden
Meten is niet Ólles weten
Teije de Vos
Grip op leesbegrip
Beter toetsen en evalueren van lezen met begrip
Karin van de Mortel
Tips woordenschat
Knikkers spelers en spel: tips voor woordenschatonderwijs.
Paul Filipiak
Voorbereiden op toetsen
Toetstekst als leesgenre Voorbereiding lees- en woordenschattoetsen
Karin van de Mortel
woordenschatonderwijs vernieuwen vraagt om leiderschap
Woordenschatonderwijs in de 21e eeuw: effectief en uitdagend (1)
Jos C÷p
Tips voor differentiatie in woordenschatonderwijs
DifferentiŰren binnen woordenschatonderwijs
Martie de Pater
Wegcijferen door toetsen
Laat je niet wegcijferen
Paul Filipiak










Leerstijlen
Heeft een didactische aanpak gebaseerd op cognitieve voorkeuren van leerlingen effect op de leesvaardigheid (begrijpend lezen...
Effect eindadvies basisschool
Eindadvies basisschool: wat doet dat met een kind?
Effecten van formatief evalueren
Wat zijn de effecten van formatief evalueren?
Factoren die de Cito-eindtoets beinvloeden
Welke factoren spelen een rol bij de resultaten van de Cito-eindtoets of de centrale eindtoets PO?
Effect geanimeerde prentenboeken op taalontwikkeling
Hebben geanimeerde prentenboeken effect op risicoleerlingen?
Formatieve toetsing
Hoe kan het onderwijs met succes formatieve toetsing inzetten?
Is muziekonderwijs een hulpmiddel bij taal?
Kan muziek(onderwijs) kinderen met taalontwikkelingsstoornissen helpen?
Schrijfmateriaal
Met welk schrijfmateriaal kunnen kinderen het beste leren schrijven?
NT2-stimuleren taalontwikkeling
Hoe stimuleer je effectief de taalontwikkeling van kinderen die Nederlands als tweede taal (NT2) spreken?
Tweetalig onderwijs en schoolprestaties
In hoeverre heeft tweetalig onderwijs invloed op de vakspecifieke kennis en vaardigheden van de leerlingen?
meerwaarde woordenschat citotoetsen
Heeft het toetsen van de woordenschat meerwaarde voor de woordenschatontwikkeling?
Formatief toetsen po
Selfassessment voor formatief toetsen van basisschoolleerlingen
Toetsen-leertrajecten
Gebruik van toetsen bij het plannen van leertrajecten
Leren van teksten
Zelftoetsen voor het effectiever leren van teksten
Begrip door zelftoetsen
Beter begrip van informatie in teksten door zelftoetsen
Leren met zelftoetsen
Samenhang expertiseniveau leerling bij leren met zelftoetsen
GAS methodiek
GAS geven: doelgericht werken aan taal en lezen in Passend Onderwijs
Animaties taal po
Gebruik van animaties bij taal in basisonderwijs
Feedback prestaties
Feedback bij automatisch gegenereerde prestatiegegevens van leerlingen
Taalonderwijs BBL
Taalonderwijs in BBL-trajecten MBO
Schooltaal woordenschat po
Schooltaal en woordenschat in taalonderwijs op de basisschool
Schrijf in voor de nieuwsbrief
[extra-breed-algemeen-kolom2]




Woordenschattoets



Inschrijven nieuwsbrief


Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook

Mis geen bijdragen.