Onduidelijk wat de Cito-woordenschattoets meet: woorden, kinderen of leraren

  Geplaatst op 1 juni 2015

In het artikel 'Woordkennis toetsen: Weet wat je meet (JSW, juni 2014) constateren Maartje Hilte en Marianne Verhallen samen met juf Osa, dat landelijke gestandaardiseerde en normgerichte woordenschattoetsen vaak geen enkele vooruitgang laten zien. Wat is hier aan de hand?

Volgens de auteurs van het artikel worden met methode-onafhankelijke en normgerichte toetsen (MO-toetsen) de woordenschat van leerlingen vastgesteld, maar ook vergeleken met het niveau van hun leeftijdgenootjes. Daartoe doen toetsontwikkelaars een greep uit een algemene woordfrequentielijst. Zo een woordenlijst laat zien hoe vaak welke woorden in welke leerjaren gebruikt worden.

Zo selecteren de toetsontwikkelaars op een verantwoorde manier woorden die een representatief beeld geven van woorden waarmee leerlingen in het onderwijs in aanraking kunnen komen. De toetsen bevatten woorden die door bijna alle leerlingen worden gekend, maar ook woorden die slechts enkele leerlingen zullen kennen.

Zo krijgen alle leerlingen de kans te laten zien wat ze kunnen. Het is volgens de auteurs een misvatting te denken dat álle leerlingen alle opgaven zouden moeten kunnen maken. Als je intensief woordenschatonderwijs geeft kun je op MG-toetsen (methodegebonden toetsen) grote vooruitgang meten die niet correspondeert met de groei op MO-toetsen. Ook meten MO-toetsen niet de opbrengst op korte termijn. 

Ook normgerichte woordenschattoetsen onder vuur?

Schmitt en Beck (2000 respectievelijk 2008) stellen dat normgerichte landelijke woordenschat-toetsen (MO-toetsen in het genoemde JSW-artikel) niet geschikt zijn als prestatietoetsen. Curriculumonafhankelijke MO-toetsen die kinderen onderling vergelijken zijn niet geconstrueerd om op de korte termijn onderwijseffect te meten. De valkuil is dat ze daar tóch vaak voor worden gebruikt. Terecht dat de auteurs van het artikel op dit gevaar wijzen. Het kan niet vaak genoeg worden opgemerkt.

De mogelijkheden voor het samenstellen van dit soort landelijke toetsen met laag- en hoog-frequente woorden zijn eindeloos. Het is met andere woorden onwaarschijnlijk dat een gestandaardiseerde en genormeerde landelijke woordenschattoets, die is gebaseerd op een woordfrequentielijst, geschikt is voor een specifieke klas en een specifieke groep van kinderen. Dit is het eigenaardige van woorden. Een leerkracht, opgegroeid op een schip, merkte eens terecht op: geef me een toets over scheepswoorden en ik haal een tien.

Ondanks dat een steekproef voor een woordenschattoets verschillende soorten gangbare en zeldzamere woorden bevat, of is gebaseerd op een lijst met woorden die de kinderen in de basisschool kunnen verwachten: er ontstaan problemen die leerkrachten met de Citowoordenschattoets in de praktijk ook tegenkomen.

Zelfs als de toets woorden zou bevatten die waarschijnlijk door bijna alle kinderen en woorden die door slechts een klein groepje kinderen worden gekend. Kinderen verschillen namelijk sterk in de precieze woorden die ze kennen. Daar ontkom je niet aan. Joop Stoeldraijer zocht bijvoorbeeld in taalmethoden naar woorden uit de Cito-woordenschattoets en ving hoofdzakelijk bot.

Tegenstrijdig

De auteurs van het JSW-artikel worstelen hier ook mee.

'Zo selecteren de toetsontwikkelaars volgens hen op een verantwoorde manier woorden die een representatief beeld geven van woorden waarmee leerlingen in het onderwijs in aanraking kunnen komen. De toetsen bevatten woorden die door bijna alle leerlingen worden gekend, maar ook woorden die slechts enkele leerlingen zullen kennen'.

Maar dan volgt later in hun artikel de ondermijning van het eigen standpunt:

'Hoeveel woorden je ook hebt bijgeleerd, een woordenschatopgave is niet goed te maken als een leerling een gevraagd woord nog nooit eerder is tegen gekomen'.

En die kans is heel groot.

Dat wil dus zeggen dat er in de Cito-woordenschattoets weliswaar woorden zijn gekozen die leerlingen kunnen tegenkomen, maar die ze nog nooit tegen zíjn gekomen. Het is het een of het ander: ze kunnen ze tegenkomen of ze zijn ze al tegengekomen. MO-toetsen laten in het gewraakte geval dan ook volgens de auteurs inderdaad geen groei zien.

Dat zien de juffen in Nederlandse basisscholen ook en ze balen daar samen met de kinderen enorm van. Het ligt voor de hand: woorden meten die je kunt tegenkomen maar nog niet bént tegengekomen kennen leerlingen niet, en daarmee komen ook landelijke normgerichte MO-toetsen in de problemen. 

Is overigens het 'meetoptimisme' voor landelijke, normgerichte MO-woordenschattoetsen gerechtvaardigd?

Psychometrische problemen, ook bij normgerichte woordenschattoetsen

Brown, Cihi en Culligan (2007) bespreken het meten van de schatting van de woordenschatomvang bij personen, op basis van een steekproef met een woordenschattoets. Ze vonden het volgende.

'Elke toetsing waarmee wordt geprobeerd om de woordenschatomvang af te leiden van (te extrapoleren uit) de resultaten van een woordenschattoets met (zelfs!) frequente woorden, resulteert in statistisch onbetrouwbare gegevens.'

Indien je meer dan 3000 basis-woorden kent is er volgens hen een kans dat je nog 400 woorden mist van de 2000 meest frequente woorden. Dat zal bij laagfrequente woorden nog ongunstiger zijn. Elke woordenschatsteekproef is kennelijk problematisch.
De woordmoeilijkheid van woorden blijkt volgens genoemde onderzoekers tevens in hoge mate te verschillen voor verschillende groepen.

Woordenschattoetsen die woordomvang van kinderen schatten zijn hierdoor niet zomaar valide en betrouwbaar en meestal niet afgestemd op de individuele woordenschatbeheersing en op de woordkennis in verschillende basisschoolklassen van Delftzijl tot Maastricht. Ook landelijke normgerichte toetsen die kinderen onderling vergelijken komen daarmee nogmaals in de problemen. 

Aanpassen van de woordenschatsteekproef

Het is dan ook niet vreemd dat Gallego en Llach (2009) opmerken dat de steekproef van woorden waarmee getoetst wordt van jaar tot jaar moet verschillen en dat het aantal woorden van leerjaar naar leerjaar in de toets groter moet worden, zodat de kans op een slechte score bij een individuele leerling kleiner wordt. 

Veel hoge scores op curriculumonafhankelijke toetsen (MO-toetsen) zouden volgens de auteurs van het JSW-artikel laten zien dat leerkrachten samen als team goed woordenschatwerk hebben verricht, niet een paar weken of maanden, maar jaren lang. Dit kan wel zo zijn, maar of dat valide en betrouwbaar via de leerlingen gemeten kan worden voor gangbare en zeldzamere woorden, dat blijft de grote vraag. 

Toetsen voor woordkennis en woordgebruik 

Veel huidige woordenschattoetsen toetsen alleen een soort van oppervlakkige woordkennis, zoals het vragen naar synoniemen, het voorleggen van een meerkeuzevraag, waarbij de betekenis van de voorbeeldzin en de betekenis van één van de antwoorden hetzelfde is.

Wat is een ander woord voor braiseren? Kies uit:

  • A braden
  • B grillen
  • C smoren
  • D wokken

(uit: Woordkennis toetsen: weet wat je meet).

Dit soort toetsen zijn weliswaar gemakkelijk na te kijken en het antwoord is goed of fout. Maar je weet eigenlijk niet zo goed wat je meet.

  • Woordkennis?
  • Gememoriseerde woorden?
  • Gedeeltelijke voorkennis?
  • Goed woordgebruik?

Het probleem met het toetsen op deze manier is ook, dat een fout antwoord niet altijd wil zeggen dat de het kind het woord helemaal niet kent. 

In dit kader is volgens Nation (2001) en Schmitt (2000) uit onderzoek gebleken, dat een vergroting van de woordenschat die blijkt uit een meting van gedecontextualiseerde losse woorden, niet noodzakelijkerwijze wordt weerspiegeld in een toename van het juiste woordgebruik (bij luisteren, lezen, praten en schrijven in zinnen, situaties en teksten).

En wellicht dat goed woordgebruik pas juiste woordkennis oplevert. Het is dus precies andersom: het kunnen gebruiken van woorden moet veel hoger aangeschreven worden dan wat je (een beetje) weet over een woord of wat je herkent van een woord in een eenzijdige toets.

Maar wat wordt er dan wel gemeten met de Citowoordenschattoets?

Als leerlingen de woorden uit de Cito-toets nog niet tegen zijn gekomen, meet die kennelijk iets anders dan de meetpretentie.

  • Wat is dat?
  • Wat toetsen MO-toetsen volgens de auteurs van het JSW-artikel dan wél?

Ze toetsen volgens hen leerkrachten die teksten begrijpelijk hebben gemaakt voor de leerlingen, die een rijk mondeling en schriftelijk taalaanbod hebben verzorgd en die hebben gezorgd voor gemotiveerde lezers.

Maar dan wordt het betoog vager en vager.

Ze meten 'of er een beweging op gang is gebracht' waarbij leerlingen 'in de volle breedte' (Wat is vol en wat is breed?) in allerlei contexten woorden hebben verworven. Maar wellicht meet de toets vooral wat kinderen thuis aan woordkennis hebben opgedaan.

Dan zullen volgens de auteurs ook MO-toetsen vooruitgang en variatie tussen leerlingen laten zien en wordt juf Osa weer blij. Maar worden hiermee leraren, leerlingen of beiden getoetst? Hoe zit dat? En als je leraren wilt toetsen via de opbrengsten bij leerlingen moet je dan niet rechtstreeks de kwaliteit van hun woordenschatonderwijs observeren?

"Het betoog wordt onduidelijker en het bedreigt serieus de validiteit van MO-toetsen en in dit geval de Cito-woordenschattoets."

Onduidelijk wat er precies wordt gemeten met de Cito-woordenschattoets

Waarschijnlijk wordt er ook deels iets onverwachts bij de leerlingen gemeten. Wat moeten leerlingen kunnen in plaats van kennen bij veel woordenschattoetsen? Nadenken door leerlingen over de woordbetekenis (of woordkennis) in een toets, kan een behoorlijk abstracte bezigheid zijn en zo een abstractievermogen heb je ook nodig bij een relatief gedecon-textualiseerde woordenschattoets.

Je toetst dan misschien voor een groot deel verbale intelligentie of betekenis gokken en geen woordkennis. Landelijk normgerichte woordenschattoetsen zoals de Citowoordenschattoets zullen dus waarschijnlijk vooral verbale intelligentie meten of zelfs een 'woordraadvaardigheid' (Sternberg en Powel; In: Hiebert, H. en Kamil. L.M. 2005).

De leerlingen zouden precies, los van de context, heel goed moeten weten wat een woord betekent en zouden dan via deze zogenoemde 'diepe woordkennis' (wat is dat eigenlijk?) op curriculumonafhankelijke toetsen beter kunnen presteren. Dat blijft echter een grote onbekende. 

Het is eigenlijk de omgekeerde wereld: leerlingen zouden woorden uiteindelijk moeten leren om de woordkennis en niet om het juiste en brede woordgebruik in zinnen, teksten en situatie. Goed woordgebruik moet dan ook veel vaker worden getoetst dan gebruikelijk is in het onderwijs, naast toetsen van woordkennis. Het eerste met gatentoetsen (Cloze-toetsen), omdat die de betekenis én het gebruik van woorden toetsen in zinnen en teksten.

Geraadpleegd

  • Beck, I. McKeown, M. G., & Kucan, L. (2008, 2010); Creating Robust Vocabulary: Frequently Asked Questions. Guilford Press. 
  • Browne, Cihi, Culligan (2007); Measuring Vocabulary Size via Online Technology; Lexxica.
  • Gallego, M. & Llach, M. (2009); Exploring the Increase of Receptive Vocabulary Knowledge in the Foreign Language: A Longitudian Study; International Journal of English Studies.
  • Hiebert, E.H. en Kamil, M.L. (2005); Teaching and Learning Vocabualry; Bringing Research to Practice. Lawrence Erlbaum, Publishers. 
  • Hilte, M. Verhallen,M.(2014); Woordkennis toetsen: Weet wat je meet.; JSW.
  • Schmitt, N. (2000); Vocabulary in Language Teaching;Camebridge University Press. 
  • Nation, I. S. P. (2001); Learning Vocabulary in Another Language; Cambridge University Press.

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

E-learning module
Mondeling taalgebruik en woordenschat in de klas
Mondeling taalgebruik en woordenschat in de klas
Doorloop deze gratis module!
Wij-leren.nl Academie 
Congres
Kleuters met een ontwikkelingsvoorsprong
Kleuters met een ontwikkelingsvoorsprong
Begeleiden van kiene kleuters in de klas
Medilex Onderwijs 
Voorbereiden op toetsen
Toetstekst als leesgenre Voorbereiding lees- en woordenschattoetsen.
Karin van de Mortel
Volgen van de ontwikkeling
Volgen van ontwikkeling: evalueren - normeren - LVS - rapportage
Arja Kerpel
Communicatief woordenschatonderwijs
Communicatief woordenschatonderwijs
Paul Filipiak
Werkdruk oplossen
15 tips voor het oplossen van werkdruk in het onderwijs
Paul Filipiak
Tips voor differentiatie in woordenschatonderwijs
Differentiëren binnen woordenschatonderwijs
Martie de Pater
woordenschatonderwijs vernieuwen vraagt om leiderschap
Woordenschatonderwijs in de 21e eeuw: effectief en uitdagend (1)
Jos Cöp
Functionele toetsvragen
Bronnen en contexten in toetsvragen niet functioneel
Gerdineke van Silfhout
Tips woordenschat
Knikkers spelers en spel: tips voor woordenschatonderwijs.
Paul Filipiak
Grip op leesbegrip
Beter toetsen en evalueren van lezen met begrip
Karin van de Mortel
Citoscore hanteren
Citoscore hanteren
Sieneke Goorhuis
Citoscore misverstanden
Meten is niet alles weten
Teije de Vos
nadelen directe instructie
Directe instructie doorgelicht - 1: een kritische blik
Ewald Vervaet
leesonderwijs en directe instructie
Directe instructie doorgelicht - 2: leesonderwijs en directe instructie
Ewald Vervaet
directe instructie onderzoek
Directe instructie doorgelicht - 3: is trainen van kleuters mogelijk?
Ewald Vervaet
directe instructie conditioneringspsychologie
Directe instructie doorgelicht - 4: de kijk vanuit de psychologie
Ewald Vervaet
Directe instructie onderzoek
Directe instructie doorgelicht - 5: wat zegt het onderzoek?
Ewald Vervaet
directe instructie kleuteronderwijs
Directe instructie doorgelicht - 6: bezwaren tegen EDI-kleuteronderwijs
Ewald Vervaet
Woordenschatonderwijs didactiek woordgroep twee en toetsing
Woordenschatonderwijs - deel 2
Paul Filipiak
Woordenschatonderwijs didactiek woordgroep twee en toetsing
Woordenschatonderwijs - deel 2
Paul Filipiak
pratend en lezend woorden leren intro en overzicht
Pratend en lezend woorden leren; Intro en overzicht -0-
Paul Filipiak
Woordenschat toetsing
Toetsing -10-
Paul Filipiak
pratend en lezend woorden leren intro en overzicht
Pratend en lezend woorden leren; Intro en overzicht -0-
Paul Filipiak
Beoordeling LVS-toetsen woordenschat (1)
Toelichting beoordelingscriteria en beoordeling LVS-toetsen Woordenschat (1)
Corine Treffers
Beoordeling LVS-toetsen woordenschat (1)
Toelichting beoordelingscriteria en beoordeling LVS-toetsen Woordenschat (1)
Corine Treffers
Geen woorden maar kinderen
Geen woorden, maar kinderen
Paul Filipiak
Afstemmen op ontwikkelingsfase kind
Doorbreek de testcultuur
Ewald Vervaet
Wegcijferen door toetsen
Laat je niet wegcijferen
Paul Filipiak
Red de taal van de toetsenmaker!
Red de taal van de toetsenmaker!
Karen Heij
Red de taal van de toetsenmaker!
Red de taal van de toetsenmaker!
Karen Heij


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Leerlingvolgsysteem in een video van één minuut uitgelegd
Leerlingvolgsysteem in een video van één minuut uitgelegd
redactie
Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
redactie
[extra-breed-algemeen-kolom2]



cito
cito-score
leerlingvolgsysteem
normering
taalontwikkeling
toetsen
toetskalender
woordenschat

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest