Bronnen en contexten in toetsvragen: functioneel of een struikelblok

Gerdineke van Silfhout

Curriculumontwikkelaar Taal bij SLO

 

  Geplaatst op 1 juni 2015

Een jaarabonnement op de Hitkrant, een Juwel Rekord Aquarium, een echte Vabor kruiwagen, zakken Kopi Luwak koffie en een Doornenburgse jongen met boter en spijs… ze passeren allemaal de revue in de voorbeeldrekentoetsen 2F en 3F.

Zeventig procent van deze toetsen bestaat uit opgaven die situaties uit het dagelijks leven beschrijven. De toetsen moeten immers toekomstig maatschappelijk functioneren meten, is het argument. Maar ook de examens Maatschappijleer, Biologie en Geschiedenis staan boordevol bronnen en situatieschetsen. De ene keer ‘slechts’ om voorkennis te activeren, de andere keer cruciaal voor het beantwoorden van de vraag. (zie ook Evers-Vermeul & Land, 2012). 

Kritiek op contextgebruik

Kritiek op bron- en contextgebruik is er volop. Toetsen waarin veel bronnen en contexten zijn opgenomen zouden het toetsdoel voorbijschieten en eerder wereldkennis, verschillen in werkgeheugen, woordenkennis en taalvaardigheid meten. En die kritiek is niet uit de lucht gegrepen, blijkt als we wat nauwkeuriger kijken naar de contexten uit verschillende toetsen en examens. 

Vermijd overbodige en misleidende informatie/ illustraties 

We beginnen met een item uit de voorbeeldtoets Rekenen 3F, zoals hieronder afgebeeld.


Een richtlijn voor het ontwerpen van toetsvragen is dat de stam van de vraag zoveel mogelijk informatie bevat die nodig is om de vraag te beantwoorden. De rekenvraag mist echter het noodzakelijke gegeven van de inhoud van de kruiwagen (100 liter). Leerlingen moeten twee afbeeldingen bestuderen om deze informatie te vinden.

Vanuit de literatuur weten we dat afbeeldingen extra tijd kosten en het toch al beperkte werkgeheugen extra belasten, onder andere omdat talige en beeldinformatie in verschillende hersengebieden verwerkt worden (Berends & Van Lieshout, 2009). Daarnaast is het de vraag of er sprake is van een realistische context.

Is een leerling die is opgegroeid op driehoog in de Randstad bekend met een kruiwagen? Het is in elk geval geen alledaags voorwerp. Voor veel leerlingen zal het dus moeilijk zijn om in te schatten hoe groot zo’n kruiwagen eigenlijk is. Zeker omdat de kruiwagen en trampoline niet in
de juiste verhoudingen van elkaar zijn afgebeeld. 

Tenslotte zijn deze min of meer overbodige afbeeldingen misleidend. Leerlingen gaan er namelijk vanuit dat de afbeeldingen functioneel zijn en dus nodig voor het beantwoorden van de vraag. Als we dan beter kijken naar de afbeelding van de trampoline, blijkt deze wel erg misleidend.

Een opmerkzame leerling zal na het bestuderen van de afbeelding namelijk opmerken dat Fabrice helemaal geen gat zo groot als de trampoline hoeft te graven (7 m2). Hij heeft immers genoeg aan het graven van twee sleuven van 90 centimeter en moet daarnaast het midden zo diep maken dat de springers de grond niet raken. Daarmee is naast het goede antwoord 65, het antwoord 10 ineens ook heel aantrekkelijk, omdat het juiste antwoord ergens tussen de 10 en 65 zit (Van de Craats, 2013). 

Redenen genoeg dus om de informatie over de inhoud van de kruiwagen in de tekst op te nemen – net zoals de informatie over de oppervlakte van de trampoline. Dan hoeven we leerlingen ook niet te belasten met het gegeven dat het om een heuse Vabor kruiwagen gaat.

Houd het toetsdoel altijd voor ogen

Irrelevant en misleidend, soms betreft dat alleen de afbeelding maar in andere gevallen gaat het om de hele bron of context. Ziehier een toetsvraag uit een voorbeeldexamen Maatschappijleer2 voor het vmbo-bk.

Het examen van Maatschappijleer2 bestaat zowel uit kennis als uit toepassingsvragen. Bovenstaande vraag is een kennisvraag waarbij leerlingen opgedane kennis moeten reproduceren. Aan de vraag is echter een context toegevoegd.
De context is om meerdere redenen problematisch.

  • Ten eerste omdat leerlingen ervan uitgaan dat de context niet voor niets is opgenomen en daarom het antwoord in de context zoeken en daar niks vinden omdat het om een kennisvraag gaat. Daarmee zet de context leerlingen dus op het verkeerde spoor.
  • Ten tweede is de context (redelijk) complex: de informatiedichtheid is hoog en het woordgebruik niet eenvoudig met woorden als rechtsprekende macht, echter, onverlet, levensdelicten en legitiem.

Legitiem kan wel eens een lastig woord zijn, moeten de toetsmakers hebben gedacht en daarom hebben zij ook de betekenis ervan opgenomen. Niet dat het woord gerechtvaardigde veel makkelijker is. Beter is het om contexten niet een op een over te nemen, in dit geval van de SGP-website, maar om deze te herschrijven of om zelf een context te construeren. Zo vermijd je complex taalgebruik in toetsvragen en hoef je ook geen betekenissen en vertalingen toe te voegen. Woordbetekenissen aanleren is iets wat in de les thuishoort en niet in een toets.

Als we al een context willen toevoegen, dan moet die relevant en begrijpelijk zijn. Het toetsdoel is immers niet gericht op het meten van tekstbegrip maar op kennis van de Nederlandse maatschappij. Veel waarschijnlijker is het dat deze vraag verschillen in werkgeheugencapaciteit, woordenschat en taalvaardigheid meet. Ook omdat de vraag een NIET gemarkeerde ontkenning bevat (niet invoeren van de doodstraf), terwijl in de context een politieke partij wordt beschreven die WEL voor invoering van de doodstraf is. 

Maar goed, hoe complex de context en vraag ook zijn… leerlingen die het antwoord niet weten kunnen altijd nog de volgende vuistregel toepassen: het langste antwoord is vaak het goede antwoord. Daarom nog twee handvatten voor het maken van toetsvragen:

  • a) Zorg ervoor dat de antwoorden van gelijke lengte zijn en voorkom dat het goede antwoord het langste antwoord is.
  • b) Vermijd ontkenningen en als ze niet te vermijden zijn, gebruik bijvoorbeeld kapitale letters om de ontkenning aan te duiden.

Laten we tenslotte nog een voorbeeld nemen uit het voorbeeldexamen Economie voor het vmbo-bk.

Vmbo-bk’ers moeten zo’n 250 woorden, waarvan veel vakjargon lezen om de vraag te kunnen beantwoorden (ter vergelijking: een A4 bevat ongeveer 350-400 woorden. Deze toetsvraag vormt daarmee zo’n grote belasting voor het werkgeheugen dat de kans groot is dat leerlingen er niet in slagen de informatie goed te verwerken (zie ook Kirschner & Wilbrink, 2014).

Geef leerlingen hooguit drie, vier zinnen informatie en de tabel, anders schieten we het toetsdoel van een economie-examen voor het vmbo-bk volledig voorbij. Waarom zou je naast de zojuist geïntroduceerde klimrenterekening ook nog eens een keuzespaarrekening introduceren? En waarom een alinea over het minimale bedrag van 1.000 euro op een rekening? Leerlingen zullen denken dat de informatie er niet voor niets staat, zeker wanneer 1.000 euro een belangrijk gegeven is bij het beantwoorden van de vraag (meneer Strubbe haalt na een jaar 1.000 euro van zijn rekening).

Laat taal geen struikelblok zijn

De resultaten van de Rekentoetsen liegen er niet om: in 2014 scoorde 46 procent van de leerlingen onvoldoende, bedroeg het verschil tussen de havo en het vwo veertig procentpunten en was de kans op een goed antwoord op sommige toetsvragen slechts 25 procent. Natuurlijk is de talige component daar niet alleen de oorzaak van. Maar één ding is wel duidelijk: de hoeveelheid informatie en het taalgebruik zullen voor veel leerlingen een struikelblok vormen, zeker wanneer we bedenken dat 15 procent van de middelbare scholieren onvoldoende leesvaardig is om hun studiematerialen voldoende te begrijpen (Cito, 2010).

Niet onbelangrijk in het licht van de besproken voorbeelden: een kwart van deze leerlingen zit op het vmbo.

Alle tips op een rijtje:
• Voeg geen illustraties toe ter decoratie of als bron van informatie.
• Schrijf beknopt: laat overbodige, misleidende informatie altijd achterwege.
• Schrijf helder: vermijd moeilijke, onbekende woorden; geef ook geen definities en vertalingen.
• Vermijd ontkenningen in de vraagstelling of laat de ontkenning duidelijk opvallen.
• Houd de lengte van de antwoordopties gelijk; voorkom dat het goede antwoord het langste antwoord is.
Meer tips om een goede toets te maken: kijk op www.toetsmagazine.nl

Samenvatting

De voorbeeldrekentoetsen 2F en 3F en examens zoals Maatschappijleer, Biologie en Geschiedenis bevatten vaak situaties uit het dagelijks leven als onderdeel van de vragen. Dit moet toekomstig maatschappelijk functioneren meten, maar er is kritiek op het gebruik van contexten. De contexten bevatten soms overbodige en misleidende informatie, wat het toetsdoel voorbijschiet. Zo wordt bijvoorbeeld in een rekenvraag de inhoud van een kruiwagen niet vermeld, wat extra tijd en belasting van het werkgeheugen veroorzaakt. Bovendien zijn de afbeeldingen niet altijd realistisch. In een vraag van Maatschappijleer wordt complex taalgebruik en een politieke context toegevoegd, wat het begrip bemoeilijkt en het toetsdoel verstoort. Hetzelfde geldt voor een economie-examen waarbij de overvloed aan informatie het werkgeheugen overbelast. Tips om dit te verbeteren zijn onder meer het vermijden van overbodige informatie, het gebruik van heldere taal en het vermijden van ontkenningen in vragen.

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Webinar
Wat kun je wel en niet met toetsen in het onderwijs?
Wat kun je wel en niet met toetsen in het onderwijs?
Gratis webinar met Karen Heij
Wij-leren.nl Academie 
Congres
Rekenproblemen en dyscalculie
Rekenproblemen en dyscalculie
Herken en begeleid leerlingen met stagnaties bij rekenen
Medilex Onderwijs 
Voorbereiden op toetsen
Toetstekst als leesgenre Voorbereiding lees- en woordenschattoetsen.
Karin van de Mortel
Veelgestelde vragen over de vertaalcirkel
De vertaalcirkel
Ceciel Borghouts
Formatief evalueren
Formatief evalueren, hoe pak ik dat aan in mijn les? Tien voorbeelden
Gerdineke van Silfhout
Vertaalcirkel 1
De Vertaalcirkel 1 werken aan begrip en inzicht bij zwakke rekenaars
Ceciel Borghouts
Taalgericht onderwijs
Taal in alle vakken - De sleutel naar taalgericht onderwijs
Gerdineke van Silfhout
Examenvrees
Eindexamenvrees: Een mislukking is nog geen ramp!
Ivo Mijland
Woordenschattoets
Onduidelijk wat de Cito-woordenschattoets meet
Paul Filipiak
Beter rekenonderwijs
Op weg naar beter rekenonderwijs
Dolf Janson
Grip op leesbegrip
Beter toetsen en evalueren van lezen met begrip
Karin van de Mortel
Objectief beoordelen
Objectief beoordelen van taalproducten: een (on)mogelijke opgave
Gerdineke van Silfhout
Naar een goede toets
Toetsen die recht doen aan de leerling: 5 stappen naar een goede toets
Eveline van Baalen
Rekenproces in de rekenles
Het rekenproces in de rekenles - protocol ERWD
Korstiaan Karels
Leerlijn rekenen
Leerlijn rekenen - Wie kan delen, kan vermenigvuldigen
Martie de Pater
Eindexamen en dyslexie
Eindexamen doen met dyslexie in 2015. Een verhaal uit de praktijk.
Terry van de Beek
Leuke schoolteksten
Hoe leuk moeten we schoolteksten maken? Opleuken helpt niet!
Gerdineke van Silfhout
Woordenschat toetsing
Toetsing -10-
Paul Filipiak
Update Citonormen
Update van de Cito-normen: inflatie en desastreuze gevolgen
Marjolein Zwik


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
redactie
[extra-breed-algemeen-kolom2]



cito
cito-score
rekentoets
rtti
toetsen

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest