Welke invloed heeft het hergebruiken van vragen in kennistoetsen op de kwaliteit van de toets op de lerarenopleiding?

Geplaatst op 5 april 2021

Als een kennistoets voor een deel bestaat uit eerder gebruikte vragen die bij studenten bekend zijn, leidt dit niet automatisch tot een daling van de betrouwbaarheid en validiteit van de toets. Multiplechoicevragen hergebruiken uit een itembank heeft weinig tot geen effect op het slagingspercentage en de moeilijkheidsgraad. Dat blijkt uit het weinig beschikbare onderzoek. Over het hergebruik van open vragen is geen onderzoek bekend.

Het doel van een kennistoets is beoordelen in hoeverre een student over de vereiste kennis beschikt. Soms kiezen docenten ervoor om vragen of toetsen ongewijzigd opnieuw in te zetten. Ze nemen bijvoorbeeld eerdere oefenvragen op in een toets of gebruiken vragen nog eens bij een herkansing, bij parallelle studentengroepen of in volgende studiejaren.

Voor- en nadelen van vragen ongewijzigd hergebruiken

Het ongewijzigd hergebruiken van vragen in een kennistoets kan voordelen hebben, maar vormt ook een mogelijke bedreiging voor de kwaliteit van de toets.
Mogelijke voordelen zijn dat de kwaliteit van de toetsvragen reeds is aangetoond, en dat het bijdraagt aan gelijkwaardige vergelijkingen tussen klassen en groepen. Studenten weten wat ze te wachten staat bij de toets wanneer de vragen tevoren bekend zijn. En hergebruik scheelt de docent ontwikkeltijd en –kosten.

Daar staan eventuele risico’s tegenover als oneerlijkheid en scheve vergelijkingen. Studenten die weet hebben van bepaalde vragen lijken in het voordeel. Daarmee is de validiteit van de toets in het geding; het toetst niet voor iedere student wat het moet toetsen. Verder werkt hergebruik ‘teaching to the test’ in de hand. Studenten leren alleen wat ze verwachten, in plaats van de gehele leerstof tot zich te nemen. Daardoor kan het leerrendement afnemen.

Hergebruik van vragen leidt niet automatisch tot kwaliteitsdaling

Er is slechts beperkt buitenlands onderzoek aanwezig naar ongewijzigd hergebruik van vragen in kennistoetsen in het hoger onderwijs. Daaruit komt naar voren dat hergebruik van een beperkt aantal vragen in een multiplechoicetoets de betrouwbaarheid en validiteit niet automatisch lijkt te beïnvloeden. Ook niet als de vragen (waarschijnlijk) bekend zijn bij de studenten.

Invloed andere factoren op toetskwaliteit onbekend

Het is niet bekend in welke mate andere factoren, zoals toets- en studentkenmerken, een rol spelen voor de kwaliteit van de toets bij hergebruik van vragen. De relevante onderzoeken kennen een vrij specifieke context, en het is denkbaar dat nu niet-onderzochte contextfactoren invloed hebben op de kwaliteit van de toets in geval van hergebruik van vragen.

Uitgebreide beantwoording

Opgesteld door: Rena Punt (kennismakelaar)
Vraagsteller: Extern lid examencommissie lerarenopleiding

Vraag

Welke invloed heeft het hergebruiken van vragen in kennistoetsen op de kwaliteit van de toets binnen de lerarenopleiding?

Kort antwoord

Als een kennistoets voor een deel bestaat uit eerder gebruikte vragen die al bij studenten bekend (kunnen) zijn, leidt dit niet automatisch tot een daling van de kwaliteit (betrouwbaarheid en validiteit) van de toets. De vier aangetroffen internationale onderzoekspublicaties beschrijven alle een situatie waarin het hergebruiken van multiple-choicevragen in een kennistoets binnen het hoger onderwijs weinig tot géén effect had op zaken als slagingspercentage en moeilijkheidsgraad van de toets(vragen). Er is overigens geen onderzoek bekend naar hergebruik van open vragen, of situaties waarin er géén sprake is van een itembank. Evenmin is bekend wat de invloed is van andere toetskenmerken en studentfactoren op de kwaliteit van de toets(vragen) bij hergebruik van vragen.

Toelichting antwoord

Het doel van een kennistoets[1] is beoordelen in hoeverre een student over de vereiste kennis beschikt: feiten weten te reproduceren, inzicht laten zien en/of kennis weten toe te passen. Soms kiezen docenten er voor om toetsvragen of toetsen ongewijzigd te hergebruiken. Ze nemen bijvoorbeeld eerdere oefenvragen op in een toets of gebruiken vragen nog eens bij een herkansing, bij parallelle studentengroepen of bij volgende cohorten. De vragen en antwoorden kunnen op den duur, bedoeld of onbedoeld, bekend raken onder studenten die de kennistoets nog(maals) moeten afleggen.

Het ongewijzigd hergebruiken van vragen in een kennistoets kan voordelen hebben, maar vormt ook een mogelijke bedreiging voor de kwaliteit van de toets(vragen). Onderzoeker en toetsexperts noemen – overigens niet op basis van eigen of ander empirisch onderzoek – de onderstaande mogelijke voordelen en risico’s (zie bijvoorbeeld Gehringer, 2004; Molkenboer & Kemper, 2017; Van Berkel et al., 2014; Wagner-Menghin et al., 2013; Yang, 2012):

Mogelijke voordelen Mogelijke risico’s
Aangetoonde kwaliteit: van reeds gebruikte toetsvragen kan men op basis van psychometrische analyse vaststellen dat deze betrouwbaar en valide zijn voor het betreffende doel. Hergebruik kan ten koste gaan van de validiteit omdat de vragen (als ze bekend zijn bij studenten) makkelijker kunnen worden om te beantwoorden.
Gelijkwaardigheid en vergelijkbaarheid: het gebruik van dezelfde toetsvragen voor verschillende studenten(groepen) kan bijdragen aan gelijkwaardigheid van de toetsen tussen de groepen en de onderlinge vergelijkbaarheid van de toetsresultaten. Bovenstaande kan een oneerlijk voordeel opleveren voor studenten die onbedoeld de hand hebben weten te leggen op eerdere toetsvragen. Daarmee samenhangend kan het onderscheidende (discriminerende) vermogen van de toets afnemen wat betreft studenten die de kennis wel beheersen en zij die de kennis niet beheersen.
Transparantie: het bekend maken van vragen kan eraan bijdragen dat studenten beter weten wat ze te wachten staat bij de toets. Hergebruik werkt ‘teaching to the test’ in de hand, waardoor het leerrendement kan afnemen, met name als studenten alleen leren wat zij verwachten tegen te komen in de toets in plaats van dat ze de gehele leerstof leren.
Als een verzameling van toetsvragen de gehele leerstof bestrijkt, kan het bestuderen van deze gehele vragenset een goede manier zijn om de beoogde (feiten)kennis te leren, en zou hiermee tevens borgen dat alle lesstof aangeboden wordt; als iets niet in het onderwijs aan de orde is gekomen, dan gebeurt dit alsnog via de toetsvragen.
Hergebruik scheelt ontwikkeltijd en –kosten.

 

 

Hergebruik vragen leidt niet automatisch tot kwaliteitsdaling.

Uit het (beperkt aanwezige) onderzoek naar ongewijzigd hergebruik van vragen in kennistoetsen in het hoger onderwijs komt het beeld naar voren dat de validiteit en betrouwbaarheid van de toets en/of de toetsvragen onder bepaalde condities niet of nauwelijks wordt beïnvloed wanneer de toets vragen bevat die hergebruikt zijn en bekend zijn bij de studenten.
Wagner-Menghin et al. (2013) concluderen met de nodige voorzichtigheid dat het hergebruiken van een beperkt aantal vragen in een multiple-choice kennistoets (35-45% van het totaal aantal vragen in de toets) de examenkwaliteit niet automatisch beïnvloedt. Zij vonden in hun experimenteel onderzoek onder 671 Oostenrijkse geneeskundestudenten dat toepassingsgerichte multiplechoicevragen bij hergebruik beter gemaakt werden, en dus bij hergebruik een lagere moeilijkheidsgraad hadden. Dat wil zeggen dat het percentage studenten dat het juiste antwoord gaf steeg. Dit vormt een bedreiging voor de validiteit omdat de vragen mogelijk minder geschikt worden om onderscheid te maken tussen studenten die de leeruitkomsten wél beheersen en zijn die dat niet doen.

Echter, bij de reproductievragen bleek er bij hergebruik geen sprake te zijn van een daling van de moeilijkheidsgraad. De hergebruikte vragen werden bij verschillende gelegenheden ongeveer even goed beantwoord. De overallscores van de studenten op de tentamens mét en zonder hergebruikte vragen verschilden niet significant. Zij onderzochten verder of studenten die er voor kozen om later tentamen te doen gemiddeld hoger scoren dan studenten die het tentamen als eerste maken. De hypothese was dat deze studenten strategisch hun tentamenmoment plannen zodat er gelegenheid is tot het uitwisselen van informatie, en dat zij hoger zouden scoren.

Ook daarvoor bleek bij dit onderzoek geen bewijs; de studenten die als laatste tentamen deden hadden zelfs de laagste scores. De vraag is hoe het kan dat zij niet beter presteerden, ondanks dat zij gelegenheid hadden om profijt te hebben van het ‘lekken’ van vragen. De studenten zullen volgens de onderzoekers de eerdere toetsvragen wel besproken en bestudeerd hebben; de moeilijkheidsgraad van de toepassingsvragen daalde immers. Een verklaring zou kunnen zijn dat de studenten die willen profiteren van kennis over de vragen - en dus een later toetsmoment kiezen - de zwakkere studenten zijn. Juist deze studenten zijn mogelijk beperkt in staat om voordeel te behalen uit het (voor)bespreken van vragen.  

Ook bij Canadees onderzoek van Wood (2008) maakte het voor de prestaties van de studenten nauwelijks uit of hun hertentamen, een kennistoets, hergebruikte vragen bevatte of niet. 130 studenten geneeskunde deden dit hertentamen: de ene groep kreeg daarbij alleen nieuwe vragen (324 multiple-choicevragen), en de andere groep kreeg 11% tentamenvragen die ook in het eerdere tentamen waren opgenomen. De studenten wisten niet van tevoren dat er vragen zouden worden hergebruikt en tussen de eerste en de tweede afname zat ongeveer 4 maanden. De studenten scoorden gemiddeld beter dan de eerste keer, zonder significant verschil tussen beide groepen.

Yang (2012) beschrijft een situatie waarin het bewust bekend maken van multiple-choicevragen geen significant effect had op de kwaliteit van de toets. De nationale raad voor zorgpersoneel van Korea besloot alle 5548 multiple-choicevragen van de landelijke ‘Medical Licensing Examination’ te publiceren in het kader van transparantie richting de kandidaten. In totaal legden 20.455 studenten een examen af dat bestond uit 400 tot 540 vragen, samengesteld uit de set van 5548 vragen. De ene groep deed examen voorafgaand aan publicatie, de andere groep daarna. Er werden geen significante verschillen gevonden in slagingspercentage, prestaties van de studenten of de moeilijkheidsgraad van de toets. Het vrijgeven van alle 5548 vragen die tezamen het gehele kennisdomein van de toets bestrijken, had dus geen effect op de kwaliteit van de toets. De grote omvang van de totale vragenset, het aantal vragen in de toets en het feit dat de 5548 vragen de gehele leerstof omvatten zijn in deze situatie mogelijk factoren van belang.

Hertz et al. (2003) onderzochten het effect van hergebruik van vragen in examens voor LSCW (Licensed Clinical Social Worker) en MFT (marriage and family therapist) in de Verenigde Staten. In totaal 2.661 studenten deden in een periode van 6 maanden mee aan een eerste, tweede of derde examengelegenheid. Het betrof examens met 175 multiple-choicevragen uit een itembank, waarbij iedere kandidaat de vragen in een andere volgorde via de computer kreeg aangeboden. De inhoud van de vragen was veelal toepassingsgericht. De overlap tussen de vragen in de eerste en latere gelegenheden was ongeveer 30%. Er was geen significante toename van het slagingspercentage van het examen of het percentage studenten dat de hergebruikte vragen juist beantwoordde. Dus de studenten leken geen voordeel te halen uit het feit dat er hergebruikte vragen in het examen zaten. Volgens de auteurs draagt goed gebruik maken van een digitaal toetssysteem er aan bij dat er efficiënt gebruik gemaakt kan worden van de itembank (door middel van itemanalyse en randomiseren van examenvragen). De onderzoekers melden in hun publicatie niet wat de omvang van de itembank was.

Tot slot

De vier aangehaalde onderzoeken zijn alle afkomstig uit het buitenland en hebben betrekking op kennistoetsen in hoger onderwijs binnen zorg en welzijn. Er is echter geen reden om aan te nemen dat het land of het kennisdomein van de toets(vragen) verschil zou maken voor het effect van hergebruik van vragen op de kwaliteit van de toets, waardoor deze onderzoeken in die zin ook voor de lerarenopleiding interessant kunnen zijn.  Mogelijk beperkend voor de vergelijkbaarheid met de situatie bij de lerarenopleiding is wel dat de onderzoeken niks zeggen over het effect van hergebruik van open vragen of het hergebruik van vragen in een situatie zonder itembank.

Verder is onbekend in welke mate overige contextfactoren een rol spelen bij het effect van hergebruik van toetsvragen op de kwaliteit. Denk aan studentfactoren (zoals de mate waarin zij bereid en in de gelegenheid zijn geweest om vragen uit te wisselen en of zij verwachten dat vragen hergebruikt worden) en toetskenmerken zoals het percentage hergebruikte vragen in de toets, de verhouding tussen de bekend geraakte vragen en de lesstof (dekking), het percentage bekend geraakte vragen van de totale vragenset en de wijze waarop de vragen worden voorgelegd in de toets (vaste volgorde of gerandomiseerd). Het is denkbaar dat deze factoren bepalend zijn voor de mate waarin hergebruik de kwaliteit van de toets(vragen) beïnvloedt, maar onderzoek hiernaar ontbreekt.

Geraadpleegde bronnen 


[1] Dit antwoord op een vraag aan de Kennisrotonde heeft enkel betrekking op kennistoetsen. Andere toetsvormen zijn buiten beschouwing gelaten.

 

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Webinar
Wat kun je wel en niet met toetsen in het onderwijs?
Wat kun je wel en niet met toetsen in het onderwijs?
Gratis webinar met Karen Heij
Wij-leren.nl Academie 
Cursus
Slimmer onthouden en begrijpen
Slimmer onthouden en begrijpen
Systeemdenken met mindmaps en causale lussen
Medilex Onderwijs 
10 problemen Eindtoets
10 pittige problemen met de Eindtoets Basisonderwijs.
Machiel Karels
Opbrengst toetsen en doel van onderwijs
Toetsen maken: Dat is niet het doel van ons onderwijs!.
Dolf Janson
Effectieve vragen stellen
Effectieve vragen stellen essentieel voor een onderzoekende houding
Sietske van der Wegen
Leren denken
Leren denken als basis voor succes op school
Dolf Janson
Het prachtige risico van onderwijs
Het prachtige risico van onderwijs - Gert Biesta
Machiel Karels
Wegcijferen door toetsen
Laat je niet wegcijferen
Paul Filipiak
Kleuters toetsen
Peuters en kleuters zijn niet toetsbaar
Sieneke Goorhuis


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
redactie
[extra-breed-algemeen-kolom2]



cito
cito-score
leerrendement
teaching to the test
toetsen

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest