Soms nuttig, soms niet: Adaptief toetsen genuanceerd

Karen Heij

Zelfstandig toetsexpert bij Parrhesia onderwijsadvies

 

  Geplaatst op 8 november 2022

Er wordt al jaren gesproken over adaptief onderwijs en, in het verlengde daarvan, adaptief toetsen. Reikhalzend kijken we uit naar het moment dat de computer door slim rekenwerk de leerling vlot en moeiteloos op het juiste niveau plaatst. Toch blijft de echte adaptieve revolutie uit. Wat maakt dat de adaptieve toetsdroom zo beperkt werkelijkheid wordt? We vragen het Marc Binsbergen, hoofd afdeling Onderzoek en Psychometrie van Bureau ICE.

Laten we bij het begin beginnen: wat is adaptiviteit eigenlijk?

Adaptiviteit is een ander woord voor aanpassingsvermogen. Houtveen & Reezigt (2000) definieerden adaptief onderwijs op de volgende manier: ‘een onderwijskundig middel om doelen te bereiken bij kinderen die van elkaar verschillen in kenmerken die voor het onderwijs belangrijk zijn’. Aanpassingsvermogen kun je ook realiseren in toetssituaties.

Bij een adaptieve toets reageert niet alleen een kandidaat op de hem/ haar voorgelegde toetsvragen, maar ‘reageert’ de toets ook op de antwoorden van de kandidaat. Als een kandidaat een vraag correct beantwoordt, is de volgende vraag moeilijker. Als hij een vraag incorrect beantwoordt, is de volgende vraag makkelijker. De toets past zich dus aan de kandidaat aan op basis van de gegeven antwoorden.

We moeten dit niet verwarren met toetsen waarvan verschillende varianten aan leerlingen kunnen worden voorgelegd, afhankelijk van hun vaardigheid. Dat zou ik meer ‘toetsen op maat’ willen noemen. Bij adaptieve toetsen heb je het echt over toetsen waarvan de vragen zich aanpassen aan het niveau van de leerling, tijdens het maken van de toets.

Is een adaptieve toets ook altijd een digitale toets?

De eerste adaptieve toets stamt uit 1905 en er bestaan nog steeds toetsenbatterijen met korte voortoetsen die bepalen welke vervolgtoetsen er komen. Maar echte adaptiviteit binnen een toets op het niveau van de toetsvragen vraagt om veel rekenwerk en maakt de computer onontbeerlijk. De toetsvragen kunnen direct beoordeeld worden door het toetssysteem, waarna de computer onmiddellijk kan berekenen welke vervolgvraag passend is.

Echte adaptiviteit maakt de computer onontbeerlijk.

Wat heb je nodig om een adaptieve toets te maken?

Een aantal dingen. In de eerste plaats heb je zeer betrouwbare toetsvragen nodig waarvan je weet hoe moeilijk ze zijn en hoe goed ze discrimineren. Moeilijkheid wordt dan uitgedrukt in welke vaardigheid een kandidaat nodig heeft om de toetsvraag correct te kunnen beantwoorden. Discriminatievermogen van een toetsvraag betekent dat de vraag op de juiste manier onderscheid kan maken tussen de vaardigheidsniveaus van de kandidaten.

Daarnaast heb je veel vragen nodig, zogezegd een grote itembank. Er moet dus uitgebreid gepretest worden, met heel veel vragen – er vallen immers altijd vragen af die niet geschikt blijken te zijn – en bij de juiste doelgroep van voldoende grootte.

Naast de itembank zijn er regels en criteria nodig die vastleggen op welke manier vragen geselecteerd worden. Het systeem moet immers na iedere vraag of na een setje vragen bepalen wat de volgende vraag of set is. Dus moet je beslissen van welke moeilijkheid de eerste vraag (set vragen) moet zijn, hoe wordt bepaald hoeveel moeilijker of makkelijker de volgende vraag (set vragen) moet zijn en wanneer er genoeg vragen zijn gesteld opdat er met voldoende nauwkeurigheid is vastgesteld wat de vaardigheid van een kandidaat is.

Wanneer levert adaptiviteit echt wat op?

Over het algemeen worden aan (digitaal) adaptief toetsen drie grote voordelen toegekend ten opzichte van gefixeerde lineaire toetsen (met een vaste lengte en een vaste set items). De vaardigheid van een kandidaat wordt met grotere nauwkeurigheid bepaald (1) en dat gebeurt dan met een kortere toets (2). Daarbij krijgen kandidaten geen vragen die of veel te makkelijk of veel te moeilijk zijn, wat in beide gevallen frustrerend kan zijn (3).

Een goed gedocumenteerd voorbeeld van de ontwikkeling en uitvoering van een digitale adaptieve high-stakes test(batterij) die op grote schaal wordt afgenomen is de Armed Services Vocational Aptitude Battery (ASVAB) in de VS. Naast de digitale adaptieve versie wordt in dit geval nog steeds de papieren versie gebruikt. Gemiddelde toetstijd van de adaptieve test is 1,5 uur, die van de papieren versie is 3 uur. In Nederland is mogelijk het bekendste voorbeeld van het toepassen van adaptiviteit Rekentuin (zie http://www.rekentuin.nl), een adaptief online rekenoefenprogramma. Het ‘rekenwerk’ achter Rekentuin kent drie bijzondere eigenschappen (Straatemeijer, M., Van der Maas, H. & Klinkenberg, S., 2009):

  1. Niet alleen van de leerlingen wordt de vaardigheid gemeten (die over tijd groeit), ook van de items wordt de moeilijkheid steeds opnieuw bepaald (met het toenemen van de data).
  2. De regel is dat leerlingen niet 50% van de vragen goed moeten kunnen doen, maar 75%, hetgeen veel motiverender is.
  3. De snelheid waarmee een leerling de vragen beantwoordt wordt meegenomen in de bepaling van de vaardigheid.

Zijn er nog meer voorbeelden in Nederland van goede adaptieve toetsen?

Nee. Die zijn mij niet bekend.

Welke nadelen kleven er aan adaptief toetsen? Wat zijn de beperkingen?

In principe meet een adaptieve toets de vaardigheid van een kandidaat op één construct (zoals rekenvaardigheid). In ons onderwijs werken we echter meer met vakken dan met vaardigheden. Een toets Aardrijkskunde bevat veel domeinen/onderwerpen en raakt aan veel vaardigheden. Een toets of examen wordt als goed en stevig ervaren (civiel effect) als deze een brede inhoudelijke dekking laat zien. Je wilt immers voldoende evidentie voordat je een uitspraak doet over iemands niveau of beheersing. Dat is niet per definitie de kracht van een adaptieve toets. Die ligt vooral in het snel en accuraat bepalen van de ‘overall’ vaardigheid. Zou je van zo’n brede inhoudelijke toets een adaptieve toets willen maken, dan zal de laatste ook aanzienlijk in lengte groeien.

Een ander nadeel is dat een adaptieve toets een kandidaat díe vragen voorschotelt die het beste passen bij zijn vaardigheid. Daardoor kunnen sterkere kandidaten (geheel) andere soort vragen krijgen dan minder sterke kandidaten. Denk bijvoorbeeld aan een adaptieve rekentoets in groep 5: die kiest vooral de vermenigvuldig- en deelvragen voor de vaardige leerlingen en de optel- en aftrekvragen voor de minder sterke leerlingen, als er niet ook regels gemaakt worden voor het minimaal aantal vragen per bewerking.

Omdat een adaptieve toets bijna altijd een digitale, direct beoordeelbare toets is heeft het ook de nadelen van een gesloten digitale toets. De toets zal hoofdzakelijk meerkeuzevragen bevatten en dat past niet altijd bij wat je wilt meten. Op dit moment is het automatisch digitaal beoordelen bij productieve vaardigheden (spreken, schrijven) nog toekomstmuziek. Ook de langere open-antwoord vragen kunnen niet zonder menselijke beoordelaar en zijn dus niet geschikt in een toets die direct moet kunnen reageren op het door de kandidaat gegeven antwoord.

De toets zal hoofdzakelijk meerkeuzevragen bevatten en dat past niet altijd bij wat je wilt meten.

Zoals gezegd is er veel ontwikkel- en testwerk nodig op een grote itembank om een goede adaptieve toets te maken. Dat is heel duur. En de vraag is of de ‘winst’ die daarmee wordt gemaakt die extra kosten waard is. Dat een adaptieve toets nauwkeuriger de vaardigheid van een kandidaat meet wil niet zeggen dat een gefixeerde lineaire toets onvoldoende nauwkeurig meet.

Dat een toets korter is, is niet per definitie een voordeel. Het geeft veel leerlingen een bevredigend gevoel als de inspanning die zij moeten plegen voor het maken van de toets in verhouding staat tot de inspanning die zij gedaan hebben om te leren voor een toets.

Verder gaat het bij het afnemen van toetsen meestal niet alleen om het eindoordeel, maar is juist de feedback op (delen van) de toets een essentieel onderdeel van toetsing. Het inrichten daarop maakt een adaptieve toets een nog complexere aangelegenheid.

En ten slotte; de meest effectieve regels achter de inrichting van een adaptieve toets leveren een systeem op dat werkt op ‘50% scores’: de helft van de vragen wordt correct beantwoord en de helft incorrect. Dit principe is niet per se heel motiverend voor kandidaten, het is veel prettiger als het overgrote deel van de vragen wel correct beantwoord kan worden.

Welke zin zou adaptiviteit kunnen hebben als je kijkt naar toetsing in het voortgezet onderwijs zoals we dat nu kennen?

Adaptiviteit betaalt zich uit als je van iedere kandidaat het individuele vaardigheidsniveau wilt bepalen in een situatie waarin óf niet of nauwelijks bekend is wat ieders vaardigheid is, óf bekend is dat er grote verschillen in vaardigheid zijn tussen de kandidaten in de doelgroep. In beide gevallen moet er namelijk geschat worden op welk niveau er gemeten moet worden om per kandidaat zo accuraat mogelijk te meten. Dat (grove) inschatten gebeurt in het onderwijs normaliter door de docent die zijn groep leerlingen kent of (ongeveer) weet wat het niveau zou moeten zijn op basis van eerdere (toets)resultaten. Maar als dat niet kan of niet mag[1] dan biedt een adaptieve toets een uitkomst (een voorschatter is ook een mogelijkheid).

Met name bij doelgroepen met een grote spreiding in vaardigheidsniveau zorgt een adaptieve toets ervoor dat ook de zwakste en sterkste leerlingen een toets aangeboden krijgen met zo weinig mogelijk (veel) te moeilijke of te makkelijke vragen. Daar waar ingrijpende beslissingen worden genomen in de onderwijsloopbaan van leerlingen op basis van hun vaardigheidsniveau is een zo accuraat mogelijke meting van groot belang. Natuurlijk kunnen ook summatieve toetsen als examens adaptief ingericht worden, alleen is er een aantal factoren die het gebruik van adaptiviteit veel minder aantrekkelijk maakt: de beperking op soorten toetsvragen, de dekking van ‘alle’ leerstof en de bekendheid van de items.

Niet iets voor de nabije toekomst?

Ik denk dat er nog heel wat water door de Rijn zal stromen voordat we adaptieve toetsing goed kunnen omarmen. En ik denk dat we tot dat moment uitstekend uit de voeten kunnen met de huidige manieren van toetsen.

Literatuur

  • Houtveen, A.A.M., & Reezigt, G.J. (2000). Succesvol adaptief onderwijs. Alphen a/d Rijn: Samsom.
  • Straatemeijer, M., Van der Maas, H. & Klinkenberg, S. (2009). Werken in de rekentuin. Spelenderwijs oefenen en meten. Volgens Bartjens, 28(5), 4-6.

[1] In het primair onderwijs wordt tot en met schooljaar 2016-2017 de Centrale Eindtoets als B- en als N-versie aangeboden. De docent bepaalt per leerling welke versie voor hem/haar het meest geschikt is. Dit laatste vindt de politiek niet meer wenselijk en daarom wordt de Centrale Eindtoets vanaf 2017-2018 opgevolgd door de adaptieve Centrale Eindtoets.

 

Gerelateerd

Congres
Omgaan met verschillen in de rekenles
Omgaan met verschillen in de rekenles
Aansluiten op de onderwijsbehoeften van je leerlingen
Medilex Onderwijs 
Beurs
Kom naar de NOT 2023!
Kom naar de NOT 2023!
Het event voor onderwijsprofessionals in KO, PO & VO. Van 24 t/m 28 jan 2023 Jaarbeurs te Utrecht.
NOT 
E-learning cursus
Je digitale vaardigheden up-to-date houden?
Je digitale vaardigheden up-to-date houden?
Met online cursussen E-WISE gaat dat bijna vanzelf. Vraag nu gratis proefcursus aan en ontdek voordelen!
E-Wise 
Scholing
Differentiëren
Differentiëren
Met differentiëren vergroot je de leermogelijkheden van alle leerlingen in de klas.
oo.nl 
Luchtkwaliteit
Schonere lucht met licht
Schonere lucht met licht
Tot 99,99% minder virussen in 10 minuten dankzij UV-C desinfecterende luchtreinigers. Dat kan!
Signify 
ICT oplossingen
Wil jij je ook geen zorgen meer maken?
Wil jij je ook geen zorgen meer maken?
Alles in één keer goed geregeld met de laptops van The Rent Company. Kies voor gemak en zekerheid.
The Rent Company 
Je digitale vaardigheden up-to-date houden?Digitale toetsen
Digitale toetsen: waar moet je op letten?
redactie
Kindgerichte kwaliteitszorg
Kindgericht onderwijs vraagt inzicht in het leerpotentieel van kinderen
Machiel Karels
Gepersonaliseerd onderwijs
Wat is gepersonaliseerd onderwijs?
Tijl Rood
Effectiever onderwijs
Hoe gerichte inzet van ICT leidt tot effectiever onderwijs
Jos Cöp
Adaptieve software
Adaptieve software zet onderwijs op zijn kop
Tijl Rood


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

ICT kennis leerlingen praktijkonderwijs
ICT kennis leerlingen praktijkonderwijs
redactie
Is het tijd voor een digitale revolutie in het beroepsonderwijs?
Is het tijd voor een digitale revolutie in het beroepsonderwijs?
redactie
Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
Referentieniveaus in een video van één minuut uitgelegd
Referentieniveaus in een video van één minuut uitgelegd
redactie
Onderwijsachterstanden en leervertraging door corona
Onderwijsachterstand of leervertraging? Welke term gebruik je wanneer?
Effect vooraf toetsen rekenprestaties en zelfvertrouwen
Wat is het effect van vooraf toetsen?
Toetsing van rekenvaardigheden bij nt2 leerlingen
Leerlingen met een onvoldoende taalbasis: hoe toets je rekenvaardigheden?
Factoren die de inzet van ICT effectiever maken in bo
Hoe verbeter je de effectiviteit van ICT-inzet in het primair onderwijs?
Schriftelijke toetsen effectief op examenresultaten
Schriftelijke toetsen: helpend voor een goed examenresultaat havo/vwo?
Kleuters combinatieklas gezamenlijke instructie
Kleuters in een combinatieklas: gezamenlijke instructie of apart?
Cito-lvs woordenschattoetsen geschikt voor taalzwakke lln
Zijn de Cito-LVS woordenschattoetsen geschikt voor taalzwakke leerlingen?
Herkansen van toetsen leerresultaten en leergedrag
Herkansen: leidt dit tot betere leerresultaten en een beter leergedrag?
Effect van gepersonaliseerd onderwijs op achterstandsleerlingen
Wat is het effect van gepersonaliseerd onderwijs op achterstandsleerlingen?
Hergebruiken van kennisvragen in toets
Welke invloed heeft het hergebruiken van vragen in een toets?
Professionele leergemeenschappen
Professionele leergemeenschappen in het voorbereidend middelbaar beroepsonderwijs: Effecten van wederzijdse afhankelijkheid o...
Opdrachtgestuurd leren
Differentiatie in de klas middels opdrachtgestuurd leren
Effecten digitaal leermiddel
Effecten van een digitaal leermiddel bij het leren lezen
Game Interactieve Fictie
Gebruik game Interactieve Fictie (IF) in het taalonderwijs
Toetsen-leertrajecten
Gebruik van toetsen bij het plannen van leertrajecten
[extra-breed-algemeen-kolom2]



adaptief onderwijs
adaptieve leertechnologie
adaptieve toets
automatisering in het onderwijs
differentiatie
electronische leeromgeving - ELO
gepersonaliseerd onderwijs
ICT in het onderwijs
referentieniveau
toetsen

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest