LVS
Digitale toetsen
Professionalisering
Blended learning E-learning trends en ontwikkelingen
Rekenen
Dyscalculie Verbeteren rekenvaardigheid mbo
Taal
Game Interactieve Fictie Vroege ontwikkeling geletterdheid ICT-vroege geletterdheid Verhaalbegrip kleuters met ICT
Leren
Adaptieve software Blended learning Cognitieve balans Onderzoekend leren Kwaliteit leermateriaal Effectiever onderwijs Edutainment Blended learning effect E-portfolio’s Burgerschap games Verbeteren leerprestaties ICT differentiatie Programmeren 2 Programmeren 1 Mythe van leerstijlen Online informatievaardigheden methoden
Lezen
Lezen met lees-app Ontluikende geletterdheid ICT oplossing problemen lezen Digitale leeskilometers groep 3
Middelen
Computerapplicaties Digitaal schoolbord ICT-beleidsplan Leren in 2020 - 1 ICT in kindcentra Leren in 2020 - 2 Onderwijs en ICT Werking en beperking
Problemen
Cyberpesten Digitale dementie Digitale media en kinderhersenen Problematisch internetgedrag Kleuters en iPads
ICT
Digitale leermiddelen Digitale geletterdheid vo ICT-innovatie Tablet in het onderwijs Nieuwsgierigheid computergames Integreren in klassenpraktijk Buitenschoolse mediagebruik Jonge kinderen en tabletgebruik Digitale gymles Opleiding ICT beheerder
Verder kijken
ict onderwijs digitale vaardigheden ICT rekenen software internet informatie zoeken kennis learning analytics samenwerkend leren metacognitieve vaardigheden tutor scaffolding multimedia beeld geluid audio multimedia geheugen ict multimedia geheugen ict effectief leren multimedia geheugen ict effectief leren bronnen multimedia geheugen zelfsturing ict opbrengstgericht werken digitaal leerlingvolgsysteem professionalisering ict praktijk serious games beroepsonderwijs synchroon coachen opleiding leraren tekst schrijven outline tool toetsen leerlingvolgsysteem opbrengsten TPACK ICT integratie onderwijs typen schrijven typecursus lezen videovoorbeelden ict effect animatie leerproces instructie video

 

Digitale toetsen: waar moet je op letten?

  Geplaatst op 1 juni 2016

Jarodzka, H. en Kirschner, P. (2016) Digitale toetsen: waar moet je op letten?
Geraadpleegd op 19-10-2017,
van https://wij-leren.nl/digitale-toetsen-multimedia.php

Auteurs: Halszka Jarodzka, Paul Kirschner

Technisch zijn er geen belemmeringen om een papieren toets op het beeldscherm te presenteren en deze te verrijken met multimedia. Maar didactisch gezien zijn er nog veel onduidelijkheden. Hoe moet een betrouwbare en valide digitale toets eruitzien?

Toetsing hoort bij onderwijs en vervult een zeer belangrijke functie in ons onderwijssysteem. Het kwalificeert leerlingen voor een opleidingsniveau en borgt de kwaliteit van onderwijs vanaf de basisschool tot en met beroepsopleidingen en universiteit. Met de digitalisering van het onderwijs veranderen ook de aard en het uiterlijk van toetsen.

Gedigitaliseerde papieren toetsen maken hun entree. Denk aan de examens van het Cito die in toenemende mate gedigitaliseerd worden. Maar dat is slechts het begin. De technische mogelijkheden op het gebied van multimedia zijn legio: er zijn filmpjes, animaties en geluidsfragmenten toe te voegen aan vragen. Door deze verschillende media goed te gebruiken, kan het toetsen realistischer en meer valide gemaakt worden.

Bijvoorbeeld: een leerling die het gedrag van een vis moet classificeren op basis van diens bewegingen, kan dit accurater doen aan de hand van een video met bewegende beelden dan aan de hand van een tekstuele beschrijving of foto’s.

Zijn digitale toetsen even betrouwbaar en valide als papieren toetsen? In 1993 is hiernaar een grootschalig onderzoek verricht (Mead & Drasgow, 1993). Hieruit bleek dat het digitaliseren van een papieren toets (dus: het op een computerscherm presenteren van de vragen) geen effect heeft op de betrouwbaarheid. De betrouwbaarheid van een toets – digitaal én op papier – hangt af van de inhoud en van het ontwerp van de toetsvragen.

Wat dit laatste betreft is er sinds het onderzoek uit 1993 veel meer mogelijk geworden. En dat roept nieuwe vragen op, zoals hoe al die multimedia het beste op een scherm gepresenteerd kan worden. De centrale vraag van dit artikel is dan ook: hoe moeten de vragen in multimediale toetsen eruitzien om de betrouwbaarheid en validiteit van de toets te garanderen?

Het volledige antwoord hierop kunnen wij op dit moment niet geven, omdat er nog weinig systematisch onderzoek heeft plaatsgevonden naar de effecten van (nieuwe vormen van) digitale toetsen. Op grond van een eerste onderzoek (Jarodzka et al., ingediend) naar het ontwerp van een gedigitaliseerde toets kunnen we echter toch al een paar algemene conclusies trekken.

Informatie splitsen of niet?

In dit onderzoek is gekeken of de principes die ten grondslag liggen aan effectieve digitale leermaterialen ook bruikbaar zijn voor digitale toetsen. Uit theorieën over informatieverwerking is bekend dat onze cognitieve capaciteit om informatie actief te verwerken beperkt is, en dat wij die informatie alleen gedurende een beperkte tijd kunnen vasthouden.

Effectieve multimediale leermaterialen houden hier rekening mee en zijn zo ontworpen dat de cognitieve capaciteiten in het werkgeheugen voor het leren worden vrijgemaakt. Bijvoorbeeld door onnodige complexiteit en overbodige en/of afleidende informatie te vermijden (Mayer, 2005; Sweller et al., 1998).

Een voorbeeld is het split attention principe, dat stelt dat het geïntegreerd presenteren van informatie die bij elkaar hoort (tekst en illustratie bijvoorbeeld) het leren bevordert (Mayer, 2005; Sweller et al., 1998). Dit principe vormde het onderwerp van het onderzoek: in samenwerking met het Cito is gekeken of leerlingen beter scoren op een gedigitaliseerde papieren toets als de toetsvragen volgens het split attention principe zijn vormgegeven.

Hiervoor werd een aantal vragen uit het centraal eindexamen Kunst herontworpen, wat leidde tot een gesplitste versie en een geïntegreerde versie van iedere vraag (zie figuur 1).

Figuur 1: Gesplitste en geïntegreerde toetsvraag. Links een beeld van hoe de toetsvraag er in gesplitste opbouw uit ziet: de vraag en de antwoordruimte staan apart (rechts) van de aanvullende informatie (de plaatjes). Rechts de herontworpen vraag, waarbij de aanvullende informatie volgens de principes van de leertheorie samen met de de vraag en de antwoordruimte wordt gepresenteerd.

Uit het onderzoek blijkt dat de leerlingen bij beide typen vragen dezelfde mentale inspanning ervaren en de vragen in dezelfde tijd kunnen doorwerken, maar dat ze hogere scores behalen op de gesplitste vragen (de vragen dus die volgens het split attention principe verkeerd zijn opgesteld). De verklaring hiervoor is dat de herontworpen, geïntegreerde versie van de vragen ertoe leidt dat de leerlingen alle gegeven informatie bekijken – dus ook de achtergrondinformatie die feitelijk voor het maken van de toets overbodig is –, terwijl zij die in de gesplitste versie negeren.

Op basis hiervan valt te concluderen dat wat bekend is over de werking van digitale leermaterialen niet zonder meer als blauwdruk kan dienen voor het ontwerp van digitale toetsen. Leren is immers iets wezenlijk anders dan toetsen. Bij beide wordt informatie cognitief verwerkt. Maar bij leren gaat het erom dat leerlingen snel en zonder cognitieve overbelasting informatie selecteren, kennis opdoen en deze met hun aanwezige voorkennis verbinden. Bij toetsen wordt leerlingen juist gevraagd kennis te reproduceren of toe te passen, vaak onder tijdsdruk. Twee verschillende cognitieve processen dus, die andere eisen stellen aan het materiaal. Daarbij speelt bij toetsing ook nog de factor tijdsdruk een rol, die het nodig kan maken om strategisch overbodige informatie te negeren.

De tweede conclusie die voortvloeit uit het onderzoek is dat het toetsdoel (mede) bepaalt hoe een toets eruit moet zien. Als de bedoeling is om op kennis te toetsen en dus snel feitenkennis op te roepen, dan heeft overbodige en dus afleidende informatie in een toetsvraag een averechts effect.

Als een leerling dan een slecht cijfer haalt, weet de leraar niet of dit ligt aan een tekort aan kennis of aan de extra belasting door de multimedia. Maar als de leraar wil toetsen in hoeverre zijn leerlingen relevante van irrelevante informatie kunnen scheiden en zich dus op de juiste informatie kunnen richten, dan kan een toetsvorm met veel afleidende informatie juist heel zinvol zijn.

Eye tracking

In het onderzoek is gebruik gemaakt van oogbewegingsregistratie (eye tracking, Holmqvist et al., 2011) om een beeld te krijgen van hoe leerlingen bij het beantwoorden van digitale toetsvragen te werk gaan. Daarbij wordt vastgelegd naar welke informatie de leerling kijkt, in welke volgorde en voor hoe lang.

Dat levert informatie op over welke strategie leerlingen hanteren bij de beantwoording van een vraag en hoe ze informatie in de toets cognitief verwerken. Uit deze registraties blijkt bijvoorbeeld dat leerlingen (onder tijdsdruk) vaak een deel van de informatie negeren. Uit de verkregen gegevens over bijvoorbeeld pupilgrootte is de mate van mentale inspanning die de leerling levert af te lezen.

Eye tracking levert dus nuttige informatie op als het gaat om de effectiviteit van toetsvragen. Maar eye tracking is meer dan een meetinstrument alleen; het kan ook de basis vormen voor interventies. Als een leerling erg lang naar een grafiek kijkt, is de kans groot dat hij deze informatie niet begrijpt en kan er bijvoorbeeld aanvullende, verklarende tekst in beeld verschijnen. Zo kan de toets reageren op het kijkgedrag van de leerling. Op deze manier is in de toekomst de toetsomgeving adaptief, dus individueel, aan iedere leerling aan te passen.

Erkenning:

Het in dit artikel beschreven onderzoek is uitgevoerd in samenwerking met drs. Noortje Janssen en prof. Gijsbert Erkens van de Universiteit Utrecht en met Joke Hofstee van het Cito.

Wat we weten over de werking van digitale toetsen

Het digitaliseren van een papieren toets heeft geen effect op de betrouwbaarheid van de toets. De betrouwbaarheid van een toets – digitaal én op papier – hangt af van de inhoud en van het ontwerp van de toetsvragen.
Uitgangspunten die ten grondslag liggen aan de vormgeving van digital leermateriaal vormen geen blauwdruk voor de opmaak van digitale toetsen, omdat leren en toetsen wezenlijk van elkaar verschillen.
Toevoegen van multimedia is alleen zinvol onder specifieke omstandigheden, bijvoorbeeld als het doel van de toets is te bepalen of leerlingen in staat zijn in een complexe situatie informatie te schiften.

Referenties

  • Holmqvist, K., Nyström, M., Andersson, R., Dewhurst, R., Jarodzka, H. & Weijer, J. van de (2011). Eye tracking: A comprehensive guide to methods and measures. Oxford, Verenigd Koninkrijk: Oxford University Press.
  • Jarodzka, H., Janssen, N., Kirschner, P.A. & Erkens, G. (ingediend). Avoiding split attention in computer-based testing: Is neglecting additional information facilitative?
  • Mayer, R.E. (2005). Cognitive theory of multimedia learning. In R. Mayer (Red.), The Cambridge handbook of multimedia learning (pp. 31-48). New York, NY: Cambridge University Press.
  • Mead, A.D. & Drasgow, F. (1993). Equivalence of computerised and paper-and-pencil cognitive ability tests: A meta-analysis. Psychological Bulletin, 114, 449-458.
  • Sweller, J., Merriënboer, J.J.G. van & Paas, F. (1998). Cognitive architecture and instructional design. Educational Psychological Review, 10, 251-296.

Jarodzka, H. en Kirschner, P. (2016) Digitale toetsen: waar moet je op letten?
Geraadpleegd op 19-10-2017,
van https://wij-leren.nl/digitale-toetsen-multimedia.php

Gerelateerd

Eindexamen in zicht
Eindexamen in zicht
Bereid uw leerlingen goed voor op het havo/vwo - eindexamen
Medilex Onderwijs 
ParnasSys als bouwsteen in onderzoekend leren
ParnasSys als bouwsteen in onderzoekend leren
Van instrumenteel naar onderzoeksmatig werken
De lerende school 
Toetsen en hulp(middelen)
Toetsen met of zonder hulp(middelen)?
Teije de Vos
Waarde cito-toets
Toetsen in de basisschool. Wat de Cito-toets ons wel en niet zegt.
Menno van Hasselt
Leerwinst formatief toetsen
Grotere leerwinst door begeleiding leerkrachten bij gebruik formatieve toetsen
Annemieke Top
Toetsuitslag interpreteren
Leren van de toetsuitslag
Eveline van Baalen

Effecten van formatief evalueren
Wat zijn de effecten van formatief evalueren?
Eindexamencijfer vmbo voorspeller schoolsucces havo?
Eindexamencijfer vmbo: voorspeller schoolsucces op de havo?
Factoren die de Cito-eindtoets beinvloeden
Welke factoren spelen een rol bij de resultaten van de Cito-eindtoets of de centrale eindtoets PO?
Formatieve toetsing
Hoe kan het onderwijs met succes formatieve toetsing inzetten?
Formatief toetsen po
Selfassessment voor formatief toetsen van basisschoolleerlingen
Toetsen-leertrajecten
Gebruik van toetsen bij het plannen van leertrajecten
Begrip door zelftoetsen
Beter begrip van informatie in teksten door zelftoetsen
Leren met zelftoetsen
Samenhang expertiseniveau leerling bij leren met zelftoetsen
Leren van teksten
Zelftoetsen voor het effectiever leren van teksten
Computer Adaptieve Oefentoetsen
Onderwijsdifferentiatie met Computer-Adaptieve Oefentoetsen met docentenfeedback
Samenstelling klas
Samenstelling van de klas en cognitieve en sociaal-emotionele uitkomsten
Opbrengstgericht werken
Opbrengstgericht werken: van beleidsspeerpunt tot de uitvoering in de groep
Voorwaarden formatieve toetsing
Voorwaarden voor effectieve formatieve toetsing – reviewstudie
Kwaliteit toetsen
Kwaliteit van toetsen
Schrijf in voor de nieuwsbrief
Schrijf in voor de nieuwsbrief
Schrijf in voor de nieuwsbrief
Schrijf in voor de nieuwsbrief
[extra-breed-algemeen-kolom2]

Leerlingen met dyslexie

Kwink op school

Wandelen voor water

Academica Business College

Digitale toetsen



Inschrijven nieuwsbrief


Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook

Mis geen bijdragen.