Effectieve computerapplicaties: vergelijk de didactiek, niet het domein

  Geplaatst op 1 juni 2015

Auteur: Johan Jeuring

Wie inzicht wil krijgen in wat een computerapplicatie voor het onderwijs effectief maakt, moet zich niet beperken tot een domein, maar insteken op het didactische principe van de applicaties. Dan blijkt dat de manier waarop de leerling ondersteuning krijgt bepalend is voor de effectiviteit van een computerapplicatie – of deze nu gaat over rekenen of over taal. Applicaties die de stappen van de leerling van feedback voorzien blijken het meest effectief.

Computerapplicaties

We vernieuwen het onderwijs voortdurend. Naast innovaties in de hardware, zoals het gebruik van digiborden of iPads, spelen bij veel van deze vernieuwingen computerapplicaties een rol, zoals games en oefenomgevingen. Voorbeelden in het reken­ en wiskundeonderwijs zijn het RekenWeb voor het po, en oefenomgevingen zoals de Digitale Wiskunde Omgeving voor het vo en wo. De natuurlijke vraag die bij deze vernieuwingen naar boven komt is: moeten we dat wel doen? Wordt het onderwijs hier beter van? Om te bepalen wat het effect van een vernieuwing is, voeren we dan een experiment uit.

De afgelopen decennia zijn er duizenden experimenten uitgevoerd die het effect van het gebruik van technologie in het onderwijs onderzochten. Alleen al voor het reken-­ of wiskunde­onderwijs zijn honderden studies te vinden die kijken naar hoe goed een bepaalde technologie voor het wiskundeonderwijs werkt. Wat zeggen die studies?

Dat loopt sterk uiteen: de effecten van het gebruik van computerapplicaties in het rekenonderwijs variëren nogal. Recent is Marjoke Bakker gepromoveerd op een proefschrift waarin zij het effect bestudeert van het gebruik van minigames waarmee leerlingen in de onderbouw van het primair onderwijs vermenigvuldigen en delen oefenen (Bakker, 2014).

Bakker vond dat deze games het best werken wanneer leerlingen thuis spelen met de games, en de resultaten daarna in de klas besproken worden. Alleen in de klas spelen met de games had nog steeds een, zij het wat minder, positief effect. Echter: alleen maar thuis spelen met de games, zonder nabespreking in de klas, liet geen leereffect zien. Dit ene onderzoek geeft al aan dat leereffecten van computerapplicaties afhangen van allerlei factoren.

Op zoek naar een gemene deler

Om meer algemene uitspraken over aspecten van het onderwijs te doen worden meta-analyses gebruikt. Een meta-analyse neemt de resultaten van tientallen analyses samen en berekent een soort grootste gemene deler. Omdat het onderzochte aspect bij heel veel scholen en leerlingen is getest, is het waarschijnlijker dat het effect ook elders zal optreden.

Uit meta-analyses blijkt bijvoorbeeld dat de grootte van een klas niet veel invloed heeft op de leerresultaten, en dat het zelf nakijken van je werk hele goede leereffecten heeft (Hattie, 2009). In het debat in de Tweede Kamer in april 2014 naar aanleiding van het burgerinitiatief ‘Stop de overvolle klassen’, werd het werk van Hattie meerdere malen aangehaald om de argumenten te ondersteunen.

Wat zeggen meta-analyses over het effect van het gebruik van computerapplicaties in het reken­-en wiskundeonderwijs? Uit de meta-analyse van Cheung en Slavin (2013) blijkt dat deze applicaties in het po en het vo een gemiddeld effect van 0.15 hebben. Dit is een zeer bescheiden effect, nog lager dan klasgrootte (0.21). Als dit artikel in handen van onze Tweede Kamerleden komt, zou er zomaar een ban op investeringen in het gebruik van computerapplicaties voor het reken­ en wiskundeonderwijs kunnen worden ingevoerd.

Selectie op basis van onderwerp

De vraag is: hoe komen Cheung en Slavin tot dit resultaat? Voor hun meta-analyse analyseerden de onderzoekers 74 studies, waarin de effecten van tientallen verschillende applicaties voor het leren van wiskunde en rekenen worden beschreven. Ze selecteerden scherp: studies waarin geen controlegroep was meegenomen, die te kort duurden, of waarin niet gekeken werd naar de competenties van de leerlingen aan het begin van de studie, werden niet meegenomen in de meta-analyse.

Het enige aspect waar Cheung en Slavin helemaal niet naar hebben gekeken is de kwaliteit of functionaliteit van de gebruikte applicaties. Zo zijn studies van applicaties met een zeer groot leereffect (+1.20) en studies van heel andere applicaties met een negatief leereffect (-­0.26) bijeen genomen. Als je alleen maar het gebruik van applicaties in het rekenonderwijs meet, dan krijg je dus een zeer matig gemiddeld effect.

Het samennemen van resultaten van ver­schillende applicaties met zulke uiteenlopende leereffecten heeft echter een groot probleem: je kunt er geen enkele conclusie uit trekken. Vergelijk het met een studie naar het effect van medicijnen tegen hoofdpijn: als één medicijn heel goed werkt, en negen medicijnen niet of nauwelijks, dan is het gemiddelde effect van de medicijnen zeer beperkt, maar er zullen weinig artsen zijn die tegen hun cliënten zullen zeggen dat ze geen hoge verwachtingen van medicijnen tegen hoofdpijn moeten hebben.

In feite nemen Cheung en Slavin appels en peren samen, en proberen iets over het gemiddelde te zeggen. Deze kritiek op meta-analyses wordt door Hattie (2009) weggewoven met de opmerking dat als je alleen maar fruit hebt, je niets anders kan doen. Bij het gebruik van computerapplicaties in het (reken)onderwijs heeft iedere soort fruit echter al zoveel verschillende eigenschappen, dat het niet zinvol is om verschillende soorten fruit met elkaar te vergelijken. Cheung en Slavin hebben een aantal kwalitatief goede studies verzameld, maar hun conclusie is waardeloos.

Selectie op basis van ondersteuningsprincipe

Het kan ook anders. In een andere meta-analyse vergelijkt VanLehn de effectiviteit van menselijke tutoren met de effectiviteit van intelligente leeromgevingen (VanLehn, 2011). Deze leer­omgevingen vervangen de docent niet, maar worden gebruikt bij het thuis of op school oefenen met de stof. In Nederland wordt een aantal van dit soort leeromgevingen voor wiskunde aangeboden en gebruikt: de Digitale Wiskunde Omgeving van het Freudenthal Instituut, MathDox van de TU/e, het SOWISO-­platform, en verschillende applicaties van EduHint.

VanLehn selecteerde leeromgevingen gebaseerd op hoe ze het leren ondersteunen, en niet op het inhoudelijke onderwerp waarvoor ze worden gebruikt. Hij kijkt in de analyse vooral naar de grootte van de stappen die leerlingen in de leeromgevingen kunnen maken: kan een leerling alleen een antwoord op een vraag geven, en krijgt hij/zij feedback gebaseerd op dat antwoord? Of kan een leerling een oplossing stapsgewijs construeren, en kan iedere stap van feedback worden voorzien (tijdens of na afloop van het werken aan de taak)?

Uit VanLehn’s meta-analyse blijkt, enigszins verrassend, dat een intelligente leeromgeving die de stappen van een leerling volgt, bijna even effectief is als een menselijke tutor (0.76 versus 0.79, vergeleken met geen ondersteuning). Een leeromgeving die alleen feedback geeft op het eindantwoord is een stuk minder effectief.

De leereffecten in de meta­analyse van VanLehn lopen veel minder uiteen dan in de studie van Cheung en Slavin. Als je leeromgevingen selecteert op hoe ze het leren ondersteunen, dan is het dus goed mogelijk om een conclusie te trekken over het leereffect van die omgevingen, in tegenstelling tot wanneer je applicaties selecteert op basis van het onder­ werp, zoals het rekenonderwijs, waarvoor ze worden gebruikt.

Effectieve ondersteuningsprincipes

Uit de studies van Bakker (naar leereffecten van minigames) en VanLehn (naar intelligente leeromgevingen) komen twee effectieve ondersteuningsprincipes naar boven, die belangrijk zijn bij het gebruiken van een computerapplicatie:

  1. Kom klassikaal terug op de acties van de leerlingen nadat zij een tijd zonder toezicht hebben gewerkt. Maak daarbij gebruik van de gegevens die de applicatie verzamelt over de acties van de leerlingen om problemen te identificeren.
  2. Gebruik leeromgevingen die leerlingen een taak stapsgewijs laten oplossen en die op iedere stap feedback geven. Bekend is dat feedback geven op de uitgevoerde taak (‘Je hebt de opgave goed opgelost’) beter is dan feedback geven op het persoonlijke vlak (‘Je bent een kei in vermenigvuldigen’) (Shute, 2008).

Tot slot

Concluderend kunnen we stellen dat meta-analyses die de effectiviteit van het gebruik van computerapplicaties bestuderen zinvol zijn wanneer ze aspecten die het leren op vergelijk­ bare manier ondersteunen naast elkaar zetten. Hieruit zijn belangrijke ondersteuningsprincipes te destilleren. De meta-analyse van VanLehn laat bijvoorbeeld zien dat een leeromgeving die een leerling volgt bij het stapsgewijs oplossen van een taak zeer effectief is.

Daarentegen is het zinloos om de leereffecten van applicaties voor een specifiek domein samen te nemen, zoals Cheung en Slavin doen voor het reken-­ en wiskundeonderwijs, of Grgurovic en collega’s (Grgurovic et al., 2013) voor het taalonderwijs. Dit geeft namelijk te veel variatie.

Er zijn nog veel vragen rondom de effectiviteit van computerapplicaties voor het ondersteunen van leren, waaraan (meta­)analyses een bijdrage kunnen leveren bij de beantwoording. Zo is het bijvoorbeeld nog niet duidelijk in welke situaties het beter is om feedback direct na een stap te geven, of pas nadat de oplossing is bereikt.

Ook kunnen we meer te weten komen over het verband tussen specifieke kenmerken van een leerling, zoals angst om slechter te presteren dan medeleerlingen, of om niet alles bestudeerd te hebben. Als dit soort vragen met behulp van meta-analyses beantwoord kunnen worden, kunnen we grote stappen zetten in de vernieuwing van het onderwijs in het algemeen en de ontwikkeling en verbetering van computerapplicaties in het bijzonder.

Referenties

  • Bakker, M. (2014). Using mini-games for learning multiplication and division: A longitudinal effect study. (Proefschrift). Utrecht: Universiteit Utrecht.
  • Cheung, A.C.K. & Slavin R.E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K­12 classrooms: A meta­analysis. Educational Research Review 9, 88-­113.
  • Grgurovic, M., Chapelle C.A. & Shelley, M.C. (2013). A meta-analysis of effectiveness studies on computer technology­supported language learning. ReCALL, 25(2), 165-­198.
  • Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. Londen, Verenigd Koninkrijk: Routledge.
  • Shute, V.J. (2008). Focus on formative feedback. Review of Educational Research, 78(1), 153-­189.
  • VanLehn, K. (2011), The relative effectiveness of human tutoring, intelligent tutoring systems, and other tutoring systems. Educational Psychologist, 46(4), 197-­221.

Wat we weten over (het onderzoek naar) leereffecten van computerapplicaties:

  • Vergelijkend onderzoek van computerapplicaties op basis van het domein (bijvoorbeeld applicaties voor rekenen) levert geen aantoonbare leereffecten op.
  • Vergelijking van applicaties gebaseerd op hóe deze applicaties de leerling ondersteunen (los van het domein) levert wél aantoonbare leereffecten op.
  • Dan blijkt dat de volgende ondersteuningsprincipes effectief zijn:
    -  Klassikaal terugkomen op het werk van de leerlingen in de leeromgeving; met de gegevens van diezelfde leeromgeving over het werk van leerling als informatiebron.
    - Een applicatie/leeromgeving waarin een leerling een taak stapsgewijs op kan lossen en op iedere stap betekenisvolle feedback krijgt.
  • Een intelligente leeromgeving die de stappen van een leerling volgt, blijkt nagenoeg even effectief als een menselijke tutor.

Bron: Kennisnet

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Leeromgevingen
Leeromgevingen: rol leerkracht - didactische werkvormen - differentiatie.
Arja Kerpel
Leren zichtbaar maken
Leren zichtbaar maken - John Hattie.
Arja Kerpel
Digitale feedback
Directe feedback in digitale leermiddelen; succes gegarandeerd? - deel 1
Pepijn Dousi
Blended learning
Blended learning effectiever met regelmatig online toetsen
redactie
Schermen-schermtijd verminderen
Meer of minder schermen op school?
Ruben du Burck
Kiezen tussen asynchroon online leren en synchroon online leren
Maak de juiste keuze! Kiezen tussen Asynchroon Online Leren, Synchroon Online Leren en fysiek onderwijs (presentatie)
Wilfred Rubens
Studenten aanwezigheid leerervaringen
Willen studenten niet meer naar school of universiteit komen?
Wilfred Rubens
Online begeleiding lopende band werk
Online begeleiding als lopende bandwerk
Wilfred Rubens
Digitale dementie
Digitale dementie - Manfred Spitzer
Machiel Karels


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

ICT kennis leerlingen praktijkonderwijs
ICT kennis leerlingen praktijkonderwijs
redactie
Is het tijd voor een digitale revolutie in het beroepsonderwijs?
Is het tijd voor een digitale revolutie in het beroepsonderwijs?
redactie
[extra-breed-algemeen-kolom2]



automatisering in het onderwijs
blended learning
digitale leeromgeving
e-learning
electronische leeromgeving - ELO
ICT in het onderwijs
leeromgeving
online onderwijs

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest