Effectieve computerapplicaties: vergelijk de didactiek, niet het domein
Geraadpleegd op 15-10-2024,
van https://wij-leren.nl/blended-learning-leeromgeving-feedback.php
Auteur: Johan Jeuring
Wie inzicht wil krijgen in wat een computerapplicatie voor het onderwijs effectief maakt, moet zich niet beperken tot een domein, maar insteken op het didactische principe van de applicaties. Dan blijkt dat de manier waarop de leerling ondersteuning krijgt bepalend is voor de effectiviteit van een computerapplicatie – of deze nu gaat over rekenen of over taal. Applicaties die de stappen van de leerling van feedback voorzien blijken het meest effectief.
Computerapplicaties
We vernieuwen het onderwijs voortdurend. Naast innovaties in de hardware, zoals het gebruik van digiborden of iPads, spelen bij veel van deze vernieuwingen computerapplicaties een rol, zoals games en oefenomgevingen. Voorbeelden in het reken en wiskundeonderwijs zijn het RekenWeb voor het po, en oefenomgevingen zoals de Digitale Wiskunde Omgeving voor het vo en wo. De natuurlijke vraag die bij deze vernieuwingen naar boven komt is: moeten we dat wel doen? Wordt het onderwijs hier beter van? Om te bepalen wat het effect van een vernieuwing is, voeren we dan een experiment uit.
De afgelopen decennia zijn er duizenden experimenten uitgevoerd die het effect van het gebruik van technologie in het onderwijs onderzochten. Alleen al voor het reken- of wiskundeonderwijs zijn honderden studies te vinden die kijken naar hoe goed een bepaalde technologie voor het wiskundeonderwijs werkt. Wat zeggen die studies?
Dat loopt sterk uiteen: de effecten van het gebruik van computerapplicaties in het rekenonderwijs variëren nogal. Recent is Marjoke Bakker gepromoveerd op een proefschrift waarin zij het effect bestudeert van het gebruik van minigames waarmee leerlingen in de onderbouw van het primair onderwijs vermenigvuldigen en delen oefenen (Bakker, 2014).
Bakker vond dat deze games het best werken wanneer leerlingen thuis spelen met de games, en de resultaten daarna in de klas besproken worden. Alleen in de klas spelen met de games had nog steeds een, zij het wat minder, positief effect. Echter: alleen maar thuis spelen met de games, zonder nabespreking in de klas, liet geen leereffect zien. Dit ene onderzoek geeft al aan dat leereffecten van computerapplicaties afhangen van allerlei factoren.
Op zoek naar een gemene deler
Om meer algemene uitspraken over aspecten van het onderwijs te doen worden meta-analyses gebruikt. Een meta-analyse neemt de resultaten van tientallen analyses samen en berekent een soort grootste gemene deler. Omdat het onderzochte aspect bij heel veel scholen en leerlingen is getest, is het waarschijnlijker dat het effect ook elders zal optreden.
Uit meta-analyses blijkt bijvoorbeeld dat de grootte van een klas niet veel invloed heeft op de leerresultaten, en dat het zelf nakijken van je werk hele goede leereffecten heeft (Hattie, 2009). In het debat in de Tweede Kamer in april 2014 naar aanleiding van het burgerinitiatief ‘Stop de overvolle klassen’, werd het werk van Hattie meerdere malen aangehaald om de argumenten te ondersteunen.
Wat zeggen meta-analyses over het effect van het gebruik van computerapplicaties in het reken-en wiskundeonderwijs? Uit de meta-analyse van Cheung en Slavin (2013) blijkt dat deze applicaties in het po en het vo een gemiddeld effect van 0.15 hebben. Dit is een zeer bescheiden effect, nog lager dan klasgrootte (0.21). Als dit artikel in handen van onze Tweede Kamerleden komt, zou er zomaar een ban op investeringen in het gebruik van computerapplicaties voor het reken en wiskundeonderwijs kunnen worden ingevoerd.
Selectie op basis van onderwerp
De vraag is: hoe komen Cheung en Slavin tot dit resultaat? Voor hun meta-analyse analyseerden de onderzoekers 74 studies, waarin de effecten van tientallen verschillende applicaties voor het leren van wiskunde en rekenen worden beschreven. Ze selecteerden scherp: studies waarin geen controlegroep was meegenomen, die te kort duurden, of waarin niet gekeken werd naar de competenties van de leerlingen aan het begin van de studie, werden niet meegenomen in de meta-analyse.
Het enige aspect waar Cheung en Slavin helemaal niet naar hebben gekeken is de kwaliteit of functionaliteit van de gebruikte applicaties. Zo zijn studies van applicaties met een zeer groot leereffect (+1.20) en studies van heel andere applicaties met een negatief leereffect (-0.26) bijeen genomen. Als je alleen maar het gebruik van applicaties in het rekenonderwijs meet, dan krijg je dus een zeer matig gemiddeld effect.
Het samennemen van resultaten van verschillende applicaties met zulke uiteenlopende leereffecten heeft echter een groot probleem: je kunt er geen enkele conclusie uit trekken. Vergelijk het met een studie naar het effect van medicijnen tegen hoofdpijn: als één medicijn heel goed werkt, en negen medicijnen niet of nauwelijks, dan is het gemiddelde effect van de medicijnen zeer beperkt, maar er zullen weinig artsen zijn die tegen hun cliënten zullen zeggen dat ze geen hoge verwachtingen van medicijnen tegen hoofdpijn moeten hebben.
In feite nemen Cheung en Slavin appels en peren samen, en proberen iets over het gemiddelde te zeggen. Deze kritiek op meta-analyses wordt door Hattie (2009) weggewoven met de opmerking dat als je alleen maar fruit hebt, je niets anders kan doen. Bij het gebruik van computerapplicaties in het (reken)onderwijs heeft iedere soort fruit echter al zoveel verschillende eigenschappen, dat het niet zinvol is om verschillende soorten fruit met elkaar te vergelijken. Cheung en Slavin hebben een aantal kwalitatief goede studies verzameld, maar hun conclusie is waardeloos.
Selectie op basis van ondersteuningsprincipe
Het kan ook anders. In een andere meta-analyse vergelijkt VanLehn de effectiviteit van menselijke tutoren met de effectiviteit van intelligente leeromgevingen (VanLehn, 2011). Deze leeromgevingen vervangen de docent niet, maar worden gebruikt bij het thuis of op school oefenen met de stof. In Nederland wordt een aantal van dit soort leeromgevingen voor wiskunde aangeboden en gebruikt: de Digitale Wiskunde Omgeving van het Freudenthal Instituut, MathDox van de TU/e, het SOWISO-platform, en verschillende applicaties van EduHint.
VanLehn selecteerde leeromgevingen gebaseerd op hoe ze het leren ondersteunen, en niet op het inhoudelijke onderwerp waarvoor ze worden gebruikt. Hij kijkt in de analyse vooral naar de grootte van de stappen die leerlingen in de leeromgevingen kunnen maken: kan een leerling alleen een antwoord op een vraag geven, en krijgt hij/zij feedback gebaseerd op dat antwoord? Of kan een leerling een oplossing stapsgewijs construeren, en kan iedere stap van feedback worden voorzien (tijdens of na afloop van het werken aan de taak)?
Uit VanLehn’s meta-analyse blijkt, enigszins verrassend, dat een intelligente leeromgeving die de stappen van een leerling volgt, bijna even effectief is als een menselijke tutor (0.76 versus 0.79, vergeleken met geen ondersteuning). Een leeromgeving die alleen feedback geeft op het eindantwoord is een stuk minder effectief.
De leereffecten in de metaanalyse van VanLehn lopen veel minder uiteen dan in de studie van Cheung en Slavin. Als je leeromgevingen selecteert op hoe ze het leren ondersteunen, dan is het dus goed mogelijk om een conclusie te trekken over het leereffect van die omgevingen, in tegenstelling tot wanneer je applicaties selecteert op basis van het onder werp, zoals het rekenonderwijs, waarvoor ze worden gebruikt.
Effectieve ondersteuningsprincipes
Uit de studies van Bakker (naar leereffecten van minigames) en VanLehn (naar intelligente leeromgevingen) komen twee effectieve ondersteuningsprincipes naar boven, die belangrijk zijn bij het gebruiken van een computerapplicatie:
- Kom klassikaal terug op de acties van de leerlingen nadat zij een tijd zonder toezicht hebben gewerkt. Maak daarbij gebruik van de gegevens die de applicatie verzamelt over de acties van de leerlingen om problemen te identificeren.
- Gebruik leeromgevingen die leerlingen een taak stapsgewijs laten oplossen en die op iedere stap feedback geven. Bekend is dat feedback geven op de uitgevoerde taak (‘Je hebt de opgave goed opgelost’) beter is dan feedback geven op het persoonlijke vlak (‘Je bent een kei in vermenigvuldigen’) (Shute, 2008).
Tot slot
Concluderend kunnen we stellen dat meta-analyses die de effectiviteit van het gebruik van computerapplicaties bestuderen zinvol zijn wanneer ze aspecten die het leren op vergelijk bare manier ondersteunen naast elkaar zetten. Hieruit zijn belangrijke ondersteuningsprincipes te destilleren. De meta-analyse van VanLehn laat bijvoorbeeld zien dat een leeromgeving die een leerling volgt bij het stapsgewijs oplossen van een taak zeer effectief is.
Daarentegen is het zinloos om de leereffecten van applicaties voor een specifiek domein samen te nemen, zoals Cheung en Slavin doen voor het reken- en wiskundeonderwijs, of Grgurovic en collega’s (Grgurovic et al., 2013) voor het taalonderwijs. Dit geeft namelijk te veel variatie.
Er zijn nog veel vragen rondom de effectiviteit van computerapplicaties voor het ondersteunen van leren, waaraan (meta)analyses een bijdrage kunnen leveren bij de beantwoording. Zo is het bijvoorbeeld nog niet duidelijk in welke situaties het beter is om feedback direct na een stap te geven, of pas nadat de oplossing is bereikt.
Ook kunnen we meer te weten komen over het verband tussen specifieke kenmerken van een leerling, zoals angst om slechter te presteren dan medeleerlingen, of om niet alles bestudeerd te hebben. Als dit soort vragen met behulp van meta-analyses beantwoord kunnen worden, kunnen we grote stappen zetten in de vernieuwing van het onderwijs in het algemeen en de ontwikkeling en verbetering van computerapplicaties in het bijzonder.
Referenties
- Bakker, M. (2014). Using mini-games for learning multiplication and division: A longitudinal effect study. (Proefschrift). Utrecht: Universiteit Utrecht.
- Cheung, A.C.K. & Slavin R.E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K12 classrooms: A metaanalysis. Educational Research Review 9, 88-113.
- Grgurovic, M., Chapelle C.A. & Shelley, M.C. (2013). A meta-analysis of effectiveness studies on computer technologysupported language learning. ReCALL, 25(2), 165-198.
- Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. Londen, Verenigd Koninkrijk: Routledge.
- Shute, V.J. (2008). Focus on formative feedback. Review of Educational Research, 78(1), 153-189.
- VanLehn, K. (2011), The relative effectiveness of human tutoring, intelligent tutoring systems, and other tutoring systems. Educational Psychologist, 46(4), 197-221.
Wat we weten over (het onderzoek naar) leereffecten van computerapplicaties:
|
Bron: Kennisnet