Directe feedback in digitale leermiddelen; succes gegarandeerd? - deel 2

Pepijn Dousi

Onderwijskundige en senior adviseur bij Motivatiemeesters

 

  Geplaatst op 13 januari 2017

Een veelgehoord argument bij het educatieve voordeel van de digitale leermiddelen is de directe feedback die de lerende krijgt op zijn leerproces. Het zou een positief effect hebben op de leerprestaties en motivatie van de lerende.  In deel 1 van dit artikel zijn verschillende feedbackvormen en –niveaus in digitale leermiddelen besproken. Feedback in digitale leermiddelen valt onder het domein van de zogeheten learning analytics. Bij learning analytics (LA) staat het meten, analyseren en rapporteren van leerlinggegevens centraal met als doel het onderwijsleerproces beter aan te laten sluiten op de onderwijsbehoeften van de leerlingen. Binnen het domein van LA wordt onderscheid gemaakt tussen embedded analytics en extracted analytics.

Embedded analytics zijn geautomatiseerde analyses die in het digitale leermiddel plaatsvinden. Op basis van verschillende variabelen van de leerling, zoals nauwkeurigheid en/of snelheid, en verschillende variabelen van de leertaak, zoals complexiteit en/of de mate van ondersteuning, wordt door het digitale leermiddel een bij de leerling passend aanbod opgesteld. Van welke variabelen dit aanbod voor de leerling opgesteld wordt, is sterk afhankelijk van de karakteristieken van het digitale leermiddel en de didactische visie van de betreffende ontwikkelaars. In de meeste gevallen is dit het percentage goed/fout in combinatie met een vastgestelde norm; op basis van het resultaat van de leerling wordt de moeilijkheidsgraad van de leerstof bij een bepaald leerdoel steeds aangepast. In sommige gevallen wordt ook de variabele (reactie)tijd meegewogen om tot een volgend leerstofaanbod te komen. Als bijvoorbeeld blijkt dat een leerling een rekenopgave niet alleen correct maakt, maar dit ook nog snel kan, is hij wellicht toe aan een complexere opgave. Naast de twee variabelen goed/fout en (reactie)tijd zijn er ook digitale leermiddelen die nog andere variabelen meenemen in het bepalen van een passend leerstofaanbod. Aanpak is een voorbeeld van zo’n andere variabele. Als een leerling bij het maken van een digitale opdracht steeds het uitgewerkte voorbeeld gebruikt of juist een inefficiënte aanpak hanteert, kan dit waardevolle informatie zijn voor de leerkracht in de begeleiding van de leerling. Een voorbeeld van een andere variabele die meegenomen kan worden in de analyse is voortgang. Leerlingen zijn in hun leerproces continue op weg naar het bereiken van leerdoelen. Deze leerdoelen moeten vaak op een bepaald moment behaald zijn om de volgende stap in de leerlijn te kunnen zetten. Digitale leermiddelen die gebruikmaken van de variabele voortgang volgen de leerling nauwkeurig in zijn weg naar het behalen van de leerdoelen. Als blijkt dat een leerling zijn leerdoel niet op tijd behaalt, kan het leermiddel ‘ingrijpen’ en díe leerstof selecteren en aanbieden die de kans vergroten dat de leerling zijn leerdoel wel op tijd behaalt.

"Leerlingen zijn in hun leerproces continue op weg naar het bereiken van leerdoelen."

Uit onderzoek blijkt dat het voor gebruikers zelden duidelijk is op basis van welke variabelen, de karakteristieken van de leerling, een passend leerstofaanbod bepaald wordt en welke variabelen de basis vormen van de data – de extracted analytics – die zij gepresenteerd krijgen over het leerproces. Onderzoekers pleiten ervoor dit inzichtelijk te maken, zodat gebruikers data kritisch kunnen interpreteren en passende ondersteuning kunnen bieden of zelf interventies kunnen plegen om het leerproces de juiste kant op te kunnen sturen.

Deze extracted analytics zijn analyses die uit het leerproces onttrokken worden en de leerling én leerkracht directe feedback geven over de vorderingen van de leerling. Afhankelijk van de vorm en het niveau waarop de feedback gegeven wordt (zie ook deel 1 van dit artikel) kan de leerling deze feedback gebruiken als vorm van zelfobservatie, ook wel de quantified self genoemd.

Uit onderzoek naar de effecten van feedback in digitale leermiddelen blijkt dat de karakteristieken van de leertaak een belangrijke rol spelen in de mate van effectiviteit van feedback. Zo blijkt directe feedback effectiever bij lagere orde, op kennis gebaseerde leertaken. Bij dit type taken draait het voornamelijk om het herinneren, herkennen en begrijpen van concepten. Voor hogere orde, op toepassing gebaseerde, leertaken blijkt uitgestelde feedback effectiever. Dit wordt ondersteund door onderzoek van Van der Kleij et. al (2015) waaruit blijkt dat directe KR en KCR effectiever is bij lagere orde leertaken en uitgestelde EF effectiever is bij hogere orde leertaken. Echter, een belangrijke voorwaarde is dat additionele feedbackinformatie tot een minimum beperkt blijft. Overbodige informatie kan namelijk leiden tot oppervlakkig leren of tot cognitieve overbelasting wat de effecten op leerprestaties negatief beïnvloedt. Of er sprake is van overbodige informatie is sterk afhankelijk van de karakteristieken van de leertaak en de karakteristieken van de lerende. In hun onderzoek naar de timing van feedback concluderen Mathan en Koedinger (2002) dan ook dat de effectiviteit van feedback niet primair bepaald wordt door de timing van feedback – direct of uitgesteld – maar vooral door de karakteristieken van de leertaak en van de lerende.


Ten aanzien van de effecten van directe feedback op de motivatie van de lerende blijkt uit onderzoek dat wanneer de lerende de feedback niet begrijpt of niet volledig genoeg vindt dit nadelig zal zijn voor de ervaring en motivatie van de lerende. De kans bestaat dat feedback genegeerd wordt als deze niet aansluit op het niveau en de behoefte van de leerling. Zo kan bijvoorbeeld directe feedback bij relatief simpele leertaken leiden tot gevoelens van irritatie bij de lerende. Ook zal dit nadelig zijn voor de intentie tot gebruik van de feedback, voor het aannemen van een reflectieve houding en voor de leereffectiviteit.

Conclusie

Samenvattend kan geconcludeerd worden dat er drie factoren van invloed zijn op de waarde van feedback in digitale leermiddelen: 1) de aard van feedback, 2) de karakteristieken van de leertaken, en 3) de karakteristieken van de lerende. Voor wat betreft de aard van feedback hebben ontwikkelaars variatiemogelijkheden ten aanzien van; a) het type feedback (KR, KCR of EF), b) het niveau (zelf, taak, proces of zelfregulatie) en c) de timing (direct of uitgesteld). Bij het maken van een keuze uit de verschillende variatiemogelijkheden zullen ontwikkelaars zich moeten laten leiden door de karakteristieken van de leertaken. Een inventarisatie van de leerdoelen binnen de leertaken en het uitvoeren van cognitieve taak- en foutanalyses zullen een effectieve bijdrage leveren aan de keuze voor de aard van feedback. Daarnaast biedt het verzamelen van zoveel mogelijk informatie over de karakteristieken van de leerling, door middel van het meten van verschillende variabelen, een kans om de leeropbrengst en motivatie te vergroten.

De effecten van het gebruik van LA door leerkrachten en leerlingen hangt sterk samen met de karakteristieken van het digitale leermiddel en de didactische visie van de betreffende ontwikkelaars. Er zijn ontelbaar veel mogelijkheden om data te analyseren, presenteren, en vervolgstappen te bepalen, maar slechts enkele zullen een positief effect hebben op het leren. Welke dat zijn, zal verder onderzoek moeten uitwijzen. Hier ligt een mooie uitdaging voor de ontwikkelaars van digitale leermiddelen om de technische mogelijkheden tot het maximale te verkennen en voor de wetenschap om de effecten van innovatieve leermiddelen in kaart te brengen en te delen.

Gebruikte literatuur

  • Boekaerts, M. (1999). Self-regulated learning: Where we are today. International Journal of Educational Research, 31, 445–457.
  • Brown, A. L. (1987). Metacognition, executive control, self-regulation, other more mysterious mechanisms. In F. E. Weinert, & R. H. Kluwe, Metacognition, motivation and understanding.
  • Hillsdale, NJ: Erlbaum
  • Corbalan, G., Kester, L., & van Merriënboer, J. J. (2008). Selecting learning tasks: Effects of adaptation and shared control on learning efficiency and task involvement. Contemporary Educational Psychology, 33(4), 733-756.
  • Dron, J. & Anderson, T. (2011). Three generations of distance education pedagogy. International Review of Research in Open and Distance Learning, 80-97.
  • Faber, J.M., & Visscher, A.J. (2014). Leidt het gebruik van digitale leerling-volgsystemen tot betere leerprestaties? 4W: weten wat werkt en waarom, 3(2), p. 14-21. Gevonden op 1 oktober 2016 op http://4w.kennisnet.nl/artikelen/2014/06/04/leidt-het-gebruik-van-digitale-leerlingvolgsysteme/
  • Faber, J.M. & A.J. Visscher (2016). De effecten van Snappet. Gevonden op 1 oktober 2016 op https://www.kennisnet.nl/fileadmin/kennisnet/leren_ict/leren_op_maat/bijlagen/De_effecten_van_Snappet_Universiteit_Twente.pdf 
  • Greller, W., & Drachsler, H. (2012). Translating Learning into Numbers: A Generic Framework for Learning Analytics. Educational technology & society, 15(3), 42-57.
  • Kalyuga, S., & Sweller, J. (2005). Rapid dynamic assessment of expertise to improve the efficiency of adaptive e-learning. Educational Technology, Research and Development, 53, 83-93.
  • Kester, L. & Merriënboer J. van (2013). Effectief leren van multimediale  leerbronnen. 4W: weten wat werkt en waarom, 2(4), 14-51.
  • Mathan, S. A., & Koedinger, K. R. (2002, January). An empirical assessment of comprehension fostering features in an intelligent tutoring system. In Intelligent Tutoring Systems (pp. 330-343). Springer Berlin Heidelberg.
  • Pintrich, P. R. (2004). A conceptual framework for assessing motivation  and SRL in College students. Educational Psychology Review, 16(4),  385-407.
  • Rivera-Pelayo, Zacharias, Müller, & Braun. (z.j.). Applying Quantified Self Approaches to Support reflective Learning [Blogpost]. Gevonden op 3 november 2016 op https://pervasiveblog.files.wordpress.com/2014/06/lak2012_qs.pdf
  • Salden, R. J. C. M., Paas, F., Broers, N. J., & van Merriënboer, J. J. G.  (2004). Mental effort and performance as determinants for the dynamic selection of learning tasks in air traffic control training. Instructional Science, 32, 153-172.
  • Siemens, G. (2012, April). Learning analytics: envisioning a research discipline and a domain of practice. In Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (pp. 4-8). ACM.
  • Timmers, C. F., & Veldkamp, B. P. (2011). Attention paid to feedback provided by a computer-based assessment for learning on information literacy. Computers & Education, 56, 923–930
  • Ysseldyke, J., & Bolt, D. M. (2007). Effect of Technology-Enhanced Continuous Progress Monitoring on Math Achievement. School Psychology Review, 36(3), 453–467.
  • Van der Kleij, F. M., Feskens, R. C., & Eggen, T. J. (2015). Effects of Feedback in a Computer-Based Learning Environment on Students’ Learning Outcomes A Meta-Analysis. Review of Educational Research, 0034654314564881.
  • Weinstein, C. E., & Mayer, R. E. (1986). The teaching of learning strategies. In M. Wittrock, Handbook  of research on teaching (pp. 315}327). New York: Macmillan
  • Wise, A. F., Zhao, Y., & Hausknecht, S. N. (2013, April). Learning analytics for online discussions: a  pedagogical model for intervention with embedded and extracted analytics. In Proceedings of  the Third International Conference on Learning Analytics and Knowledge (pp.  48-56). ACM.
  • Wolf, G. (2009). Know thyself: Tracking every facet of life, from sleep to  mood to pain. Wired  Magazine, 24(7), 365.
  • Wolf, M. A. (2012). Culture Shift: Teaching in a Learner-Centered Environment Powered by Digital Learning. Digital Learning Series. Alliance for Excellent  Education.
  • Zimmerman, B. J. (2000). Self-efficacy: An essential motive to learn. Contemporary educational  psychology, 25(1), 82-91.
  • Zimmerman, B. J. (2001). Theories of SRL and Academic Achievement: An Overview And Analysis. In  B.J. Zimmerman, & D.H. Schunk (Eds.) SRL and Academic Achievement–Theoretical Perspectives (pp. 1-37). Mahwah, NY: Erlbaum.

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Cursus
Intercollegiaal coachen
Intercollegiaal coachen
Het leren coachen van gelijkwaardige collega`s
Medilex Onderwijs 
Feedback geven
Feedback - betekenis en voorbeelden.
Machiel Karels
Effectieve feedback in het onderwijs
Effectieve feedback in het onderwijs.
Machiel Karels
Groepsfeedback
Werkvormen groepsgewijze feedback
Machiel Karels
Tabletprogramma's ondermijnen eigenaarschap
De leerling eigenaar van het leerproces? Niet met digitale oefenprogramma's!
Dolf Janson
Digitale feedback
Directe feedback in digitale leermiddelen; succes gegarandeerd? - deel 1
Pepijn Dousi
Didactisch coachen 1
Goed zo! is onvoldoende - over didactisch coachen - deel 1
Lia Voerman en Frans Faber
Gerichte feedback
Leer van een 3 een 8 te maken!
Marjoke Hinnen
Blended learning
Blended learning effectiever met regelmatig online toetsen
redactie
E-learning trends en ontwikkelingen
E-learning. Trends en ontwikkelingen
Wilfred Rubens
AI docenten lerenden
Hoe AI lerenden en docenten in staat stelt hun werk beter te doen
Wilfred Rubens


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

[extra-breed-algemeen-kolom2]



360 graden feedback
feedback
learning analytics

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest