Welk effect heeft het toepassen van het RTTI®-model op de leerresultaten van havo- en vwo-leerlingen?

Geplaatst op 19 juni 2018

Samenvatting

RTTI® is een hulpmiddel om diagnostische toetsen op te stellen die vier cognitieve niveaus van leren in kaart kunnen brengen. Het kan worden gebruikt voor formatieve evaluatie in het voortgezet onderwijs. Bij formatief evalueren wordt de leerling actief betrokken bij het leerproces en wordt feedback ingezet tijdens verschillende fasen van het leerproces. Die feedback is dan gericht op het beter laten leren van de leerling. Onderzoek laat zien dat over het algemeen feedback sterk bijdraagt betere leerprestaties. Er is slechts één effectstudie naar specifiek RTTI® bekend. Dat kleinschalig experimentele onderzoek laat geen tot negatieve effecten van RTTI® zien. Wil formatieve evaluatie positief bijdragen aan de leerprestaties dan moet de focus liggen op goed organiseren, formuleren en doseren van feedback. De keuze voor hulpmiddelen als RTTI® is daarbij secundair.

De afkorting RTTI staat voor Reproductievragen, Trainingsgerichte toepassingsvragen, Transfergerichte toepassingsvragen en Inzicht- & Innovatievragen. Het is een middel om diagnostische toetsen op te stellen waarmee de vier door de ontwikkelaars onderscheiden cognitieve niveaus van leren in kaart kunnen worden gebracht. Die cognitieve niveaus van leren zijn van ‘laag’ naar ‘hoog’:

  • reproductie van de leerstof
  • toepassen van leerstof in bekende situaties
  • toepassen van leerstof in nieuwe situaties
  • zelf actief iets aan leerstof toevoegen

Door in toetsen diverse soorten vragen volgens de RTTI®-systematiek in te bouwen, dus een mix van reproductie-, trainings-, transfer- en inzichtvragen, ontstaat een beeld van het cognitieve niveau van leren (volgens de RTTI®-indeling) waarop de leerling zich bevindt. RTTI® is een geregistreerd handelsmerk en ontwikkeld door DocentPlus BV.

Hulpmiddel bij formatief evalueren

RTTI® is een manier om een indeling te maken van verschillende soorten van kennisverwerving. RTTI® is bedoeld als hulpmiddel voor formatieve evaluatie en wordt in de praktijk ook zo gebruikt. Formatief evalueren is gericht op het in kaart brengen van leeractiviteiten en -resultaten van leerlingen. Deze informatie wordt vervolgens gebruikt om het leerproces verder vorm te geven en af te stemmen op de leerbehoeftes van (groepen van) leerlingen. De veronderstelling is dat met formatieve evaluatie leerlingen meer inzicht krijgen in hun eigen leerproces, deze hun motivatie bevordert en docenten meer onderwijs op maat kunnen realiseren.

Feedback

Feedback is een cruciaal onderdeel van formatief evalueren. Feedback wordt ingezet tijdens verschillende fasen van het leerproces, is gericht op het beter laten leren van de leerling en de leerling wordt actief betrokken bij het leerproces. Feedback heeft een groot positief effect op onderwijsprestaties. Daarbij is vooral feedback gericht op de leertaken, op het leerproces en op zelfregulering effectief. Feedback gericht op de leerling als persoon is dat veel minder.
Kortom, formatief evalueren waarbij feedback op de juiste wijze wordt ingezet, draagt bij aan hogere leerprestaties. Daarbij is RTTI® een hulpmiddel om formatief evalueren vorm te geven. Mogelijk heeft RTTI® dus op die manier indirect een positief effect op leerprestaties

Empirisch onderzoek

RTTI® wordt volgens de ontwikkelaars (DocentPlus BV) op meer dan 9 van de 10 vo-scholen in Nederland gebruikt. Desondanks zijn er nauwelijks onderzoeksresultaten waaruit de effectiviteit op leerprestaties blijkt. Er is één empirische studie beschikbaar en die laat geen tot negatieve effecten van toepassing van RTTI® zien. Deze uitkomst, in combinatie met inzichten over de kwaliteit van feedback, doet vermoeden dat voor het optimaliseren van leerprestaties met behulp van formatieve evaluatie de focus moet liggen op het goed organiseren, formuleren en doseren van feedback. De keuze voor hulpmiddelen als RTTI® is daarbij secundair.

Uitgebreide beantwoording

Opgesteld door: Sjerp van der Ploeg (kennismakelaar Kennisrotonde)
Vraagsteller: docent vo school

Vraag

Wat is het effect van toepassen van het RTTI®-model op de leerresultaten van havo- en vwo-leerlingen?

Kort antwoord

RTTI® is een hulpmiddel om diagnostische toetsen op te stellen waarmee vier door de ontwikkelaars (DocentPlus BV) onderscheiden cognitieve niveaus van leren in kaart kunnen worden gebracht. Het kan worden gebruikt om formatieve evaluatie vorm te geven in het voortgezet onderwijs. Bij formatief evalueren wordt de leerling actief betrokken bij het leerproces, wordt feedback ingezet tijdens verschillende fasen van het leerproces en is feedback gericht op het beter laten leren van de leerling. Onderzoek laat zien dat over het algemeen feedback sterk bijdraagt betere leerprestaties. Er is slechts eén effectstudie naar specifiek RTTI bekend. Dat kleinschalig experimentele onderzoek laat geen tot negatieve effecten van toepassing van RTTI® zien.

Toelichting antwoord

De afkorting RTTI staat voor Reproductievragen, Trainingsgerichte toepassingsvragen, Transfergerichte toepassingsvragen en Inzicht- & Innovatievragen. Het is een middel om diagnostische toetsen op te stellen waarmee de vier door de ontwikkelaars onderscheiden cognitieve niveaus van leren in kaart kunnen worden gebracht. Die cognitieve niveaus van leren betreffen van ‘laag’ naar ‘hoog’:

  • Reproductie van de leerstof.
  • Toepassen van leerstof in bekende situaties
  • Toepassen van leerstof in nieuwe situaties
  • Zelf actief iets aan leerstof toevoegen

Door in toetsen diverse soorten vragen volgens de RTTI®-systematiek in te bouwen, dus een mix van reproductie-, trainings-, transfer- en inzichtvragen, ontstaat een beeld van het cognitieve niveau van leren (volgens de RTTI®-indeling) waarop de leerling zich bevindt. RTTI® is een geregistreerd handelsmerk en ontwikkeld door DocentPlus BV. DocentPlus biedt daarnaast diverse vormen documentatie, scholing en training aan en een online tool om het werken met RTTI® in het voortgezet onderwijs mogelijk te maken en te ondersteunen. DocentPlus geeft zelf aan dat RTTI® de standaard is voor formatieve evaluatie en onderwijs op maat en dat het inmiddels op meer dan 90% van de scholen wordt gebruikt (website DocentPlus BV: https://docentplus.nl/ geraadpleegd op 9 januari 2018).

Voor de scholen die met RTTI® (willen gaan) werken, is het relevant te weten wat er bekend is over de effectiviteit ervan in termen van leerresultaten.

De vragensteller is betrokken bij de invoering van RTTI® op zijn school. Na voorbereiding en scholing van het team in 2016-2017 wordt in het schooljaar 2017-2018 RTTI® voor het eerst toegepast in de leerjaren 1 en 2 havo en vwo (voor alle vakken m.u.v. sport en kunst). Het doel is om dat vervolgens uit te breiden naar andere leerjaren. Tijdens dit implementatietraject komt de vraag naar boven of RTTI® onderzocht is op de effecten ervan op leerresultaten.

Taxonomie als hulpmiddel bij formatief evalueren

RTTI® is een manier om een indeling te maken van verschillende soorten van kennisverwerving. Dat wordt aangeduid met het begrip taxonomie: een middel om op basis van vooraf gestelde criteria indelingen te maken. Dat kan bij planten, dieren, organisaties, boeken en dus ook verschillende vormen van kennisverwerving. RTTI® is niet de enige taxonomie op het terrein van leren of kennisverwerving. Bekende alternatieven zijn OBIT (Onthouden, Begrijpen, Integreren en Toepassen) en het model van Bloom waarin zes cognitieve processen worden onderscheiden (onthouden, begrijpen, toepassen, analyseren, evalueren en creëren). Hiernaast zijn er ook nog wat minder bekende of meer op één kennisdomein toegespitste taxonomieën: die van Romiszowski, Kwakernaak, De Block en Heene, en die van Van Hiele (Knevel, 2013).

RTTI® als taxonomie is bedoeld als hulpmiddel voor formatieve evaluatie, en wordt in de praktijk ook zo gebruikt. Formatief evalueren is gericht op het in kaart brengen van leeractiviteiten en –resultaten van leerlingen en deze informatie vervolgens te gebruiken om het leerproces verder vorm te geven en af te stemmen op de leerbehoeftes van (groepen van) leerlingen (Van der Ploeg & Van Engen, 2017). Het onderscheidt zich van summatief evalueren (of summatief toetsen) waarbij alleen wordt beoordeeld of een leerlingen qua kennis- en/of vaardighedenniveau een vooraf gestelde norm haalt. De veronderstelling is dat met formatieve evaluatie leerlingen meer inzicht krijgen in hun eigen leerproces, hun motivatie wordt bevorderd en meer onderwijs op maat gerealiseerd kan worden door de docent.

Formatieve evaluatie bevat meer dan de traditionele toetsen: het omvat alle activiteiten van docenten en leerlingen om de leeractiviteiten van leerlingen in kaart te brengen, dus bijvoorbeeld ook portfolio’s, presentaties en zelf- en peer-evaluaties.

Feedback is een cruciaal onderdeel van formatief evalueren en het is ook dit onderdeel dat vermoedelijk het sterkst bijdraagt aan een hogere motivatie en betere leerprestaties. Bij formatief evalueren geldt specifiek dat feedback wordt ingezet tijdens verschillende fasen van het leerproces, dat de feedback gericht is op het beter laten leren van de leerling en dat de leerling actief wordt betrokken bij het leerproces. Metaonderzoek van Hattie en Timperley (2007) laat op grond van bijna 200 onderzoeken zien dat gemiddeld genomen er een groot positief effect uitgaat van feedback op onderwijsprestaties. Daarbij is met name feedback gericht op de leertaken, op het leerproces en op zelfregulering effectief. Feedback gericht op de leerling als persoon is dat veel minder.

Kortom, formatief evalueren waarbij feedback op de juiste wijze wordt ingezet, draagt bij aan hogere leerprestaties. Daarbij is RTTI® (net als een aantal andere taxonomieën) een hulpmiddel om formatief evalueren vorm te geven. Mogelijk heeft RTTI® dus op die manier indirect een positief effect op leerprestaties.

Empirisch onderzoek

RTTI® wordt volgens de ontwikkelaars (DocentPlus BV) op meer dan 9 van de 10 VO scholen in Nederland gebruikt. Desondanks zijn er nauwelijks onderzoeksresultaten gepubliceerd waaruit de effectiviteit op leerprestaties blijkt. Er is één empirische studie beschikbaar waarbij middels een experimentele opzet op één school het effect van RTTI® op leerprestaties voor het vak Wiskunde in vwo-2 en vwo-4 is onderzocht.

Daarbij zijn gegevens van interventie- en controlegroepen vergeleken, waarbij de interventie bestond uit het steeds benoemen van leerdoelen van de lesstof, het steeds verwijzen naar de cognitieve niveaus van de lesstof (zowel tijdens instructie als in het boek) en als belangrijkste onderdeel het geven van gerichte individuele feedback (voor- en na toetsing) en groepsfeedback waarbij werd verwezen naar de cognitieve niveaus behorend bij RTTI®. Van beide groepen leerlingen werden vervolgens toetsscores op wiskunde vergeleken alsook testgegevens van hun motivatie en metacognitieve vaardigheden.

Daaruit blijkt dat er voor vwo-4 tussen interventie- en controlegroep geen significante verschillen geconstateerd kunnen worden: noch in toetsscores, noch in motivatie en metacognitieve vaardigheden. In vwo-2 wordt een sterk significant en negatief effect van 0,76 cijferpunt gevonden van de RTTI®-interventie op de toetsscores van de leerlingen. In vwo-2 leveren de leerlingen in de interventiegroep dus slechtere prestaties op wiskunde dan de leerlingen in de controlegroep. Ondanks mogelijke nuances bij de opzet (het onderzoek heeft betrekking op één school en voor één vak) geven deze uitkomsten aan dat toepassing van RTTI® als onderdeel van formatieve evaluatie als zodanig geen garantie is voor betere leerresultaten 1.

Afsluiting

RTTI® kan, net als andere taxonomieën, worden gebruikt om formatieve evaluatie vorm te geven in het voortgezet onderwijs. Bij formatief evalueren wordt de leerling actief wordt betrokken bij het leerproces, wordt feedback ingezet tijdens verschillende fasen van het leerproces en is feedback gericht op het beter laten leren van de leerling. Onderzoek laat zien dat over het algemeen feedback sterk bijdraagt betere leerprestaties. Kleinschalig experimenteel onderzoek laat geen tot negatieve effecten van toepassing van RTTI® zien. Deze uitkomsten, in combinatie met inzichten over de kwaliteit van feedback, doen vermoeden dat voor het optimaliseren van leerprestaties met behulp van formatief evaluatie de focus moet liggen op het goed organiseren, formuleren en doseren van feedback. De keuze voor hulpmiddelen als RTTI®, het model van Bloom of OBIT is daarbij secundair.

Noot

1 Het argument dat het om een relatief kleine steekproef gaat en dat daardoor positieve effecten niet significant zijn, hetgeen door de auteur wordt opgevoerd, is geen sterk argument omdat de steekproef wel groot genoeg blijkt voor duidelijk significantie negatieve effecten.

Geraadpleegde bronnen:

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Cursus
Intercollegiaal coachen
Intercollegiaal coachen
Het leren coachen van gelijkwaardige collega`s
Medilex Onderwijs 
E-learning module
Wat is formatieve evaluatie?
Wat is formatieve evaluatie?
Online module over formatieve evaluatie
Wij-leren.nl Academie 
Leren zichtbaar maken
Leren zichtbaar maken - John Hattie.
Arja Kerpel
Taxonomie-van-bloom
Taxonomie van bloom - uitleg denkvaardigheden
Machiel Karels
Leren van toetsen
Effectief formatief toetsen - vijf strategiën met voorbeelden
Gerdineke van Silfhout
Leerbevorderende feedback
Feedback in de praktijk, hoe doe je dat?
Lia Voerman
Grip op leesbegrip
Beter toetsen en evalueren van lezen met begrip
Karin van de Mortel
DTT niet formatief
Wat kunnen we met de Diagnostische Tussentijdse Toets?
Karen Heij
Wegcijferen door toetsen
Laat je niet wegcijferen
Paul Filipiak


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
redactie
[extra-breed-algemeen-kolom2]



cito
feedback
normering
rtti
teaching to the test
toetsen

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest