Hattie geeft richting, maar geen recepten

Bas ter Avest

Beleidsadviseur onderwijs en kwaliteit bij DeBasisFluvius

Geplaatst op 13 oktober 2018

Het werk van Hattie wordt, jaren na het verschijnen van zijn ‘Visible Learning’, nog steeds te pas maar helaas ook vaak te onpas aangehaald. In eindscripties, schoolplannen en strategische beleidsplannen zijn vaak verwijzingen te vinden naar de publicaties van Hattie. Meestal om gemaakte keuzes mee te onderbouwen.

Het juist interpreteren en toepassen van wetenschappelijke publicaties zoals Visible Learning is echter geen sinecure. Dit artikel helpt je om het werk van Hattie zorgvuldig en kritisch te beschouwen.

Visible Learning

"How can we make the learning visible for the teacher?" Dat is de kernvraag die Hattie stelt in zijn werk Visible Learning. Hij beschrijft in zijn werk en colleges een mindset die elke leraar zou moeten hebben. "The message is: how can I do better?" Juist die mindset, waarbij je kijkt naar waar jij als leerkracht het verschil kan maken is bepalend, volgens Hattie.

Het werk van Hattie leest echter als een receptenboek waaruit een leerkracht kan putten om evidence based onderwijs te verzorgen. Hatties werk staat vol met lijstjes, dashboards en rankings waarmee hij wil aantonen ´wat werkt´ en ´wat niet werkt´. Het werken met gemiddelden, effectgroottes en meta-analyses geeft echter nog weinig handvatten voor de inrichting van het onderwijs.

In dit artikel wordt beschreven waarom het lastig is om op basis van het werk van Hattie onderwijskundige keuzes te maken. Allereerst wordt uitleg gegeven over de werkwijze die Hattie hanteert. Daarna worden kritische kanttekeningen geplaatst die je helpen bij het juist interpreteren van ´Visible Learning´.

Gemiddelde van gemiddelden van gemiddelden

Om het werk van Hattie op waarde te kunnen schatten is het belangrijk om te begrijpen hoe hij werkt. In deze paragraaf bespreek ik kort de werkwijze van Hattie.

Hattie werkt met meta-analyses. Een meta-analyse is een statistische samenvatting van de uitkomsten van verschillende onderzoeken (Baarda et al., 2017). Het werk van Hattie is bijzonder omdat hij een grote hoeveelheid meta-analyses heeft bestudeerd en vergeleken. Een meta-analyse van meta-analyses, zou je kunnen zeggen: het gemiddelde van gemiddelden en daar het gemiddelde van.

Hattie hanteert daarbij een maat waarmee hij het effect van onderwijskundige interventies uitdrukt: de effectgrootte. Het is een statistisch berekende grootheid op basis van gemiddelden. De effectgrootte van een interventie wordt weergegeven met een cijfer. Hoe dichter dat cijfer bij de 1,0 ligt, des te groter is het effect. Een onderwijskundige interventie met een effectgrootte van 0,4 en hoger wordt door Hattie beschouwd als effectief.

Het werken met meta-analyses heeft voordelen. In een meta-analyse wordt een grote hoeveelheid onderzoeken bekeken en geanalyseerd. Met het lezen van een dergelijk onderzoek neem je een grote hoeveelheid onderzoekskennis tot je. Het werken met een meta-analyse heeft ook nadelen. Die worden hieronder worden besproken.

"Het werk van Hattie is bijzonder. Hij heeft veel meta-analyses bestudeerd en vergeleken."

Het reizen met een voertuig gaat sneller

Handelen in de praktijk

Allereerst zijn de topics die Hattie heeft onderzocht zo breed al veelomvattend dat het moeilijk is om op basis van zijn onderzoeksgegevens het handelen in de praktijk vorm te geven. Topics die Hattie heeft onderzocht zoals ´instructional strategies´, ´classroom management´, ´teacher training´, ´quality of teaching´ of ´outdoor education´ zeggen niet zo veel.

Een voorbeeld

Een voorbeeld om dat te illustreren: op basis van Hatties onderzoek kan gezegd worden dan coöperatief leren ‘werkt’, de effectgrootte is 0,41 (cooperative learning) of 0,59 (cooperative vs individualistic) (Hattie, 2009).

Wat heb je aan die kennis als je niet precies weet wat er werkt en hoe het werkt? Het roept eigenlijk alleen maar vragen op:

Wat is het verschil in effectgrootte tussen verschillende coöperatieve structuren?
Welke coöperatieve structuur past bij welke leeftijdsgroep?
Welke structuur is het meest geschikt om in te zetten bij welk soort taak of onderwerp?

Coöperatief leren kent maar liefst 200 verschillende structuren, van simpel tot zeer complex, waarbij er soms sprake is van teamrollen, soms niet. Soms wordt er gewerkt in tweetallen, soms in viertallen. Enkel een effectgrootte geeft geen inzicht en al helemaal geen handvatten voor het inrichten van je onderwijspraktijk.

Het is hetzelfde als onderzoek doen naar de snelste vervoerswijze om van A naar B te komen en dan concluderen dat het gebruik van een voertuig het beste werkt. Tja, dan weet je nog niet of je het beste de bus, de trein of de fiets kan nemen.

Het werken met een gemiddelde effectgroottes

Niet enkel de veelomvattende topics die Hattie onderzoekt maken het werk moeilijk toepasbaar, ook het werken met een gemiddelde effectgrootte levert problemen op bij het interpreteren. Wat Hattie doet is vergelijkbaar met het volgende voorbeeld.

Stel, we willen onderzoek doen naar het effect van een medicijn, laten we zeggen een pijnstiller. We gaan daarom de gemiddelde effectgrootte berekenen van een 10 mg pil, een 50 mg pil, een 100 mg pil en een 150 mg pil. We komen uit op een gemiddelde effectgrootte van 0,65. Wat weten we dan? Weten we welke pil we een patiënt moeten voorschrijven? We weten dat het medicijn naar alle waarschijnlijkheid een werkzame stof bevat, maar weten niet hoe we het medicijn het beste kunnen toedienen. Bovendien weten we niet hoe het medicijn werkt.

Een effectgrootte zegt iets over de uitkomst, niet over het proces.

"Enkel een effectgrootte geeft geen inzicht en al helemaal geen handvatten voor het inrichten van je onderwijspraktijk."

Voor elk wat wils

De resultaten die Hattie weergeeft zijn op verschillende manieren te interpreteren. Zo lijkt onderzoekend leren weinig effect te hebben of de leeropbrengsten, Hattie komt uit op een effectgrootte van 0,40 (Inquiry-based teaching).

Allereerst roept dat de vraag op: wat verstaat Hattie onder onderzoekend leren? Het is een containerbegrip dat door professionals op verschillende manieren wordt uitgelegd. De ene professional denkt meteen aan vrije exploratie van kinderen, de andere professional zal denken aan een gestructureerde didactiek.

Als je naar deelaspecten kijkt die onlosmakelijk verbonden zijn met die didactiek, dan lijkt onderzoekend leren wel degelijk een krachtige werkwijze te zijn. Hattie (2017) presenteert in zijn update van zijn meta-analyse effectgroottes van bijvoorbeeld:

‘hypothese toetsen’ (effectgrootte ong. 1,0)
‘transfer strategieën’ (effectgrootte ong. 0,86),
‘strategieën om kennis te leren verbinden aan voorkennis’ (effectgrootte ong. 0,93),
‘‘evaluatie en reflectie’ (effectgrootte ong. 0,75).

Kortom: met het lijstje effectgroottes van Hattie kan je enerzijds aantonen dat onderzoekend leren niet effectief is en anderzijds aantonen dat onderzoekend leren wel effectief is. Voor elk wat wils.

Niet transparant

De kern van wetenschap is dat het navolgbaar, transparant en herleidbaar is. Het werk van Hattie is dat onvoldoende. Vele vragen zijn er gesteld over zijn statistische analyse.

Onder andere Bergeron (2017) heeft zich zeer kritisch uitgelaten over het onderzoek van Hattie. De wijze waarop Hattie werkt met de statische maat ´effectgrootte´ schijnt bediscussieerbaar te zijn. Het is voor niet-statistici moeilijk om dat te kunnen beoordelen.

Feit is wel dat de updates van de rankings die Hattie publiceert via zijn website visiblelearning.com telkens van elkaar verschillen.

Bovendien heeft Hattie zelf de kritiek van statistici op zijn werk erkend. Wubbels (2014) typeert daarnaast zijn werkwijze als ondoorgrondelijk, niet transparant en geeft aan dat zijn boek onvoldoende duidelijk maakt hoe hij de resultaten van allerlei studies heeft samengenomen en in effectgroottes heeft uitgedrukt.

Daardoor voldoet zijn werk onvoldoende aan een basiseis van wetenschappelijk werk: navolgbaarheid.

"Het werk van Hattie is onvoldoende navolgbaar, transparant en herleidbaar."

Pacmantijden

Het is voor de lezer van het werk van Hattie zeer moeilijk om te achterhalen wat de waarde en kwaliteit is van de door hem geselecteerde meta-analyses. Zo roepen de onderzoeken die hij heeft gebruikt om uitspraken te doen over het effect van computergebruik vragen op.

Zijn meta-analyse naar ‘computer assisted instruction’ bestaat uit een serie onderzoeken waarvan de oudste stamt uit 1977 (!). Meer dan de helft van alle in deze meta-analyse betrokken onderzoeken dateren uit de jaren tachtig en negentig. Toen had ik een computer die moest worden opgestart met een floppy disk en speelde ik pacman. Wat is de relevantie van dergelijke meta-analyses om een onderwijskundige keuze, bijvoorbeeld het wel of niet invoeren van gepersonaliseerde ict-toepassingen, op te baseren?

De onderstaande dialoog, zie http://visiblelearning.org/nl is treffend:

2 reacties op “Hattie: Lijst van effecten op prestaties”

Astrid T schreef:
Mei 29, 2017 om 8:04 PM
L.S. Op onze school wordt overwogen om een pilot met Snappet te starten vooral in eerste instantie voor rekenen. Ik vraag me daarom af of Snappet en Gynzy iPad onder web-based leren valt? En ik zou graag van jullie horen hoe jullie visie hierop is.. te meer wij een school zijn die werkt met LZM en een tweejarige training bij Bazalt volgt. Ik hoor graag van jullie…
Met vriendelijke groet, Astrid T

David schreef:
Oktober 19, 2017 om 8:48 AM
Ik denk dat Snappet valt onder computerondersteunend leren. In principe is bij Snappet de lesopbouw niet anders, de leerkracht geeft nog steeds instructie naar het model dat hij gewend is, alleen in plaats van verwerking in schrift, verwerken de leerlingen het op Snappet. Hierdoor is directe feedback aanwezig en kan de leraar alle gemaakte opgaven live monitoren en hierop anticiperen. Volgens mij is web-based leren meer in de vorm van e-learning. Dus inclusief instructie online, informatie verwerken online en vervolgens vragen maken online.

Hoe zit het met moderatorvariabelen?

Soms beschrijft Hattie in hoeverre er in de bestudeerde meta-analyses onderzoek is gedaan naar moderatorvariabelen, soms niet. Een moderator is een statistische variabele die de relatie tussen twee andere variabelen verandert.

Hattie maakt bijvoorbeeld nauwelijks onderscheid tussen hoog presterende kinderen en laag presterende kinderen. Hij zegt in een online college: ´veel van de dingen die goed zijn voor snelle leerlingen zijn ook goed voor trage leerlingen’ (Hattie, 2013). Niet alles dus? Lijkt me toch belangrijk om te weten, voordat ik als schoolleider of leerkracht keuzes maak op basis van deze meta-analyse.

Ook leeftijd wordt door Hattie nauwelijks onderzocht als moderator. Met andere woorden: Hattie geeft niet aan of effectgroottes verschillen voor jonge en oudere kinderen. Er zijn momenteel scholen waar in de kleutergroepen het directe instructiemodel zijn intreden heeft gedaan. Is de effectgrootte van directe instructie (0,59) ook van toepassing is op het werken met directe instructie in een kleuterklas?

Eigenlijk geldt hier opnieuw: het werk van Hattie is onvoldoende specifiek om zomaar consequenties aan te verbinden of onderwijsinhoudelijke keuzes op te baseren.

Hattie is ook maar een mens

Het lijkt misschien vreemd om te zeggen over een onderzoeker, maar ook Hattie heeft een opvatting over wat goed onderwijs is.

Wetenschappers proberen zo objectief mogelijk te zijn, maar toch; het zijn net mensen. Ook wetenschappers hebben een mening. Bekijk maar eens een online college van Hattie. Alleen al uit de selectie van de topics die hij in zijn college bespreekt klinkt zijn opvatting over goed onderwijs door.

Dat is prima, maar het is wel belangrijk om je dat te realiseren wanneer je luistert naar een van zijn e-colleges of een van zijn publicaties leest.

Moeilijk te generaliseren

Kwantitatief onderzoek in het onderwijs blijft een lastige aangelegenheid aangezien beïnvloedbare factoren nooit zijn uit te sluiten. Een laboratoriumsetting zoals die in bijvoorbeeld de medische wetenschap vaak wordt toegepast, valt niet te realiseren.

In het onderwijs is er altijd sprake van een rijke praktijkcontext die veranderlijk is, elk moment is anders en voor elk kind anders. Bij het interpreteren van onderzoek en het generaliseren van de uitkomsten is het van belang om te beseffen hoe specifiek onderzoeksvragen zijn: het gaat over de resultaten van dit vak, in deze context, op dit moment, bij deze kinderen.

‘Evidence based’ betekent niet: dit is de waarheid, zo is de werkelijkheid, zo moet het, altijd, overal, in elke context. Onderzoek is een benadering van die werkelijkheid en geeft inzicht in een deeltje van het geheel.

"Beïnvloedbare factoren in het onderwijs zijn nooit uit te sluiten."

Maak je eigen afweging: toetsen aan pedagogiek

Wanneer we onze beleidskeuzes en afwegingen als leerkracht of schoolleider enkel laten afhangen van meta-analyses zoals die van Hattie, benaderen we onderwijskunde als te smalle wetenschap. Naast aantoonbare effectiviteit is het belangrijk om je keuzes te toetsen aan je pedagogische opvattingen.

Biesta (2017) heeft dat sterk verwoord: “Als Hattie stelt dat huiswerk niet werkt omdat het een relatief weinig effect heeft op schoolprestaties en docenten vervolgens concluderen dat er geen huiswerk meer gegeven moet worden, vergeten zij dat Hattie het over een heel specifieke vraag heeft: is er aantoonbaar bewijs dat huiswerk invloed heeft op specifieke (meetbare) onderwijsprestaties? Ook zetten zij andere, goede redenen voor huiswerk te snel buiten de deur. Dat huiswerk je bijvoorbeeld leert ergens verantwoordelijk voor te zijn, zonder de structuur van de school of de blik van de leraar.”

Hoe dan wel?

De onderwijswerkelijkheid is weerbarstiger dan Hattie ons doet geloven. Wie evidence based of evidence informed wil werken, zal zich moeten verdiepen in vakliteratuur die toegespitst is op een te toetsen hypothese. Evidence based practice betreft het nemen van beslissingen door middel van gewetensvol, expliciet en verstandig gebruik van de best beschikbare bewijslast vanuit verschillende bronnen (...) (Meester et al, 2018).

Dat is wat anders dan klakkeloos Hattie aanhalen. Wie denkt snel klaar te zijn door het boek Visible Learning open te slaan komt bedrogen uit. Het boek kan goed gebruikt worden als startpunt, ingang, om het gesprek te openen, om zelf nader onderzoek te doen, verder te lezen en de eigen onderwijspraktijk nader te analyseren, maar het is geen hapklaar receptenboek.

Het zoeken van goede onderzoeksliteratuur is niet makkelijk, maar geeft wel inzicht in werkende principes van het brein en het leren. Het helpt bij het maken van een keuze voor een passende interventie, op dit moment, voor deze kinderen. Dus: samen lezen, onderzoeksliteratuur duiden, op waarde schatten en toetsen aan een vooropgestelde hypothese.

En wat nog meer?

Het is grappig. Afgelopen jaar stuitte ik op een boek dat is uitgegeven door ReggioChildren in samenwerking met Harvard Gratuate School of Education (2011): Make Learning Visible. In dit boek geen effectgroottes, geen onderzoek naar leeropbrengsten, wel naar het leerproces.

De gedachte is: als leerkrachten inzicht ontwikkelen in het leerproces van kinderen, in hun denken, dan weten ze hoe ze kinderen kunnen begeleiden en lesgeven in de zone van de naaste ontwikkeling. Wat daarvoor nodig is, is een scherpe blik, sensitiviteit, kennis van leerlijnen en ontwikkelingspsychologie en een open mind.

Tijd nemen om gesprekken te voeren met leerlingen en tijd nemen om kinderen te observeren in hun leerproces. Dan zie je wat werkt. "The message is: how can I do better?" (Hattie, 2017).

Ik zou zeggen: niet blindstaren op effectgroottes maar blijven lezen en vooral ogen en oren open om elke dag je eigen praktijk onderzoeken om het morgen nog beter te doen.

Referenties

Baarda, B., Bakker, E., Fischer, T. & Julsing, M. (2017). Basisboek methoden en technieken. Groningen: Noordhoff Uitgevers B.V.
Bergeron, P.J. (2017). How to engage in pseudoscience with real data: a criticism of John Hattie´s arguments in Visible Learning from the perspective of a statistician. Retrieved september 2018 from http://mje.mcgill.ca/article/view/9475/7229
Biesta, G. (2017). Onderwijs werkt niet. Retrieved september 2018 from www.didactiefonline.nl
Hattie (2009). Visible learning. Abingdon: Taylor & Francis Ltd
Hattie, J. (2013). Lecture about visible learning. Retrieved september 2018 from https://visible-learning.org/2013/01/hattie-lecture-about-visible-learning/
Hattie, J. (2017). Hattie´s updated list of factors related to student achievement: 252 influences and effect sizes. Retrieved september 2018 from www.visiblelearning.com
Meester, E., Pollen, P., De Wit, M., Bergsen, S. & Koks, A., (2018). School als lerende organisatie. JSW, juni 2018, 32-35.
Project Zero, Harvard Graduate School of Education & Reggio Children (2011). Make Learning Visible. Reggio Emilia: ReggioChildren
Wubbels, T. (2014). John Hattie ontmaskerd? Retrieved september 2018 from www.didactiefonline.nl