Pseudowetenschap op school (3): Is wetenschap uit de gratie?

Een aanpak die logisch klinkt, een professional die vol overtuiging vertelt en ouders die opgelucht zeggen dat er eindelijk iets werkt. Het klinkt al snel betrouwbaar. Toch zegt een overtuigend verhaal nog weinig over de kwaliteit van een methode. Pseudowetenschap herken je vaak pas als je kritische vragen stelt. Hoe reageert iemand op tegengeluid? Waar is de onderbouwing? Welke opleiding heeft de aanbieder gevolgd? En werkte de aanpak werkelijk, of horen we alleen de succesverhalen? In deze serie gaat orthopedagoog Esther Monfils in op verschillende elementen van pseudowetenschap.

Ik weet niet waarom, maar wetenschap lijkt uit de gratie te zijn. Bij discussies krijg ik namelijk regelmatig te horen: ‘Niet alles hoeft wetenschappelijk bewezen te zijn’, ‘Ik ga van mijn gevoel uit’ en ‘Dit kun je alleen begrijpen als je verder durft te kijken’. Alsof je verlicht bent als je een bepaald idee met je hart omarmt en daarbij hard schopt tegen de wetenschap. Alsof gevoel en wetenschap lijnrecht tegenover elkaar staan. Alsof wetenschappers ons de verdoemenis in willen helpen. Wat me nog het meest verbaast, is een opmerking uit een verhit gesprek dat ik laatst had. Er werd naar me teruggekaatst dat ‘wetenschap niet onafhankelijk is’.

"De weerstand tegen wetenschap groeit zodra gevoel als hoogste maatstaf wordt gebruikt."

Dat zette me wel even aan het denken. Hoe kan iemand dat nou vinden? Wetenschappelijk onderzoek vormt het fundament van onze kennismaatschappij. Met onderzoek krijgen we antwoord op vragen en worden we behoed voor denkfouten en ongegronde overtuigingen. Wetenschappelijk onderzoek stelt ons in staat de wereld beter te begrijpen en te verbeteren. En als ik naar mijn vakgebieden kijk, het onderwijs en de orthopedagogiek, zijn daar een boel kinderen mee geholpen.

Wetenschappelijk onderzoek is feitelijk een manier om op gestructureerde en systematische wijze kennis te vergaren. Een idee, ervaring of veronderstelling leidt tot een hypothese die in een experiment wordt getoetst. De gegevens die daaruit voortkomen, leiden tot een conclusie of bevinding. Met de nodige voorzichtigheid, want in veel gevallen betreft het een nabootsing van de realiteit of wordt slechts naar een klein onderdeel daarvan gekeken. In publicaties lees je daarom formuleringen als: ‘Met voorzichtigheid kunnen we concluderen dat...’ of ‘We hebben aanwijzingen gevonden voor...’ Ook in aanbevelingen klinkt vaak terughoudendheid door en wordt regelmatig gepleit voor herhaalonderzoek.

Door de structuur en systematiek kunnen antwoorden worden gevonden die zo veel mogelijk losstaan van persoonlijke overtuigingen of vooroordelen. Heel onafhankelijk dus. Met één bevinding ben je er echter nog niet. Niet voor niets worden in wetenschappelijke artikelen het theoretisch kader, de methodologie, de conclusies en de aanbevelingen zo uitvoerig beschreven. Eén bevinding zegt nog weinig. Wetenschappelijk onderzoek vereist reproduceerbaarheid. Andere onderzoekers moeten het onderzoek kunnen herhalen en tot dezelfde conclusie komen. Dan pas krijgt een bevinding geldigheid. Eén onderzoek is in de wetenschap dus nog geen onderzoek. Toevalligheden en eenmalige fouten moeten zo veel mogelijk worden uitgesloten. Hoe onafhankelijk wil je het hebben!

Helaas leert de praktijk dat er grote conclusies worden getrokken uit bevindingen waarvoor nog geen herhaalonderzoek heeft plaatsgevonden. Ook worden de voorzichtig geformuleerde conclusies nogal eens genegeerd. Vooral als we enthousiast zijn over een bevinding of als conclusies via de tamtam worden doorgegeven, verdwijnen de nuances. Samenvattingen van onderzoeken in de Margriet, Libelle, op Facebook en noem maar op, kunnen leuk zijn om nieuwsgierig van te worden. Ga daarna wel altijd naar de oorspronkelijke bron en zoek naar de voorzichtigheid in de formuleringen. Hier maakt de wetenschap geen fout, maar de mens. Die wil te snel of is te gretig.

"Een bevinding krijgt pas gewicht wanneer anderen dezelfde uitkomst kunnen vinden."

In discussies die ik soms heb met aanhangers van neuro- en onderwijsmythen verbaas ik me over de manier waarop wordt vastgehouden aan één of slechts enkele onderzoeken. Laatst nog wierp een auteur van twee boeken op: ‘Mijn manier van werken vanuit verschillende invalshoeken werkt! En sterker nog: wetenschappelijk bewezen in de jaren zeventig! Door de Universiteit Leiden! Volledig erkend door deze universiteit en nooit weerlegd. Waarom moet altijd alles opnieuw bewezen worden?’

Wetenschap betekent vooruitgang. Weerleggen gebeurt niet alleen met een tegenonderzoek. Er kunnen ook andere redenen zijn waarom een bevinding ergens in de tijd is blijven steken. Bijvoorbeeld omdat herhaalonderzoek niet tot dezelfde conclusies leidt of omdat een onderzoek al stukloopt op het theoretisch kader of de methodologie. Andere onderzoekers keren het dan de rug toe. Het feit dat niemand het oppikt of ernaar verwijst, is dan juist veelzeggend. In de vijftig jaar die inmiddels zijn verstreken, weten we meer. Veel vooruitgang in onze samenleving is het directe resultaat van wetenschappelijk onderzoek. Of het nu gaat om medische doorbraken, technologische vooruitgang of sociaalwetenschappelijke ontdekkingen, wetenschappelijk onderzoek drijft innovatie en verbetering. De vraag ‘Waarom moet altijd alles opnieuw bewezen worden?’ doet die vooruitgang en, wat mij betreft, ook de nieuwsgierigheid van de mens tekort.

Wetenschappelijk onderzoek lezen en interpreteren is reuzemoeilijk. Dat er onderzoek is gedaan, zegt op zichzelf nog niets over de geldigheid ervan. Naast herhaalonderzoek gaat het ook over de vraag wie het onderzoek oppakt en of er peerreview heeft plaatsgevonden. Dit houdt in dat vooraanstaande collega’s meekijken en feedback geven, vaak voordat een onderzoek wordt gepubliceerd. Heel belangrijk!

Een handige tip om bronnen te beoordelen, is kijken naar citaties: hoe vaak is een artikel in andere wetenschappelijke publicaties aangehaald? Kijk ook naar de artikelen die naar het onderzoek verwijzen. Volg de verwijsketen dus. Ik noem dit ook weleens de referentiesliert. Kijk daarnaast naar meta-analyses en systematische reviews. Bij een meta-analyse worden de resultaten van eerdere onderzoeken samengenomen om een nauwkeurigere uitspraak te kunnen doen, bijvoorbeeld over een theorie of bevinding. In een systematische review is het hele proces van vraagstelling tot conclusie transparant en wordt ook de kwaliteit van de afzonderlijke onderzoeken beoordeeld. Zo controleert de wetenschap de wetenschap.

"Verwijzingen, peerreview en herhaalonderzoek vertellen samen hoe stevig een bevinding staat."

Wetenschappelijk onderzoek streeft objectiviteit na. Persoonlijke overtuigingen worden zo veel mogelijk aan de kant gezet. Het gaat om feiten en bewijs. Best lastig in onze complexe wereld. Ook hier bieden structuur en systematiek soelaas om die complexiteit te begrijpen. Zo worden verbanden ontward, oorzaken en effecten geïdentificeerd en kunnen voorspellingen worden gedaan. Vaak met grote voorzichtigheid.

Bij het beoordelen van onderzoek is het ook zinvol om te kijken wie het onderzoek uitvoert. Als een maker of bedenker zelf betrokken is bij een effectiviteitsonderzoek, of als iemand uit diens team het onderzoek uitvoert, is het belangrijk om waakzaam te zijn. Degene met de portemonnee heeft misschien meer vinger in de pap dan wenselijk. Follow the money dus. Laten we lering trekken uit situaties rondom Cogmed en Bodymap. Die maken duidelijk dat kritisch blijven meer dan nodig is.

"Objectiviteit vraagt ook aandacht voor de belangen achter een onderzoek."

Mensen hebben de neiging om informatie te zoeken die hun bestaande overtuigingen bevestigt. Dat wordt het bevestigingsvooroordeel genoemd. In het Engels: confirmation bias. Denkfouten is overigens een gangbare term. In discussies, met name op LinkedIn, vallen sommigen over dit woord. Ze vinden dat het een negatieve toon zet. We maken denkfouten echter allemaal. U en ik dus ook. Dat heeft te maken met de manier waarop ons brein werkt. Naast het bevestigingsvooroordeel zijn er nog veel meer denkfouten. Ook de self-fulfilling prophecy en affectheuristiek zullen veel mensen bekend voorkomen. Met zoektermen als ‘heuristiek’ en ‘bias’ kom je op Google al een heel eind. Voor onderwijsprofessionals schreef Marald Mens het boek Bananenschillen op school, over uitglijders in je denken, waarin hij aan de hand van voorbeelden uit het onderwijs de meest voorkomende denkfouten en valkuilen beschrijft.

Laatst reageerde iemand op LinkedIn met: ‘Reflexintegratie is wel wetenschappelijk aangetoond, maar dan moet je wel naar de juiste bronnen kijken.’ Een mooier voorbeeld van een bevestigingsvooroordeel kan ik bijna niet geven. Dit is de gekleurde bril die we dragen als we ergens enthousiast over zijn. Het gaat erom dat we naar alle bronnen kijken en niet alleen naar de bronnen die een idee ondersteunen. Hoe objectief ben je als je alleen de bevestigende bronnen als ‘juist’ beschouwt? Als je zegt dat er ‘juiste’ bronnen zijn, zeg je ook dat er ‘onjuiste’ bronnen zijn. Dan is ‘onjuist’ in dit geval kennelijk een bron die niet bevestigt wat je gelooft.

Wetenschappelijk onderzoek kijkt naar gegevens die de hypothese ondersteunen en naar gegevens die de hypothese tegenspreken. Daarnaast wordt zorgvuldig gekeken naar correlaties en oorzaak-gevolgrelaties. Bij een correlatie komen twee verschijnselen samen voor. Bij een oorzaak-gevolgrelatie heeft het ene verschijnsel het andere tot gevolg. Dat zijn twee verschillende dingen. In ons snelle denken trekken we soms verkeerde conclusies en zien we verbanden die er niet zijn.

Wie daar een mooi en humoristisch voorbeeld van wil zien, kan The Theory of the Stork lezen. In dit artikel wordt aan de hand van een theorie over ooievaars en de geboorte van baby’s uitgelegd hoe denkfouten bij onderzoek kunnen ontstaan. Het artikel heeft een onderwijskundig en humoristisch doel en laat zien hoe verleidelijk het is om uit een samenhang direct een oorzaak-gevolgrelatie af te leiden.

"Een gekleurde bril bepaalt al snel welke bronnen iemand als juist beschouwt."

Wetenschappelijk denken moedigt kritisch denken aan. Het vraagt ons om bewijs te evalueren, vragen te stellen en geen genoegen te nemen met oppervlakkige antwoorden. Daarom ben ik allergisch geworden voor uitspraken als: ‘Niet alles hoeft wetenschappelijk bewezen te zijn.’ Dit oppervlakkige antwoord zou geen reden moeten zijn om iets wel te doen. Ik ben er ook allergisch voor omdat het een onterechte smet op de wetenschap werpt. Alsof wetenschap iets vies is waar je vooral flink uit de buurt moet blijven. Ik ben er inmiddels over uit dat deze uitspraak met name wordt gebruikt om te verhullen wat men eigenlijk zou moeten zeggen: ‘Ik doe dingen omdat ik erin geloof.’ Dat zegt bijna niemand. Ondertussen worden mensen wel misleid en wordt er veel geld betaald voor ongefundeerde behandelingen.

Het is ook belangrijk om bij het volgende stil te staan: individuele ervaringen en anekdotisch bewijs zijn niet representatief voor de bredere realiteit. Ik geloof best dat mensen van het geijkte pad af kunnen gaan en dan op iets stuiten dat voor hen werkt. Dat betekent nog niet direct dat het ook voor een ander werkt. Wetenschappelijk onderzoek helpt om generalisaties te vermijden en te zoeken naar patronen die zijn gebaseerd op gegevens van grotere groepen. Zo kan worden onderzocht wat een bevinding voor een bredere populatie betekent. Ervaringen kunnen heel waardevol zijn voor de hypothesevorming, maar vormen op zichzelf geen bewijs.

"Wat voor één persoon werkt, zegt weinig over de betekenis voor een grotere groep."

We moeten de wetenschap niet de rug toekeren. Dat gebeurt helaas wel, met name wanneer bevindingen indruisen tegen iemands geloof of wanneer conclusies mensen niet aanstaan. Dan is ‘wetenschap niet zaligmakend’ of wordt gezegd dat ‘universitair geschoolde personen zich verheven voelen boven anders opgeleiden’. Bijzonder dat het leveren van feiten en bewijs soms op zulke reacties kan rekenen. Uiteraard heeft de wetenschap niet overal een antwoord op. Dat kan en hoeft ook niet.

Opmerkelijk is wel dat wetenschap vooral uit de gratie raakt wanneer zij een bias of sterk geloof raakt. Dan gebeurt er intern iets. Dan raakt het de identiteit van mensen. Ik vraag me af of je op zo’n moment nog zo kritisch en objectief mogelijk bent. Daarom zie ik wetenschappelijk onderzoek als gereedschap, als een krachtige manier voor ons allemaal om de wereld beter te begrijpen. Het behoedt ons voor denkfouten, bevordert objectiviteit en stimuleert een nieuwsgierige geest. Het helpt ons een spiegeltje voor te houden. Een spiegeltje dat wat mij betreft hard nodig is.

"Een wetenschappelijke blik houdt ons een spiegel voor wanneer overtuigingen veel ruimte innemen."

Meer lezen over pseudowetenschap in het onderwijs?

Esther Monfils schreef Houd pseudowetenschap buiten de schooldeur, een praktische gids die onderwijsteams helpt om kritisch te blijven en onderbouwde keuzes te maken. Bestel het boek hier of lees onze uitgebreide boekbespreking.

Dit artikel verscheen eerder in blogvorm op de website van Esther Monfils.