PISA: Wat je niet zaait, kun je niet oogsten

Karen Heij

Zelfstandig toetsexpert bij Parrhesia onderwijsadvies

Geplaatst op 23 maart 2024

Gespreksnotitie ronde tafel bijeenkomst Tweede Kamer

Zorgen over kwaliteit van onderwijs zijn begrijpelijk en terecht. Zo ook zorgen over de laatste resultaten van Pisa.[i] Alvorens te komen met verklaringen en oplossingen is het goed met de nodige voorzichtigheid te kijken naar hoe en wat er getoetst wordt.

Deze notitie werpt enerzijds een kritisch licht op hoe Pisa meet en de waarde die daaraan kan worden toegekend. Anderzijds vraagt de notitie aandacht voor hoe wij in Nederland al decennia lang toetsen en de gevolgen die dat heeft voor het taalonderwijs in het algemeen en het leesonderwijs in het bijzonder en voor de scores op Pisa.

Pisa-metingen

Van belang is het te beseffen dat de Pisa-metingen oorspronkelijk bedoeld zijn om landen met elkaar te vergelijken. Dat betekent dat landen geordend worden ten opzichte van elkaar. Nederland kan stijgen of dalen op de rangorde zonder beter of juist slechter te worden. Andere landen en hun scores bepalen mede waar Nederland in de ranking terechtkomt. Sinds de start van de Pisa-onderzoeken is het aantal deelnemende landen enorm toegenomen (32 landen in 2000 naar 85 landen in 2022)[ii]. Alleen dat al maakt de kans dat Nederland hoog blijft scoren, kleiner.

"Pisa toetst, maar meet het daadwerkelijk wat we belangrijk vinden in onderwijs? Een kritische blik is nodig."

Inhoud Pisa toetsen veranderd

De Pisa-toetsen zelf zijn de afgelopen jaren van inhoud veranderd. Pisa streeft naar leestoetsen die up-to-date zijn met wat er aan leesvaardigheid gevraagd wordt in een steeds veranderende wereld. Zo is de definitie van begrijpend lezen aangepast om ruimte te bieden aan ‘digitaal lezen’ en is het evalueren van teksten toegevoegd.[iii] Maar als de inhoud verandert, is het lastig vergelijken door de jaren heen.

Digitaal toetsen

Daarbij biedt Pisa, naast afname op papier ook de mogelijkheid van digitaal, adaptief toetsen. Nederland is in 2015 overgegaan op de digitale, adaptieve afname.[iv] Pisa benadrukt dat zij ervan uitgaan dat een digitale afname geen gevolgen heeft voor de meting en voor de vergelijking met andere landen die nog op papier toetsen. Onderzoek laat echter zien dat digitaal, adaptief toetsen anders kan uitpakken dan toetsen op papier.[v] [vi] Hiermee kan ‘ruis’ zijn ontstaan in de resultaten. Dit kan vergelijken bemoeilijken, zowel tussen de landen maar ook voor het langdurige beeld van Nederland zelf.[vii]

Open versus multiple-choice vragen

De Pisa-toetsen bestaan deels uit vragen die niet multiple-choice (mc-vragen) zijn maar ‘open’. Vanwege de digitale, adaptieve afname zijn de open vragen, krijgen leerlingen deze vragen nu aan het einde van de toets op het niveau dat de mc-vragen hebben ‘aangetoond’. Bij leerlingen die beter uit de voeten kunnen met open vragen kan de prestatie lager uitvallen dan wanneer deze leerlingen hun toets volledig op papier hadden gemaakt en eerder open vragen waren tegengekomen.

Selectie van leerlingen

Een ander punt van aandacht is de populatie die aan Pisa deelneemt. Het Pisa-onderzoek betreft een steekproef van leerlingen. Die steekproef is niet heel groot en niet (geheel) vergelijkbaar met hoe de leerlingen ‘verdeeld’ zijn over het voortgezet onderwijs in Nederland.

Pisa controleert op leeftijd van deelnemers op het moment van onderzoek. Dit hoeft niet te betekenen dat deze leerlingen overal evenveel onderwijstijd hebben gehad. Dit kan resultaten beïnvloeden.[viii]

Motivatie voor toetsing

Tot slot zijn leerlingen in Nederland door hun ervaringen met toetsing wellicht minder gemotiveerd goed hun best te doen op een pisatoets die niet ‘meetelt’.

Toetsing van leesvaardigheid in Nederland in relatie tot de Pisa-uitkomsten

Toetsing diep lezen

De inhoud van de Pisa-toetsen verschilt van de manier waarop in Nederland leesvaardigheid wordt getoetst, zoals in de eindtoets (nu doorstroomtoets) en in de LVS-toetsen. Deze bestaan in Nederland volledig uit mc-vragen. Het toetsen van diep lezen (30% van de vragen in Pisa 2018[ix]) komt daardoor niet aan bod. Nederlandse leerlingen blijken vooral op dit onderdeel lager te scoren.

Focus op eindtoets en LVS

De eindtoets in combinatie met LVS is een steeds belangrijkere rol gaan spelen in de kans op een hoog schooladvies voor de individuele leerling. Daarnaast spelen deze toetsen een belangrijke rol in de kans op een goede beoordeling van de kwaliteit van een school door de Inspectie van het Onderwijs. Door deze twee factoren is hoog scoren op deze toetsen een doel geworden van het onderwijs.

Het onderwijs zelf - besturen, scholen, leerkrachten- richt zich hierop maar ook ouders en leerlingen zijn hierop gefocust geraakt.[x] Dit geldt ook voor leermiddelenontwikkelaars. Zij willen met hun methodes aansluiten op deze toetsen, want zij kunnen hun methodes vooral goed verkopen als zij aan kunnen tonen dat met hun methode hoge scores op LVS-toetsen en eindtoets mogelijk worden.

Zo zijn LVS-toetsen en eindtoets/doorstroomtoets allang niet meer de onafhankelijke bewaker die ‘los’ van het onderwijs meekijkt naar wat er in het onderwijs gebeurt, maar zijn het de bepalers geworden van wat belangrijk is voor onderwijs om zich op te richten.

Hoewel gesproken wordt over het toetsen van taalvaardigheid gaat het in feite uitsluitend om begrijpend lezen, grammatica en spelling en niet over de communicatieve vaardigheden spreken en luisteren of over (vrij) schrijven.

Uit nationale peilingen naar schrijfvaardigheid blijkt dat de scores hierop achter blijven.[xi] Dat is des te erger omdat ontwikkeling van leesvaardigheid juist gebaat is bij veel aandacht voor mondelinge vaardigheden en schrijven. Zo zorgt druk op de resultaten op eindtoets en LVS-toetsen voor minder aandacht voor andere aspecten van taalvaardigheid. Verschraling van onderwijs ligt op de loer.

Eerdere ervaringen in de Verenigde Staten hebben laten zien welke effecten (te) veel druk op toetsing kunnen hebben op het curriculum.[xii]

"Het huidige toetsbeleid is geen vruchtbare bodem voor rijk en gevarieerd taalonderwijs, wat zich vertaalt naar teleurstellende Pisa-resultaten."

Minst gemotiveerde leerlingen

Pisa laat zien dat Nederlandse leerlingen de minst gemotiveerde lezers zijn van Europa.[xiii] Dat is heel zorgelijk, omdat leesplezier belangrijk is om verder te komen in leesontwikkeling. Een gevolg van de manier waarop in Nederland getraind wordt op leesvaardigheid, is dat veel leerlingen een hekel krijgen aan lezen.

Het voortdurend oefenen met vragen zoals die in de toets voorkomen, maakt lezen niet leuk. Het leidt tot ‘saai’ leesonderwijs terwijl taalontwikkeling in de volle breedte heel afwisselend kan zijn, juist heel veel plezier in taal kan bijbrengen en zo niet alleen kan bijdragen aan een betere taalontwikkeling maar ook aan een betere leesontwikkeling.[xiv]

Die focus op het oefenen met vragen en teksten zoals die voorkomen in de toetsen heeft ook gemaakt dat het lijkt of leesvaardigheid iets is dat je ontwikkelt, los van kennis van het onderwerp van een tekst. Achtergrondkennis aanleren en werken aan een brede woordenschat is cruciaal om te komen tot meer en beter tekstbegrip.[xv] Lezen is geen trucje.

"Focus op toetsresultaten leidt tot oppervlakkig leesonderwijs en schaadt de algehele kwaliteit van het taalonderwijs."

Conclusie

Toetsen vormen zelden het sluitstuk van onderwijs maar zijn, zeker bij langdurig gebruik, een actor om kritisch te beschouwen in de analyse van de oorzaken van problemen. Juist in het primair onderwijs moet een goede basis voor lezen gelegd worden. Dat gebeurt nu onvoldoende.

Zolang druk op uitkomsten van LVS-toetsen en doorstroomtoets zo groot blijft, zal het onderwijs gericht blijven op goed scoren op deze toetsen. Dat leidt niet tot goed leesonderwijs en zeker ook niet tot rijk en gevarieerd taalonderwijs.

Gebrek aan aandacht voor diep tekstbegrip en de volle breedte van taalontwikkeling, zal opnieuw zorgen voor teleurstelling bij de volgende Pisa-meting: wat je niet zaait, kun je niet oogsten.

Bronnen

[i] Hier wordt gerefereerd naar de uitkomsten van het grootschalige onderzoek ‘Programme for International Student Assessment (PISA)’ gerapporteerd in: Gubbels, J., van Langen, A., Maassen, N., & Meelissen, M. (2019). PISA-2018, en het onderzoek gerapporteerd in: Meelissen, M., Maassen, N., Gubbels, J., van Langen, A., Valk, J., Dood, C., ... & Wolbers, M. (2023). Resultaten PISA-2022 in vogelvlucht.

[ii] About - PISA (oecd.org)

[iii] Gubbels, J., van Langen, A., Maassen, N., & Meelissen, M. (2019). PISA-2018., p. 16.

[iv] Gubbels, J., van Langen, A., Maassen, N., & Meelissen, M. (2019). PISA-2018., p. 87.

[v] Wang, S., Jiao, H., Young, M. J., Brooks, T., & Olson, J. (2008). Comparability of computer-based and paper-and-pencil testing in K–12 reading assessments: A meta-analysis of testing mode effects. Educational and psychological measurement, 68(1), 5-24.

[vi] Clinton, V. (2019). Reading from paper compared to screens: A systematic review and metaâ€ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂanalysis. Journal of research in reading, 42(2), 288-325.

[vii] SLO (2017). Leerplankundige analyse PISA 2015

[viii] Crone, D. A., & Whitehurst, G. J. (1999). Age and schooling effects on emergent literacy and early reading skills. Journal of educational psychology, 91(4), 604.

[ix] Gubbels, J., van Langen, A., Maassen, N., & Meelissen, M. (2019). PISA-2018, p.28.

[x] Heij, K. (2021). Van de kat en de bel, tellen en vertellen met de eindtoets basisonderwijs. Academisch Proefschrift, Tilburg University.

[xi] Ritzema, L., Maat, H. P., Stukker, N., Hemker, B., Naayer, H., Lampe, T., ... & de Boer, H. (2020). Peiling schrijfvaardigheid einde (speciaal) basisonderwijs 2019: Technische rapportage.

[xii] Ravitch, D. (2016) [2010]. The death and life of the great American schoolsystem: How testing and choice are undermining education. New York: Basic Books.

[xiii] Gubbels, J., van Langen, A., Maassen, N., & Meelissen, M. (2019). PISA-2018.

[xiv] van Steensel, R., van der Sande, L., & Arends, L. (2017). Investeren in leesmotivatie maakt leerlingen meer gemotiveerde lezers… en betere lezers. Levende Talen Tijdschrift, 18(2), 3-13.

[xv] Hirsch, E. D. (2017). Why knowledge matters: Rescuing our children from failed educational theories. Harvard Education Press.