Kunnen de resultaten van leerlingen in de onderbouw van het voortgezet onderwijs schoolsucces in de bovenbouw voorspellen?

Geplaatst op 21 maart 2019

Samenvatting

Resultaten in het basisonderwijs van leerlingvolgsysteemtoetsen en de eindtoets, voorspellen wel redelijk goed de onderwijspositie in het vierde jaar van het voortgezet onderwijs. Maar over de voorspellende waarde van leerlingresultaten in de onderbouw van het voortgezet onderwijs is weinig bekend. Onderzoek daarnaar is niet eenvoudig uit te voeren. De leerlingresultaten worden namelijk niet gemeten met een landelijk genormeerd instrument, maar leraren bepalen de rapportcijfers.

De gestelde vraag is niet eenvoudig te beantwoorden op basis van wetenschappelijk onderzoek. Er is geen onderzoek bekend van enige omvang naar de voorspellende waarde van de resultaten uit de onderbouw op het schoolsucces in de bovenbouw.

Wat weten we over voorspellende waarde?

Er is wel het een en ander bekend over de voorspellende waarde van eerder behaalde leerlingresultaten. Het onderzoek betreft vooral landelijk genormeerde toetsen in het basisonderwijs en examenresultaten in het voortgezet onderwijs, niet de toetsen die leraren in de onderbouw van het vo zelf ontwikkelen.

Voorspellende waarde leerlingresultaten basisonderwijs – In het basisonderwijs is onderzoek gedaan naar de samenhang tussen resultaten op leerlingvolgsysteemtoetsen, de eindtoets basisonderwijs en het schooladvies. Er blijkt een sterke relatie te zijn. De toetsscores zijn tamelijk goede voorspellers van de schooladviezen. Hoe vervolgens de schoolloopbaan in het voortgezet onderwijs verloopt, is moeilijker te voorspellen. Niettemin zijn deze toetsen in het basisonderwijs nog redelijk goede voorspellers van de onderwijspositie in het vierde jaar van het voortgezet onderwijs.

Voorspellende waarde binnen het voortgezet onderwijs – Wetenschappelijk onderzoek naar voorspellende waarde van leerlingresultaten binnen het voortgezet onderwijs ontbreekt. Dergelijk onderzoek is ook niet zo eenvoudig uit te voeren, omdat er bínnen het onderwijs niet één gestandaardiseerd instrument wordt gebruikt om de vorderingen van leerlingen te bepalen. Daarin verschilt het voortgezet onderwijs van het basisonderwijs.

Leraren bepalen rapportcijfers op basis van hun eigen toetsen. Er worden ook wel onafhankelijke leerlingvolgsystemen gebruikt (zoals bijvoorbeeld Cito Volgsysteem VO of Diataal). Maar die zijn er slechts voor enkele vakken (Nederlands, wiskunde, Engels) en het aantal meetmomenten is zeer beperkt. Landelijk onderzoek naar de voorspellende waarde van die leerlingvolgsystemen is niet bekend.

Waarom is schoolsucces in het voortgezet onderwijs moeilijk te voorspellen?

In het voortgezet onderwijs maken leraren de toetsen voor hun eigen leerlingen en bepalen de norm op basis waarvan een cijfer wordt toegekend. We spreken dan van criteriumgerichte toetsen: de constructeur van de toets bepaalt hoe hoog de ‘lat’ ligt om een voldoende te halen. In feite kan elke leraar dat op zijn eigen manier doen. Door verschillen in toetsing en normering tussen scholen en tussen leraren is de voorspellende waarde van rapportcijfers in de onderbouw beperkt.

Een tweede reden is dat de toetsconstructie op veel scholen voor voortgezet onderwijs niet voldoende voorbereidt op wat in de bovenbouw wordt gevraagd van leerlingen. In de onderbouw gaan toetsen vooral over het reproduceren van kennis. Of leerlingen de stof op een dieper niveau verwerken, waarbij ze inzicht verwerven, wordt veel minder getoetst. Juist in de bovenbouw wordt inzicht steeds belangrijker.

Uitgebreide beantwoording

Opgesteld door: Anne Luc van der Vegt (Kennismakelaar Kennisrotonde) Vraagsteller: vo-instelling - docent. Referentie: Kennisrotonde. (2018). Wat is de voorspellende waarde van leerling- resultaten in de onderbouw van het vo en daarop gebaseerde adviezen voor resultaten in de bovenbouw? (KR.420). Den Haag: Kennisrotonde.

Vraag

Wat is uit onderzoek bekend over de voorspellende waarde van a) leerlingresultaten behaald in de onderbouw van het voortgezet onderwijs (vmbo, havo, vwo en b) de daarop gebaseerde adviezen (vakadvies, profieladvies) voor leerlingresultaten behaald in de bovenbouw?

Kort antwoord

Over de voorspellende waarde van leerlingresultaten in de onderbouw van het voortgezet onderwijs is weinig bekend. Er is wel praktijkonderzoek verricht op enkele scholen, maar dit laat geen generaliserende uitspraken toe. Dat komt doordat het kleinschalig onderzoek is en ook omdat rapportcijfers zijn gebaseerd op niet gestandaardiseerde toetsen, gemaakt door de leraren zelf. Er is verder reden om te twijfelen aan de voorspellende waarde, omdat met deze toetsen veelal de reproductie van kennis wordt gemeten, terwijl in de bovenbouw steeds meer gevraagd wordt om integreren en toepassen van kennis. Het gebruik van taxonomieën bij de toetsconstructie zou een meer evenwichtige toetsconstructie kunnen bevorderen en daarmee de voorspellende waarde kunnen vergroten.

Toelichting antwoord

De gestelde vraag is niet eenvoudig te beantwoorden op basis van wetenschappelijk onderzoek. Er is geen onderzoek bekend van enige omvang naar de voorspellende waarde van de resultaten die behaald zijn in de onderbouw op het schoolsucces in de bovenbouw.

Wat weten we over voorspellende waarde?

In het algemeen is er wel het een en ander bekend over de voorspellende waarde van eerder behaalde leerlingresultaten. Het onderzoek betreft vooral landelijk genormeerde toetsen in het basisonderwijs en examenresultaten in het voortgezet onderwijs, niet de toetsen die leraren in de onderbouw van het vo zelf ontwikkelen.

Voorspellende waarde leerlingresultaten basisonderwijs – In het basisonderwijs is onderzoek gedaan naar de samenhang tussen resultaten op leerlingvolgsysteem-toetsen, de Eindtoets Basisonderwijs en het schooladvies. Er blijkt een sterke relatie te zijn. De toetsscores zijn tamelijk goede voorspellers van de schooladviezen (Van Aarsen, Roeleveld & Luyten, 2013). Hoe vervolgens de schoolloopbaan in het voortgezet onderwijs verloopt, is moeilijker te voorspellen. Niettemin zijn de toetsen in het basisonderwijs nog redelijk goede voorspellers van onderwijspositie in het vierde jaar van het voortgezet onderwijs.

Voorspellende waarde eindexamencijfers voortgezet onderwijs – Examenresultaten in het voortgezet onderwijs kunnen voor een deel het studiesucces van jongeren verklaren. Uit metingen van de Studentenmonitor (Van den Broek e.a., 2006) blijkt dat minder goede prestaties in het voortgezet onderwijs samengaat met switchen van studierichting in het hoger onderwijs en met uitval uit het hoger onderwijs. Daarnaast spelen andere factoren een belangrijke rol, zoals motivatie en inzet.

Voorspellende waarde binnen het voortgezet onderwijs – Wetenschappelijk onderzoek naar voorspellende waarde van leerlingresultaten binnen het voortgezet onderwijs ontbreekt. Dergelijk onderzoek is ook niet zo eenvoudig uit te voeren, omdat er bínnen het onderwijs niet één gestandaardiseerd instrument wordt gebruikt om de vorderingen van leerlingen te bepalen. Daarin verschilt het voortgezet onderwijs van het basisonderwijs.

Leraren bepalen rapportcijfers op basis van hun eigen toetsen. Er worden ook wel onafhankelijke leerlingvolgsysteem gebruikt (zoals bijvoorbeeld Cito Volgsysteem VO of Diataal), maar die zijn er slechts voor enkele vakken (Nederlands, wiskunde, Engels) en het aantal meetmomenten is zeer beperkt. Landelijk onderzoek naar de voorspellende waarde van die leerlingvolgsystemen is niet bekend.

Ook gegevens van de Inspectie van het Onderwijs zijn niet bruikbaar om zicht te krijgen op de voorspellende waarde van resultaten in de onderbouw. De Inspectie brengt het rendement van de onderbouw in kaart, op basis van een vergelijking van de schooladviezen van de basisschool, het onderwijstype dat leerlingen volgen in het derde leerjaar vo, en cijfers over zittenblijven in het vo. Er is echter geen onderzoek bekend, waarin het rendement in de onderbouw op leerlingniveau wordt vergeleken met de resultaten in de bovenbouw. We weten dus niet wat de voorspellende waarde is.

Wat wel gebeurt, is dat scholen het rendement onderzoeken voor hun eigen leerlingen (bijv. Schoenmaker, 20120; Vlaar, 2015). In deze praktijkonderzoeken wordt gekeken naar de relatie tussen:

  • Rapportcijfers in de onderbouw van het voortgezet onderwijs, vakadvies, profieladvies

  • Rapportcijfers, doubleren en afstroom in de bovenbouw.

Op basis van dit kleinschalige onderzoek kunnen geen algemene conclusies worden getrokken. Om te beginnen lopen de gebruikte meetinstrumenten en de onderzoeks- methoden uiteen. Verder gaat het om slechts enkele studies, en het totaal aantal leerlingen dat eraan heeft deelgenomen is beperkt.

Ook als een overkoepelende analyse gemaakt zou worden van alle praktijkonderzoeken door scholen zelf, naar de voorspellende waarde van resultaten in de onderbouw, is het zeer de vraag of deze analyse generaliseerbare resultaten zou opleveren. In de volgende paragraaf bespreken we waarom dit het geval is.

Waarom is schoolsucces in het voortgezet onderwijs moeilijk te voorspellen?

Een belangrijke oorzaak waardoor de voorspellende waarde van leerlingresultaten in de onderbouw lastig is te bepalen, is de wijze waarop de resultaten worden beoordeeld (de meetinstrumenten). Leraren construeren de toetsen voor hun eigen leerlingen en bepalen de norm op basis waarvan een cijfer wordt toegekend. We spreken dan van criteriumgerichte toetsen, de constructeur van de toets bepaalt hoe hoog de ‘lat’ ligt om een voldoende te halen. In feite kan elke leraar dat op zijn eigen manier doen. Die autonomie van de leraar heeft voordelen, maar er kleven ook tekortkomingen aan, zoals de onderwijspsycholoog A.D. de Groot al uiteenzette in zijn boek ‘Vijven en zessen’ (1966). Het is aannemelijk dat door verschillen in toetsing en normering tussen scholen en tussen leraren de voorspellende waarde van rapportcijfers in de onderbouw beperkt is.

Een tweede reden is dat de toetsconstructie op veel scholen voor voortgezet onderwijs niet voldoende voorbereidt op wat in de bovenbouw wordt gevraagd van leerlingen.

Herhaaldelijk is geconstateerd dat in de onderbouw vooral getoetst wordt of leerlingen kennis kunnen reproduceren (Scheerens & Exalto, 2017). Of de stof op een dieper niveau wordt verwerkt, waarbij leerlingen inzicht verwerven, wordt veel minder getoetst. Juist in de bovenbouw wordt inzicht steeds belangrijker. PTA-toetsen in de bovenbouw bestaan veel vaker uit vragen op verschillende cognitieve niveaus. Daardoor zijn onderbouw- en bovenbouwtoetsen niet goed vergelijkbaar.

Taxonomieën als mogelijke oplossingen

Taxonomieën kunnen de school helpen om al vanaf de onderbouw te toetsen op verschillende niveaus, met als doel de aansluiting tussen onderbouw en bovenbouw te verbeteren. Een bekende taxonomie is die van Bloom, herzien door Anderson en Krahtwohl (2001), waarin zes niveaus worden onderscheiden: 1. Kennisreproductie, 2. Inzicht, 3. Toepassen, 4. Analyse, 5. Creatie/synthese, 6. Evaluatie.

Gebaseerd op deze taxonomie zijn voor het voortgezet onderwijs verschillende instrumenten ontwikkeld, waarmee de voorspellende waarde van vo-toetsen verhoogd zou kunnen worden. Het APS ontwikkelde het OBIT-model, waarvan de vier letters staan voor Onthouden, Begrijpen, Integreren en Toepassen. De ontwikkelaars van OBIT stellen dat er in de onderbouw voornamelijk getoetst wordt of leerlingen de stof onthouden en begrijpen. Integreren en toepassen wordt nauwelijks gemeten. Daarmee is de voorspellende waarde van de toetsresultaten laag (Mesie, 2013).

De ontwikkelaars van RTTI, een andere taxonomie voor het voortgezet onderwijs, doen vergelijkbare observaties (Drost & Verra, 2012). De toetsen in de onderbouw bevatten volgens hen ongeveer 80 procent vragen op de niveaus reproductie (R) en toepassing in een bekende situatie (T1). Toepassingen in een nieuwe situatie (T2) en inzicht (I) worden weinig getoetst. Dit betekent volgens de RTTI-ontwikkelaars dat je op dergelijke toetsen eigenlijk geen rapportcijfers zou mogen baseren.

Taxonomieën zoals OBIT en RTTI zijn bedoeld voor zowel summatieve toetsen, waarop rapportcijfers worden gebaseerd, als voor formatieve toetsen, die in de eerste plaats bedoeld zijn om feedback aan leerlingen te geven. Zie voor meer informatie over RTTI een eerder antwoord van de Kennisrotonde (2018).

De ontwikkelaars van taxonomieën OBIT en RTTI bieden trainingen aan voor vo-docenten om toetsen te ontwikkelen die evenwichtiger zijn samengesteld wat betreft de verschillende niveaus. Dit zou de voorspellende waarde van de toetsen moeten verhogen. Of dit het geval is, is nog niet onderzocht.

Geraadpleegde bronnen

  • Anderson, L.W. & Krathwohl D.R. (Eds.) (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s Taxonomy of Educational Objectives (Abridged Edition). New York: Longman.
  • De Groot, A.D. (1966). Vijven en zessen. Groningen: Wolters.
  • Drost, M. & Verra, P. (2018). Handboek RTTI. Bodegraven: Uitgeverijplus.
  • Mesie, M. (2013). Is dit een vmbo-, een havo- of een vwo-leerling? OBIT-instrument om voorspellende waarde van toetsen te verhogen. Levende Talen Magazine, 2013, nr. 3, pp. 10-15.
  • Scheerens, J. & Exalto, R. (2017). Teaching to/from the test. Utrecht: Oberon.
  • Schoenmaker, B. (2010). VWO-uitval op het OZL: welke cijfers zijn voorspellend? Master Thesis. Utrecht: Utrecht University. https://dspace.library.uu.nl/handle/1874/45110
  • Udo, E. (2013). Goede raad is goud waard? De waarde van het vakadvies in het keuzeproces van leerlingen. Amsterdam: Instituut voor de Lerarenopleiding UvA.
  • Van Aarsen, E., Roeleveld, J. & Luyten, J.W. (2013). Voorspellende waarde van LOVS- toetsen voor schoolsucces. Utrecht: Oberon. https://ris.utwente.nl/ws/portalfiles/portal/5141857/Voorspellende_waarde_van_LOVS_toetsen_voor_schoolsucces-dig_versie.pdf
  • Van den Broek, A., Van de Wiel, E., Pronk, T. & Sijvbers, R. (2006). Studentenmonitor 2005 – Studievoortgang, tijdsbesteding en studieuitval. Nijmegen: ITS/ResearchNed. http://www.studentenmonitor.nl/rapporten/Studentenmonitor_2005.pdf
  • Vlaar, S. (2015). Onderzoek naar de voorspellende waarde van vakadviezen op het Amstelveen College. Amstelveen: Amstelveen College. https://ilo.publication-archive.com/publication/10/4472

Meer weten?

Over taxonomieën

Kennisrotonde (2018): Wat is het effect van toepassen van het RTTI®-model op deleerresultaten van havo-en vwo-leerlingen?

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Webinar
Wat kun je wel en niet met toetsen in het onderwijs?
Wat kun je wel en niet met toetsen in het onderwijs?
Gratis webinar met Karen Heij
Wij-leren.nl Academie 
Congres
Grip op stress bij jongeren
Grip op stress bij jongeren
Herkennen, begrijpen en aanpakken van stress bij leerlingen
Medilex Onderwijs 
Leren zichtbaar maken
Leren zichtbaar maken - John Hattie.
Arja Kerpel
Leren van data
Laat het LVS voor jou werken, en niet andersom!
Machiel Karels
Toetsuitslag interpreteren
Leren van de toetsuitslag
Eveline van Baalen
Schoolopbrengsten essentie
Van brij naar betekenis. Schoolopbrengsten terug tot de essentie.
menno-van-hasselt
Teaching to the test
De vicieuze cirkel van teaching to the test
Marjolein Zwik
Wegcijferen door toetsen
Laat je niet wegcijferen
Paul Filipiak
Een sober leerlingvolgsysteem
Een sober leerling- en onderwijsvolgsysteem, dat kan en mag!
Teije de Vos


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
redactie
[extra-breed-algemeen-kolom2]



cito
cito-score
leerprestaties
mentor
opbrengstgericht werken
slaagpercentage
uitstroomniveau
vroegsignalering
zorgstructuur

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest