Welke factoren spelen een rol bij de resultaten van de Cito-eindtoets of de centrale eindtoets PO?

Geplaatst op 22 september 2016

Samenvatting

Meerdere factoren hebben invloed op de resultaten van de (Cito) eindtoets in het primair onderwijs. Een greep uit de selectie: aanleg/intelligentie, motivatie, geslacht, leeftijd, achtergronden van de leerlingen en het leerlinggewicht, en de kwaliteit van het onderwijs.

Het antwoord op deze vraag baseren we op gegevens van de Cito-eindtoets en de centrale eindtoets PO van het College voor Toetsen en Examens (CvTE). Vanaf het schooljaar 2014-2015 zijn alle scholen verplicht in groep 8 een eindtoets af te nemen. Deze vindt plaats in april. Het CvTE stelt de eindtoets, die samen met Cito is gemaakt (en daarom in de volksmond Cito-toets blijft heten), ter beschikking aan de scholen. Er is ook een aantal andere toetsen dat mag worden gebruikt.

Relevante factoren

De volgende factoren hangen samen met prestaties op de Cito-toets/centrale eindtoets:

  • Aanleg/intelligentie. Verschillen in leerprestaties op de onderdelen van de centrale eindtoets hangen samen met intelligentie.
  • Motivatie van de leerlingen. Hierbij gaat het om leertaakgerichtheid, concentratie in de klas, huiswerkattitude. De motivatie is vooral van belang voor gewichtenleerlingen (leerlingen van ouders met geen hogere opleiding dan vmbo-b of -k).
  • Op sommige onderdelen van de toets scoren meisjes traditioneel wat hoger, op andere jongens.
  • Vertraagde leerlingen (leerlingen die zijn blijven zitten of die later zijn ingestroomd in groep 3) scoren als groep lager dan reguliere leerlingen, voorlijke leerlingen (leerlingen die een klas hebben overgeslagen of die eerder naar groep 3 zijn gegaan) juist hoger.
  • Leerlingen uit de vier grote steden scoren als groep in de regel wat lager.
  • Achtergronden van de leerlingen, bijvoorbeeld beroep, etnische afkomst en inkomen ouders. Het gaat hierbij om het percentage achterstandsleerlingen op de hele school: scholen met een hoger percentage achterstandsleerlingen scoren lager dan scholen met een lager percentage achterstandsleerlingen. Het opleidingsniveau en de etnische herkomst van ouders zijn belangrijke voorspellers; het inkomen van de ouders minder.
  • Leerlingen die worden aangemeld voor de niveau-toets scoren duidelijk lager dan leerlingen die daarvoor niet worden aangemeld. Deze zogenoemde N-toets is bedoeld voor leerlingen die wat meer moeite hebben met de basisvaardigheden taal en rekenen en bevat wat makkelijkere opgaven. De score op deze toets wordt omgezet naar een score op dezelfde schaal (501-550), alsof de leerling de ‘reguliere’ eindtoets heeft gemaakt.
  • De kwaliteit van het onderwijs op de basisschool.
  • Invloeden vanuit het gezin, zoals de taal die thuis wordt gesproken.
  • Overige buitenschoolse factoren (invloeden vanuit de sociale omgeving, niet zijnde het gezin).

Uitgebreide beantwoording

Opgesteld door: Christa Teurlings
Vraagsteller: Beleidsmedewerker schoolbestuur po & vo
Geraadpleegde expert(s): Guuske Ledoux (Kohnstamm instituut, UVA Amsterdam), Joost Meijer (Kohnstamm Instituut, UVA Amsterdam) Tevens via mail: Bert Bulder (Onderwijsinspectie), Frans Janssens (voorheen Universiteit Twente), Bruno Vreeburg (onderwijsinspectie), Cecile Harmsen (Centrale Eindtoets), Joost Meijer (Kohnstamm instituut, UVA Amsterdam)

Vraag

  1. Kan op basis van wetenschappelijk onderzoek worden aangegeven welke factoren een rol spelen bij de resultaten van de CITO-Eindtoets (of Centrale Eindtoets van CvTE)?
  2. Zijn er onderzoeken bekend die inzicht geven in de relatie tussen de schoolscores op de CITO-eindtoets (of Centrale Eindtoets van CvTE) enerzijds en de onderdelen uit het toezichtkader van de Inspectie van het Onderwijs anderzijds?

Kort antwoord

1. Uit onderzoek komen de volgende factoren naar voren, die een rol spelen bij de (CITO-)Eindtoets zijn: aanleg/intelligentie, motivatie, geslacht, leeftijd, urbanisatiegraad, achtergronden van de leerlingen en het leerlinggewicht, of leerlingen worden aangemeld voor de N- of de B-toets, kwaliteit van het onderwijs, invloeden vanuit het gezin (bijvoorbeeld de taal die thuis wordt gesproken), overige buitenschoolse factoren. Zeker voor kleine scholen zijn de schoolscores op de CITO-eindtoets over de jaren heen derhalve niet stabiel. Dit mag overigens om vergelijkbare redenen bij andere (nieuwe) eindtoetsen worden verwacht.

2. Er zijn geen specifieke onderzoeken bekend over de relatie tussen de schoolscores op de CITO-eindtoets (of Centrale Eindtoets van CvTE) en de indicatoren uit het toezichtkader van de Onderwijsinspectie. Wel zijn er aanwijzingen dat er verbanden zullen zijn. Zo is het oordeel van de inspectie over de opbrengsten van de school gebaseerd op de scores op een eindtoets (zoals de Centrale Eindtoets). We mogen dus veronderstellen dat er een verband zal zijn, maar geen direct verband. Ten tweede zijn de onderdelen uit het toezichtkader van de onderwijsinspectie mede (maar niet alleen) gebaseerd op een veronderstelde relatie met opbrengsten van het onderwijs. Deze relatie kan met diverse onderzoeken worden onderbouwd. Het niet volledige en voldoende inzicht in de relatie tussen CITO-eindtoets (of een andere eindtoets) en de indicatoren uit het toezichtkader is onder de aandacht van onderzoekers en van de Onderwijsinspectie.

Toelichting antwoord

1. Kan op basis van wetenschappelijk onderzoek worden aangegeven welke factoren een rol spelen bij de resultaten van de CITO-eindtoets?

Het antwoord op deze vraag baseren we op gegevens die betrekking hebben op de CITO-eindtoets en ook op de Centrale Eindtoets van het CvTE. Deze Centrale Eindtoets wordt jaarlijks volledig vernieuwd, waarbij deze toets qua inhoud en qua psychometrie volledig equivalent is met eerdere en latere versies (ook met de CITO-eindtoets). De toets (in de volksmond: de CITO-toets) wordt ook jaarlijks genormeerd. Er wordt daarbij gekeken of de data van de toets landelijk representatief zijn voor de kenmerken, regio, verstedelijking, schoolgrootte en percentage leerlingen op de school met een leerlinggewicht, geslacht en leeftijd van de leerling. Op basis hiervan krijgt iedere leerling een (ongecorrigeerde) standaardscore en wordt van iedere leerling weergegeven hoe hij of zij ten opzichte van andere leerlingen heeft gepresteerd. Hiermee kan iets worden gezegd over het meest geschikte vervolgonderwijs van de individuele leerling.

Naast de individuele leerling-scores is het voor scholen mogelijk schoolrapportages op te stellen. Deze rapportages kunnen worden gebruikt voor de zelfevaluatie van het onderwijs (zie CvTE, 2015). Ook kunnen de schoolrapportages worden gebruikt om aan te geven wat de plaats van de school is in de landelijke verdeling van schoolgemiddelden1. In de handleiding van de Centrale Eindtoets PO uit 2015 wordt melding gemaakt van vier soorten van schoolrapportages (zie Handleiding, pg. 36 e.v. voor een meer uitgebreide toelichting en interpretatie van de schoolrapporten):

  • Schoolrapport zonder correctie (de gemiddelden van de school worden vergeleken met de gemiddelden van alle deelnemende scholen. Er wordt hierbij geen rekening gehouden met de kenmerken van de school en de leerlingen).
  • Schoolrapport met Schoolgroep (de ongecorrigeerde gemiddelde standaardscore van de school wordt vergeleken met het gemiddelde van de schoolgroep waartoe de school behoort. De schoolgroep verwijst naar het percentage gewichtenleerlingen van de hele school, zoals bekend bij DUO).
  • Schoolrapport met correctie LG (Leerlinggewicht), waarbij er rekening wordt gehouden met de grootte van de school en het percentage gewichtenleerlingen (gebaseerd op gegevens van DUO).
  • Groepsoverzicht referentieniveaus, waarbij er een overzicht wordt gegeven van de behaalde referentieniveaus op rekenen, lezen en taalverzorging voor de gehele school.

Met zo’n schoolrapport is het dus mogelijk om de school (na eventuele correctie voor percentage gewichtenleerlingen en schoolgrootte) te rangordenen ten opzichte van andere scholen. Dit biedt informatie voor de school die kan dienen als basis voor zelfevaluatie en schoolverbetering2.
Anderzijds wordt deze score ook gebruikt om iets te kunnen zeggen over de kwaliteit van de school, en aldus de school te beoordelen (zie bijvoorbeeld Janssens, Rekers-Mombarg & Lacor, 2014).
Maar hierin schuilt ook een gevaar. Zo kunnen er over de jaren heen relatief grote verschuivingen van scholen plaatsvinden in die rangorde. De rangorde van scholen op die zogenoemde CITO-lijst is immers niet stabiel (zie CITO, 2013). Dit geldt overigens ook voor andere eindtoetsen en opbrengstindicatoren. Deze wisselingen zijn sterk afhankelijk van de grootte en kenmerken van de leerlingengroep. We lichten hieronder toe waarom het CITO de waarde van die rangorde dan ook om een aantal redenen als beperkt beschouwt3:

  • De gemiddelde schoolscores liggen nogal dicht bij elkaar, zodat een kleine verschuiving al een grote verandering in rangorde teweeg kan brengen;
  • De score van een individuele leerling kan een groot effect hebben op de schoolscore van dat jaar;
  • Bij kleine scholen (zeg kleiner dan 10 leerlingen) is het effect des te groter.
  • Bij de berekening van schoolscores zitten een aantal onzuiverheden, doordat bijvoorbeeld geen rekening wordt gehouden met bepaalde leerling- of schoolkenmerken, en er niet bekend is of alle leerlingen die de toets hebben gemaakt in de berekening zijn meegenomen.

De conclusie luidt dat “door de relatief kleine leerlingenaantallen in groep 8, de score van één leerling een groot effect kan hebben op de schoolscore en daarmee de rangordepositie van een school. Het is zeer reëel dat dergelijke fluctuaties van jaar tot jaar voorkomen” (CITO, 2013, pg. 2). Dit fenomeen zal zich naar verwachting sterk voordoen bij relatief kleine scholen.

Over de bruikbaarheid van de CITO-scores (en andere opbrengstindicatoren) als instrument voor kwaliteitsbeoordeling is ook veel geschreven. Zo wordt er bijvoorbeeld door het CITO (2013, 2015) en door de Onderwijsraad (2014) voor gepleit om dergelijke informatie niet (alleen) te gebruiken bij het vaststellen van een oordeel over de school; juist wel voor zelfevaluatie en schoolverbetering.

Welke factoren een rol spelen bij de resultaten van de CITO-eindtoets

Sinds het gebruik van de CITO-toets (al zo’n 50 jaar) is er onderzoek gedaan naar factoren die mogelijk samenhangen met de eindscores van de leerlingen. Ook CITO-zelf doet onderzoek en rapporteert daar regelmatig over (zie de website van het CITO). De meest recente publicatie daarover is de wetenschappelijke verantwoording van de CITO Eindtoets uit 2010 (CITO, 2010), en die uit 2015 voor de Centrale Eindtoets (van Boxtel, de Wijs, van Aalst en Engelen, CvTE, 2015).
Daarnaast is er uitvoerig onderzoek naar de samenhang tussen de score op een eindtoets en het basisschooladvies (zie bijvoorbeeld Driessen, 2006; Timmermans, Kuyper & van der Werf, 2013).

Puntsgewijs hebben we de volgende factoren gevonden, die samenhangen met prestaties op de Cito-toets/Centrale Eindtoets:

  • Aanleg/Intelligentie: Verschillen in leerprestaties op de onderdelen van de Centrale Eindtoets hangen samen met intelligentie (Verantwoording Centrale Eindtoets, CvTE, 2015)
  • Motivatie van de leerlingen (zie Inspectie, 2013; Kohnstamm Instituut, 2013). Hierbij gaat het om leertaakgerichtheid, concentratie in de klas, huiswerkattitude. De motivatie is vooral voor gewichtenleerlingen4 van belang.
  • Geslacht: Op sommige onderdelen van de toets scoren meisjes traditioneel wat hoger, op andere jongens (CvTE, 2015).
  • Leeftijd: vertraagde leerlingen scoren als groep lager dan reguliere leerlingen, voorlijke leerlingen juist hoger (CvTE, 2015)
  • Urbanisatiegraad: Leerlingen uit de vier grote steden scoren als groep in de regel wat lager (CvTE, 2015).
  • Achtergronden van de leerlingen (b.v. beroep, etnische afkomst, inkomen ouders). Over wat dan de belangrijkste achtergrondkenmerken zijn, wordt veel onderzoek gedaan.
    - Hierbij gaat het om het percentage achterstandsleerlingen op de hele school: scholen met een hoger percentage achterstandsleerlingen scoren lager dan scholen met een lager percentage achterstandsleerlingen (CvTE, 2015; Inspectie van het Onderwijs, 2012).
    - Het opleidingsniveau en de etnische herkomst van ouders van leerlingen zijn belangrijke voorspellers (bijvoorbeeld Luyten & Bosker, 2004; Roeleveld, Mooij, Felletaar & Ledoux, 2011; Inspectie van het Onderwijs, 2013); het inkomen van de ouders minder (Roeleveld, Mooij, Fettelaar en Ledoux, 2011)
  • Leerlingen die worden aangemeld voor de niveau-toets (N-toets) scoren duidelijk lager dan leerlingen die daarvoor niet worden aangemeld (CvTE, 2015)
  • De kwaliteit van het onderwijs op de basisschool (zie Inspectie, 2013). Hierop gaan we bij de beantwoording van de tweede vraag verder in.
  • Invloeden vanuit het gezin, zoals de taal die thuis wordt gesproken (Inspectie, 2013)
  • Overige buitenschoolse factoren (Inspectie, 2013).

Voor meer achtergrondinformatie verwijzen we naar de desbetreffende publicaties.

2. Zijn er onderzoeken bekend die inzicht geven in de relatie tussen de schoolscores op de CITO-eindtoets enerzijds en de onderdelen uit het toezichtkader van de inspectie van het onderwijs anderzijds?

In onze zoektocht naar onderzoeken hieromtrent, hebben we geen onderzoeken gevonden die specifiek gaan over de relatie tussen de schoolscores op de CITO-eindtoets of Centrale Eindtoets enerzijds en onderdelen uit het toezichtkader van de inspectie anderzijds. Ook in een recente publicatie van onderzoekers van het Kohnstamm instituut wordt aangegeven dat er voor deze (maar ook voor andere opbrengstindicatoren) van scholen geen onderzoek is gedaan naar de samenhangen met diverse procesindicatoren zoals leertijd, kwaliteit van de instructie, vakmanschap van leraren etc. (Blok, Karssen, Meijer & Roeleveld, 2016).

Dit betekent uiteraard niet dat we er van uit kunnen gaan dat er geen verband bestaat, en ook niet dat er geen onderzoeken zijn die meer inzicht kunnen bieden in de genoemde relatie.
We zien hierbij twee invalshoeken, die we hieronder nader toelichten.

Invalshoek 1: oordeel van de inspectie is gebaseerd op een eindtoets (zoals de CITO/Centrale Eindtoets)

De inspectie baseert haar oordeel over onderdelen uit het toezichtkader immers op de scores van de school op een eindtoets, zoals de CITO-eindtoets. Dat betekent dat er in beginsel een (inhoudelijk) verband is tussen de schoolscores op de CITO-eindtoets en het oordeel van de inspectie over de opbrengst van de school. Bij dit oordeel zitten echter nogal wat ‘vertaalslagen’. Ook is er nogal wat discussie over de wijze waarop de inspectie die ‘vertaalslag’ zou moeten maken om daarmee tot een oordeel te komen over de kwaliteit van de leeropbrengsten van een school. Vooralsnog gebruikt de inspectie het model met het percentage gewichtenleerlingen op een school. In bijlage 2 wordt nader deze discussie nader toegelicht en wordt eanalyseerd op welke wijze de inspectie tot een oordeel komt.
Bovenstaande betekent dus, dat er (door de wijze waarop het oordeel van de inspectie tot stand komt) op hoofdlijnen wel een relatie zal bestaan tussen de CITO-/Eindtoetsscores van een school en het oordeel van de inspectie over de leeropbrengsten van die school, maar dat er nogal wat ‘vertaalslagen’ zitten tussen de ongecorrigeerde CITO-/Eindtoetsscore en het eindoordeel van de inspectie.

Invalshoek 2: Veronderstelde relatie

Al is er geen specifiek onderzoek beschikbaar tussen de schoolscores op een eindtoets enerzijds en scores op onderdelen van het toezichtkader anderzijds, toch is het natuurlijk zo, dat de indicatoren uit
het toezichtkader zijn gekozen vanwege de veronderstelde relatie met leerprestaties5. Dat betekent dat er wel onderbouwing is van de relatie tussen kenmerken van het onderwijs en de leerprestaties. Er zijn in de wetenschap dus vele onderzoeken gedaan naar de relatie tussen onderwijskenmerken enerzijds en leeropbrengsten anderzijds (zie bijvoorbeeld Doolaard, 2013; Doolaard & Scheerens, 2013; Janssens, e.a., 2014; Scheerens, 2015; Scheerens, van Ravens en Luyten, 2012). In het artikel van Scheerens e.a. (2012) wordt een overzicht (en tabellen) gegeven van inzichten in indicatoren die mede de kwaliteit van het onderwijs bepalen6.

Deze onderzoeken hangen echter samen met het perspectief op onderwijskwaliteit (zie bijvoorbeeld Scheerens, 2015; Scheerens, van Raven & Luyten, 2012): wat verstaan we onder onderwijskwaliteit en hoe is het af te leiden? Gaat het bijvoorbeeld om effectiviteit (met welke middelen of processen kunnen we de beste leeropbrengsten behalen?), efficiëntie (hoe kunnen we met dezelfde middelen meer opbrengsten behalen, of met minder middelen dezelfde opbrengsten?), onderwijsgelijkheid (hoe kunnen we zorgen dat al onze leerlingen, ongeacht achtergrondfactoren, gelijk kunnen profiteren van het onderwijs), en adaptiviteit (speelt het onderwijs in op specifieke vragen die vanuit de samenleving van uit het onderwijs worden gesteld?).
Daarnaast gaat het bij deze onderzoeken niet specifiek over onderzoek met de CITO-eindtoets of de Centrale Eindtoets. Het betreft veel onderzoek in andere landen en derhalve ook onderzoek met andere instrumenten en indicatoren.

Onvoldoende inzicht in begripsvaliditeit van opbrengstindicatoren

In een zeer recent artikel van Blok, Karssen, Meijer & Roeleveld (2016) wordt echter wel een onderzoek beschreven naar onder meer de validiteit van diverse indicatoren voor schooleffectiviteit (‘hoe goed meten ze wat ze moeten meten?’), waaronder de Centrale Eindtoets groep 8. Hieruit komt naar voren dat ‘we er eigenlijk onvoldoende over weten’. De auteurs pleiten daarom voor gedegen onderzoek naar de samenhang tussen leeropbrengsten (van scholen) enerzijds en procesindicatoren anderzijds. Zij schrijven “Zonder deze samenhangen te kennen valt de begripsvaliditeit van schooleffectiviteitsindicatoren niet te beoordelen en zijn de indicatoren vooral het resultaat van een black box benadering” (pg. 42). Inzicht (ook bij scholen) in de gerealiseerde schooleffectiviteit (en inzicht in de tekortkomingen van de gebruikelijke schooleffectiviteitsindicatoren) is volgens de auteurs echter wel nodig om te kunnen werken aan onderwijsverbetering (zie ook Onderwijsraad, 2014).
De inspectie doet wel verder onderzoek naar de toegevoegde waarde van de school, maar hierover zijn (nog) geen publicaties openbaar. Work in progress, zullen we maar zeggen. Daarnaast is het van belang te melden dat er gewerkt wordt aan vernieuwing van het toezicht in het funderend onderwijs (en ook in het vo en het mbo). Zie daarvoor diverse (concept-)publicaties op dit terrein (zie bijvoorbeeld Inspectie van het Onderwijs, 2016, 2017; Ministerie van OCW, 2014; 2016).

Noten

1 Zie een beschouwing van de zin en onzin van rangordelijstjes op basis van de CITO-toets (CITO, 2013). Vergelijk ook het debat dat naar aanleiding van de openbaar making van CITO-scores (hierbij zijn zowel de gegevens van de eindtoets als andere toetsgegevens meegenomen) is ontstaan, door daarbij gebruik te maken van een bepaalde methode en berekening (bv www.rtlnieuws.nl). Ook op de site van de PO-raad is hier informatie over te vinden.
2 Zie ook Onderwijsraad (2014).
3 Ook de inspectie beschrijft vergelijkbare situaties (zie bijvoorbeeld Inspectie, 2014).
4 Leerlingen van ouders met geen hogere opleiding dan vmbo-b of –k (voorheen lbo, vbo)
5 Overigens hebben een aantal indicatoren uit het toezichtkader ook op zich al een intrinsieke waarde, zonder dat er een louter een (wetenschappelijk onderbouwd) verband zou hoeven zijn met leerprestaties.
6 In dat artikel worden ook strategieën geformuleerd om te werken aan onderwijskwaliteit.

Geraadpleegde bronnen


Bijlage 1: De CITO-eindtoets en de Centrale Eindtoets van het CvTE.

In deze bijlage staat nadere beschrijving van de Cito-Eindtoets en de Centrale Eindtoets van het CvTE.
Aan het eind van het schooljaar maken alle leerlingen7 uit groep 8 van het reguliere basisonderwijs een eindtoets. Deze toets brengt de leerresultaten van leerlingen op het gebied van taal en rekenen in kaart, aangevuld met eventueel wereldoriëntatie (die keuze is aan de school). Daarmee is de toets een leervorderingentoets, die speciaal ontwikkeld is om te beschrijven wat elk kind op het eind van het basisonderwijs heeft geleerd.

Sinds 2015 is het maken van een eindtoets verplicht (zie het Toetsbesluit PO). Scholen kunnen zelf kiezen welke eindtoets het beste past bij hun eigen visie (zie daarvoor ook Bosker & de Jong-Heeringa, 2006). Zij kunnen daarbij gebruik maken van de Centrale Eindtoets, die voortbouwt op de Eindtoets Basisonderwijs van het CITO (de zogenoemde CITO-eindtoets). Voor de uitvoering van deze toets is het College voor Toetsexamens (het CvTE) verantwoordelijk, die samen met Stichting CITO deze toets maakt. Naast deze Cito-Eindtoets kunnen scholen ook voor andere toetsen kiezen (zoals de IEP Eindtoets). Alle leerlingen van één basisschool moeten een eindtoets van eenzelfde toetsaanbieder kiezen.

De vraag voor de Kennisrotonde zoomt in op de Cito-eindtoets. Voor de beantwoording van de vraag maken we gebruik van onderzoeken die betrekking hebben zowel de Cito-toets voor groep 8, als de Centrale Eindtoets PO van het CvTE. De laatste bouwt immers voort op de eerdere Cito-eindtoets (de zogenoemde Cito-toets). In onze toelichting zullen we wel helder aangeven welke toets het betreft.

De Centrale Eindtoets (bron: Verantwoording Centrale Eindtoets PO 2015 en Handleiding 2016) bestaat uit twaalf taken voor taal (lezen, voordenschat, schrijven en taalverzorging & grammatica), voor rekenen (getallen, verhoudingen, meten & meetkunde en verbanden), voor wereldoriëntatie (aardrijkskunde, geschiedenis en natuur & techniek). De toets is er voor de onderdelen taal en rekenen in twee niveau: een basistoets (B) en een niveautoets (N), afhankelijk van het best passende vervolgonderwijs van de leerling. B voor basis- of kader; N voor gemengd/theoretisch of hoger. Daarnaast zijn er verschillende vormen, waarin de eindtoets kan worden afgenomen, zoals een braille-versie of een vergrote versie. Ook kan een school kiezen voor bijvoorbeeld de mogelijkheid tot tijdverlening, of op een andere manier een passende ondersteuning kiezen in overleg met CvTE
Zowel de CITO-Eindtoets als de Centrale Eindtoets van het CvTE zijn/worden beoordeeld in overeenstemming met beoordelingssystemen van testen, toetsen en examens (zoals beschreven in de COTAN en het RCEC). Deze beschrijving wordt jaarlijks geüpdatet met een rapportage van de meest recente afnameresultaten. Daarmee ontstaat transparantie.

Bijlage 2: De wijze waarop de Onderwijsinspectie tot haar oordeel komt

Het bestaande toezichtkader primair onderwijs onderscheidt vijf indicatoren die te maken hebben met opbrengsten, het onderwijsleerproces, zorg en begeleiding, kwaliteitszorg en wet en regelgeving (zie brochure toezichtkader). Wat betreft de eerste indicator over de opbrengsten (indicator 1: opbrengsten van het onderwijs) worden zeven (sub-)indicatoren onderscheiden. Eén van deze sub-indicatoren wordt gebaseerd op de scores op een eindtoets, bijvoorbeeld de CITO-eindtoets. Deze sub-indicator wordt als volgt omschreven: “de resultaten van de leerlingen aan het eind van de basisschool liggen ten minste op het niveau dat op grond van de kenmerken van de leerlingpopulatie mag worden verwacht” (zie Analyse en waarderingen van opbrengsten PO, augustus 2014).
Dit betekent dus dat voor één van de zeven sub-indicatoren van de beoordeling van de opbrengsten van een school, gebruik wordt gemaakt van de schoolscores van een eindtoets, zoals de Centrale Eindtoets.

  • Correctiemodel

In de wijze waarop de inspectie bij de beoordeling van de opbrengsten gebruik maakt van de Centrale Eindtoets, is de afgelopen jaren wel wat veranderd (zie voor details de site van de Inspectie, en bijvoorbeeld Inspectie van het Onderwijs, 2014), maar in grote lijnen komt die erop neer dat de inspectie bij de beoordeling rekening houdt met specifieke kenmerken van de leerlingpopulatie van de school. Het wordt immers redelijk gevonden om de lat voor een school met een grote groep gewichtenleerlingen lager te leggen dan een school met geen of een klein percentage gewichtenleerlingen. Dit zie je terug in ‘de regeling voor de beoordeling van de leerresultaten’ (zie overheid.nl; destaatvanhetonderwijs.nl). De ongecorrigeerde gemiddelde cito-score van de school wordt (op basis van het percentage gewichtenleerlingen in de school8) omgezet in een oordeel van goed, voldoende of onvoldoende. Hiervoor zijn tabellen beschikbaar.
Dit betekent dus dat de inspectie een correctiemodel hanteert om de komen tot een kwaliteitsbeoordeling (van leeropbrengsten) van de scholen. We gaan hier in de volgende alinea wat dieper op in.

  • Drie jaar

Daarnaast baseert de inspectie haar oordeel over de leerresultaten van een school niet op één jaar, maar op drie jaar (drie cohorten), en in sommige gevallen op vijf jaar.

  • Grootte van de groep

Ten derde houdt de inspectie bij het vaststellen van haar oordeel rekening met de grootte van de groep leerlingen uit groep 8. Voor scholen met minder dan 10 leerlingen die bij de beoordeling worden betrokken, gelden (sinds 2015-2016) weer andere beslisregels dan voor scholen met meer leerlingen.

  • Eigen beoordelingen inspecteurs

Tot slot wordt gemeld dat het oordeel van de inspectie niet volledig wordt bepaald door bovenstaande rekenregels, aangezien inspecteurs bij hun kwaliteitsoordeel daarvan kunnen afwijken. Hoe vaak dat gebeurt, is niet bekend, maar het zou kunnen “dat inspecteurs soms eigen beoordelingen van de aard van het leerlingenpubliek meewegen in hun oordeel over de leeropbrengsten” (Roeleveld, Mooij, Fettelaar & Ledoux, 2011, pg. 39).

  • Welk correctiemodel?

Zoals gezegd maakt de inspectie bij de beoordeling van één sub-indicator van het toezichtkader gebruik van de scores van leerlingen op een eindtoets, in veel gevallen de CITO-Eindtoets Basisonderwijs of de Centrale Eindtoets van het CvTE. Om scholen op een eerlijke manier te kunnen beoordelen maakt de Inspectie gebruik van een zogenoemd correctiemodel om te kunnen corrigeren voor aanvangsverschillen van leerlingen. Er wordt in dit verband vaak gesproken over de ‘toegevoegde waarde’ van de school, dat wil zeggen de bijdrage die de school levert aan de vooruitgang van leerlingen in relatie tot de doelen van het onderwijs. Dit betekent dat er op schoolniveau wordt gecorrigeerd voor kenmerken van de leerlingen. Over de wijze waarop dat de inspectie dat het beste zou kunnen doen, en over het specifieke correctiemodel dat, en de variabelen, die daarvoor het best kan/kunnen worden gebruikt, is wel onderzoek beschikbaar (bijvoorbeeld Fettelaar & Smeets, 2013; Janssens, Rekers-Momberg, Lycet & Lacor, (2014), Mooij, Roeleveld, Fettelaar en Ledoux, 2011; Inspectie van het Onderwijs, 2013; Roeleveld, Mooij, Fettelaar & Ledoux, 2012).

Zo rapporteren Roeleveld, e.a. (2011) een onderzoek naar bruikbare correctiefactoren (zowel op individueel als op schoolniveau) voor de kwaliteitsbeoordeling door de inspectie. Hiertoe zijn reeksen correctiemodellen ontworpen en vergeleken met het bestaande model van de inspectie. In deze modellen worden kenmerken van leerlingen op individueel niveau en op schoolniveau gebruikt om de ‘ruwe uitkomsten’ op de Eindtoets Basisonderwijs te corrigeren. Op basis van dit onderzoek (waarvan de onderzoekers overigens aangeven dat het beperkingen kent), wordt aangegeven dat het model met twee correctiefactoren (gedetailleerde opleiding ouders en etniciteit) relatief betere resultaten geeft dan het model dat de inspectie gebruikt. Het is echter lastig om op een eenvoudige manier over deze gedetailleerde informatie te beschikken. Daarom is het bestaande model van de inspectie volgens de onderzoekers nog steeds de best mogelijke benadering.

Voor veel scholen maakt het voor de beoordeling van de inspectie in grote lijnen niet zo uit, van welk correctiemodel er gebruik wordt gemaakt. Voor 10-15% van de scholen wel, aldus de onderzoekers Mooij e.a.(anderen spreken over andere percentrages). Ruwweg lijkt het erop neer te komen dat scholen die veel leerlingen met mbo-opgeleide ouders door de inspectie enigszins worden ondergewaardeerd, en scholen met relatief veel autochtone achterstandsleerlingen en weinig autochtone leerlingen enigszins worden onderwaardeerd. Dit is het gevolg van (wijzigingen in) de gewichtenregeling. In principe kan dat voor scholen het verschil uitmaken tussen een beoordeling als normaal of onder de norm.

Ook de inspectie concludeert in 2013 op basis van (eigen) onderzoek dat er betere modellen zijn, dan het gehanteerde correctiemodel: “Het toevoegen van meer en nauwkeuriger gegevens over leerlingkenmerken leidt dus tot een betere schatting van de bijdrage van scholen aan de prestaties die leerlingen behalen” (Inspectie van het onderwijs, 2013). Ondanks dat, geeft de inspectie er de voorkeur aan om de bestaande systematiek vooralsnog te handhaven, omdat de voordelen niet opwegen tegen de nadelen. Een ander model betekent immers een extra administratieve belasting voor scholen, aldus de inspectie. Dat neemt overigens niet weg, dat de inspectie nu ‘stilstaat’: er wordt voortdurend, samen met het onderwijsveld, gekeken naar de wijze waarop de inspectie tot een beoordeling komt (zie bijvoorbeeld Jonk, z.j.), en de wijze waarop de inspectie het best de toegevoegde waarde van een school kan vaststellen.

Noten

7 Uitgezonderd zijn zml-leerlingen (zeer moeilijk lerend), meervoudig gehandicapte leerlingen en leerlingen die korter dan 4 jaar in Nederland zijn en de Nederlandse taal onvoldoende beheersen. Deze leerlingen mogen wel de toets maken, maar zijn daartoe niet verplicht.
8 De inspectie beoordeelt tot welke zogenoemde schoolgroep een school behoort: de groep met een bepaald percentage gewogen leerlingen. In de regeling leerresultaten PO, bijlage B staat: “Als deze gegevens niet op de te analyseren formuleren vermeld wordt, bepaalt de inspectie deze aan de hand van het percentage gewogen leerlingen op de hele school en op de meest recente teldatum 1 oktober behorend bij het schooljaar dat beoordeeld wordt. De inspectie raadpleegt de DUO-gegevens om de schoolgroep te bepalen”. Hierbij vindt ook een bepaalde afronding plaats.

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

E-learning module
Wat is formatieve evaluatie?
Wat is formatieve evaluatie?
Online module over formatieve evaluatie
Wij-leren.nl Academie 
Congres
Kleuters met een ontwikkelingsvoorsprong
Kleuters met een ontwikkelingsvoorsprong
Begeleiden van kiene kleuters in de klas
Medilex Onderwijs 
Centrale eindtoets
Eindtoets basisonderwijs kiezen
Machiel Karels
Gevolgen verplichte eindtoets
Veel gestelde vragen over verplichte eindtoets, gevolgen po/vo
Gerdineke van Silfhout
Route 8 en IEP eindtoets
Wat valt er te kiezen naast de Centrale Eindtoets Basisonderwijs?
Gerdineke van Silfhout
Eindtoets overbodig
Hoe de Cito-ranglijst duidelijk maakt dat de eindtoets overbodig is
Rijk van Ommeren


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
Is het tijd om ons onderwijs anders vorm te geven? Tjipcast 011
redactie
[extra-breed-algemeen-kolom2]



cito
eindtoets basisonderwijs
teaching to the test
toetsen

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest