Onderwijs2032
Onderwijs2032 professionalisering Stellingen #2032 Curriculum geen visie Time-out 2032 Platform #onderwijs2032 Vreemde talen onderwijs Overdenkingen Schnabel I Nationaal curriculum
Algemeen
Schoolorganisatie Leerstofjaarklassensysteem is failliet! Kindgericht onderwijs Formatieve assessment Nederlands onderwijsstelsel Leren zichtbaar maken Onderwijsverslag 2013-2014 Schooladvies 10 vragen bij OGW Brede school Schoolopbrengsten essentie Condities buitenschoolse opvang Essential Schools Leerweg mbo Adaptieve software Meritocratie en scholen Teamgrootte mbo In zeven stappen naar zinvol leren Innovatieve scholen Leeropbrengsten gebruiken Kleine scholen Doorstroom mbo-hbo Normjaartaak Onderwijs idealisten Onderwijskansenbeleid Onderwijssysteem en creativiteit Onderwijsverslag 2012/2013 OGW in 4 niveaus Pijnpunten basisonderwijs Samenlevingsgerichte school Onderwijstijdschrift JSW Effecten brede scholen Bouwstenen verandercapaciteit Werkdrukbeleving Opgestapelde veranderingen Implementatie wet OKE Onderwijsakkoord 2013
bestuur
Functioneren LCTI Invloed sturingsdynamiek VO/MBO Luisterend bestuur
LVS
Begrip door zelftoetsen Functionele toetsvragen Update Citonormen Cito hernormering Citoscore hanteren Citoscore misverstanden Cito spelling toets 1 DTT niet formatief Formatief toetsen Formatief evalueren Leerwinst formatief toetsen Leren van toetsen GAS methodiek De inspectie gaat mank Toetsing en motivatie Kwaliteit toetsen Leerlingvolgsysteem Leren van data Toetsuitslag interpreteren Objectief beoordelen Omdenken met data Computer Adaptieve Oefentoetsen Toetsvormen Schoolvaardigheidstoets spelling Formatief toetsen po Cito spelling toets 2 Minder standaardtesten Teaching to the test Een sober leerlingvolgsysteem Testen voor het LVS Toetsen en hulp(middelen) Waarde cito-toets Naar een goede toets Update normeringen Volgen van de ontwikkeling Voorwaarden formatieve toetsing Wegcijferen door toetsen Referentieniveaus po
LVS - DLE
Uitleg DLE DLE geschiedenis DLE kritiek weerlegd
LVS - Eindtoets
Centrale eindtoets Onderwijsinspectie eindtoets Gevolgen verplichte eindtoets Eindtoets overbodig Route 8 en IEP eindtoets Gelijke kansen Verplichting Eindtoets ongewenst Eindtoets Engels
LVS - Kleuters
Groep 1 en 2 niet toetsen Kleuters en inspectie Kleuters toetsen Kleuters zonder cito Stop de kleutertest
LVS - leestoetsen
Voorbereiden op toetsen Leesrijpheid toetsen Leesrijpheid deel 1 Leesrijpheid deel 2 Leesrijpheid deel 3 Data analyse Grip op leesbegrip Woordenschattoets
Ouders
Ouderbeleid achterstandsleerlingen Ouderparticipatie nieuwe leren Ouderbetrokkenheid schoolbeleid po Participerende ouders Studiekeuze vmbo
profiel
Dalton kernwaarden Identiteit school Marktgerichte school Open dag school School met pit School profileren Schoolprofilering Website verbeteren Schoolinterieur Social media school
Professionalisering
High impact learning (3) -urgentie High impact learning (2) Effectiviteit van grote docententeams High impact learning (1)
Onderwijskwaliteit
Lerarenvaardigheden in gepersonaliseerd onderwijs Onderwijstijd Brede vorming Groepsgrootte Schoolgrootte Excelleren Onderwijsachterstandenbeleid Kwaliteit in de klas Ontwikkeling kwaliteitszorg Kwaliteitszorg onderzoek Kwaliteitszorg po Meetinstrument gepersonaliseerd leren Onderwijskwaliteit po 2009 2012 Educational governance Sturen kwaliteit po Opbrengstgericht werken Overladenheid Perspectieven kwaliteit Publicatie eindtoets Welke rapportvormen geven goed inzicht? Streven naar kwaliteit po Onderwijsontwikkeling Visitatie onderwijs 2 Visitatie onderwijs 1
Sociaal
Sociale context scholen
Samenwerken
Lerende netwerken Duobanen
Differentiatie
DifferentiŽren is te leren
Leiding geven
Balans in basisbehoeften Schoolleider als hitteschild HRM schoolprestaties Visie en kernwaarden Leiderschap tonen Leiderschapsstijlen Leidinggeven autonomie Pedagogisch leiderschap Luisteren bij leiderschap Sturen door luisteren Responsief leiderschap AOC Schoolleider als regisseur Positie schoolleider Stakeholders Teamontwikkeling Onderwijskundig leiderschap
Onderwijssysteem
Uitgangspunt van leren 21st century skills Persoonlijk leren Doorstroom groene beroepskolom Resultaten arbeidsmarkt Continurooster Kleuterverlenging Zittenblijven of versnellen Onderwijsstelsels Keuze vervolgopleiding mbo Gemeentelijke beleid Invloed kwartiertjesrooster op taakgerichtheid leerlingen Leerplan in beeld Methode als vertrekpunt voor gepersonaliseerd leren nieuwe leren po Leerlingpopulatie en resultaten Vier centrale functies onderwijs Schoolkenmerken cognitieve prestatie Loslaten leerstofjaarklassensysteem effect op ontwikkeling Adaptief onderwijs Onderwijswaarden
Burgerschap
Burgerschapsonderwijs
Nieuwsbrief
Nieuwsbrief 2017 - 1 - 11
Schoolontwikkeling
Duurzaam onderwijs Beleid zwakpresterende school po Duurzame schoolontwikkeling Lokale Educatie Agenda LEA Organiseren gepersonaliseerd leren Gepersonaliseerd leren Kwaliteitszorg po Kwaliteitszorg innovatie Leernetwerken po Leeromgeving De lerende school Onderwijs- en schoolontwikkeling Ontwikkelen van wijsheid Vaardigheden gepersonaliseerd onderwijs zichtbaar in lespraktijk
Beroepsonderwijs
Ondernemerschapsvaardigheden in mbo-opleiding Aansluiting overgangen po/vo en vmbo/mbo Werken en leren Eindexamencijfer vmbo voorspeller schoolsucces havo? Formatieve beoordeling docenten Motivatie schoolprestaties Verpleegkundig onderwijs evalueren Ontwikkeling vakmanschap Publieke waarde MBO Groene mbo duurzaamheid
Problemen
Onderwijsachterstandenbeleid periode 2005 2009 Onderwijsachterstanden OAB Onderwijsachterstanden 1988 2002 Onderwijsachterstandenbeleid vve/po
VO en MBO
Mentoraat groepsgrootte werkbeleving docenten effecten studenten mbo WetenschapsoriŽntatie LoopbaanoriŽntatie in VO Integratie wiskunde Passend Onderwijs IMPROVE methode metadenken Nederlands leerprestaties Motivatie leerlingen Motivatie onderwijs in groepen Motivatie onderbouw vo Professionele leergemeenschappen Professionele leergemeenschappen Schoolkeuze havo/vwo Management en organisatie Motivatie verhogen TIME Wiskundige denktactiviteit Leren van teksten Heterogene brugklas
VVE
Aansluiting VVE en schoolloopbaan Beleid onderwijsachterstanden PO Onderwijsachterstandenbeleid Effecten vroegschoolse educatie Gemeenten schoolbesturen Effectiviteitskenmerken Doelgroepkinderen
Passend onderwijs
Onderwijszorgroute Clusteren van leerlingen Integratie Downsyndroom Vroegtijdig verwijzen Handelingsgericht passend onderwijs Instrumenten passend onderwijs Integratie onder Rugzak beleid OPP en IQ Rugzakbeleid LGF Luc Stevens over passend onderwijs Onafhankelijkheid CvI s Kwaliteit met NSCCT Ontwikkeling voorwaarden Ontwikkelingsperspectief OPP als groeimodel Regionale Expertise Centra Passend onderwijs Brede school en integratie Integratieklas ZML Kengetallen vervolgmeting Inzet klassenassistent Leerkracht en Passend Onderwijs Passend onderwijs VO Regionale ontwikkeling Ruimte voor leraren Zorgstructuren po/vo Aanpak po/vo Bureaucratie leerlingenzorg Weer Samen Naar School Toelaatbaarheid
Engels
Tweetalig onderwijs TTO schoolprestaties
Arbeidsvoorwaarden
Functiemix en salaris
ICT
digitale geletterdheid mediawijsheid computervaardigheden praktijkonderwijs

 

Meerkeuzeopgaven van de Cito-spellingtoets zijn echt niet valide

Anna Bosman

Hoogleraar bij Radboud Universiteit Nijmegen

  

info@annabosman.eu

  Geplaatst op 1 juni 2015

Bosman, A. & Schraven, J.L.M. (2015) Meerkeuzeopgaven van de Cito-spellingtoets zijn echt niet valide.
Geraadpleegd op 21-09-2017,
van https://wij-leren.nl/spelling-cito-toets-meerkeuze.php

Dit artikel is samen geschreven met José Schraven.

Samenvatting

In ons eerste artikel over de problemen met de meerkeuzeopgaven van de Cito-spelling toetsen lieten we op empirische wijze zien dat de betrouwbaarheid en validiteit van de M4 onvoldoende zijn en dat gebruik in het onderwijs niet gerechtvaardigd is (J.L.M. Schraven, Bosman & van Eekhout, 2010).

In ons tweede artikel (Bosman, J.L.M. Schraven & van Eekhout, 2010), dat een reactie was op de kritiek die de Wijs (2010) had op onze conclusies, bespraken we nogmaals onze bezwaren tegen het toetsen van spellingvaardigheid door middel van meerkeuzeopgaven. De belangrijkste conclusies waren dat meerkeuzeopgaven geen valide meting van het spellingniveau opleveren, geen diagnostische waarden hebben en dat de spellingtoets de didactiek van het spellingonderwijs negatief beïnvloedt.

De aanleiding om dit artikel te schrijven is de kritiek van het Cito dat wij onze negatieve conclusies baseren op een kleine, homogene steekproef (goede leerlingen uit groep 4). Overigens lieten we onlangs zien dat precies dezelfde conclusie getrokken kon worden voor de meerkeuzetoets M7 (Bosman & J.L.M. Schraven, 2013). Desondanks is het Cito niet overtuigd. Om die reden hebben we additioneel onderzoek gedaan.

Op basis van nieuwe empirische gegevens (n = 151) laten we voor de derde keer zien dat een meerkeuzespellingtoets niet valide is om de spelling van leerlingen in het basisonderwijs te meten. De conclusie luidt dus andermaal dat meerkeuzeopgaven geen valide meting van het spellingniveau opleveren en op geen enkele wijze diagnostische informatie kunnen verschaffen en daarom geen didactische waarde hebben.

Inleiding

In haar bijdrage aan de discussie over de Cito-spellingtoets stelde de Wijs (2010) dat onze bezwaren ten aanzien van de betrouwbaarheid en validiteit van het meerkeuzeonderdeel ongegrond waren. Het feit, dat wij onze conclusies destijds baseerden op de empirische gegevens van één klas van 18 leerlingen uit Groep 4, was voor De Wijs voldoende reden om onze bezwaren weg te wuiven. Bovendien, zo werd gesteld, betrof het een homogene groep van goed presterende leerlingen en dan was het te verwachten dat de betrouwbaarheid en validiteit laag waren.

Dat men bij het Cito (en de Cotan) niet begrijpt dat wij een falsificatiestudie hebben verricht is op zijn minst zorgwekkend. Dat ook sinds de publicatie van B. Schraven (2013), waarin hij een theoretisch-methodologische verhandeling geeft over de juistheid van het door ons uitgevoerde onderzoek, er nog steeds geen reactie van het Cito komt is uitermate teleurstellend.

Argumenten (Bosman & J.L.M. Schraven, 2010, 2013; J.L.M Schraven, Bosman & van Eekhout, 2010) lijken niet het gehoor te vinden waarop we hoopten. Om die reden hebben we besloten om alsnog additioneel empirisch bewijs te leveren voor onze stelling dat meerkeuzeopgaven van de Cito-spellingtoets echt niet valide zijn.

Wat ging er aan vooraf?

In 2010 publiceerden Schraven et al. hun onderzoek, met 18 leerlingen uit Groep 4, over de betrouwbaarheid en validiteit van de M4 Cito-spellingtoets. Aan deze leerlingen werd gevraagd om de toets te maken zoals in de handleiding wordt voorgeschreven. Dit betekent dat de leerlingen eerst Deel 1 maakten, een dictee van 25 woorden, ook wel aangeduid met Startwoorden.

Vervolgens deden alle leerlingen Deel 2, aangeduid met Vervolg 2. Dit deel bestaat uit 25 meerkeuzeopgaven. Hier moeten de leerlingen aangeven welk van de vier vetgedrukte woorden in vier verschillende zinnen fout gespeld is. In Figuur 1 staat een voorbeeld. Een week later kregen alle leerlingen een dictee over de 25 fout gespelde dikgedrukte woorden. Op basis van gedetailleerde vergelijkingen kwamen we tot een aantal belangrijke conclusies.

A   Ben je in de zomer op vakantie geweest?
B   De caviea van de buren heet Sammie.
C   Mijn moeder heeft een taart gebakken
D   Weet jij waarom hij zo raar doet?

Figuur 1. Voorbeeldopgave Spelling M4 Vervolg

De eerste was dat de correlatie tussen de scores op het dictee en die van de meerkeuzetoets beneden de maat was, r = 0.45.

Op de tweede plaats bleek dat de groep leerlingen het dictee gemiddeld genomen beter maakten dan de meerkeuzetoets (het verschil was 6% en significant). Er waren echter grote individuele verschillen; sommige kinderen maakten het dictee beter en andere juist de meerkeuzetoets.

Een derde belangrijke constatering was dat er een discrepantie of inconsistentie bleek te bestaan van 25.8% tussen de spelling van de woorden op het dictee en de door de leerlingen aangekruiste woorden in de meerkeuzetoets. In 16.0% van de gevallen deden zij het goed bij het dictee en fout bij de meerkeuzetoets en 9.8% fout bij het dictee en goed bij de meerkeuzetoets.

De vierde en belangrijkste conclusie uit deze studie was dat de spelfouten die in de meerkeuzetoets stonden voor een belangrijk deel niet de spelfouten waren die leerlingen maakten. Dat betekent dat we er niet van uit kunnen gaan dat een leerling die het fout gespelde woord, bijvoorbeeld SWAK, niet had aangestreept dit woord ook daadwerkelijk fout spelt op het dictee.

Sterker nog, deze spelfout kwam vrijwel niet voor, ondanks dat de meerderheid van de leerlingen het woord gemist had in de meerkeuzeopgave. We gaan hier niet in op de mogelijke redenen voor deze discrepantie. In onze vorige publicaties hebben we daar uitgebreid bij stil gestaan. Onze conclusie luidde dan ook dat de meerkeuzetoets geen valide alternatief is voor een dictee.

Zoals gezegd werd het empirisch bewijs dat we leverden niet aanvaard door het Cito, omdat er slechts 18 leerlingen deel hadden genomen aan het onderzoek. Ook niet nadat eenzelfde studie verricht was bij 23 leerlingen van Groep 7 met dezelfde resultaten en met dezelfde conclusie, namelijk dat het meerkeuzeonderdeel niet valide is (Bosman & J.L.M. Schraven, 2013).

Hoewel wij het argument van de groepsgrootte niet steekhoudend vinden, is ons er alles aan gelegen om het Cito te laten inzien dat de toets inadequaat is en geen onderdeel meer mag vormen van een leerlingvolgsysteem. Als een empirisch bewijs met een grotere groep het Cito wel overtuigt, dan zijn wij graag bereid dat te leveren.

In deze studie worden de spellinggegevens van een groot aantal leerlingen geanalyseerd. We zullen laten zien dat wanneer een onderzoeker slechts naar het gemiddelde kijkt, deze ten onrechte tot de conclusie kan komen dat de toetsen psychometrisch hetzelfde zijn. Aan de hand van gedetailleerde analyses laten we zien, dat het vaststellen van het spellingniveau en het afleiden van specifieke problemen met de spelling op basis van scores op meerkeuzeopgaven niet mogelijk is.

Methode

Aan dit onderzoek nam een groep van 151 leerlingen deel van een basisschool in Hilversum. Het betrof 42 leerlingen uit Groep 4, 47 leerlingen uit Groep 5, 30 Leerlingen uit Groep 7, en 32 leerlingen uit Groep 8. Door een miscommunicatie met de leerkracht uit Groep 6 zijn er geen gegevens van deze groep beschikbaar. In januari 2013 namen de groepsleerkrachten van de deelnemende groepen de M-versies van de Cito-spellingtoetsen af. In alle gevallen maakten de leerlingen eerst Deel 1, het dictee, gevolgd door Deel 2, het meerkeuzeonderdeel van de toets. Een week later kregen alle leerlingen een dictee over de fout gespelde woorden uit het meerkeuzeonderdeel van de toets.

Resultaten

De bevindingen worden in vier delen gepresenteerd. De eerste analyse laat zien of er een discrepantie of inconsistentie is op groepsniveau. Vervolgens wordt naar de inconsistentie op woordniveau gekeken. Anders gezegd, zijn woorden die niet als fout herkend worden op de meerkeuzetoets ook de woorden die problemen opleveren op het dictee.

Daarna wordt de belangrijkste vraag beantwoord in welke mate de antwoorden op de meerkeuzetoets overeenkomen met die op het dictee. Dat wil zeggen, is het zo dat een leerling die een spelfout mist op de meerkeuzetoets, dit woord ook fout spelt op het dictee en daarbij dezelfde spelfout produceert die door het Cito in de meerkeuzetoets is aangebracht.

En andersom, als een leerling correct de spelfout van een opgave aanstreept, spelt deze leerling dit woord dan ook correct op het dictee. Ten slotte bespreken we de variatie aan spelfouten die op het dictee gemaakt wordt.

(In)consistentie op groepsniveau

In Tabel 1 staat een overzicht van de scores op de meerkeuzeopgaven en van dezelfde woorden in het dictee. Op basis van de scores van de totale groep leerlingen bestond er geen verschil tussen de prestaties op de meerkeuzetoets en het dictee. De totale groep leerlingen behaalde op beide toetsen een score van 80% correct.

Een eerste nuancering wordt aangebracht door de scores per groep te bezien. In het geval van Groep 4 bleek de prestatie op het dictee gunstiger dan op de meerkeuzetoets en dit verschil was ook statistisch significant. Deze bevinding repliceert die van de studie van Schraven et al. (2010). Ook daar bleek bij leerlingen uit Groep 4 het dictee significant beter gemaakt te zijn dan de meerkeuzetoets (het verschil was daar 6%-punt en hier is het 8%-punt).

De scores van de Groepen 5 en 7 waren statistisch hetzelfde, het verschil ten gunste van de meerkeuzetoets was niet significant verschillend. In het geval van Groep 8 bleek de prestatie op de meerkeuzetoets wel significant beter dan die op het dictee. Een mogelijke verklaring hiervoor is dat leerlingen in Groep 8 al veel geoefend hebben met meerkeuze-opgaven.

Als een meerkeuzetoets een valide maat oplevert voor spellingvaardigheid zou die hoog moeten correleren met het dictee. Deze correlatie blijkt voor de totale groep laag te zijn. Een correlatie van .54 voor spellingvaardigheidstoetsen is psychometrisch onvoldoende. Dit betekent dat de hoeveelheid gedeelde variantie nog geen 30% bedraagt.

Ook de hoogte van deze samenhang is een replicatie van de bevinding uit het onderzoek van Schraven et al. (2010) waarin een kleinere steekproef participeerde. Uit de correlatiecoëfficiënten van de vier onderscheiden groepen blijkt deze met name heel laag te zijn voor de Groepen 4 en 5, en wat acceptabeler in de Groepen 7 en 8.

Tabel 1. Overzicht van de gemiddelde goedscores (in %) per groep en hun samenhang

Geeft een lage correlatie al aan dat de meerkeuzetoets niet dezelfde score oplevert als het dictee voor eenzelfde leerling dan blijkt dat al helemaal uit Tabel 2. Deze tabel laat zien dat in de totale groep van 151 leerlingen slechts 23 leerlingen (15%) een score hadden op de meerkeuzetoets die hetzelfde is als op het dictee.

Deze percentages binnen de vier onderscheiden groepen liepen daarin niet sterk uiteen. Zoals ook al bleek bij ons eerste onderzoek in Groep 4 (Schraven et al., 2010) en bij een vervolgstudie in groep 7 (Bosman & Schraven, 2013) moet geconstateerd worden dat de meerkeuzetoets geen valide meting oplevert van het spellingniveau.

Dat de prestaties op de twee toetsen dramatisch uiteen kunnen lopen, wordt aangetoond door de (maximale) individuele verschillen tussen scores op de twee toetsen. Dit was met name zichtbaar in Groep 4. Daar was een leerling die 92% correct had op het dictee en slechts 24% op de meerkeuzetoets.

Tabel 2. Percentages leerlingen met betere, slechtere of dezelfde prestaties op de meerkeuzetoets als op het dictee 

Om de globale vergelijking op groepsniveau af te sluiten worden in Tabel 3 de consistentiematen gepresenteerd. De scores op een item uit de meerkeuzetoets en het dictee kunnen consistent genoemd worden in het geval de leerling op de meerkeuzetoets het fout gespelde woord aanstreepte en dat woord vervolgens ook correct spelde op het dictee, èn in het geval de leerling op de meerkeuzetoets het fout gespelde woord niet aanstreepte en dat woord dan ook fout spelde op het dictee.

Overigens betekent dit niet dat de leerling het woord verkeerd spelde op de wijze zoals Cito dat bedacht heeft in de meerkeuzetoets (zie hieronder). In alle andere gevallen was er een inconsistentie tussen de prestaties op de meerkeuzetoets en het dictee. Uit de cijfers van Tabel 3 blijkt dat 27% (14 + 13) van de scores over de hele groep genomen inconsistent is.

Dit percentage representeert op redelijke wijze de onderscheiden groepsscores. Opnieuw een bevinding die overeenkomt met die van onze eerdere studie (Schraven et al., 2010). Daar was het percentage inconsistente scores 26%.

Tabel 3. Consistentie tussen de scores op de meerkeuzetoets (MK) en het dictee (in percentages) van het totaal aan de groep aangeboden woorden

(In)consistentie op woordniveau

In de Tabellen 4 en 5 worden de percentages correct van elk item uit de meerkeuzetoets en het dictee gepresenteerd. Gemiddeld genomen, dus over alle woorden, zijn die verschillen klein en voor een aantal woorden liggen de percentages niet erg ver uit elkaar; voor andere woorden liggen die percentages ver uit elkaar.

Zo vertoont in M4 het woord FLOT de grootste discrepantie. Het fout gespelde woord werd slechts in 62% van de gevallen aangemerkt als het fout gespelde woord in de meerkeuzetoets. Op het dictee had echter 90% van de leerlingen het woord correct geschreven. Wat M5 betreft springt met name het woord ALLEBIJ eruit; 79% van de leerlingen streepte dit woord terecht aan als het fout gespelde woord, maar op het dictee had slechts 19% van de leerlingen het woord correct gespeld.

In M7 vertoont het woord WINARES de grootste discrepantie; 93% van de leerlingen uit Groep 7 merkte dit woord aan als het fout gespelde woord, maar op het dictee wist slecht 53% het woord correct op te schrijven. Ten slotte valt in M8 het woord GEZAMELIJK op. In Groep 8 gaf 81% van de leerlingen correct aan dat dit woord fout gespeld is, maar op het dictee wist slechts 28% het woord correct op te schrijven.

Hoewel we hier inderdaad de grootste verschillen tussen de meerkeuzetoets en het dictee hebben besproken en men zou kunnen tegenwerpen dat in veel gevallen de verschillen niet dramatisch groot zijn, is het wel van belang dat men zich realiseert dat het hier niet noodzakelijk dezelfde leerlingen betreft.

Dat wil zeggen, als het woord goed aangemerkt is door een bepaalde leerling op de meerkeuzetoets dan wil dat niet zeggen dat dit woord door dezelfde leerling correct wordt geschreven. De mate waarin de individuele spellingen van leerlingen consistent zijn wordt in de volgende paragraaf onderzocht.

Tabel 4. Itemscores (in % correct) op Meerkeuzetoetsen en het Dictees van M4 en M5.        

                          

Tabel 5. Itemscores (in % correct) op Meerkeuzetoetsen en het Dictees van M7 en M8. 

(In)consistentie op leerling- en woordniveau

Voor het onderwijs is het van belang dat uit een antwoord van een leerling op de meerkeuzeopgave een juiste conclusie getrokken kan worden over de aan- of afwezige spellingkennis van een leerling. Daarom is de enige relevante consistentiemaat de overeenkomst tussen het antwoord van een leerling op de meerkeuzetoets en het dictee.

Daartoe moest bepaald worden of een leerling die een woord niet als fout herkende in de meerkeuzetoets dit woord ook daadwerkelijk fout spelde op het dictee, maar ook of een leerling die het woord inderdaad aanmerkte als incorrect op de meerkeuzetoets, dit woord vervolgens ook correct spelde op het dictee.

Tevens zal een leerling die het fout gespelde woord niet opmerkt, de foute spelling zoals door het Cito aangebracht in de meerkeuzetoets moeten produceren op het dictee. Dus, een leerling die SWAK mist in de meerkeuzetoets moet dan ook SWAK spellen op het dictee. Heeft een leerling het fout gespelde woord wel opgemerkt, dan moet het vanuit diagnostisch oogpunt zo zijn dat de leerling het woord correct spelt op het dictee. Deze leerling moet dan SWAK aangestreept hebben, en dit woord dan vervolgens als ZWAK spellen op het dictee.

In Tabel 6 staat voor elke groep aangegeven hoeveel fouten er door de leerlingen zijn gemaakt op de meerkeuzetoets, dat wil zeggen hoeveel fout gespelde woorden werden gemist. Voor alle leerlingen betrof dit 19.6%, met enige variatie per groep. Kijken we vervolgens hoe vaak eenzelfde leerling deze gemiste woorden onjuist schrijft dan is dat slechts bij 33,5% het geval.

Dit betekent dus dat in twee derde van de gevallen (66,5%) dat een woord niet als fout wordt herkend op de meerkeuzetoets, datzelfde woord desondanks correct wordt gespeld op het dictee. Als we ten slotte bij deze fout gespelde woorden berekenen in welke mate daarbij op het dictee dezelfde spelfout wordt gemaakt als opgenomen bij de meerkeuzetoets, dan betreft dat slechts iets meer dan de helft (61.2%) van de gevallen.

Dit betekent, dat een onjuist antwoord op de meerkeuzetoets geen goede indicatie is voor de ontbrekende spellingkennis. Dit wordt bevestigd door de mate waarin op het dictee de door Cito veronderstelde spelfout wordt gemaakt, wanneer op de meerkeuzetoets de spelfout niet is herkend: 20.5% (165 Citofouten op het dictee / 803 niet gevonden fouten in de meerkeuzetoets). Uitgesplitst naar groep zijn deze percentages als volgt: 9.4% in Groep 4, 22.1% in Groep 5, 21.3% in Groep 7 en 29.0% in Groep 8.

Tabel 6. Relatie tussen niet gevonden fouten op meerkeuzetoets en fouten op het dictee

Uit Tabel 7 blijkt dat 80.3% van de spelfouten in de meerkeuzetoets door de leerlingen werd opgespoord. De groepen vertoonden hierin genomen nauwelijks variatie. Ondanks de correct gevonden spelfouten in de meerkeuzetoets werd vervolgens hetzelfde woord door eenzelfde leerling toch in 17,5% incorrect gespeld. Hiervan bevatte slechts een derde (36,6%) dezelfde spelfout als die van de meerkeuzetoets. .

Tabel 7. Relatie tussen wel gevonden fouten op meerkeuzetoets en fouten op het dictee

Uit de Tabellen 6 en 7 blijkt dat de foute spelling zoals bedacht door het Cito dus geen favoriet is bij de leerlingen Het percentage foute spellingen op het dictee dat overeenkomt met de foute spelling zoals in de meerkeuzetoets, ongeacht of de leerling de fout gevonden heeft in de meerkeuzetoets bedroeg 32% voor Groep 4, 44% voor Groep 5, 39% voor Groep 7 en 53% voor Groep 8.

Over alle groepen bedroeg die overeenkomst slechts 44%. Dit betekent dat er een grote discrepantie bestaat tussen de door het Cito veronderstelde spelfouten van leerlingen en de spelfouten die daadwerkelijk gemaakt worden.

Variatie en typen spelfouten

Welke fouten maken leerlingen dan wel? En, hoe groot is de variatie aan spelfouten? Om dit te onderzoeken werd van elk item uit de spellingtoetsen bepaald welke spelfouten er werden gemaakt in het dictee. Deze spelfouten geven informatie over de problemen die de leerlingen hebben met het te spellen woord. Uit de informatie in de Bijlage blijkt de enorme diversiteit aan spelfouten. We wijzen voor elke groep op een typisch voorbeeld.

Een woord dat opvalt in Groep 4 is AANRECHT. De spelfout aangebracht door het Cito is AARRECHT. Van de 42 leerlingen streepten 10 leerlingen het woord niet aan in de meerkeuzetoets; van hen spelden 7 leerlingen het woord fout op het dictee, maar geen van hen spelde het woord volgens de foute spelling zoals aangebracht in de meerkeuzetoets.

Van de resterende 32 leerlingen die het woord wel hadden aangestreept op de meerkeuzetoets, schreven desondanks 11 leerlingen het woord fout op het dictee. Ook nu kwam geen enkele spelfout overeen met die in de meerkeuzetoets. De 18 spelfouten op het dictee kenden 9 verschillende variaties, waarvan de spelling AANREGT het meeste voorkwam, namelijk 8 keer.

In Groep 5 valt het woord ALLEBEI op. De spelfout aangebracht door het Cito is ALLEBIJ. Van de 47 leerlingen ontdekten 10 van hen deze foute spelling niet bij de meerkeuze en schreven alle 10 leerlingen het woord fout zoals die voorkomt in de meerkeuzetoets.

Van de resterende 37 leerlingen die het woord wel hadden aangemerkt als fout op de meerkeuzetoets, schreven desondanks 30 leerlingen dit woord fout op het dictee; hiervan spelden 17 leerlingen het woord volgens de foute spelling zoals aangebracht in de meerkeuzetoets; de andere spelfouten die voorkwamen waren 2 keer ALEBEI en 11 keer ALEBIJ.

In Groep 7 was de kampioen van de inconsistentie het woord WINNARES. De spelfout aangebracht door het Cito is WINARES. Van de 30 leerlingen ontdekten slechts 2 leerlingen deze foute spelling niet; een van hen spelde het woord ook fout op het dictee en die spelling was overeenkomstig die van de meerkeuzetoets.

Van de resterende 28 leerlingen die het woord wel hadden aangemerkt als fout op de meerkeuzetoets, schreven desondanks 13 leerlingen dit woord fout op het dictee; waarvan 3 leerlingen het woord volgens de foute spelwijze van het Cito hadden geschreven, de andere 10 leerlingen produceerden vier verschillende soorten spelfouten, met de spelling WINNAARES als de winnaar; 6 leerlingen maakten deze spelfout.

Een woord dat opvalt in Groep 8 is THERMOSFLES. De spelfout aangebracht door het Cito is TERMOSFLES. Van de 32 leerlingen ontdekten 11 leerlingen deze foute spelling niet in de meerkeuzetoets. Hiervan spelden er echter slechts 3 het woord daadwerkelijk fout op het dictee, waarvan slechts één op de wijze zoals in de meerkeuzetoets.

Van de overige 21 leerlingen die het woord wel correct hadden aangemerkt als fout, spelden desondanks 6 leerlingen het woord verkeerd op het dictee, waarbij iedere leerling een unieke spelfout produceerde; een daarvan was de spelfout zoals het Cito die in de meerkeuzetoets heeft aangebracht.

De voorbeelden die hierboven besproken zijn, vormen slechts het topje van de spreekwoordelijke ijsberg. De feiten die gepresenteerd worden in de Bijlage laten overtuigend zien dat een gemiste spellingfout op de meerkeuzetoets geen voorspellende waarde heeft voor de prestaties op het dictee. Ook een correct gevonden spelfout op de meerkeuzetoets is geen garantie dat de leerlingen het woord ook daadwerkelijk kunnen spellen.

Bovendien blijkt dat de veronderstelde moeilijkheid in de woorden van de meerkeuzetoets allerminst de meest voorkomende spelfout is die leerlingen maken. Sterker nog, de variëteit aan spelfouten laat zien dat leerkrachten die zich uitsluitend verlaten op de meerkeuzetoets volstrekt verkeerde conclusies trekken over het type spellingprobleem dat een leerling heeft.

Hiermee wordt de bewering van het Cito dat de meerkeuzevorm van de spellingtoets gebruikt kan worden via ‘de omgekeerde bewijsvoering’ nogmaals weerlegd.

Conclusie

Een oppervlakkige vergelijking van de spellingprestaties op een meerkeuzetoets en een dictee van leerlingen in het regulier onderwijs zou de naïeve onderzoeker tot de conclusie kunnen brengen dat er een behoorlijke overlap zit tussen de beide toetsvormen. In onze eerste analyse lieten we zien dat de score op de meerkeuzetoets sterk overeen lijkt te komen met die van het dictee (over de gehele groep genomen zelfs hetzelfde zijn, namelijk op beide toetsen 80% correct).

Dat een dergelijke conclusie voorbarig en uiteindelijk zelfs helemaal fout blijkt te zijn, wordt al snel duidelijk als de individuele verschillen van leerlingen bekeken worden. Er blijken nogal wat leerlingen te zijn bij wie een grote discrepantie bestaat tussen de prestaties op de meerkeuzetoets en het dictee.

Aan het argument dat deze verschillen uitmiddelen wanneer de totale groep in ogenschouw wordt genomen, heeft een leerkracht niets, omdat de toets bedoeld is om individuele prestaties te meten. Een andere aanwijzing dat de relatie tussen de meerkeuzetoets en het dictee minder sterk is dan gehoopt, werd geleverd door de beperkte hoogte van de correlatiecoëfficiënten. Het feit dat meer dan een kwart van de spellingen inconsistent bleek te zijn, was de volgende aanwijzing dat de overlap tussen de meerkeuzetoets en het dictee betrekkelijk is.

De meest overtuigende analyses werden geleverd door de inconsistenties op individueel niveau te bekijken. Van het totaal aantal foute spellingen dat niet werd gevonden op de meerkeuzetoets werd slechts 33% fout gespeld op het dictee. Hiervan bevatte iets meer dan de helft de spelfout die in de meerkeuzetoets voorkwam. Van het totaal gevonden onjuiste spellingen op de meerkeuzetoets werd toch nog 17% fout geschreven op het dictee, waarvan slechts een derde kwam overeen met de fout uit de meerkeuzetoets.

De veronderstelling van het Cito dat de meerkeuzetoets een valide manier is om de spellingkennis van leerlingen te meten, blijkt opnieuw onjuist. De overeenstemming tussen de gemaakte fouten op het dictee en de fout zoals aangebracht in de meerkeuzetoets bedraagt slechts 44%. Niet alleen is de meerderheid van het aantal spelfouten ongelijk aan die van de meerkeuzetoets, er is bovendien een enorme variatie aan spelfouten..

Opnieuw zien we dezelfde resultaten als in eerdere studies, nu met een grotere onderzoeksgroep, meerdere leeftijdsgroepen, een andere locatie en een ander tijdstip. Het verschil in scores en gemaakte fouten tussen de meerkeuze en het dictee ligt dus niet aan, tijdstip, locatie, omvang en kenmerken van de onderzoeksgroep, maar aan de vorm: de meerkeuze. Het meerkeuzedeel van de Cito-spellingtoets is dus niet valide, diagnostisch onbruikbaar en didactisch nutteloos.

Noot

Wij danken de leerlingen en leerkrachten van de Violenschool te Hilversum voor hun medewerking aan dit onderzoek. Bovendien zijn wij mevrouw L. Peters, intern begeleider van de Violenschool veel dank verschuldigd. Zonder haar inzet en organisatietalent had dit onderzoek niet plaats kunnen vinden. Ten slotte willen we Ben Schraven bedanken voor zijn nauwgezette lezing van en het heldere commentaar op een eerdere versie van dit manuscript.

Geraadpleegde literatuur

  • Bosman A.M.T., Schraven, J.L.M., & van Eekhout, T. (2010). De Cito-spellingtoets: onze bezwaren nader toegelicht. Een reactie op ‘Kritiek op toetsen spelling steunt op losse gronden’. Orthopedagogiek: Onderzoek en Praktijk, 49, 418-427.
  • Bosman A.M.T., & Schraven, J.L.M. (2013). Cito-spellingtoets schaadt het spellingonderwijs. Basisschoolmanagement, 01, 4-8.
  • Schraven, B. (2013). De validiteit van de Cito-spellingtoets gefalsifieerd. Orthopedagogiek: Onderzoek en Praktijk, 52, 459-475.
  • Schraven, J.L.M., Bosman, A.M.T., & van Eekhout, T. (2010). De nieuwe Cito-spellingtoets ter discussie. Tijdschrift voor Orthopedagogiek (O en A), 49, 75-86.
  • Wijs, A. de (2010). Kritiek op toetsen spelling steunt op losse gronden. Orthopedagogiek: Onderzoek en Praktijk, 49, 374-381.

Bosman, A. & Schraven, J.L.M. (2015) Meerkeuzeopgaven van de Cito-spellingtoets zijn echt niet valide.
Geraadpleegd op 21-09-2017,
van https://wij-leren.nl/spelling-cito-toets-meerkeuze.php

Gerelateerd

ParnasSys als bouwsteen in onderzoekend leren
ParnasSys als bouwsteen in onderzoekend leren
Van instrumenteel naar onderzoeksmatig werken
De lerende school 
Zinvol toetsen in het primair onderwijs
Zinvol toetsen in het primair onderwijs
Een andere kijk op toetsen in groep 3 t/m 8
Medilex Onderwijs 
Volgen van de ontwikkeling
Volgen van ontwikkeling: evalueren - normeren - LVS - rapportage
Arja Kerpel
Cito spelling toets 1
Cito spellingtoets ter discussie
Anna Bosman
Testen voor het LVS
Testen voor het leerlingvolgsysteem
Teije de Vos
Citoscore hanteren
Citoscore hanteren
Sieneke Goorhuis
Spellingvaardigheid
Spellingvaardigheid en leren spellen (1) - relatie spellen en lezen
Anna Bosman
De speller
Spellingvaardigheid en leren spellen (2) - de speller
Anna Bosman
Schoolvaardigheidstoets spelling
Spellingfouten categoriseren
Teije de Vos
Een sober leerlingvolgsysteem
Een sober leerling- en onderwijsvolgsysteem, dat kan en mag!
Teije de Vos

Effecten van formatief evalueren
Wat zijn de effecten van formatief evalueren?
Factoren die de Cito-eindtoets beinvloeden
Welke factoren spelen een rol bij de resultaten van de Cito-eindtoets of de centrale eindtoets PO?
Formatieve toetsing
Hoe kan het onderwijs met succes formatieve toetsing inzetten?
Schrijfmateriaal
Met welk schrijfmateriaal kunnen kinderen het beste leren schrijven?
meerwaarde woordenschat citotoetsen
Heeft het toetsen van de woordenschat meerwaarde voor de woordenschatontwikkeling?
Formatief toetsen po
Selfassessment voor formatief toetsen van basisschoolleerlingen
Toetsen-leertrajecten
Gebruik van toetsen bij het plannen van leertrajecten
Leren van teksten
Zelftoetsen voor het effectiever leren van teksten
Begrip door zelftoetsen
Beter begrip van informatie in teksten door zelftoetsen
Leren met zelftoetsen
Samenhang expertiseniveau leerling bij leren met zelftoetsen
Algoritmische benadering spelling
Algoritmische benadering van spelling van werkwoorden
Computer Adaptieve Oefentoetsen
Onderwijsdifferentiatie met Computer-Adaptieve Oefentoetsen met docentenfeedback
Samenstelling klas
Samenstelling van de klas en cognitieve en sociaal-emotionele uitkomsten
Opbrengstgericht werken
Opbrengstgericht werken: van beleidsspeerpunt tot de uitvoering in de groep
Voorwaarden formatieve toetsing
Voorwaarden voor effectieve formatieve toetsing Ė reviewstudie
Schrijf in voor de nieuwsbrief
Schrijf in voor de nieuwsbrief
Schrijf in voor de nieuwsbrief
Schrijf in voor de nieuwsbrief
[extra-breed-algemeen-kolom2]

Stel je onderwijsvraag

Wandelen voor water

Kwink op school

Leerlingen met dyslexie

Academica Business College

Veilig vuurwerk

Cito spelling toets 2



Inschrijven nieuwsbrief


Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook

Mis geen bijdragen.