Wat is een correcte toetsconstructie met de portfoliomethodiek voor de verwerving van taal-, reken- en digitale vaardigheden door volwassenen?

Geplaatst op 25 november 2020

De portfoliomethodiek kan een sterke vorm zijn om een leertraject voor het aanleren van de Nederlands taal, rekenen en digitale vaardigheden te evalueren. Hierbij is aandacht voor goede feedback door de supervisor of de docent belangrijk. Ook helpt een kwalitatief goed zelfassessment van de deelnemer. De toetsvormen kunnen verschillend zijn, maar moeten wel een onderbouwde cesuur hebben. Ofwel, de grens tussen voldoende en onvoldoende moet hout snijden.

Een portfolio is een (digitale) map met een overzicht van persoonlijke competenties ondersteund met bewijzen op basis van een bepaalde standaard. De methodiek bestaat uit een formatieve en een summatieve toetsing. Summatieve toetsing richt zich op beoordeling van de leerprestaties, terwijl formatieve toetsing informatie oplevert over de mate van beheersing van de leerstof. Met die informatie kan de docent zijn lesgeven aanpassen en het leerproces van de deelnemer bijsturen.

Feedback en zelfassessment

Toetsing op basis van een portfoliomethodiek krijgt pas gestalte als er aandacht is voor de feedback van de supervisor of docent. De kwaliteit van de feedback is mede afhankelijk van samenwerking tussen de deelnemers, sociale interactie en sturing door een persoonlijke mentor. Daarnaast – en dat lijkt niet altijd eenvoudig – moet formatieve toetsing uiteindelijk leiden tot een beoordeling van de leerprestaties. Daarom is de kwaliteit van de feedback tijdens de individuele assessmentmomenten essentieel. Als deelnemers hun verkregen feedback tijdens hun opdracht strategisch gebruiken, blijven ze langer gemotiveerd en zijn ze ook het meest zeker.

Verder is een goede vorm van zelfassessment noodzakelijk. Daarvoor is het nodig dat de supervisor de deelnemers begeleidt bij het voorbereiden, het up-to-date houden en het voltooien van hun persoonlijke leerplannen. De deelnemers kiezen, ook weer begeleid, een zelfassessment dat overeenkomt met hun educatieve plan en praktisch profiel. De vragen vormen een integraal onderdeel van het zelfassessment en ze lokken een actieve houding en zelfbeoordeling uit.

Het vaststellen van de cesuur

Voor welke toetsing de school of de docent ook kiest, cruciaal is het bepalen van een cesuur. De cesuur geeft de grens aan tussen een onvoldoende en voldoende op een toets.

Om de cesuur vast te stellen kan de school werken met verschillende methodes. Een daarvan is de kennispercentage-methode; de school stelt vast over welke kennis de deelnemer moet beschikken. Het is ook mogelijk om een panel van deskundigen de cesuur vast te laten stellen. De cesuurmethode moet in elk geval een realistische uitkomst opleveren, geloofwaardig zijn en gebaseerd op onderzoek. De betrokkenen moeten het eens zijn over de te hanteren methode en voor eenieder te begrijpen zijn.

Bij praktijkexamens maakt het mbo ook wel gebruik van de indeling ‘onvoldoende, voldoende, goed’. Bijvoorbeeld: voldoende (voor alle werkprocessen een voldoende) of goed (voor minimaal 75 procent van de werkprocessen een goed en voor de overige werkprocessen een voldoende). Een ander voorbeeld, met competenties en kerntaken: de school bepaalt dat de student per kerntaak 75 procent van de werkprocessen moet behalen voor een voldoende, en alle werkprocessen voor een goed. Als alle competenties en kerntaken voldoende zijn, is de beroepsproeve behaald. Het is dus niet nodig om voor een bepaald taal- en rekenniveau de cesuur op honderd procent te leggen.

Uitgebreide beantwoording

Opgesteld door: Maurice de Greef (kennismakelaar)
Vraagsteller: Innovator mbo-instelling
Geraadpleegde expert(s): Harry Molkenboer (Bureau voor Toetsen & Beoordelen)

Vraag

Wat is een correcte toetsconstructie op het gebied van verwerving van taal-, reken- en digitale vaardigheden voor volwassenen met gebruikmaking van de portfoliomethodiek?

Kort antwoord

Voor het aanleren van de Nederlands taal, rekenen en/of digitale vaardigheden kan de portfoliomethodiek een sterke vorm zijn om op formatieve en summatieve wijze het leertraject te evalueren. Hierbij zijn voldoende aandacht voor het geven van kwalitatief goede feedback van de supervisor of docent enerzijds en het realiseren van een kwalitatief goed zelfassessment van de deelnemer anderzijds belangrijk.

De toetsvormen kunnen verschillend zijn, maar moeten wel een onderbouwde cesuur hebben. Deze kan ook per deelvaardigheid verschillen, maar moet wel een realistische uitkomst opleveren, gebaseerd zijn op onderzoek, geloofwaardig en eenvoudig te begrijpen zijn en de betrokkenen moeten het eens zijn over de te hanteren methode.

Toelichting antwoord

Voor volwassenen die de Nederlandse taal, rekenen of digitale vaardigheden leren, blijken adequate toetsen en toetsinstrumenten niet altijd voorhanden. Een onderwijsinstelling die leertrajecten taalvaardigheden, rekenvaardigheden en/of digitale vaardigheden voor volwassenen verzorgt, kan er daarom voor kiezen om zelf op basis van de portfoliomethodiek een adequate vorm van toetsing voor deze vaardigheden te ontwikkelen. Vraag is wat belangrijke randvoorwaarden zijn voor toetsing middels de portfoliomethodiek en wat een bijbehorende cesuur kan zijn, om de deelnemer adequaat te kunnen beoordelen.

Meerwaarde van inzet portfoliomethodiek

De portfoliomethodiek is een sterke vorm om op formatieve en summatieve wijze een leertraject te evalueren, zoals blijkt uit vierjarig onderzoek onder meer dan 150 universitaire studenten en de betrokken onderwijsontwikkelaars, waarbij de ontwikkeling en implementatie van een portfolio als assessment voor de praktijk is onderzocht (Jones, 2010).

Bij summatieve toetsing is men gericht op beoordeling van de leerprestaties, terwijl men bij formatieve toetsing informatie wenst te krijgen over de mate van beheersing van de leerstof om indien nodig het leerproces bij te sturen en het leren naast het lesgeven te optimaliseren (Schildkamp et al., 2014).

Onderzoek onder meer dan 900 studenten in de zorg laat zien, dat het toepassen van assessments in samenspraak met het gebruik van een portfoliomethodiek ook een betrouwbare vorm van ‘toetsing’ van competenties kan zijn. Tijdens het onderzoek zijn drie arbeidsgerelateerde assessmentmethoden voor toetsing van competenties onderzocht. Hieruit bleek, dat men de competentieontwikkeling kan bijhouden en daarnaast een eindoordeel kan geven over het resultaat (Bok et al., 2018).

Kwaliteit feedback supervisor versus zelfassessment

Wil men toetsing op basis van een portfoliomethodiek gestalte geven dan moet men voldoende aandacht bieden aan het geven van kwalitatief goede feedback van de supervisor of docent enerzijds en het realiseren van een kwalitatief goed zelfassessment van de deelnemer anderzijds.

Feedback – Volgens Bok et al. (2013) is het toepassen van assessments bij portfolio niet altijd eenvoudig. Hun onderzoek laat zien, dat de kwaliteit van de feedback (mede afhankelijk van de samenwerking tussen deelnemers naast sociale interactie en sturing door een persoonlijke mentor) van de supervisor cruciaal is. Daarnaast lijkt het volgens Bok et al. (2013) niet altijd eenvoudig om het leeraspect van de feedback voor de deelnemer te combineren met een belangrijk beslissingsmoment (oftewel een beoordeling).

Het formatief assessment moet echter leiden tot een summatieve beslissing. Daarom is het van belang om extra aandacht te besteden aan de kwaliteit van de feedback tijdens de individuele assessmentmomenten (Bok et al., 2013). Als deelnemers hun verkregen feedback tijdens hun opdracht strategisch gebruiken, blijven ze langer gemotiveerd en zijn ze ook het meest zeker, zo blijkt uit onderzoek onder volwassen deelnemers aan taalcursussen (Furnborough & Truman, 2009).

Zelfassessment – Daarnaast is het belangrijk, dat er voldoende aandacht is voor een goede vorm van zelfassessment. Een systematisch literatuuronderzoek naar zelfassessment onder radiologen laat zien, dat zelfassessment ingezet kan worden als (Bosma et al., 2007):

de deelnemers begeleid worden in het voorbereiden, up to date houden en voltooien van hun persoonlijke leven lang leren plannen;
de deelnemers begeleid worden in het selecteren van een zelfassessment, dat overeenkomt met hun educatieve plan en praktisch profiel;
men ervoor zorgt, dat de vragen integraal onderdeel van het zelfassessment zijn en geen overdenking achteraf, belangrijk en niet eenvoudig te meten zijn en dat ze actieve zelfassessment en -beoordeling uitlokken.

Toetsvormen uit het MBO

Bij de inzet van de portfoliomethodiek kunnen diverse toetsvormen worden gehanteerd. Voor het volwassenenonderwijs gebruikt men in sommige gevallen de toetsvormen van het MBO. Voor de examens Nederlands in het MBO worden allereerst de volgende vraagvormen gehanteerd (Sanders, 2016):

meerkeuzevragen met alternatieven;
matrixvragen met uitspraken die wel of niet juist zijn;
casusvragen bij instructieteksten.

Volgens Sanders (2016) is er daarnaast voor het onderdeel ‘Loopbaan en Burgerschap’ een inspanningsverplichting die door de mbo-docent gecontroleerd moet worden, terwijl dit voor de beroepsgerelateerde eisen een proeve van bekwaamheid is, die door beoordelaars moet worden beoordeeld (eventueel aangevuld met een verslag van de deelnemer).

Aan de hand van de negen beoordelingscriteria vanuit het mbo wordt helder, dat de portfoliobeoordeling voor het MBO niet aan alle vastgestelde criteria voldoet (Sanders, 2016). Er kan wel sprake zijn van authenticiteit, standaardisering, validiteit, flexibiliteit in afnametijdstip en generaliseerbaarheid van resultaten, maar transparantie, beoordelaarsonafhankelijkheid, betrouwbaarheid en leerwegonafhankelijkheid lijken niet altijd op te gaan (Sanders, 2016). Mogelijkerwijs geldt dit ook voor het volwassenenonderwijs.

Cesuur

Ook bij de inzet van de portfoliomethodiek zal men een cesuur moeten bepalen. Door de cesuur wordt beslist of een deelnemer voor de toets slaagt of zakt. De cesuur geeft dus de grens aan tussen een onvoldoende en voldoende op een toets (Molkenboer, 2019). Meestal wordt deze uitgedrukt in een cesuurscore, dat de laagste score is die tot een voldoende leidt (Molkenboer, 2019).

De cesuur van 55% is veel voorkomend, maar kan in twijfel getrokken worden door het feit dat er een ‘blinde raadkans’ is, door de vraag of iemand wel echt deskundig is als hij of zij 55% van de kennis weet en door de moeilijkheid van het examen zelf (Molkenboer, 2019). Daarom lijkt het goed om zeer nauwkeurig de cesuur te bepalen, bij voorkeur door de cesuur vooraf vast te stellen (Molkenboer, 2019).

Om de cesuur vast te kunnen stellen kan een cesuurmethode gehanteerd worden. Naast de kennispercentage-methode (vaststellen van bepaald kennispercentage waarover de deelnemer moet beschikken) zijn er methodes om met een panel van deskundigen de cesuur te kunnen vaststellen, te weten: de Angoff-methode, de Nedelsky-methode, de Ebel-methode, de IDEA-methode, de Jaeger-methode en de Direct Consensus Methode (Molkenboer, 2019). Volgens Norcini en Guille (2002) moet de gekozen cesuurmethode aan een aantal kenmerken voldoen, te weten:

De methode moet een realistische uitkomst opleveren.
De methode moet gebaseerd zijn op onderzoek.
De methode moet geloofwaardig zijn.
De betrokkenen moeten het eens zijn over de te hanteren methode.
De methode moet eenvoudig te begrijpen zijn.

Het vaststellen van de cesuur

Het vaststellen van de cesuur in het MBO wisselt (Sanders, 2016). Naast de eerdergenoemde meest gebruikte methode van een cesuur van 55% of 60% van de te behalen scorepunten laat Sanders (2016) een ander voorbeeld zien. Bij praktijkexamens wordt ook wel gebruik gemaakt van de indeling onvoldoende, voldoende (voor alle werkprocessen een voldoende) of goed (voor minimaal 75% van de werkprocessen een goed en voor de overige werkprocessen een voldoende).

Een ander voorbeeld bestaande uit 21 competenties en twee kerntaken, toont dat per kerntaak 75% van de werkprocessen behaald moet worden voor een voldoende en alle werkprocessen voor een goed (Sanders, 2016). Als alle competenties en kerntaken voldoende zijn, is de beroepsproeve behaald (Sanders, 2016).

Onderzoek dat zich meer toegespitst op het aanleren van taal- en rekenvaardigheden voor volwassenen laat een andere normering zien. Validatie-onderzoek naar lees- en schrijftoetsen voor volwassenen (betreffende Instroomniveau en niveau 1F) van De Greef et al. (2015) onder meer dan 900 deelnemers laat zien, dat de normering voor het te behalen niveau 1F per deelvaardigheid kan verschillen (Lam & De Greef, 2017; Lam & De Greef, 2018). Voor de deelvaardigheid lezen lag dit afhankelijk van de toetsversie tussen 52% en 86% (Lam & De Greef, 2017), terwijl dit voor schrijven tussen de 51% en 77% lag (Lam & De Greef, 2018). Deze cesuurbepaling is mede afhankelijk van de psychometrische gegevens en een standaardsetting die is uitgevoerd met professionals (Lam & De Greef, 2017; Lam & De Greef, 2018).

Bij de rekentoetsen (betreffende Instroomniveau, niveau 1F en niveau 2F) lag de cesuur voor niveau 1F tussen de 60% en 69% en voor niveau 2F tussen de 90% en 100% (Van Groenestijn & De Greef, 2017). Deze onderzoeken laten zien, dat wil men het behaalde niveau behalen de cesuur niet op 100% hoeft te liggen.

Geraadpleegde bronnen

Bok, H.G.J., Teunissen, P.W., Favier, R.P., Rietbroek, N.J., Theyse, L.F.H., Brommer, H., Haarhuis, J.C.M., Van Breukelen, P., Van der Vleuten, C.P.M. & Jaarsma, D.A.D.C. (2013). Programmatic assessment of competency-based workplace learning: when theory meets practice. BMC Medical Education, 13 (123).
Bok, H.G.J., De Jong, L.H., O’Neill, T., Maxey, C. & Hecker, K.G. (2018). Validity evidence for programmatic assessment in competency-based education. Perspectives on Medical Education, 7 (6), p. 362 – 372.
Bosma, J., Laszakovits, D. & Hattery, R.R. (2007). Self-Assessment for Maintenance of Certification. Journal of the American College of Radiology, 4, p. 45 – 52.
De Greef, M., Segers, M., Nijhuis, J., Lam, J-F., Van Groenestijn, M., Van Hoek, F., Van Deursen, A.J.A.M., Bohnenn, E. & Tubbing, M. (2015). The development and validation of testing materials for literacy, numeracy and digital skills in a Dutch context. International review of Education, 61 (5), p. 655 - 671.
Furnborough, C. & Truman, M. (2009). Adult beginner distance language learner perceptions and use of assignment feedback. Distance Education, 30 (3), p. 399 – 418.
Jones, E. (2010). A Professional Practice Portfolio for Quality Learning. Higher Education Quarterly, 64 (3), p. 292 – 312.
Lam, J.F. & De Greef, M. (2017). Verantwoording digitale voortgangstoets Lezen. ’s-Hertogenbosch: CINOP Advies.
Lam, J.F. & De Greef, M. (2018). Verantwoording digitale voortgangstoets Schrijven. ’s-Hertogenbosch: CINOP Advies.
Molkenboer, H. (2019). Cesuur en cesuur bepalen. Enschede: Bureau voor Toetsen & Beoordelen.
Norcini, J. & Guille, R. (2002). Combining tests and setting standards. In Norman, G.R., Van der Vleuten, C.P.M. & Newble, D.I. International handbook of research in medical education (pp. 811-834). Springer, Dordrecht, p. 811 – 834.
Sanders, P. (2016). Toetsen op School Middelbaar beroepsonderwijs. Arnhem: Cito.
Schildkamp, K., Heitink, M., Van der Kleij, F., Hoogland, I., Dijkstra, A., Kippers, W. & Veldkamp, B. (2014). Voorwaarden voor effectieve formatieve toetsing: Een praktische review. Enschede: Universiteit Twente.
Van Groenestijn, M. & De Greef, M. (2017). Validatie- en verantwoordingsrapportage digitale Voortgangstoetsen Rekenen voor het programma ‘Taal voor het Leven’. Woerdem: ALL educatief.