Wat is een correcte toetsconstructie met de portfoliomethodiek voor de verwerving van taal-, reken- en digitale vaardigheden door volwassenen?

Geplaatst op 25 november 2020

De portfoliomethodiek kan een sterke vorm zijn om een leertraject voor het aanleren van de Nederlands taal, rekenen en digitale vaardigheden te evalueren. Hierbij is aandacht voor goede feedback door de supervisor of de docent belangrijk. Ook helpt een kwalitatief goed zelfassessment van de deelnemer. De toetsvormen kunnen verschillend zijn, maar moeten wel een onderbouwde cesuur hebben. Ofwel, de grens tussen voldoende en onvoldoende moet hout snijden.

Een portfolio is een (digitale) map met een overzicht van persoonlijke competenties ondersteund met bewijzen op basis van een bepaalde standaard. De methodiek bestaat uit een formatieve en een summatieve toetsing. Summatieve toetsing richt zich op beoordeling van de leerprestaties, terwijl formatieve toetsing informatie oplevert over de mate van beheersing van de leerstof. Met die informatie kan de docent zijn lesgeven aanpassen en het leerproces van de deelnemer bijsturen.

Feedback en zelfassessment

Toetsing op basis van een portfoliomethodiek krijgt pas gestalte als er aandacht is voor de feedback van de supervisor of docent. De kwaliteit van de feedback is mede afhankelijk van samenwerking tussen de deelnemers, sociale interactie en sturing door een persoonlijke mentor. Daarnaast – en dat lijkt niet altijd eenvoudig – moet formatieve toetsing uiteindelijk leiden tot een beoordeling van de leerprestaties. Daarom is de kwaliteit van de feedback tijdens de individuele assessmentmomenten essentieel. Als deelnemers hun verkregen feedback tijdens hun opdracht strategisch gebruiken, blijven ze langer gemotiveerd en zijn ze ook het meest zeker.

Verder is een goede vorm van zelfassessment noodzakelijk. Daarvoor is het nodig dat de supervisor de deelnemers begeleidt bij het voorbereiden, het up-to-date houden en het voltooien van hun persoonlijke leerplannen. De deelnemers kiezen, ook weer begeleid, een zelfassessment dat overeenkomt met hun educatieve plan en praktisch profiel. De vragen vormen een integraal onderdeel van het zelfassessment en ze lokken een actieve houding en zelfbeoordeling uit.

Het vaststellen van de cesuur

Voor welke toetsing de school of de docent ook kiest, cruciaal is het bepalen van een cesuur. De cesuur geeft de grens aan tussen een onvoldoende en voldoende op een toets.

Om de cesuur vast te stellen kan de school werken met verschillende methodes. Een daarvan is de kennispercentage-methode; de school stelt vast over welke kennis de deelnemer moet beschikken. Het is ook mogelijk om een panel van deskundigen de cesuur vast te laten stellen. De cesuurmethode moet in elk geval een realistische uitkomst opleveren, geloofwaardig zijn en gebaseerd op onderzoek. De betrokkenen moeten het eens zijn over de te hanteren methode en voor eenieder te begrijpen zijn.

Bij praktijkexamens maakt het mbo ook wel gebruik van de indeling ‘onvoldoende, voldoende, goed’. Bijvoorbeeld: voldoende (voor alle werkprocessen een voldoende) of goed (voor minimaal 75 procent van de werkprocessen een goed en voor de overige werkprocessen een voldoende). Een ander voorbeeld, met competenties en kerntaken: de school bepaalt dat de student per kerntaak 75 procent van de werkprocessen moet behalen voor een voldoende, en alle werkprocessen voor een goed. Als alle competenties en kerntaken voldoende zijn, is de beroepsproeve behaald. Het is dus niet nodig om voor een bepaald taal- en rekenniveau de cesuur op honderd procent te leggen.

Uitgebreide beantwoording

Opgesteld door: Maurice de Greef (kennismakelaar)
Vraagsteller: Innovator mbo-instelling
Geraadpleegde expert(s): Harry Molkenboer (Bureau voor Toetsen & Beoordelen)

Vraag

Wat is een correcte toetsconstructie op het gebied van verwerving van taal-, reken- en digitale vaardigheden voor volwassenen met gebruikmaking van de portfoliomethodiek?

Kort antwoord

Voor het aanleren van de Nederlands taal, rekenen en/of digitale vaardigheden kan de portfoliomethodiek een sterke vorm zijn om op formatieve en summatieve wijze het leertraject te evalueren. Hierbij zijn voldoende aandacht voor het geven van kwalitatief goede feedback van de supervisor of docent enerzijds en het realiseren van een kwalitatief goed zelfassessment van de deelnemer anderzijds belangrijk.

De toetsvormen kunnen verschillend zijn, maar moeten wel een onderbouwde cesuur hebben. Deze kan ook per deelvaardigheid verschillen, maar moet wel een realistische uitkomst opleveren, gebaseerd zijn op onderzoek, geloofwaardig en eenvoudig te begrijpen zijn en de betrokkenen moeten het eens zijn over de te hanteren methode.

Toelichting antwoord

Voor volwassenen die de Nederlandse taal, rekenen of digitale vaardigheden leren, blijken adequate toetsen en toetsinstrumenten niet altijd voorhanden. Een onderwijsinstelling die leertrajecten taalvaardigheden, rekenvaardigheden en/of digitale vaardigheden voor volwassenen verzorgt, kan er daarom voor kiezen om zelf op basis van de portfoliomethodiek een adequate vorm van toetsing voor deze vaardigheden te ontwikkelen. Vraag is wat belangrijke randvoorwaarden zijn voor toetsing middels de portfoliomethodiek en wat een bijbehorende cesuur kan zijn, om de deelnemer adequaat te kunnen beoordelen.

Meerwaarde van inzet portfoliomethodiek

De portfoliomethodiek is een sterke vorm om op formatieve en summatieve wijze een leertraject te evalueren, zoals blijkt uit vierjarig onderzoek onder meer dan 150 universitaire studenten en de betrokken onderwijsontwikkelaars, waarbij de ontwikkeling en implementatie van een portfolio als assessment voor de praktijk is onderzocht    (Jones, 2010).

Bij summatieve toetsing is men gericht op beoordeling van de leerprestaties, terwijl men bij formatieve toetsing informatie wenst te krijgen over de mate van beheersing van de leerstof om indien nodig het leerproces bij te sturen en het leren naast het lesgeven te optimaliseren (Schildkamp et al., 2014).

Onderzoek onder meer dan 900 studenten in de zorg laat zien, dat het toepassen van assessments in samenspraak met het gebruik van een portfoliomethodiek ook een betrouwbare vorm van ‘toetsing’ van competenties kan zijn. Tijdens het onderzoek zijn drie arbeidsgerelateerde assessmentmethoden voor toetsing van competenties onderzocht. Hieruit bleek, dat men de competentieontwikkeling kan bijhouden en daarnaast een eindoordeel kan geven over het resultaat (Bok et al., 2018).

Kwaliteit feedback supervisor versus zelfassessment

Wil men toetsing op basis van een portfoliomethodiek gestalte geven dan moet men voldoende aandacht bieden aan het geven van kwalitatief goede feedback van de supervisor of docent enerzijds en het realiseren van een kwalitatief goed zelfassessment van de deelnemer anderzijds.

Feedback – Volgens Bok et al. (2013) is het toepassen van assessments bij portfolio niet altijd eenvoudig. Hun onderzoek laat zien, dat de kwaliteit van de feedback (mede afhankelijk van de samenwerking tussen deelnemers naast sociale interactie en sturing door een persoonlijke mentor) van de supervisor cruciaal is. Daarnaast lijkt het volgens Bok et al. (2013) niet altijd eenvoudig om het leeraspect van de feedback voor de deelnemer te combineren met een belangrijk beslissingsmoment (oftewel een beoordeling).

Het formatief assessment moet echter leiden tot een summatieve beslissing. Daarom is het van belang om extra aandacht te besteden aan de kwaliteit van de feedback tijdens de individuele assessmentmomenten (Bok et al., 2013). Als deelnemers hun verkregen feedback tijdens hun opdracht strategisch gebruiken, blijven ze langer gemotiveerd en zijn ze ook het meest zeker, zo blijkt uit onderzoek onder volwassen deelnemers aan taalcursussen (Furnborough & Truman, 2009).

Zelfassessment – Daarnaast is het belangrijk, dat er voldoende aandacht is voor een goede vorm van zelfassessment. Een systematisch literatuuronderzoek naar zelfassessment onder radiologen laat zien, dat zelfassessment ingezet kan worden als (Bosma et al., 2007):

  • de deelnemers begeleid worden in het voorbereiden, up to date houden en voltooien van hun persoonlijke leven lang leren plannen;
  • de deelnemers begeleid worden in het selecteren van een zelfassessment, dat overeenkomt met hun educatieve plan en praktisch profiel;
  • men ervoor zorgt, dat de vragen integraal onderdeel van het zelfassessment zijn en geen overdenking achteraf, belangrijk en niet eenvoudig te meten zijn en dat ze actieve zelfassessment en -beoordeling uitlokken.

Toetsvormen uit het MBO

Bij de inzet van de portfoliomethodiek kunnen diverse toetsvormen worden gehanteerd. Voor het volwassenenonderwijs gebruikt men in sommige gevallen de toetsvormen van het MBO. Voor de examens Nederlands in het MBO worden allereerst de volgende vraagvormen gehanteerd (Sanders, 2016):

  • meerkeuzevragen met alternatieven;
  • matrixvragen met uitspraken die wel of niet juist zijn;
  • casusvragen bij instructieteksten.

Volgens Sanders (2016) is er daarnaast voor het onderdeel ‘Loopbaan en Burgerschap’ een inspanningsverplichting die door de mbo-docent gecontroleerd moet worden, terwijl dit voor de beroepsgerelateerde eisen een proeve van bekwaamheid is, die door beoordelaars moet worden beoordeeld (eventueel aangevuld met een verslag van de deelnemer).

Aan de hand van de negen beoordelingscriteria vanuit het mbo wordt helder, dat de portfoliobeoordeling voor het MBO niet aan alle vastgestelde criteria voldoet (Sanders, 2016). Er kan wel sprake zijn van authenticiteit, standaardisering, validiteit, flexibiliteit in afnametijdstip en generaliseerbaarheid van resultaten, maar transparantie, beoordelaarsonafhankelijkheid, betrouwbaarheid en leerwegonafhankelijkheid lijken niet altijd op te gaan (Sanders, 2016). Mogelijkerwijs geldt dit ook voor het volwassenenonderwijs.

Cesuur

Ook bij de inzet van de portfoliomethodiek zal men een cesuur moeten bepalen. Door de cesuur wordt beslist of een deelnemer voor de toets slaagt of zakt. De cesuur geeft dus de grens aan tussen een onvoldoende en voldoende op een toets (Molkenboer, 2019). Meestal wordt deze uitgedrukt in een cesuurscore, dat de laagste score is die tot een voldoende leidt (Molkenboer, 2019).

De cesuur van 55% is veel voorkomend, maar kan in twijfel getrokken worden door het feit dat er een ‘blinde raadkans’ is, door de vraag of iemand wel echt deskundig is als hij of zij 55% van de kennis weet en door de moeilijkheid van het examen zelf (Molkenboer, 2019). Daarom lijkt het goed om zeer nauwkeurig de cesuur te bepalen, bij voorkeur door de cesuur vooraf vast te stellen (Molkenboer, 2019).

Om de cesuur vast te kunnen stellen kan een cesuurmethode gehanteerd worden. Naast de kennispercentage-methode (vaststellen van bepaald kennispercentage waarover de deelnemer moet beschikken) zijn er methodes om met een panel van deskundigen de cesuur te kunnen vaststellen, te weten: de Angoff-methode, de Nedelsky-methode, de Ebel-methode, de IDEA-methode, de Jaeger-methode en de Direct Consensus Methode (Molkenboer, 2019). Volgens Norcini en Guille (2002) moet de gekozen cesuurmethode aan een aantal kenmerken voldoen, te weten:

  • De methode moet een realistische uitkomst opleveren.
  • De methode moet gebaseerd zijn op onderzoek.
  • De methode moet geloofwaardig zijn.
  • De betrokkenen moeten het eens zijn over de te hanteren methode.
  • De methode moet eenvoudig te begrijpen zijn.

Het vaststellen van de cesuur

Het vaststellen van de cesuur in het MBO wisselt (Sanders, 2016). Naast de eerdergenoemde meest gebruikte methode van een cesuur van 55% of 60% van de te behalen scorepunten laat Sanders (2016) een ander voorbeeld zien. Bij praktijkexamens wordt ook wel gebruik gemaakt van de indeling onvoldoende, voldoende (voor alle werkprocessen een voldoende) of goed (voor minimaal 75% van de werkprocessen een goed en voor de overige werkprocessen een voldoende).

Een ander voorbeeld bestaande uit 21 competenties en twee kerntaken, toont dat per kerntaak 75% van de werkprocessen behaald moet worden voor een voldoende en alle werkprocessen voor een goed (Sanders, 2016). Als alle competenties en kerntaken voldoende zijn, is de beroepsproeve behaald (Sanders, 2016).

Onderzoek dat zich meer toegespitst op het aanleren van taal- en rekenvaardigheden voor volwassenen laat een andere normering zien. Validatie-onderzoek naar lees- en schrijftoetsen voor volwassenen (betreffende Instroomniveau en niveau 1F) van De Greef et al. (2015) onder meer dan 900 deelnemers laat zien, dat de normering voor het te behalen niveau 1F per deelvaardigheid kan verschillen (Lam & De Greef, 2017; Lam & De Greef, 2018). Voor de deelvaardigheid lezen lag dit afhankelijk van de toetsversie tussen 52% en 86% (Lam & De Greef, 2017), terwijl dit voor schrijven tussen de 51% en 77% lag (Lam & De Greef, 2018). Deze cesuurbepaling is mede afhankelijk van de psychometrische gegevens en een standaardsetting die is uitgevoerd met professionals  (Lam & De Greef, 2017; Lam & De Greef, 2018).

Bij de rekentoetsen (betreffende Instroomniveau, niveau 1F en niveau 2F) lag de cesuur voor niveau 1F tussen de 60% en 69% en voor niveau 2F tussen de 90% en 100% (Van Groenestijn & De Greef, 2017). Deze onderzoeken laten zien, dat wil men het behaalde niveau behalen de cesuur niet op 100% hoeft te liggen.

Geraadpleegde bronnen 

  • Bok, H.G.J., Teunissen, P.W., Favier, R.P., Rietbroek, N.J., Theyse, L.F.H., Brommer, H., Haarhuis, J.C.M., Van Breukelen, P., Van der Vleuten, C.P.M. & Jaarsma, D.A.D.C. (2013). Programmatic assessment of competency-based workplace learning: when theory meets practice. BMC Medical Education, 13 (123).
  • Bok, H.G.J., De Jong, L.H., O’Neill, T., Maxey, C. & Hecker, K.G. (2018). Validity evidence for programmatic assessment in competency-based education. Perspectives on Medical Education, 7 (6), p. 362 – 372.
  • Bosma, J., Laszakovits, D. & Hattery, R.R. (2007). Self-Assessment for Maintenance of Certification. Journal of the American College of Radiology, 4, p. 45 – 52.
  • De Greef, M., Segers, M., Nijhuis, J., Lam, J-F., Van Groenestijn, M., Van Hoek, F., Van Deursen, A.J.A.M., Bohnenn, E. & Tubbing, M. (2015). The development and validation of testing materials for literacy, numeracy and digital skills in a Dutch context. International review of Education, 61 (5), p. 655 - 671.
  • Furnborough, C. & Truman, M. (2009). Adult beginner distance language learner perceptions and use of assignment feedback. Distance Education, 30 (3), p. 399 – 418.
  • Jones, E. (2010). A Professional Practice Portfolio for Quality Learning. Higher Education Quarterly, 64 (3), p. 292 – 312.
  • Lam, J.F. & De Greef, M. (2017). Verantwoording digitale voortgangstoets Lezen. ’s-Hertogenbosch: CINOP Advies.
  • Lam, J.F. & De Greef, M. (2018). Verantwoording digitale voortgangstoets Schrijven. ’s-Hertogenbosch: CINOP Advies.
  • Molkenboer, H. (2019). Cesuur en cesuur bepalen. Enschede: Bureau voor Toetsen & Beoordelen.
  • Norcini, J. & Guille, R. (2002). Combining tests and setting standards. In Norman, G.R., Van der Vleuten, C.P.M. & Newble, D.I. International handbook of research in medical education (pp. 811-834). Springer, Dordrecht, p. 811 – 834.
  • Sanders, P. (2016). Toetsen op School Middelbaar beroepsonderwijs. Arnhem: Cito.
  • Schildkamp, K., Heitink, M., Van der Kleij, F., Hoogland, I., Dijkstra, A., Kippers, W. & Veldkamp, B. (2014). Voorwaarden voor effectieve formatieve toetsing: Een praktische review. Enschede: Universiteit Twente.
  • Van Groenestijn, M. & De Greef, M. (2017). Validatie- en verantwoordingsrapportage digitale Voortgangstoetsen Rekenen voor het programma ‘Taal voor het Leven’. Woerdem: ALL educatief.

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Lespakket
Veilig van A naar B met Streetwise Digitaal
Veilig van A naar B met Streetwise Digitaal
Probeer de nieuwe digitale leerlijn van de ANWB schooljaar 2023-2024 gratis uit. Meld je nu aan!
ANWB 
E- learning module
Emotieregulatie uitgelegd
Emotieregulatie uitgelegd
Krijg inzicht in emoties en hoe je emoties reguleert
Medilex Onderwijs 
Scholing
Toetsen en evalueren
Toetsen en evalueren
Welke vormen zijn er en hoe zet jij ze in?
oo.nl 
E-learning module
Wat is formatieve evaluatie?
Wat is formatieve evaluatie?
Online module over formatieve evaluatie
Wij-leren.nl Academie 
Veilig van A naar B met Streetwise DigitaalFormatieve assessment
Leren zichtbaar maken met formatieve assessment - In de praktijk.
Arja Kerpel
Leerproces evalueren
Praten over het leerproces bevordert metacognitieve vaardigheden
Annemieke Top
Het innoveren van een digitaal portfolio
Behoedzaam innoveren van een digitaal portfolio
Maaike van de Loo
Stimuleert een digitaal portfolio zelfsturing?
Zelfsturing stimuleren met een digitaal portfolio
Maaike van de Loo
Kind is eigenaar van zijn ontwikkeling
Het kind is eigenaar van zijn ontwikkeling en is daarvoor competent
Luc Stevens
Tabletprogramma's ondermijnen eigenaarschap
De leerling eigenaar van het leerproces? Niet met digitale oefenprogramma's!
Dolf Janson
Organiseren gepersonaliseerd leren
Hoe organiseer je gepersonaliseerd onderwijs?
Tijl Rood
Differentiatie zelfregulatie (1)
Beter differentiëren dankzij zelfgereguleerd differentiëren
Michel Verdoorn
Formatief evalueren
Formatief evalueren, hoe pak ik dat aan in mijn les? Tien voorbeelden
Gerdineke van Silfhout
Handboek leren leren
Handboek leren leren - 5 krachtige principes
Arja Kerpel


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Zelfregulatie in een video van één minuut uitgelegd
Zelfregulatie in een video van één minuut uitgelegd
redactie
Maarten van Buuren over autonomie en zelfsturing volgens Spinoza
Maarten van Buuren over autonomie en zelfsturing volgens Spinoza
redactie
Motivatie in een video van één minuut uitgelegd
Motivatie in een video van één minuut uitgelegd
redactie
Onderwijskwaliteit in een video van één minuut uitgelegd
Onderwijskwaliteit in een video van één minuut uitgelegd
redactie
Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
Hoeveel eigenaarschap kunnen professionals aan? Tjipcast 0012
Hoeveel eigenaarschap kunnen professionals aan? Tjipcast 0012
redactie
Het belang van autonomie en zelfsturing: Tjipcast 002
Het belang van autonomie en zelfsturing: Tjipcast 002
redactie
Belonen gewenst gedrag blijvend effect op gedragsontwikkeling
Heeft belonen van gewenst gedrag een blijvend effect?
Lage toetsresultaten in vo en motivatiegebrek
Zijn nederlandse leerlingen nog gemotiveerd?
Effecten leerlinggestuurd onderwijs motivatie
Vergroot leerlinggestuurd onderwijs de motivatie van leerlingen?
Klassenverkleining in het vo
Wat zijn effecten van klassenverkleining in het voortgezet onderwijs?
leren van leerlingen basis-kader-beroepsgerichte leerweg
Leren leerlingen van het vmbo anders?
Interventies versterken van motivatie volwassen NT2 deelnemers
Hoe versterk je online het actief leren van volwassen NT2-deelnemers?
Competenties van werkbegeleiders in hybride leeromgevingen mbo
Welke competenties zijn nodig voor begeleiders in hybride leeromgevingen?
Effect vooraf toetsen rekenprestaties en zelfvertrouwen
Wat is het effect van vooraf toetsen?
Leidt eigenaarschap tot betere leerprestaties?
Leidt eigenaarschap tot betere leerprestaties?
Hoe bevorder je studievaardigheden en zelfsturing van laagopgeleide nt2 leerlingen?
Hoe bevorder je zelfsturing van laagopgeleide nt2-leerlingen?
Geloof eigen kunnen leraren
Omgaan met diversiteit en geloof in eigen kunnen van leraren
Scaffoldingstechnieken
Toepasbaarheid van scaffoldingstechnieken bij zelfregulatievaardigheden
Toetsen-leertrajecten
Gebruik van toetsen bij het plannen van leertrajecten
Intrinsieke motivatie
Het motiveren van leerlingen met verschillende prestatieniveaus en achtergrondkenmerken
Formatief toetsen po
Selfassessment voor formatief toetsen van basisschoolleerlingen
[extra-breed-algemeen-kolom2]



autonomie
eigenaarschap
examencommissie
formatief toetsen
intrinsieke motivatie
onderwijskwaliteit
portfolio
self-efficacy
toetsen
zelfbeoordeling
zelfregulatie

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest