Objectief beoordelen van taalproducten: een (on)mogelijke opgave

Gerdineke van Silfhout

Curriculumontwikkelaar Taal bij SLO

 

  Geplaatst op 1 juni 2015

"Bij u heb ik altijd een 5, vorig jaar haalde ik zelfs een 10!"

Meer dan dertig studenten die in een week een mondeling tentamen of examen moeten doen: een bekend fenomeen in het mbo.

En alle dertig studenten verdienen een gelijke, objectieve beoordeling.

Maar juist het zo objectief mogelijk beoordelen van productieve vaardigheden is iets waar veel docenten mee worstelen.

  • ‘Hoe zorg ik er nu voor dat ik op dezelfde manier beoordeel als mijn collega?’
  • ‘Hoe voorkom ik nou dat ik coulanter of juist strenger ga beoordelen als ik veertien producten heb beoordeeld?’
  • ‘Hoe vermijd ik de neiging om die altijd-te-laat-komer en kantjes-af-loper een 6 te geven, terwijl het eigenlijk een 7 waard is?’

Hieronder geef ik enkele aanbevelingen om zo objectief mogelijk te beoordelen. Dit doe ik aan de hand van een voorbeeldopdracht bij Nederlands waarbij getoetst wordt of een student het onderdeel Spreken beheerst op referentieniveau 2F.

De geboden handvatten hebben betrekking op:

  1. de voorbereiding;
  2. de afname;
  3. de beoordeling.

1. De voorbereiding van de afname

Een mondelinge toets objectief beoordelen kan alleen als van tevoren duidelijk is wat er beoordeeld moet worden en hoe het beoordeeld moet worden.

Allereerst moet voor een leerling de opdracht duidelijk geformuleerd zijn. Zo’n opdracht bevat tenminste de volgende onderdelen:

  1. Wat ga je doen? Bijvoorbeeld: Voer een sollicitatiegesprek aan de hand van een zelfgezochte vacature.
  2. Wat is het doel van de beoordeling? Bijvoorbeeld: Je beheerst Gesprekken voeren op 2F.
  3. Wat is de voorbereiding? Bijvoorbeeld: Zoek een vacature die voldoet aan de volgende eisen (x, y, z). Geef ook aan hoe lang de leerling de tijd heeft om zich voor te bereiden.
  4. Hoe ziet het examen eruit? Geef informatie over de duur van het examen (hoeveel minuten productie) en de inhoudelijke onderwerpen die aan bod moeten komen.
  5. Welke hulpmiddelen mag je gebruiken. Bijvoorbeeld: je mag aantekeningenmeenemen.
  6. Waar word je op beoordeeld? Bijvoorbeeld de beoordelingsaspecten uit het referentiekader voor Spreken op referentieniveau 2F.

Bekijk de opdracht Spreken 2F.

Je hebt meegedaan aan een loterij en je hebt een miljoen euro gewonnen. Tijdens de bijeenkomst Jonge Miljonairs vertel jij over je plannen met het geld. Je wilt in ieder geval een goed doel steunen.

Je mag de informatie zelf verzinnen.

  • Vertel sinds wanneer je meedoet aan de loterij en waarom je meedoet. 
  • Vertel hoe je reageerde toen je miljonair was geworden. Vertel ook hoe je omgeving (familie, vrienden) reageerde.
  • Leg uit wat je plannen zijn met het geld. Noem minimaal twee dingen die je ermee wilt gaat doen.
  • Leg uit waarom je deze dingen wilt doen. Geef steeds een argument.
  • Vertel welk goede doel je wilt steunen en voor welk bedrag je dat wilt doen.
  • Leg uit waarom je voor dit goede doel hebt gekozen. Geef minimaal twee argumenten.
  • Reageer op vragen en/of opmerkingen uit het publiek.

Wat is er mis met de bovenstaande opdracht? Ten eerste wordt niet duidelijk wat het doel van de toets is, hoeveel productie de student moet leveren (aantal minuten) en welke hulpmiddelen hij mag gebruiken. Maar het belangrijkste is dat de student niet weet waarop zijn product wordt beoordeeld.

  • Gebruik een vastgesteld beoordelingsmodel

Objectief beoordelen is alleen mogelijk wanneer beoordeeld wordt aan de hand van een vastgesteld beoordelingsmodel, waarin de beoordelingscriteria zich niet – ofzo min mogelijk – lenen tot persoonlijke interpretatie van de beoordelaars.

Het gebruik van een beoordelingsmodel voorkomt dat de ene docent vooral let op aspecten zoals bijvoorbeeld een goed gebruik van lidwoorden en een andere docent op de samenhang van het gesprek of de presentatie.

  • Neem de beoordeling met de student door

Bij veel toetsen is het referentiekader (voor Nederlands) of het ERK (voor NT2 of moderne vreemde talen) het uitgangspunt. Deze beschrijven een aantal aspecten zoals:

  • samenhang;
  • woordenschat;
  • afstemming op het doel en publiek;
  • vloeiendheid;
  • verstaanbaarheid;
  • grammaticale beheersing.

Spreek de beoordelingsaspecten ook van tevoren met de student door, zodat hij weet waarop zijn product beoordeeld wordt. Maar niet alleen de student, maar ook u als docent dient zich goed voor te bereiden op het gesprek of de presentatie. Ga na wat uw rol/functie is als gesprekspartner en wat de rol van de student is.

2. Tijdens de afname

Hieronder kunt u het fragment beluisteren van student Bing die de bovenstaande opdracht heeft voorbereid en uitgevoerd.

Geluidsfragment student Bing

Ik bespreek hieronder enkele tips om een product Spreken of Gesprekken voeren objectief te beoordelen.

  1. Zorg ervoor dat u tijdens een toets niet zowel de rol van de gespreksleider/ -partner als beoordelaar vervult. In de praktijk blijkt dat er vaak maar één docent aanwezig is bij de afname, vanwege het ontbreken van tijd en middelen. Is dat het geval, beoordeel dan niet tijdens de afname. Neem de presentatie of het gesprek op, zodat u of uw collega het later kan afluisteren (dat kan met een handige app op een smartphone). En beoordeel bij voorkeur niet uw eigen studenten, maar die van een collega. Een andere oplossing kan zijn om een toets af te nemen waarbij een docent Nederlands beoordelaar is en een vakdocent de gespreksleider/-partner. Zo kan er een link gelegd worden met de andere vakken en werkt u efficiënt en vakoverstijgend. 
  2. Volg zoveel mogelijk de richtlijnen in de opdracht, zodat alle studenten een zo gelijkwaardig mogelijk examen af kunnen leggen.
  3. Geef bij toetsen 'Gesprekken voeren' de student zoveel mogelijk ruimte om taal te produceren: stel open vragen en vraag door, neem zelf zo min mogelijk het woord en geef de student de kans om het gesprek te sturen, om beurten te nemen en samenhang aan te brengen. Bij een presentatie (Spreken) daarentegen is de rol van de gespreksleider beperkt. Bij dit onderdeel moet de student zelf zorgen voor voldoende taalproductie.

Een voorbeeld:

Een student bespreekt het inhoudelijke punt ‘Leg uit waarom je voor dit doel hebt gekozen aan de hand van twee argumenten’ niet uit zichzelf, omdat het gesprek door een aantal doorvragingen een wending nam. Bij de toetsen 'Gesprekken voeren' vraagt de gespreksleider er daarom expliciet naar en geeft de student alsnog een volledig en onderbouwd antwoord.

Straft u de student af? Ons advies: nee, wees daarin niet te streng. Anders is het bij het onderdeel Spreken. Een student heeft vaak minimaal twee weken de tijd om zich voor te bereiden  en mag ook hulpmiddelen als kladpapier/powerpoint gebruiken tijdens de presentatie. Komen een of meerdere inhoudspunten dan niet aan de orde, dan mag dit de student wel worden aangerekend.

3. En dan na de afname: de beoordeling

Al eerder noemde ik dat een objectieve beoordeling alleen kan worden gemaakt als de docent beoordeelt aan de hand van een beoordelingsmodel. Zowel het referentiekader als het ERK onderscheiden voor zowel Schrijven,Spreken en Gesprekken voeren verschillende aspecten. Hieronder vindt u de omschrijvingen van de deelaspecten Spreken 2F.

Samenhang Kan een duidelijk verhaal houden met een samenhangende opsomming van punten en kan daarbij het belangrijkste punt duidelijk maken. Gebruikt korte eenvoudige zinnen en verbindt deze door de juiste, eenvoudige voegwoorden en verbindingswoorden.
Afstemming op doel Geeft spreekdoel duidelijk vorm (instruerend, informatief, onderhoudend enz.) zodat het voor de luisteraar herkenbaar is.
Afstemming op publiek Kan het verschil tussen formele en informele situaties hanteren. Maakt de juiste keuze voor het register en het al dan niet hanteren van taalvariatie (dialect, jongerentaal). Kijk de luisteraar(s) boeien door middel van concrete voorbeelden en ervaringen.
Woordgebruik en woordenschat Zie Gesprekken
Vloeiendheid, verstaanbaarheid en grammaticale beheersing

Zie Gesprekken
+
Is goed te volgen en kan zich gemakkelijk uitdrukken. Vloeiendheid kan minder zijn als er nagedacht moet worden over de grammaticale vorm, de te kiezen woorden en herstel van fouten. 

Voor het referentiekader Taal en Rekenen klik hier

Tips voor het beoordelen

1. Beoordeel de verschillende aspecten afzonderlijk van elkaar, zoals:

  • samenhang;
  • woordenschat;
  • afstemming op doel;
  • grammaticale beheersing.

Het kan zijn dat een onvoldoende beheersing van het ene aspect het andere kan beïnvloeden. Toch is het belangrijk om elk aspect te beoordelen aan de hand van de beschrijvingen en criteria die bij dat aspect horen. Voor de voordracht van Bing zou een beoordeling Spreken 2F er als volgt uit kunnen zien:

Samenhang
Bing brengt op eenvoudige wijze samenhang aan door middel van een eenvoudige opbouw en veelvoorkomende voeg- en verwijswoorden, zoals dat, omdat en maar.

Afstemming op doel
Bing bereikt zijn spreekdoel. 

Afstemming op het publiek
Bing past zijn woordgebruik en toon aan het publiek aan.

Woordenschat en woordgebruik
Bing heeft een redelijk goede woordenschat en wisselt af in woordgebruik. Zijn woordgebruik is echter niet excellent.

Zo zegt hij bijvoorbeeld: “Uh ik ga denk ik de goede doel steunen ja uh met arme kinderen voor arme landen.”

Vloeiendheid, verstaanbaarheid en grammaticale beheersing
Bing is duidelijk verstaanbaar. Het spreektempo is vrijwel normaal met hier en daar wat haperingen, zoals Eh, lot – eh loterij.

Bing laat een redelijke grammaticale beheersing zien, hoewel er ook nog fouten in de zinsconstructie en woordverbuiging voorkomen, zoals Het leek me wel een goeie doel.

En: toen ik die miljoen had gewonnen., Het uitgaan dat wilt iedereen wel. en Natuurlijk ga ik door gewoon met werken.

Oordeel: Bing heeft de afzonderlijke aspecten allemaal voldoende (2F), maar niet excellent uitgewerkt.

2. Nog belangrijker, reken een fout niet dubbel aan.

Bijvoorbeeld, een leerling plakt zin na zin als met komma’s aan elkaar en dat zonder verbindingswoorden. Beoordeel dit dan een keer: ofwel onder het aspect samenhang ofwel onder grammaticale beheersing. In een sectie- of assessorenoverleg is het vervolgens van belang om af te stemmen waar een dergelijke fout onder aangerekend wordt.

3. Maak aantekeningen tijdens de beoordeling en neem toetsen op.

Zo is er altijd de mogelijkheid om een second/third opinion te vragen bij een collega, zeker wanneer het gaat om een product rond de zak/slaaggrens.

4. Organiseer minimaal een keer per jaar een beoordelaarsoverleg.

Het uitwisselen van beoordelingservaringen en –moeilijkheden en het afstemmen met collega’s is cruciaal bij een objectieve beoordeling. Bespreek een aantal beoordelingen met elkaar na, bepaal welke productiefouten je onder welk aspect aanrekent, hoe streng of coulant je omgaat met het aantal minuten productie en hoeveel je mag bijsturen tijdens de toetsen Gesprekken voeren.

Maar…beoordelen van taalproductie blijft mensenwerk en dus is volledige objectiviteit en beoordelaarsbetrouwbaarheid onmogelijk. De bovenstaande tips maken het wel mogelijk om er dicht bij in de buurt te komen!

Bent u een betrouwbare beoordelaar? Doe daarvoor de test op www.toets.nl/beoordelaarstest.

Samenvatting

Het artikel behandelt het streven naar objectieve beoordeling van mondelinge examens in het MBO, waarbij duidelijke voorbereiding, gebruik van beoordelingsmodellen en afstemming met studenten cruciaal zijn. Tijdens afnames moeten docenten vermijden tegelijkertijd gespreksleider en beoordelaar te zijn. Na afname is een gedetailleerde beoordeling van verschillende aspecten essentieel, met advies om fouten niet dubbel aan te rekenen. Regelmatig overleg tussen beoordelaars bevordert consistentie. De tekst benadrukt het subjectieve aspect van taalbeoordeling en stelt methoden voor om dit te minimaliseren. De genoemde tips en richtlijnen bieden houvast, maar volledige objectiviteit blijft moeilijk. De tekst eindigt met een suggestie om de betrouwbaarheid als beoordelaar te testen.

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Congres
Kleuters met een ontwikkelingsvoorsprong
Kleuters met een ontwikkelingsvoorsprong
Begeleiden van kiene kleuters in de klas
Medilex Onderwijs 
Webinar
Taalontwikkeling en taalbeleid
Taalontwikkeling en taalbeleid
Gratis webinar met Karen Heij
Wij-leren.nl Academie 
ERK curriculum
Over zwemdiploma's, judobanden en een nieuwe versie van het ERK
René Leverink
Examenvrees
Eindexamenvrees: Een mislukking is nog geen ramp!
Ivo Mijland
Goede schoolteksten
Een goede schooltekst. Het begin van goed leesonderwijs.
Gerdineke van Silfhout
Functionele toetsvragen
Bronnen en contexten in toetsvragen niet functioneel
Gerdineke van Silfhout
Gevolgen verplichte eindtoets
Veel gestelde vragen over verplichte eindtoets, gevolgen po/vo
Gerdineke van Silfhout
Teaching to the test
De vicieuze cirkel van teaching to the test
Marjolein Zwik
Route 8 en IEP eindtoets
Wat valt er te kiezen naast de Centrale Eindtoets Basisonderwijs?
Gerdineke van Silfhout
Leuke schoolteksten
Hoe leuk moeten we schoolteksten maken? Opleuken helpt niet!
Gerdineke van Silfhout
Belang van een goed beoordelingsmodel
Het belang van een goed beoordelingsmodel
Karen Heij


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Wat is tegenwoordig nog de waarde van kennis?
Wat is tegenwoordig nog de waarde van kennis?
redactie
Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
[extra-breed-algemeen-kolom2]



kerndoelen
leerkrachtvaardigheden
observatiemethoden
slaagpercentage
toetsen
woordenschat

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest