Welke omstandigheden en welk docentengedrag dragen bij aan de betrouwbaarheid van een vragenlijst bij klassikale afname?

Geplaatst op 2 maart 2021

Het weinige onderzoek naar afname van klassikale vragenlijsten laat zien dat studenten minder twijfels hebben over de vertrouwelijkheid van hun gegevens als er een onderzoeker aanwezig is. Als ze ruimer tijd hebben om de vragenlijst in te vullen, ronden meer studenten de vragenlijst af. Uit onderzoek buiten het onderwijs blijkt dat bij het individueel afnemen van vragenlijsten de resultaten betrouwbaarder zijn als de vragen verduidelijkt worden voor respondenten. Het kan dus behulpzaam zijn, als docenten vragen verhelderen bij klassikale afname van een vragenlijst.

De betrouwbaarheid van een vragenlijst zegt iets over consistentie, ofwel de mate waarin resultaten hetzelfde zijn als de vragenlijst – onder dezelfde omstandigheden – wordt herhaald. Als het gaat om betrouwbaarheid bij het afnemen van vragenlijsten in verschillende klassen, is het van belang dat de omstandigheden in voldoende mate vergelijkbaar zijn zodat in alle klassen hetzelfde wordt gemeten.

Reflectie op omstandigheden en docentengedrag

Contextfactoren, omstandigheden en gedragingen van onderzoekers, studenten of docenten bij afname van vragenlijsten, zijn nauwelijks onderwerp van zelfstandig onderzoek. Tijdens een van de weinige uitzonderingen waarbij wel reflecties plaatsvonden, vulden studenten klassikaal vragenlijsten in, terwijl er al dan niet een onderzoeker naast de eigen docent aanwezig was.
Studenten die de vragenlijst invullen terwijl er een onderzoeker bij is, uiten minder vaak zorgen over de vertrouwelijkheid van de uitkomsten dan studenten waar geen onderzoeker bij aanwezig is. Het is mogelijk dat bij een meer gevoelig onderwerp, zoals seksuele voorlichting, dit een grotere rol speelt dan bij bijvoorbeeld vragen over tevredenheid over school. Wanneer studenten meer dan een half uur de tijd hebben de vragenlijst in te vullen, ronden ze die vaker af, dan wanneer er minder dan een half uur voor wordt uitgetrokken.

Diepere reflectie op omstandigheden en docentengedrag

Ook andere aspecten hebben mogelijk invloed op de uitkomsten. Voorbeelden zijn enthousiasme van docenten, klassennormen, en de relatie tussen onderzoeker en studenten. Bij docenten die het onderzoek minder belangrijk achten, zijn studenten vaker afwezig bij de afname van de vragenlijst, dan bij docenten die wel belang hechten aan het onderzoek.
Studenten vullen graag een vragenlijst in als ze een vak dat ze minder leuk vinden, daardoor kunnen overslaan. Ook beantwoorden ze de vragenlijst enthousiaster als ze zich geen zorgen hoeven te maken over ander schoolwerk. Het is echter onduidelijk wat dit betekent voor de betrouwbaarheid van de vragenlijst.

Vragen verhelderen versterkt betrouwbaarheid resultaten

De manier waarop een vraag wordt gesteld, beïnvloedt het antwoord. Kleine afwijkingen in de bevraging kunnen andere resultaten opleveren. Verschillende mensen kunnen dezelfde vraag anders interpreteren.
Als vragen online of op papier beschikbaar zijn, vult een respondent vaak zelf de vragenlijst in. Wordt een vragenlijst via de telefoon of in fysieke aanwezigheid afgenomen, dan stelt een interviewer de vragen. Toch bieden deze vormen van standaardisatie geen garantie dat respondenten de vragen op dezelfde manier interpreteren. Het kan behulpzaam zijn als de interviewer de vraag tijdens de afname toelicht. Het is belangrijker dat de bedoelde betekenis van de vraag overeenkomt, dan dat dezelfde woorden gebruikt worden. Van belang is om interviewers te trainen op de betekenis van de vragen, zodat zij dezelfde uitleg en toelichting geven.

De docent als interviewer

Bovenstaande bevindingen zijn voorzichtig te interpreteren voor het onderwijs, voor docenten die in de klas een vragenlijst afnemen. Mogelijk is het behulpzaam als een docent bepaalde aspecten toelicht, om te bevorderen dat studenten vragen op dezelfde wijze interpreteren. Net als voor de interviewers, is het belangrijk dat de docenten een gemeenschappelijk beeld hebben bij de bedoelingen van de vragen, zodat studenten deze uniform interpreteren.

Uitgebreide beantwoording

Opgesteld door: Sandra Wagemakers (kennismakelaar Kennisrotonde)
Vraagsteller: docent en beleidsmedewerker mbo-instelling

Vraag

Welke omstandigheden en welk gedrag van docenten dragen bij aan de betrouwbaarheid van een (externe) vragenlijst bij klassikale afname (in het vmbo/mbo)?

Kort antwoord

Er is weinig onderzoek gedaan naar het effect van de omstandigheden waarin een vragenlijst wordt afgenomen en gedrag door betrokkenen bij de vragenlijst. Het weinige beschikbare onderzoek naar afname van klassikale vragenlijsten laat zien dat studenten minder twijfels hebben over de vertrouwelijkheid van hun gegevens als er een onderzoeker aanwezig is. Als studenten meer tijd hebben om de vragenlijst in te vullen, ronden meer studenten de vragenlijst af. Ook blijkt uit onderzoek buiten het onderwijs onder volwassenen dat bij het individueel afnemen van vragenlijsten de resultaten betrouwbaarder zijn als de vragen verhelderd worden voor respondenten in lijn met de bedoeling van de vragenlijst. Dit suggereert dat het mogelijk behulpzaam kan zijn als docenten vragen ook verhelderen bij de klassikale afname van een vragenlijst.

Toelichting antwoord

De betrouwbaarheid van een vragenlijst zegt iets over consistentie van een vragenlijst: de mate waarin resultaten hetzelfde zijn als de vragenlijst, onder dezelfde omstandigheden, wordt herhaald. Een valide vragenlijst meet wat het beoogt te meten. Bijvoorbeeld, als tevredenheid over een docent wordt gemeten weerspiegelen de antwoorden op de vragen de daadwerkelijke tevredenheid over een docent en niet tevredenheid over de school. Als we het hebben over betrouwbaarheid bij het afnemen van klassikale (externe) vragenlijsten in verschillende klassen gaat het er om dat de omstandigheden (bijvoorbeeld wanneer de vragenlijst wordt afgenomen of wat er voorafgaand in de klas is gebeurd) in zulke mate vergelijkbaar zijn dat er hetzelfde wordt gemeten in de verschillende klassen. In andere woorden, bij een betrouwbare afname van een vragenlijst zijn de verschillen die gevonden worden tussen verschillende klassen niet te wijten aan de omstandigheden waarin de vragenlijst is afgenomen en docentengedrag tijdens de afname van de vragenlijst. De gevonden verschillen zijn dan daadwerkelijke verschillen omdat studenten andere ervaringen hebben.

Methodologieboeken en methode-paragrafen in onderzoeksverslagen besteden doorgaans aandacht aan de formulering van (schaal)vragen, testafnames, dataverzameling en -verwerking en andere procedures om de validiteit en betrouwbaarheid van metingen met vragenlijsten te verantwoorden. De contextfactoren, verdere omstandigheden en gedragingen van betrokkenen (zoals onderzoekers, studenten en docenten) die daarop mogelijk van invloed zijn, zijn als zodanig nauwelijks onderwerp van zelfstandig onderzoek. In methodologische verantwoordingen in rapporten over diverse onderwerpen wordt vaak wel iets genoemd over de afname, bijvoorbeeld dat de vragenlijst klassikaal is afgenomen of dat er bepaalde instructies waren bij afname.

Ook in deze verantwoordingen wordt er echter niet of nauwelijks gereflecteerd op de omstandigheden en docentgedrag in de verschillende klassen waarin de vragenlijsten zijn afgenomen. Zo vermeldt de JOB-monitor dat studenten zelf konden kiezen waar en wanneer ze de vragenlijst invulden, maar dat dit meestal in de klas gebeurden (JOB Monitor, 2020). Hierbij wordt echter niet gereflecteerd of het al dan niet klassikaal invullen en de omstandigheden van het klassikaal invullen invloed hebben op de resultaten.

Onderzoek naar sociale context bij afname van klassikale vragenlijst

Een van de weinige uitzonderingen waarbij wel gereflecteerd wordt op de omstandigheden en gedrag van docenten bij klassikale afname van een vragenlijst is een artikel van Strange en collega’s (2003). Zij reflecteren op de invloed van de sociale context binnen hun onderzoek naar seksuele voorlichting in 170 klassen in 27 Engelse scholen onder 13-14 jarigen. In 86 klassen en bij 10 scholen zijn meer gedetailleerde gegevens verzameld over de sociale context waarin de vragenlijst is afgenomen. Vragenlijsten werden klassikaal door alle studenten tegelijkertijd ingevuld terwijl er al dan niet een onderzoeker naast de eigen docent aanwezig was. Uit het onderzoek blijkt dat studenten die de vragenlijst invulden terwijl er een onderzoeker bij was, minder vaak zorgen uitten over de vertrouwelijkheid van de uitkomsten dan studenten waar geen onderzoeker bij aanwezig was. Het is mogelijk dat bij een meer gevoelig onderwerp, zoals seksuele voorlichting, dit een grotere rol speelt dan bij bijvoorbeeld vragenlijsten over tevredenheid over school. Ook plaatsen studenten waarbij een onderzoeker in de klas was minder vaak opmerkingen in de vragenlijst waaruit bleek dat ze niet begrepen waarom de studie plaatsvond of waarom specifieke vragen gesteld werden. Bovendien bleek dat als er meer dan 30 minuten voor de vragenlijst werd uitgetrokken, studenten vaker de vragenlijst afrondden dan als dit minder dan 30 minuten was.

Op basis van opmerkingen van studenten bij de vragenlijst, en ook op basis van observaties van onderzoekers in de klassen, benoemen Strange en collega’s nog verschillende andere aspecten die mogelijk invloed hebben op de uitkomsten, zoals enthousiasme van docenten, klassennormen en de relatie tussen onderzoekers en studenten. De onderzoekers suggereren dat bij docenten die er blijk van geven het onderzoek minder belangrijk te vinden, studenten vaker (vanwege andere verplichtingen) afwezig waren bij de afname van de vragenlijst dan bij docenten die meer belang hechten aan het onderzoek. Docenten die zich enthousiast over het onderzoek uitten, deden juist veel moeite om afwezige studenten alsnog de vragenlijst te laten invullen. In het geval van dit specifieke onderzoek heeft dit mogelijk effecten op de betrouwbaarheid en representativiteit van de uitkomsten: afwezige studenten zijn mogelijk kwetsbare jongeren met risico’s op het gebied van seksuele gezondheid. Bij het uitzetten van (externe) vragenlijsten over een specifiek onderwerp kan het goed zijn om hier over na te denken om de representativiteit van de resultaten te waarborgen.

Daarnaast blijkt uit opmerkingen van studenten dat ze enthousiaster de vragenlijst invulden als ze blij waren dat ze een vak dat ze minder leuk vinden konden missen voor het invullen van de vragenlijst, en dat ze enthousiaster de vragenlijst beantwoordden als ze zich geen zorgen maakten over ander schoolwerk (Strange e.a., 2003). Het is echter onduidelijk wat dit betekent voor de betrouwbaarheid van de vragenlijst.

Omgaan met verhelderende vragen van respondenten/studenten

Uit onderzoek blijkt dat de manier waarop een vraag wordt gesteld het door de respondent gegeven antwoord beïnvloedt. Kleine afwijkingen in de bevraging kunnen andere resultaten opleveren (zie bijvoorbeeld literatuuroverzicht Kalton & Schuman, 1982). Niet-ambigue vragen bestaan nauwelijks en vragen worden geïnterpreteerd afhankelijk van de context waarin de vraag wordt gesteld, bijvoorbeeld afhankelijk van welke vraag eraan vooraf gaat (Houtkoop-Steenstra, 2000).

Verschillende mensen kunnen dezelfde vraag anders interpreteren. Uit een Amerikaans onderzoek naar rookgedrag blijkt dat weinig respondenten uit zichzelf om verduidelijking vragen, zelfs als er van te voren wordt benadrukt dat ze om verduidelijking mogen vragen (Suessbrick e.a., 1999).
Als vragenlijst-onderzoek online of op papier wordt uitgevoerd vult een respondent vaak zelf de vragenlijst. Als een vragenlijst echter via de telefoon of in persoon wordt afgenomen stelt een interviewer de vragen uit de vragenlijst aan een respondent. Vaak wordt er vanuit gegaan dat standaardisatie van dergelijke interviews betekent dat alle respondenten dezelfde vragen en antwoorden krijgen, in de veronderstelling dat respondenten de vragen en antwoorden dan op dezelfde manier interpreteren.

Echter, doordat de bedoelde betekenis niet altijd overeen komt met de betekenis die de respondent geeft, kan het juist behulpzaam zijn als de vraag tijdens de afname verder wordt toegelicht (Houtkoop-Steenstra, 2000; Schober e.a., 2004). Houtkoop-Steenstra (2000) beargumenteert op basis van ander (theoretisch) onderzoek en door het analyseren van gesprekken uit interviews van vragenlijst onderzoeken dat het belangrijker is dat de bedoelde betekenis overeen komt, dan dat dezelfde woorden gebruikt worden. Hierbij is het belangrijk dat de interviewers getraind worden op de betekenis van de vragen zodat zij dezelfde definitie voor ogen hebben. Hoewel een interviewer misschien niet precies weet wat de onderzoeker heeft bedoeld met een vraag, kan kennis over het onderzoek en de vragenlijst wel helpen bij een uitleg van de vragen (Houtkoop-Steenstra, 2000).

Onderzoek naar vragen over meubels en het leven in een huishouden laat zien dat volwassen respondenten vragen betrouwbaarder beantwoorden als ze verheldering konden krijgen dan wanneer de interpretatie aan henzelf werd over gelaten. Onderzoek naar het verschil tussen gestandaardiseerde interviews (waarbij de woorden van de vragenlijst hetzelfde blijven) en conversatie interviews (waarbij de betekenis van de vraag hetzelfde blijft), laat zien dat conversatie interviews tot meer vergelijkbare antwoorden onder respondenten leiden dan gestandaardiseerde interviews. In conversatie interviews helpen interviewers de respondenten om de vragen zo te interpreteren als de opsteller van de vragenlijst bedoeld heeft (Schober e.a., 2004).

Helaas is er geen dergelijk onderzoek gedaan onder (v)mbo studenten. Wel kunnen we de resultaten uit deze onderzoeken voorzichtig interpreteren in het licht van de situatie waarin een docent voor een klas staat en een externe vragenlijst afneemt. Mogelijk is het behulpzaam als een docent bepaalde aspecten toelicht om te bevorderen dat vragen op dezelfde wijze worden geïnterpreteerd, ook zonder dat studenten om verheldering vragen. Net als voor de interviewers, is het belangrijk dat verschillende docenten dan wel een gemeenschappelijk beeld hebben bij de bedoelingen van de vragen uit de vragenlijst zodat deze uniform worden geïnterpreteerd. Het helpt daarbij als docenten zich bewust zijn van het doel en de achtergrond van het onderzoek.

Geraadpleegde bronnen 

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Gerelateerd

Webinar
Wat kun je wel en niet met toetsen in het onderwijs?
Wat kun je wel en niet met toetsen in het onderwijs?
Gratis webinar met Karen Heij
Wij-leren.nl Academie 
Congres
Kleuters met een ontwikkelingsvoorsprong
Kleuters met een ontwikkelingsvoorsprong
Begeleiden van kiene kleuters in de klas
Medilex Onderwijs 
UUU werkmodel
Leren van docenten: een methodiek voor professionele ontwikkeling
Robert-jan Simons
Leraar als professional
Over de rol van docenten 2022: nieuwe visie, toezicht en controle
Filip Dochy
Naar een goede toets
Toetsen die recht doen aan de leerling: 5 stappen naar een goede toets
Eveline van Baalen
Toetsen en hulp(middelen)
Toetsen met of zonder hulp(middelen)?
Teije de Vos
Lef om te luisteren
Lef om te luisteren - Hoe luister je nu echt naar leerlingen?
Arja Kerpel


Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Toetsen in een video van één minuut uitgelegd
Toetsen in een video van één minuut uitgelegd
redactie
[extra-breed-algemeen-kolom2]



normering
toetsen

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest