Evaluatieonderzoek veranderaanpak leerKRACHT 2013-2014

Geplaatst op 1 juni 2016

Samenvatting

Stichting leerKRACHT heeft een programma ontwikkeld dat op scholen een transformatie tot stand wil brengen naar een cultuur waarin leraren verantwoordelijkheid nemen voor hun professionele ontwikkeling en daarbij worden ondersteund door de schoolleiding, gericht op het samen ontwikkelen en doorvoeren van verbeteringen in het lesgeven. Vier typen processen of ‘kernactiviteiten’ staan centraal: 
- korte, staande teamsessies (‘bordessies’) waarin leraren en schoolleiders leerresultaten bespreken en verbeteracties afspreken
- lesobservaties van leraren bij elkaar, om van elkaar te leren en elkaar feedback te geven
- Gezamenlijke voorbereiding van lessen, ervaringen uitwisselen en verbeteringen aanbrengen
- Schoolleiders die sterk aanwezig zijn op de werkvloer en in de les.
De interventies bestaan uit:
- een aantal bijeenkomsten tijdens het jaar voor meerdere scholen tegelijkertijd (een startbijenkomst, door leerKRACHT ‘bootcamp’ genoemd, en zes periodieke avondsessies, ‘pizzasessies’ genoemd)
- per school een programma van acht trainingsessies voor elk team (een team is een groep leraren, bijvoorbeeld van een onder- of bovenbouw of een afdeling)
- begeleiding door een door de school (intern) geselecteerde coach die door de stichting leerKRACHT wordt opgeleid en door een expertcoach wordt begeleid
- gesprekken met en intervisie voor schoolleiders en school-bestuurders 
Per school kunnen in een schooljaar meerdere transformatieteams deelnemen. Het doel daarbij is dat uiteindelijk iedereen op school aan het programma heeft deelgenomen. In overleg tussen Stichting LeerKRACHT, OC&W en NRO is besloten tot een evaluatieonderzoek van de leerKRACHT-aanpak, op de scholen voor PO en VO van de eerste tranche (2013-2014) en daarbinnen bij het eerste transformatieteam per school. Dit onderzoek is uitgevoerd bij de afdeling Onderwijsadvies & Training van de Universiteit Utrecht, in samenwerking met bureau Oberon, waarnaast het centrale leerKRACHT-team ook een deel van de gegevensverzameling heeft verzorgd. De vier genoemde centrale processen worden naar verwachting opgeroepen en bevorderd door de bovengenoemde interventies, en worden op hun beurt verondersteld van invloed te zijn op vier typen effecten: enthousiasme voor de aanpak, de beoogde cultuurverandering, verandering in het pedagogisch-didactisch handelen van leraren, en, uiteindelijk, verandering in motivatie, gedrag en leerprestaties van leerlingen. Zie onderstaand schema en de aanvullende opmerkingen daaronder.

Interventies Processen of 'Kernactiviteiten' Beoogde effecten
Opleiding coaches
Bootcamps
Vorming transformatieteams
Pizzasessies
Forum en intervisie coaches
Activiteiten expertcoaches
Activiteiten coaches
Forum en intervisie schoolleiders
+ Metingen voor het onderzoek
+ Terugkoppeling van uitkomsten 
 
Korte staande teamsessies
Wederzijds lesbezoek
Gezamenlijke lesvoorbereiding Schoolleiding actief op de werkvloer
+ Initiatieven leraren
+ Verwerking data-feedback
+ Veranderingen bij leraren en leerlingen
Enthousiasme van leraren Cultuurverandering in de school Verandering in pedagogisch-didactisch handelen leraren Verandering in motivatie, gedrag en leren van leerlingen 

De centrale actoren binnen leerKRACHT zijn de coaches, schoolleiders en leraren, en het onderzoek bestond grotendeels uit metingen met vragenlijsten bij deze groepen (en bij het pedagogisch-didactisch handelen van leraren ook bij hun leerlingen). Strikt genomen kunnen ook de metingen als interventies worden gezien, evenals de tussentijdse terugkoppelingen van uitkomsten die hebben plaatsgevonden. Naar aanleiding van of aanvullling op de vier kernactiviteiten hebben individuele leraren ook zelf initiatieven genomen, ontvangen feedback verwerkt, veranderingen in hun handelen uitgeprobeerd en doorgevoerd en veranderingen in gedrag en prestatie bij hun leerlingen opgemerkt.

Het schema op de vorige bladzijde suggereert een lineair proces van oorzaak en gevolg, maar in de praktijk is sprake van voortdurende wisselwerking. Effecten kunnen namelijk weer inwerken op de processen (zoals het ontstaan en behouden van enthousiasme) of de vorm krijgen van structurele inbedding van bepaalde processen in de school (en zo bijdragen aan cultuurverandering), en effecten kunnen ook van invloed zijn op elkaar (zoals bijvoorbeeld door leraren waargenomen veranderingen bij leerlingen hen kunnen stimuleren tot (verdere) verandering in hun eigen handelen). Voor de beoogde cultuurverandering is een duidelijke richting aangegeven (samenwerking), maar voor de beoogde verandering in het handelen van leraren niet, die is aan henzelf. LeerKRACHT vertrouwt er als het ware op dat leraren, in onderlinge samenwerking, zelf de keuzen kunnen maken die bijdragen aan verbetering van de kwaliteit van hun onderwijs en de leerresultaten van hun leerlingen.

De verzameling van gegevens over de uitvoering van het programma (de interventies en de vier kernactiviteiten) is grotendeels door het centrale leerKRACHT team verzorgd, evenals de verspreiding van en communicatie over de door de onderzoekers opgestelde terugkoppelingen van uitkomsten per school en per leerkracht. De metingen van de effectvariabelen, en van een deel van de processen, was de taak van de onderzoekers, evenals de verdere verwerking van alle verzamelde data, de analyses, het maken van de tussentijdse terugrapportages, en het vervaardigen van dit onderzoeksrapport.

De resultaten kunnen op hoofdlijnen als volgt worden samengevat.2
- Het programma en de (hiervoor genoemde) interventies zijn grotendeels uitgevoerd zoals gepland
- De beoogde (hiervoor genoemde) kernactiviteiten en processen zijn op de scholen in behoorlijke mate op gang gekomen
- De gemiddelde score op de schaal voor enthousiasme is behoorlijk hoog, deze neemt tijdens het schooljaar iets af maar blijft vrij hoog
- In de scholen zijn gemiddeld genomen bescheiden cultuurveranderingen waarneembaar zoals beoogd, met name op die aspecten (zoals aspecten die te maken hebben met de gezamenlijke verdere ontwikkeling van de lespraktijk en actieve aanwezigheid van de schoolleider op de werkvloer) waarop de aanpak van leerKRACHT mikt. Daarmee wordt in feite opnieuw vastgesteld dat het programma grotendeels is uitgevoerd zoals gepland en dat de kernactiviteiten in behoorlijke mate op gang zijn gekomen. Er kan uiteraard pas van een echte cultuurverandering worden gesproken als de activiteiten structureel blijven plaatsvinden, maar dat viel buiten de tijdshorizon van het onderzoek
- In het pedagogisch-didactisch handelen van leraren zijn bescheiden gemiddelde veranderingen waarneembaar in de richting van verdere ontwikkeling van hun repertoire
- Ten aanzien van alle drie hiervoor genoemde typen effecten, op enthousiasme, schoolcultuur en leerkrachthandelen, deden zich verschillen voor tussen beide onderwijssectoren PO en VO, waarbij de effecten in het PO in een aantal gevallen iets duidelijker zijn dan die in het VO
- Processen op schoolniveau (cultuur) en op individueel niveau (pedagogisch-didactisch handelen) zijn niet heel sterk gekoppeld
- De diverse metingen op schoolniveau vertellen in grote lijnen een consistent verhaal: er is sprake van gezamenlijk enthousiasme
- De diverse metingen op leraarniveau vertellen in grote lijnen een consistent verhaal: een aantal (maar niet alle) leraren nemen naast hun deelname aan de kernactiviteiten ook zelf persoonlijke initiatieven tot leren en veranderen en percipiëren bepaalde veranderingen bij hun leerlingen
 - De meeste coaches heben zich tijdens en door het uitvoeren van het leerKRACHT-programma en de daarbij ontvangen scholing en ondersteuning in behoorlijke mate kunnen ontwikkelen als coach, maar ze achten zichzelf nog niet uitgeleerd, zeker niet als het gaat om het zelfstandig begeleiden van een cultuurverandering op een school.
- Over de leerlingresultaten die op de deelnemende scholen zijn bereikt en mogelijk aan het meedoen aan leerKRACHT kunnen worden toegeschreven of van deelname aan leerKRACHT kunnen worden verwacht, kunnen door de korte periode waarover zulke effecten konden worden onderzocht en de beperkte gegevens die konden worden verkregen, geen uitspraken worden gedaan.

Deze bevindingen betreffen gemiddelden, meestal over de scholen en leraren per onderwijssector. Tussen scholen (en tussen teams) kunnen vrij grote verschillen bestaan (bij sommige scholen is op bepaalde indicatoren amper of helemaal geen effect zichtbaar). Er zijn geen nadere analyses gemaakt van de verschillen tussen de scholen die zulke verschillen mogelijk zouden kunnen helpen verklaren. De respons op de diverse vragenlijsten was te wisselend en deels (ook) te laag om zulke analyses uit te voeren en daaruit enigszins betrouwbare conclusies te trekken. Verschillen tussen achtereenvolgende transformatieteams binnen de scholen vielen buiten het onderzoek omdat dit zich in principe in elke school tot het eerste team zou beperken. In enkele van leerKRACHT ontvangen bestanden van door hen verzamelde gegevens waren echter onder de respondenten alle tijdens het schooljaar gestarte teams vertegenwoordigd en in dit rapport wordt op te constateren verschillen daartussen ter plekke kort ingegaan.

Al met al lijkt de interpretatie verdedigbaar dat scholen en leraren die aan leerKRACHT deelnemen daaraan energie, inspiratie en steun kunnen ontlenen, maar dat dit ook afhangt van hoe zij zich zelf opstellen en van de keuzen en veranderingsinitiatieven die leraren zelf persoonlijk nemen. Een veranderproces op schoolniveau en verandering op individueel niveau gaan vaak niet gelijk op. Twee verschillen tussen beide zijn in dit geval ten eerste, dat voor de verandering in schoolcultuur vanuit leerKRACHT een duidelijke richting wordt genoemd (meer samenwerking), maar voor de invulling van het begrip ‘verbetering’ van de onderwijskwaliteit c.q. de lespraktijk en het bijbehorende pedagogisch-didactisch handelen van de leraren niet (dat wordt zoals gezegd aan de leraren zelf overgelaten), en ten tweede, dat de activiteiten die de kern van het leerKRACHT-programma uitmaken binnen de school (kunnen) worden georganiseerd (bijeenkomsten en activiteiten vinden dan meestal gewoon plaats), terwijl aanpassing van het handelen van leraren sterk afhangt van hun eigen individuele ervaringen, inzichten en initiatieven.

Zoals in elk onderzoek was sprake van beperkingen. Er zijn veel metingen verricht die (mede door hun aantal) op zich een bepaalde invloed kunnen hebben gehad op het denken en doen van betrokkenen op de scholen; een deel van de dataverzameling gebeurde anoniem waardoor de betreffende gegevens alleen op schoolniveau konden worden geanalyseerd; de respons bij enkele eindmetingen viel tegen; en het programma bestaat uit een bundel activiteiten die als geheel is uitgevoerd waardoor het lastig is te bepalen welke aspecten of onderdelen de (meest) werkzame zijn.

De leraren, coaches en schoolleiders hebben aan het eind van het schooljaar desgevraagd de volgende suggesties voor verbetering gegeven.
- Laat alle leraren deelnemen aan de bootcamp (iedereen gelijk geïnformeerd), start niet in het voorjaar nog een nieuw team (te weinig tijd tot de zomervakantie), en werk in het PO helemaal niet met meerdere teams (geeft ongewenste verschillen binnen de school).
- Beperk het aantal pizzasessies en misschien ook het aantal bordsessies, en geef ze een duidelijke en meer afgebakende inhoudelijke invulling (meer diepgang).
- Bewaak in het VO de balans tussen vrijwilligheid en verplichting en de mate van sturing/leiding door de schoolleiding.
- Zorg dat de coaches weten wat in het programma verplicht is en waar aanpassingen mogelijk zijn, dat de rollen van coach en schoolleiding stabiel bezet blijven en duidelijk kunnen worden vervuld, en dat het traject voor de schoolleiding voldoende aandacht krijgt.

Vanuit het nu uitgevoerde onderzoek wordt aanbevolen om, samen met de coaches en expertcoaches, een nadere analyse te gaan maken van de verschillen tussen scholen, en tussen teams binnen scholen, en daaruit lering te trekken, en om voortaan het aantal grootschalige bevragingen te beperken en daarnaast enkele gerichte casestudies uit te voeren om meer inzicht te krijgen in succesbevorderende en –belemmerende factoren en processen binnen scholen.

2 Deze samenvatting is bewust in kwalitatieve termen gehouden en niet getalsmatig. Daarvoor zijn twee redenen. Ten eerste is de respons bij diverse (herhaalde) metingen wisselend en beperkt, waardoor eenduidige getalsmatige resultaten niet goed kunnen worden vastgesteld. Ten tweede wijst het geheel aan beschikbare gegevens erop dat sprake was van substantiële verschillen tussen scholen (en tussen teams), zodat een expliciete kwantificering van bepaalde resultaten ten onrechte de indruk zou kunnen wekken dat het nu bereikte of het te verwachten effect van leerKRACHT min of meer exact kan worden aangegeven.

Heb je vragen over dit thema? Stel ze in de onderwijs community binnen de Wij-leren.nl Academie!

Details van het onderzoek

  
NWO-projectnummer:  LK-2013-2014
Titel onderzoeksproject:  Evaluatieonderzoek veranderaanpak leerKRACHT 2013-2014
Looptijd:01-09-2013 tot 30-11-2014

Projectleider(s)

Naam Instelling E-mail
Prof. dr. K.M. Stokking Universiteit Utrecht K.M.Stokking@uu.nl

Project Researchers:

Naam Instelling E-mail
Edith Hilbink Oberon onderzoek en advies  
Ditte Lockhorst Oberon onderzoek en advies  
Yvette Sol Universiteit Utrecht  
Jan van Tartwijk Universiteit Utrecht  

Publicatie(s)

Relevante links(s)

[Bron: Nationaal Regieorgaan Onderwijsonderzoek (NRO)]



Inschrijven nieuwsbrief

Inschrijven nieuwsbrief



Inschrijven nieuwsbrief

Gerelateerd

Omix Webtalks met Joost Leenders - Excelleren in het onderwijs
Omix Webtalks met Joost Leenders - Excelleren in het onderwijs
redactie
Wat is de invloed van management op werk, leven en democratie?
Wat is de invloed van management op werk, leven en democratie?
redactie
[extra-breed-algemeen-kolom2]



persoonlijk meesterschap

 

Mis geen bijdragen

Inschrijven nieuwsbrief

Volg wij-leren.nl

Volg ons op LinkedIn Volg ons op twitter Volg ons op facebook Volg ons op instagram Volg ons op pinterest