Voor onderwijs blijft het lerarentekort één van de grootste uitdagingen, niet enkel hier maar in veel landen wereldwijd. Al snel gaat het debat dan bijvoorbeeld over salarissen of werkdruk. En hier in Vlaanderen over bijvoorbeeld al dan niet vaste benoeming of jobzekerheid. En het klopt, dat zijn zeker ook belangrijke onderwerpen. Maar een nieuwe overzichtsstudie van Kenneth Leithwood en collega’s toont dat we misschien op de verkeerde paarden wedden als we willen begrijpen waarom leraren uiteindelijk beslissen om te blijven of te vertrekken.

De auteurs maakten geen klassieke literatuurstudie, maar een systematische review van reviews. Ze brachten dus 17 eerdere overzichtsstudies samen en bekeken vervolgens welke factoren consequent samenhangen met het behoud van leraren. Daarbij ontwikkelden ze een nieuw theoretisch model dat probeert uit te leggen hoe die verschillende factoren precies op elkaar inwerken.

Geen lijstje, maar een verklaringsmodel

Onderzoek naar teacher retention heeft de voorbije twintig jaar een indrukwekkende hoeveelheid factoren opgeleverd, zoals onder andere werkdruk, salaris, leerlinggedrag, mentoring, al dan niet ervaren autonomie, de schoolcultuur, burn-out, zelfeffectiviteit, jobtevredenheid… Het probleem is volgens de auteurs dat veel onderzoek daar dan ook stopt: het levert vooral lijstjes op. Er is veel minder aandacht voor de vraag hoe deze factoren elkaar beïnvloeden. Volgens hen is het vakgebied daardoor rijk aan data, maar arm aan theorie.

De school staat centraal

De belangrijkste conclusie is misschien wel dat de meeste beïnvloedbare factoren zich binnen de schoolorganisatie bevinden.

Hun model ziet er, sterk vereenvoudigd, zo uit:

Schoolleiding
-> beïnvloedt de werkomstandigheden
-> die beïnvloeden zelfeffectiviteit, motivatie en welbevinden
-> die bepalen jobtevredenheid
-> en die voorspelt uiteindelijk of een leraar blijft of vertrekt.

Dat betekent niet dat schoolleiders alles bepalen, maar ze hebben wel invloed op veel factoren die leraren dagelijks ervaren.

Salaris helpt, maar lost weinig op

Dat betekent niet dat loon onbelangrijk is. Integendeel, hogere salarissen hangen wel degelijk samen met een iets groter behoud van leraren. Alleen blijken die effecten vrij klein. Ook financiële bonussen voor moeilijk te bemannen scholen blijken op zichzelf weinig verschil te maken, ook al pleiten ook hier soms mensen voor.

Dat sluit aan bij eerder onderzoek: zodra een redelijk inkomensniveau is bereikt, blijken aspecten zoals professionele autonomie, steun van collega’s, zinvol werk en goed leiderschap vaak belangrijker te worden voor de beslissing om te blijven.

Wat maakt dan wel het verschil?

De factoren die het vaakst terugkomen zijn opvallend herkenbaar:

• steun van de schoolleiding;
• vertrouwen binnen het team;
• samenwerking met collega’s;
• mentoring voor beginnende leraren;
• professionele ontwikkeling;
• autonomie;
• beheersbare werkdruk;
• een positief schoolklimaat.

Dat zijn stuk voor stuk zaken waar scholen, ten minste gedeeltelijk, zelf invloed op hebben.

Toch een kleine kanttekening

Het interessante aan deze studie zit minder in nieuwe empirische resultaten – alle onderzoeken waren al gekend – dan in het nieuwe theoretische kader dat de auteurs voorstellen. Maar daar zit tegelijk ook de grootste beperking.

Het model is overtuigend opgebouwd op basis van bestaand onderzoek, maar blijft voorlopig vooral een verklarend model. Het moet nog empirisch als geheel worden getoetst. Bovendien zijn veel van de onderliggende studies observationeel. Dat betekent dat sterke samenhangen nog geen bewijs zijn voor een causale relatie.

Met andere woorden: het is goed mogelijk dat sterke schoolleiders bijdragen aan beter behoud van leraren. Maar het blijft lastig om precies te bepalen hoeveel van dat effect rechtstreeks door leiderschap wordt veroorzaakt en hoeveel samenhangt met andere kenmerken van succesvolle scholen.

Laten we beginnen met een open deur: generatieve AI verovert de klas razendsnel, willen we het of niet. Uit recente bevragingen blijkt dat een pak leraren AI ondertussen gebruiken, vaak ook om lessen voor te bereiden, oefeningen te maken of toetsen op te stellen. Dat klinkt logisch en een eerdere EEF-studie toont dat het niet noodzakelijk gepaard gaat met kwaliteitsverlies. Maar daarmee weten we nog niet of leerlingen daar uiteindelijk ook beter van worden.

Een nieuwe gerandomiseerde studie van onderzoekers van de University of Pennsylvania zet daar een interessante kanttekening bij. Ze zijn daarbij niet tegen AI, maar vinden wel dat de voordelen voor leraren niet automatisch ook voordelen blijken te zijn voor leerlingen.

Een van de betere designs tot nu toe

Ik klaagde al vaker over de kwaliteit van AI-onderzoeken, maar dit onderzoek lijkt duidelijk beter. De onderzoekers voerden een gerandomiseerd veldexperiment uit in 14 Turkse scholen. Bijna 200 leraren werden willekeurig toegewezen aan een AI-groep of een controlegroep. De AI-groep kreeg toegang tot een GPT-4o-gebaseerd hulpmiddel dat speciaal was ontwikkeld om leraren te ondersteunen bij lesvoorbereiding, differentiatie, evaluatie en feedback.

Daarna bekeken de onderzoekers niet alleen hoe leraren AI gebruikten, maar vooral wat leerlingen ervan merkten.

Wat bleek als men naar de leerkrachten keek? Ongeveer twee derde van alle AI-gesprekken ging over het maken van lesmateriaal:

• lessen voorbereiden;
• oefeningen maken;
• examens opstellen;
• syllabi ontwikkelen.

Veel minder vaak gebruikten leraren AI voor differentiatie, feedback of het nadenken over pedagogische keuzes. De feedback verbaast me een beetje, de andere lijken me minder onlogisch.

Opvallend was ook hoe kort de interacties waren. De mediaan bedroeg slechts 2 prompts per gesprek. De onderzoekers leiden daaruit af dat AI vooral werd gebruikt om snel een afgewerkt product te genereren, eerder dan als sparringpartner tijdens het ontwerpen van lessen. Lees: het gebruik was behoorlijk basic.

De opvallendste uitkomsten

In lijn met het EEF-onderzoek dat ik eerder vermeldde, gingen de examenresultaten gemiddeld niet achteruit (al lagen die sowieso opvallend hoog in beide groepen), maar… de motivatie van leerlingen wel.

Leerlingen van leraren die AI gebruikten vonden hun vak:

• minder interessant;
• minder belangrijk;
• minder leuk.

Let wel, het effect is moeilijk een aardverschuiving te noemen, maar met ongeveer 0,11 standaarddeviatie is de achteruitgang wel groot genoeg om ernstig te nemen.

De verschillen tussen leraren zijn ook opvallend. Bij leraren die vóór de studie al zwakker presteerden, zag men ook een daling van de examenresultaten én van het vertrouwen van leerlingen in hun eigen kunnen. Bij sterkere leraren gebeurde dat daarentegen niet. Verder bleek dat leraren die vóór het experiment al veel AI gebruikten, na afloop juist negatiever werden over AI. Beginnende AI-gebruikers werden optimistischer. Deze studie suggereert dus dat ervaren gebruikers ook de beperkingen beter beginnen te zien. Iets wat ik zelf ook kan volgen.

Dit onderzoek toont zo dat AI niet noodzakelijk een gelijkmaker is, maar eerder het omgekeerde. AI lijkt vooral problematisch te worden wanneer het pedagogisch denken vervangt in plaats van te ondersteunen.

Waarom gebeurt dit?

De auteurs zien twee mogelijke verklaringen. Een eerste is dat AI de persoonlijke stem van de leraar zou kunnen verdringen. Goede lessen bestaan namelijk niet alleen uit een correcte uitleg of goed opgebouwde oefeningen. Ze hebben ook de stijl, humor, voorbeelden en persoonlijkheid van de leraar. Wanneer meerdere leraren dezelfde AI-tools gebruiken, kan die eigenheid deels verloren gaan. En de onderzoekers vermoeden dat leerlingen dit wellicht sneller merken dan je zou denken.

De tweede verklaring vind ik zelf nog relevanter. AI kan er misschien voor zorgen dat sommige leraren minder intensief nadenken over hun lessen omdat AI het denkwerk gedeeltelijk overneemt. Juist dat denkproces waarbij ze stilstaan bij het structureren van de lessen, voorbeelden bedenken en proberen te anticiperen op misvattingen, is een cruciaal onderdeel van professionele ontwikkeling. Wie dat proces te vaak uitbesteedt, oefent zijn didactische expertise minder.

Betekent dit dat AI slecht is?

Nee, en dat zeggen de auteurs Alp Sungu, Benjamin Lira en Angela Duckworth zelf ook nadrukkelijk. Hun onderzoek toont volgens hen niet aan dat AI geen plaats heeft in het onderwijs. We mogen echter niet zomaar aannemen dat tijdswinst voor leraren automatisch leidt tot beter onderwijs voor leerlingen. Dit zijn gewoonweg twee verschillende vragen. AI kan administratieve taken vereenvoudigen, inspiratie geven of helpen bij routinewerk. Maar wanneer AI het pedagogisch denkwerk begint te vervangen, lijken er wel degelijk risico’s te ontstaan.

Maar… er is wel een belangrijke nuance. Zoals altijd kent ook deze studie beperkingen. Het experiment duurde slechts één semester, vond plaats in Turkije en men gebruikte slechts één specifiek AI-systeem. Het is dus goed mogelijk dat andere toepassingen of een langere periode tot andere resultaten kunnen leiden.

Montessori blijft een van de meer besproken onderwijsconcepten ter wereld. Voor de ene is het bijna synoniem voor kwaliteitsvol onderwijs, voor de andere vooral een verzameling mooie ideeën zonder stevig bewijs. Dat maakt elk nieuw overzichtsonderzoek interessant.

Een nieuwe voorgeregistreerde meta-analyse van Samuel León en collega’s probeert precies dat te doen. Ze beantwoorden niet enkel de vraag of onderwijs volgens Montessori werkt, maar ook hoe betrouwbaar het bestaande onderzoek eigenlijk is. Daarvoor bekeken de auteurs maar liefst 198 studies, waarvan 114 voldoende gegevens bevatten voor een meta-analyse. Dat maakt deze studie wellicht de grootste synthese tot nu toe. En wat wel vaker gebeurt als zoveel onderzoek samengebracht wordt: de conclusie is opvallend genuanceerd.

Op het eerste gezicht indrukwekkende effecten

Wie alleen naar de gemiddelde effectgroottes kijkt, zou enthousiast kunnen worden. Montessori lijkt in veel studies behoorlijke voordelen op te leveren voor leren. Maar je vermoedt wellicht dat daar het verhaal niet stopt

De onderzoekers tonen dat deze gemiddelde effecten gepaard gaan met:

• zeer grote verschillen tussen de studies;
• duidelijke aanwijzingen voor publicatiebias, vooral succesvolle studies zouden gepublceerd raken;
• het zijn vaak vooral veel kleine studies met relatief grote effecten;
• en er is ook een opvallend gebrek aan methodologische kwaliteit.

Wanneer voor die problemen wordt gecorrigeerd, blijven de oorspronkelijke grote effecten veel minder overtuigend over. Volgens de auteurs weerspiegelen de indrukwekkende gemiddelden waarschijnlijk eerder zwaktes in de onderzoeksliteratuur dan sterke bewijzen voor uitzonderlijke effecten van Montessori.

Eigenlijk sluit dit mooi aan bij wat Nature al in 2017 schreef

Via een reactie op sociale media op deze studie ontdekte ik dat deze inzichten absoluut niet nieuw zijn. Al in 2017 verscheen in npj Science of Learning (Nature) een uitgebreid overzicht van Chloë Marshall. Ook zij beloost dat de evidentie voor Montessori zeker niet afwezig is, maar dat het er enkele zaken voor behoorlijke problemen zorgen. En die klinken zeer herkenbaar:

• weinig goede gerandomiseerde studies;
• kleine steekproeven;
• grote verschillen tussen Montessori-scholen;
• onduidelijkheid over de mate waarin scholen werkelijk volgens Montessori werken;
• moeilijkheden om precies te bepalen welke onderdelen verantwoordelijk zijn voor eventuele effecten.

Marshall stelde toen al dat de vraag eigenlijk niet alleen is “Werkt Montessori?”, maar ook “Welke onderdelen werken, voor wie, en onder welke omstandigheden?”.c De nieuwe meta-analyse bevestigt die analyse grotendeels. Alleen gebeurt dat nu met bijna tweehonderd studies én met moderne technieken om publicatiebias en methodologische kwaliteit mee te wegen.

Maar je schreef toch eerder dat…

Dit alles betekent ook dat ik een eerdere blogpost deels moet nuanceren. Toen schreef ik over een nieuw grootschalig onderzoek naar Montessori-kleuteronderwijs. Daar ging het om één grote, methodologisch sterke studie die positieve effecten vond. Begrijp me niet verkeerd, die studie blijft interessant. Maar deze nieuwe meta-analyse laat zien waarom we voorzichtig moeten zijn met het meteen als doorslaggevend bewijs beschouwen van één sterke studie. Ze plaatst dat onderzoek in de context van bijna een eeuw Montessori-onderzoek en toont dat die bredere literatuur veel minder robuust is dan vaak wordt aangenomen.Dat is voor alle duidelijkheid geen tegenspraak.

Om dat te begrijpen, moet je weten dat een sterke individuele studie positieve effecten kan vinden, terwijl het totale onderzoeksveld tegelijk wordt gekenmerkt door publicatiebias, kleine steekproeven en grote verschillen in kwaliteit. Dat is precies waarom meta-analyses bestaan, ook al merk ik de laatste tijd weer wat meer animo tegen dergelijk onderzoek.

Wat deze analyse vooral interessant maakt, is dat ze eigenlijk over veel meer gaat dan Montessori. Ze laat zien hoe gemakkelijk een onderzoeksdomein gedurende tientallen jaren positieve resultaten kan verzamelen zonder dat de totale evidentie daarom sterker wordt.

De auteurs wijzen onder andere op:

• het bijna volledig ontbreken van preregistratie;
• nauwelijks open data;
• beperkte rapportering van implementatie;
• weinig informatie over de betrouwbaarheid van gebruikte meetinstrumenten;
• een groot aandeel studies waarin onderzoekers zelf nauw betrokken waren bij de interventie.

Dat zijn precies de redenen waarom onderwijsonderzoek de voorbije jaren steeds meer inzet op open science, preregistratie en transparantie.

En wat is het nu… werkt Montessori?

Zoals zo vaak in onderwijs is het eerlijke antwoord minder spectaculair dan je mag hopen. Er zijn aanwijzingen dat Montessori in bepaalde contexten voordelen kan bieden voor het leren. Er zijn ook goed uitgevoerde individuele onderzoeken die wel degelijk positieve effecten aantonen. Maar als we alle beschikbare evidentie samenleggen, blijkt het bewijs minder stevig dan de populariteit van de onderwijsaanpak soms doet vermoeden.

Begin dit jaar schreef ik al over de grote MetaSENse-meta-analyse naar interventies voor leerlingen met specifieke onderwijsbehoeften (SEND). De conclusie was toen behoorlijk hoopgevend: gerichte interventies kunnen een aanzienlijk verschil maken. Gemiddeld kwam dat neer op ongeveer vijf maanden extra leerwinst. Maar tegelijk bleek ook dat lang niet alle populaire interventies tot nu toe degelijk zijn onderzocht. De voorbije zomermaanden verscheen een vervolgstudie. Hierin staat niet langer de vraag centraal welke interventies werken, maar waarom ze werken. Welke onderdelen van succesvolle interventies lijken echt belangrijk te zijn? Het kan misschien als een kleine nuance klinken, maar in zo een divers landschap, is het eigenlijk een veel interessantere vraag.

Meer is niet beter

De onderzoekers bekeken voor hun onderzoek meer dan vijfhonderd interventies en codeerden telkens of achttien verschillende onderwijscomponenten wel of niet aanwezig waren. Denk hierbij aan expliciete instructie, feedback, scaffolding, metacognitieve strategieën, technologie, samenwerking, beloningen,…

Dit leidde tot een eerste opvallende conclusie: interventies bevatten gemiddeld bijna zeven verschillende componenten, maar meer componenten maakten een interventie niet effectiever. Er was geen verband tussen het aantal gebruikte strategieën en de uiteindelijke effectgrootte. Dat sluit mooi aan bij iets wat we eigenlijk al langer weten, namelijk dat onderwijs niet automatisch beter wordt door er steeds meer aan toe te voegen.

Expliciete instructie blijft overeind

Zijn er componenten die telkens opnieuw aan het bovendrijven waren? Ja, en dat was al in januari duidelijk, expliciete instructie. Voor algemene leeruitkomsten, schrijven en rekenen bleek expliciete instructie telkens geassocieerd te zijn met betere resultaten. Ook de machine-learninganalyse, waarmee onderzoekers complexe interacties tussen verschillende componenten onderzochten, wees expliciete instructie aan als een van de sterkste voorspellers van succes. Dat zal weinig mensen verrassen die de voorbije jaren het onderzoek naar effectieve instructie hebben gevolgd.

Feedback doet ertoe

In lijn met regulier onderzoek scoorde ook feedback opvallend sterk. Vooral bij rekeninterventies kwam feedback telkens terug als een belangrijke voorspeller van succes. Ook in de algemene analyses bleef feedback een van de krachtigste componenten. Dit is dus opnieuw geen revolutionaire conclusie, maar wel een bevestiging dat goede feedback ook voor leerlingen met specifieke onderwijsbehoeften een centrale rol speelt.

Niet alles wat logisch klinkt, blijkt ook effectief

Dit alles kan tot nu toe logisch klinken, maar sommige componenten die vandaag erg populair zijn, kwamen er minder goed uit.  Zo vonden de onderzoekers dat interventies waarin beloningen een belangrijke rol speelden gemiddeld kleinere effecten hadden. Dat patroon dook op in verschillende domeinen.

Nog opvallender, en echt wel verbazend wellicht, was het resultaat rond adaptive teaching. Gemiddeld werd dat geassocieerd met kleinere effecten.

Nu, voor we daar grote conclusies uit trekken, plaatsen de auteurs zelf meteen een belangrijke kanttekening. Hun definitie van adaptive teaching was veel nauwer dan de manier waarop die term meestal wordt gebruikt. Ze bedoelden vooral het voortdurend aanpassen van de moeilijkheidsgraad tijdens een interventie, vaak via digitale systemen. Dat is niet hetzelfde als de bredere betekenis van adaptief lesgeven zoals die vandaag in veel onderwijsbeleid wordt gebruikt. Die nuance lijkt me behoorlijk cruciaal.

Technologie is geen wondermiddel

Nog een interessante vaststelling is dat technologie op zich interventies niet beter of slechter maakte. Er was geen algemeen positief effect van technologie. Dat betekent uiteraard niet dat technologie nooit werkt, maar wel dat een tablet, app of digitaal programma op zichzelf geen garantie is voor betere leerresultaten. Ook dat lijkt me een conclusie die goed aansluit bij wat eerder onderzoek al heeft laten zien.

De combinatie telt ook

Een leuke toevoeging aan deze studie is dat de onderzoekers naast klassieke statistiek ook machine learning gebruikten. Daardoor konden ze bekijken hoe componenten elkaar beïnvloeden, iets wat voor mij vaak een belangrijke beperking is bij onderzoek naar UDL.

En dat bleek leerzaam, soms bleek de combinatie juist minder effectief dan elk onderdeel afzonderlijk. Zo deden interventies waarin feedback én doelen werden gecombineerd het gemiddeld minder goed dan interventies waarin slechts één van beide centraal stond. Ook retrieval practice leek minder effectief wanneer het werd gecombineerd met expliciete doelstellingen. Dat onderstreept opnieuw dat onderwijs geen optelsom van losse strategieën is. Al moet ik toevoegen dat ik hier zelf nog niet goed de verklaring kan bedenken.

Uiteindelijk verandert de hoofdboodschap niet

De onderzoekers besluiten dat succesvolle ondersteuning voor leerlingen met specifieke onderwijsbehoeften grotendeels steunt op dezelfde principes als goed onderwijs voor alle leerlingen: duidelijke expliciete instructie, kwaliteitsvolle feedback en een doordachte implementatie. Tegelijk waarschuwen ze ervoor om componenten los van hun context te bekijken. Wat werkt, hangt ook af van het leerdoel, de leerling en de manier waarop de interventie wordt uitgevoerd. Lesgeven aan leerlingen met specifieke onderwijsbehoeften lijkt wel heel erg op gewoon lesgeven, zo.