Montessori blijft een van de meer besproken onderwijsconcepten ter wereld. Voor de ene is het bijna synoniem voor kwaliteitsvol onderwijs, voor de andere vooral een verzameling mooie ideeën zonder stevig bewijs. Dat maakt elk nieuw overzichtsonderzoek interessant.

Een nieuwe voorgeregistreerde meta-analyse van Samuel León en collega’s probeert precies dat te doen. Ze beantwoorden niet enkel de vraag of onderwijs volgens Montessori werkt, maar ook hoe betrouwbaar het bestaande onderzoek eigenlijk is. Daarvoor bekeken de auteurs maar liefst 198 studies, waarvan 114 voldoende gegevens bevatten voor een meta-analyse. Dat maakt deze studie wellicht de grootste synthese tot nu toe. En wat wel vaker gebeurt als zoveel onderzoek samengebracht wordt: de conclusie is opvallend genuanceerd.

Op het eerste gezicht indrukwekkende effecten

Wie alleen naar de gemiddelde effectgroottes kijkt, zou enthousiast kunnen worden. Montessori lijkt in veel studies behoorlijke voordelen op te leveren voor leren. Maar je vermoedt wellicht dat daar het verhaal niet stopt

De onderzoekers tonen dat deze gemiddelde effecten gepaard gaan met:

• zeer grote verschillen tussen de studies;
• duidelijke aanwijzingen voor publicatiebias, vooral succesvolle studies zouden gepublceerd raken;
• het zijn vaak vooral veel kleine studies met relatief grote effecten;
• en er is ook een opvallend gebrek aan methodologische kwaliteit.

Wanneer voor die problemen wordt gecorrigeerd, blijven de oorspronkelijke grote effecten veel minder overtuigend over. Volgens de auteurs weerspiegelen de indrukwekkende gemiddelden waarschijnlijk eerder zwaktes in de onderzoeksliteratuur dan sterke bewijzen voor uitzonderlijke effecten van Montessori.

Eigenlijk sluit dit mooi aan bij wat Nature al in 2017 schreef

Via een reactie op sociale media op deze studie ontdekte ik dat deze inzichten absoluut niet nieuw zijn. Al in 2017 verscheen in npj Science of Learning (Nature) een uitgebreid overzicht van Chloë Marshall. Ook zij beloost dat de evidentie voor Montessori zeker niet afwezig is, maar dat het er enkele zaken voor behoorlijke problemen zorgen. En die klinken zeer herkenbaar:

• weinig goede gerandomiseerde studies;
• kleine steekproeven;
• grote verschillen tussen Montessori-scholen;
• onduidelijkheid over de mate waarin scholen werkelijk volgens Montessori werken;
• moeilijkheden om precies te bepalen welke onderdelen verantwoordelijk zijn voor eventuele effecten.

Marshall stelde toen al dat de vraag eigenlijk niet alleen is “Werkt Montessori?”, maar ook “Welke onderdelen werken, voor wie, en onder welke omstandigheden?”.c De nieuwe meta-analyse bevestigt die analyse grotendeels. Alleen gebeurt dat nu met bijna tweehonderd studies én met moderne technieken om publicatiebias en methodologische kwaliteit mee te wegen.

Maar je schreef toch eerder dat…

Dit alles betekent ook dat ik een eerdere blogpost deels moet nuanceren. Toen schreef ik over een nieuw grootschalig onderzoek naar Montessori-kleuteronderwijs. Daar ging het om één grote, methodologisch sterke studie die positieve effecten vond. Begrijp me niet verkeerd, die studie blijft interessant. Maar deze nieuwe meta-analyse laat zien waarom we voorzichtig moeten zijn met het meteen als doorslaggevend bewijs beschouwen van één sterke studie. Ze plaatst dat onderzoek in de context van bijna een eeuw Montessori-onderzoek en toont dat die bredere literatuur veel minder robuust is dan vaak wordt aangenomen.Dat is voor alle duidelijkheid geen tegenspraak.

Om dat te begrijpen, moet je weten dat een sterke individuele studie positieve effecten kan vinden, terwijl het totale onderzoeksveld tegelijk wordt gekenmerkt door publicatiebias, kleine steekproeven en grote verschillen in kwaliteit. Dat is precies waarom meta-analyses bestaan, ook al merk ik de laatste tijd weer wat meer animo tegen dergelijk onderzoek.

Wat deze analyse vooral interessant maakt, is dat ze eigenlijk over veel meer gaat dan Montessori. Ze laat zien hoe gemakkelijk een onderzoeksdomein gedurende tientallen jaren positieve resultaten kan verzamelen zonder dat de totale evidentie daarom sterker wordt.

De auteurs wijzen onder andere op:

• het bijna volledig ontbreken van preregistratie;
• nauwelijks open data;
• beperkte rapportering van implementatie;
• weinig informatie over de betrouwbaarheid van gebruikte meetinstrumenten;
• een groot aandeel studies waarin onderzoekers zelf nauw betrokken waren bij de interventie.

Dat zijn precies de redenen waarom onderwijsonderzoek de voorbije jaren steeds meer inzet op open science, preregistratie en transparantie.

En wat is het nu… werkt Montessori?

Zoals zo vaak in onderwijs is het eerlijke antwoord minder spectaculair dan je mag hopen. Er zijn aanwijzingen dat Montessori in bepaalde contexten voordelen kan bieden voor het leren. Er zijn ook goed uitgevoerde individuele onderzoeken die wel degelijk positieve effecten aantonen. Maar als we alle beschikbare evidentie samenleggen, blijkt het bewijs minder stevig dan de populariteit van de onderwijsaanpak soms doet vermoeden.