Tutoring heeft de voorbije jaren bijna een mythische status in het onderwijs gekregen, en ik beken: ik heb daar wellicht deels aan bijgedragen. Tijdens de coronapandemie werd het vaak door onderzoekers, beleidsmakers en onderwijsorganisaties naar voren geschoven als dé manier om leervertragingen aan te pakken. Daar waren ook goede redenen voor. Verschillende meta-analyses vonden effecten van ongeveer 0,30 tot 0,40 standaarddeviaties.Bovendien is tutoring een van de meest veelbelovende manieren om onderwijsongelijkheid te verkleinen. In onderwijsland zijn dat indrukwekkende cijfers en een cruciaal thema. Maar wat mogen we eigenlijk verwachten wanneer tutoring niet wordt uitgevoerd in een kleinschalige pilootstudie, maar op grote schaal in de praktijk op scholen?
Dat is precies de vraag die Matthew Kraft en collega’s stellen in een nieuwe meta-analyse van 263 gerandomiseerde studies. Hun uitgangspunt is eenvoudig. Veel meta-analyses beantwoorden de vraag of tutoring werkt. Beleidsmakers hebben echter meestal een andere vraag: wat mogen we verwachten als we dit invoeren voor honderden of duizenden leerlingen? Dat kan een klein verschil lijken, maar het is fundamenteel. Sterke interne validiteit garandeert immers nog geen sterke externe validiteit. Het feit dat een interventie in een studie werkt, betekent niet automatisch dat ze even goed werkt wanneer ze op grote schaal wordt ingevoerd. Het is iets waar onderwijs wel vaker zijn tanden op stuk bijt.
Wanneer de onderzoekers alle studies samen nemen, vinden ze vrijwel exact hetzelfde als in eerdere meta-analyses. Het gemiddelde effect van tutoring bedraagt ongeveer 0,40 standaarddeviaties. Als je niet de maatstaf van Hattie hanteert, maar de meer realistische hedendaagse normen, dan is dat groot. Op basis van die cijfers lijkt de conclusie eenvoudig: meer tutoring.
Maar dan stellen de onderzoekers een andere vraag. De meeste studies in de literatuur blijken verrassend klein. Bijna zes op de tien onderzoeken gaan over programma’s met minder dan honderd leerlingen. Wat ik goed snap, in ons eigen onderzoek naar tutoring was dit niet anders. Wanneer Kraft en collega’s de studies opsplitsen volgens schaalgrootte, verschijnt een opvallend patroon. Voor programma’s met minder dan honderd leerlingen bedraagt het effect ongeveer 0,51. Voor programma’s met meer dan duizend leerlingen blijft daar nog ongeveer 0,16 van over. Wanneer de onderzoekers zich bovendien beperken tot onafhankelijke gestandaardiseerde toetsen, blijven de effecten voor grote programma’s hangen tussen ongeveer 0,16 en 0,22.
Dat is nog steeds positief en houdt tutoring relevant als middel om in te zetten. Maar het is duidelijk minder spectaculair dan het cijfer dat vaak wordt geciteerd. De verkeerde conclusie zou nu zijn dat tutoring overschat wordt. Een effect van 0,16 tot 0,22 blijft voor een grootschalige onderwijsinterventie indrukwekkend. Veel onderwijsmaatregelen halen dergelijke effecten niet. De boodschap van deze studie is dus niet dat tutoring niet werkt. De boodschap is dat we onze verwachtingen realistischer moeten maken.
Waarom verdwijnen effecten bij opschaling? De auteurs bespreken verschillende mogelijke verklaringen. Wanneer programma’s groeien, veranderen ze vaak. Je moet tutoren vinden, en neem van mij aan: dat is vaak een uitdaging. De opleiding, waarvan we weten dat ze een bepalend effect heeft, wordt moeilijker. Leerling-tutorratio’s lopen op, wat minder effect heeft tot op zeker hoogte volgens onderzoek van onder andere Slavin. Maar als de groepen te groot worden, zakt het effect wel degelijk. De intensiteit kan ook soms dalen. De kwaliteit wordt moeilijker bewaakt. Het programma dat uiteindelijk op grote schaal wordt uitgevoerd, lijkt daardoor vaak minder op het programma dat oorspronkelijk zulke sterke resultaten liet zien. Daarnaast worden grote programma’s meestal toegankelijk voor een bredere groep leerlingen. Niet alleen de leerlingen met de grootste noden nemen deel. Ook dat kan de gemiddelde effecten doen dalen. Ik moet bekennen dat ik zelf nooit aan dit laatste had gedacht.
Wie implementatieonderzoek volgt, zal hierin weinig verrassends herkennen. Het is een patroon dat we ook bij andere onderwijsinnovaties zien. Wat in een zorgvuldig gecontroleerde pilootstudie werkt, blijkt vaak moeilijker te reproduceren wanneer het onderdeel wordt van de dagelijkse realiteit van scholen.
De studie bevat weliswaar ook onderzoeken uit andere OESO-landen, maar het grootste deel van de evidentie komt uit de Verenigde Staten. We mogen de exacte effectgroottes dus niet zomaar overnemen voor Vlaanderen. Tegelijk lijkt het centrale mechanisme behoorlijk universeel. Wanneer onderwijsinterventies worden opgeschaald, dalen de effecten vaak. Dat zien we niet alleen bij tutoring, maar ook bij professionalisering, curriculumhervormingen en technologieprojecten. In die zin lijkt het onwaarschijnlijk dat Vlaanderen volledig aan dit patroon zou ontsnappen.