Meta-analyses in onderwijs zijn vaak te optimistisch

Nee, dit wordt niet terug een enorm vernietigende blogpost zoals het onderzoek recent over Hattie. Maar het onderzoek dat ik vond via Christian Bokhove is wel enorm belangrijk om meta-analyse in onderwijs in het juiste perspectief te plaatsen.

Meta-analyses worden vaak gezien als een van de sterkste vormen van wetenschappelijke evidentie. Het idee is eenvoudig: als je de resultaten van verschillende studies samen neemt, krijg je wellicht een betrouwbaarder beeld dan wanneer je naar één afzonderlijk onderzoek kijkt. Ik zeg vaak: ‘één onderzoek maakt het inzicht niet’. Dat klopt ook, met als cruciale voorwaarde dat de onderliggende studies voldoende goed zijn en je deze op een degelijke manier samenbrengt. Want we zagen al vaker dat het ook bij meta-analyses behoorlijk wat kan mislopen.

Luke Rowe onderzocht in een nieuwe studie, gepubliceerd in Review of Educational Research, hoe betrouwbaar meta-analyses in onderwijsonderzoek eigenlijk zijn. En de resultaten zijn niet meteen geruststellend. Maar, en dat vind ik belangrijk, ze betekenen niet dat we al die meta-analyses dan maar moeten weggooien.

Een meta-analyse van meta-analyses, maar dan anders

Rowe bekeek 76 artikelen met meta-analyses die tussen 2012 en 2022 gepubliceerd werden in Review of Educational Research. Dat is een van de meest prestigieuze tijdschriften binnen het onderwijsonderzoek. Je zou dus mogen verwachten dat de kwaliteit van de gepubliceerde meta-analyses behoorlijk hoog ligt.

Samen bevatten deze artikelen 362 afzonderlijke meta-analytische effecten. Voor 189 daarvan, afkomstig uit 53 artikelen, beschikte de onderzoeker over voldoende gegevens om nieuwe berekeningen uit te voeren.

Hij vergeleek daarbij de oorspronkelijk gerapporteerde effectgroottes met nieuwe berekeningen volgens enerzijds  klassieke statistische methoden en anderzijds een relatief nieuwe aanpak, Robust Bayesian Model-Averaged Meta-Analysis, kortweg RoBMA.

Die laatste methode combineert verschillende statistische modellen en probeert onder meer rekening te houden met publicatiebias. Dat laatste is belangrijk. Studies die een positief of statistisch significant effect vinden, hebben vaak meer kans om gepubliceerd te worden dan studies die geen of te kleine effecten vinden. Als je vervolgens alleen de gepubliceerde studies meeneemt, loop je het risico een te rooskleurig beeld te krijgen. Het is een van de oorzaken dat de gemiddelde effectgroottes te optimistisch kunnen zijn.

De effecten zijn vaak kleiner dan oorspronkelijk gedacht

Dat blijkt hier dus ook het geval. Bij maar liefst 94% van de opnieuw geanalyseerde experimentele effecten was de oorspronkelijk gerapporteerde effectgrootte groter dan de met RoBMA geschatte effectgrootte. Bij observationeel onderzoek, waarbij bijvoorbeeld verbanden tussen verschillende kenmerken worden onderzocht, was dat bij 79% van de correlaties het geval. De verschillen konden soms behoorlijk groot zijn. Afhankelijk van de vergelijking lagen de gemiddelde oorspronkelijk gerapporteerde effecten 29% tot 267% hoger dan de herberekende schattingen.

Maar hier moeten we meteen een belangrijke nuance maken. Dit betekent dus niet dat 94% van de meta-analyses fout zijn. En ook niet dat de onderzochte onderwijsinterventies eigenlijk niet werken. De resultaten wijzen er vooral op dat de grootte van effecten vaak wordt overschat wanneer we de oorspronkelijke resultaten vergelijken met een statistische methode die beter probeert rekening te houden met mogelijke vertekeningen, zoals publicatiebias.

Een onderwijsaanpak die volgens een meta-analyse een positief effect heeft, kan dus nog altijd een positief effect hebben. Alleen is dat effect mogelijk kleiner dan we oorspronkelijk dachten. Als  je effectgroottes gebruikt om onderwijsaanpakken met elkaar te vergelijken, kan dit een behoorlijk verschil maken. Een effect dat aanvankelijk indrukwekkend lijkt, kan na correctie een stuk bescheidener blijken.

Overigens toont deze studie niet aan dat de richting van de effecten altijd behouden blijft. De onderzoeker richt zich vooral op de grootte van de schattingen. We mogen dus niet zomaar besluiten dat alle oorspronkelijke conclusies overeind blijven.

Nog een probleem: veel studies zijn te klein

Rowe onderzocht ook de statistische power van de studies die in de meta-analyses waren opgenomen. Power verwijst naar de kans dat een onderzoek een effect kan detecteren wanneer dat effect daadwerkelijk bestaat. Wanneer de onderzoeker de herberekende effectgroottes gebruikte om de statistische power te schatten, haalde slechts 4,21% van de experimentele meta-analyses de gebruikelijke grens van 80% voor de mediane power. Bij een afzonderlijke analyse van de ruim 10.000 onderliggende experimentele effecten bereikte 29% die grens.

Dat klinkt dramatisch, maar ook hier moet ik nuanceren. Deze power werd achteraf berekend op basis van geschatte effectgroottes. Als die effectgroottes kleiner worden, daalt ook de berekende power. De bevindingen over kleinere effecten en lage power hangen dus deels samen.

Toch wijst dit op een bekend probleem in onderwijsonderzoek: veel individuele studies zijn relatief klein, terwijl de effecten die we proberen te meten vaak ook klein zijn. Daardoor kunnen resultaten sterk schommelen en kunnen toevallige uitschieters een grote rol spelen. Hierbij ook opvallend: slechts 55,3% van de meta-analyses bevatte voldoende gegevens om de resultaten opnieuw te kunnen berekenen. Na navraag bij de auteurs steeg dit tot ongeveer 70%. Amper 5% stelde ook de nodige analysecodes beschikbaar.

De ene onderwijscontext is de andere niet

Rowe kaart verder de enorme heterogeniteit tussen de studies aan. Bij experimentele meta-analyses lag de mediane I² boven 80%, bij observationele meta-analyses zelfs boven 90%. Even uitleggen met wat hulp: De I² van Higgins berekent het percentage variatie tussen studies dat te wijten is aan heterogeniteit en niet aan toeval. Het is dus een statistische maat die aangeeft welk aandeel van de verschillen tussen effectschattingen binnen de meegenomen onderzoeken kan worden toegeschreven aan werkelijke verschillen tussen studies, in plaats van aan steekproeffouten.

We kunnen dus niet op basis hiervan besluiten dat een aanpak in 80% van de scholen anders werkt. Het betekent vooral dat er heel veel variatie zit tussen de resultaten van de verschillende onderzoeken. Maar onderwijs is nu eenmaal complex. Iets wat bij jonge kinderen kan werken, doet dit niet noodzakelijk op dezelfde manier bij adolescenten. Een interventie kan anders uitpakken afhankelijk van, ik zeg maar iets, de voorkennis van leerlingen, de manier waarop ze wordt uitgevoerd, de context waarin ze plaatsvindt,…

Maar het maakt wel duidelijk waarom we voorzichtig moeten zijn met één gemiddelde effectgrootte. Een gemiddelde kan nuttig zijn, maar vertelt ons niet automatisch voor wie, wanneer en onder welke omstandigheden iets werkt.

Wacht, is die nieuwe berekening dan automatisch beter?

Tot nu toe klinkt het alsof de oorspronkelijke meta-analyses te optimistisch waren en de nieuwe berekeningen ons eindelijk de juiste effecten laten zien. Alleen zou dat ook op zijn beurt een te eenvoudige conclusie zijn. RoBMA is een interessante en veelbelovende methode, maar niet onfeilbaar. De methode probeert onder andere publicatiebias te corrigeren, maar kan in sommige gevallen ook te sterk corrigeren.

Stel bijvoorbeeld dat kleinere studies intensievere interventies onderzoeken dan grotere studies. Dan is het mogelijk dat die kleinere studies werkelijk grotere effecten vinden. Een statistisch model kan zo’n patroon echter gedeeltelijk interpreteren als een aanwijzing voor publicatiebias, terwijl er ook een inhoudelijke verklaring mogelijk is. Ik wist dit zelf niet, ik ben zelf minder vertrouwd met deze techniek, maar Rowe vermeldt dit gelukkig zelf.

Verder gaat het om meta-analyses uit één tijdschrift, gepubliceerd tussen 2012 en 2022. De resultaten zijn belangrijk, maar we kunnen ze niet zomaar veralgemenen naar alle meta-analyses die ooit in het onderwijs zijn verschenen.

En nog iets: de oorspronkelijke effectgroottes worden vergeleken met nieuwe statistische schattingen. We beschikken daarmee niet plots over de werkelijke effectgroottes van alle onderzochte interventies. Daarvoor zouden we bijvoorbeeld ook grootschalige, onafhankelijke replicatiestudies nodig hebben.

Wat moeten we hier nu mee?

Terug naar het begin. Deze studie geeft een belangrijken nuace, maar maakt  meta-analyses absoluut niet waardeloos volgens mij. Ze blijven een bijzonder belangrijk instrument om zicht te krijgen op wat we weten uit onderzoek.

Een meta-analyse kan ons helpen om een richting te bepalen, maar de precieze grootte van een effect blijkt vaak minder zeker dan we zouden willen. Bovendien moeten we blijven kijken naar de kwaliteit van de onderliggende studies, de verschillen tussen die studies en de manier waarop de resultaten werden samengebracht.

Voor evidence-informed onderwijs is dat geen argument om minder naar onderzoek te kijken. Wel om (nog) beter naar onderzoek te kijken.

Geef een reactie