Op deze blog passeren ze vaak. John Hattie maakte ze in onderwijs wereldberoemd. Meta-analyses gelden vaak als het hoogste niveau van wetenschappelijk bewijs. Ze bundelen resultaten van tientallen of zelfs honderden studies en proberen daar één helder antwoord uit te distilleren: werkt deze aanpak of niet? Voor wie op zoek is naar houvast in het woud van onderwijsonderzoek, klinkt dat bijzonder aantrekkelijk. Eén overzicht, één conclusie, klaar. Eerder bracht ik al een review van Pellegrini en collega’s waarbij ze kritisch keken naar de betrouwbaarheid van meta-analyses in onderwijs.
Maar er zijn nog vragen die je kan stellen. Zoals: wat betekent zo’n conclusie eigenlijk voor de klaspraktijk?
Een andere recente meta-review van Pellegrini en collega’s keek precies naar die vraag. De onderzoekers analyseerden 103 recente meta-analyses over schoolinterventies en onderzochten niet of ze methodologisch correct waren, maar in welke mate ze relevant, toepasbaar en begrijpelijk zijn voor leraren en beleidsmakers.
Hun bevindingen zijn daarbij geen aanklacht tegen meta-analyses. Voor iedereen die zat te hopen dat ik of de onderzoekers ze hier zouden begraven, think again. Wel is het een uitnodiging om ze anders te bekijken.
Om te beginnen blijkt dat meta-analyses zelden samen met onderwijsprofessionals worden ontworpen. In meer dan tachtig procent van de gevallen was er geen enkele vorm van betrokkenheid van leraren of scholen bij het formuleren van de onderzoeksvragen of het interpreteren van de resultaten. Dat is niet vreemd. Meta-analyses zijn meestal academische producten. Het verklaart wel waarom ze vaak antwoorden geven op wetenschappelijke vragen (“is er gemiddeld een effect?”) en minder op praktische vragen (“wanneer werkt dit, voor wie, en onder welke voorwaarden?”).
Daarnaast missen veel meta-analyses precies die informatie die voor scholen cruciaal is om beslissingen te nemen. Ze rapporteren bijna altijd het leerjaar en het vakgebied, maar zelden zaken zoals:
- hoeveel training leraren nodig hebben
- wat het programma kost
- hoe intensief het moet worden uitgevoerd
- in welke schoolcontexten het onderzocht is
Met andere woorden: we weten vaak dát iets gemiddeld werkt, maar niet of het past binnen de realiteit van een specifieke school. Iets wat ik vaak de ‘bijsluiter’ noem bij onderwijsinterventies.
Ook de manier waarop resultaten worden gepresenteerd is vooral afgestemd op onderzoekers. Forest plots en gestandaardiseerde effectgroottes zijn vertrouwde kost in wetenschappelijke tijdschriften, maar voor niet-specialisten moeilijk te interpreteren. Slechts een klein deel van de meta-analyses vertaalt effecten naar begrijpelijkere maten zoals percentielen of leerwinst. En amper de helft formuleert expliciet wat de bevindingen zouden kunnen betekenen voor de praktijk.
Dat klinkt als een tekort, maar je kan het ook anders lezen: meta-analyses zijn sterk in wat ze oorspronkelijk bedoeld zijn te doen, namelijk patronen blootleggen over veel studies heen. Ze tonen ons dat effecten variëren, dat context ertoe doet, en dat “wat werkt” zelden één simpel antwoord heeft. In die zin zijn ze eerder kaarten dan routebeschrijvingen: ze laten het landschap zien, maar niet de exacte weg die elke school moet volgen.
De auteurs van de meta-review pleiten dan ook niet voor minder meta-analyses, maar voor betere verbindingen met de praktijk. Dit kunnen ze doen door:
- vaker relevante contextkenmerken te rapporteren
- moderators te analyseren die voor scholen betekenisvol zijn
- resultaten toegankelijker te visualiseren
- en expliciet te benoemen waar onzekerheid zit
Zo kunnen meta-analyses uitgroeien tot een krachtiger instrument voor evidence-informed onderwijs.
Meta-analyses zijn dus geen eindpunt, maar een beginpunt. Ze kunnen richting geven aan denken en discussie, maar ze nemen de professionele afweging niet over. Ze zeggen niet: “doe dit”, maar eerder: “hier zie je patronen, nu is het aan jou om ze te vertalen naar jouw context”.
Wie meta-analyses zo leest, dus niet als receptenboek maar als een denkkader, haalt er waarschijnlijk precies uit wat ze wél goed kunnen bieden: beter begrip van wat mogelijk werkt, en waarom het soms ook niet werkt. Dat is geen zwakte. Dat is volwassen wetenschap in een complex onderwijslandschap.