Gisteren reageerde Paul Kirschner op mijn Engelstalige blog met kritiek op het onderzoek dat ik besprak, en eindigde met de woorden: “Again, lots of time and money invested to learn virtually nothing.” Paul heeft een punt. En deze nieuwe umbrella-review zal hem, en u als lezer niet hoopvoller stemmen. Beeld je in vijftien meta-analyses, allemaal samen gebaseerd op honderden onderzoeken naar project-based learning. Alle acht de meta-analyses die naar leerprestaties kijken, vinden een positief effect. De gerapporteerde effecten variëren van een bescheiden d = 0,277 tot een spectaculaire d = 1,28. Je zou denken dat we ondertussen behoorlijk goed weten of project-based learning werkt. Maar wat blijkt: die meta-analyses zeggen quasi niets.

Deze nieuwe umbrella review van Farshad en Fortin legde namelijk die vijftien meta-analyses naast elkaar en beoordeelde ook hun methodologische kwaliteit. Het resultaat is behoorlijk pijnlijk en ontluisterend: alle vijftien kregen het label ‘Critically Low’. Geen enkele meta-analyse haalde zelfs maar ‘Low’, laat staan ‘Moderate’ of ‘High’.

Betekent dit nu dat project-based learning niet werkt? Nee, dat kunnen we ook niet besluiten op basis van deze review. In alle acht de relevante meta-analyses zien we dezelfde positieve richting. Er lijkt dus wel degelijk iets te zijn. Maar hoe groot dat effect werkelijk is en onder welke omstandigheden het optreedt, daarover weten we veel minder dan vijftien meta-analyses misschien doen vermoeden.

Waarom krijgen al die meta-analyses nu zo’n vernietigend oordeel van Farshad en Fortin? Zo bleek geen enkele van de vijftien vooraf een protocol te hebben geregistreerd of een verantwoorde lijst van uitgesloten studies mee te geven. Dertien van de vijftien beoordeelden het risico op vertekening in de oorspronkelijke studies niet op een adequate manier en veertien hielden bij het interpreteren van de resultaten onvoldoende rekening met dat risico.

En mocht je denken dat al die meta-analyses zich op dezelfde studies baseerden? Nee, ze herkauwen nauwelijks dezelfde onderzoeken. Voor dertien meta-analyses konden Farshad en Fortin de onderliggende studies terugvinden (zegt ook veel over die andere 2 meta-analyses…). Ze vonden 351 unieke onderzoeken. Slechts twaalf kwamen in meer dan één meta-analyse voor, geen enkele in meer dan twee!

En weten we dan misschien wanneer project-based learning beter werkt? Nauwelijks. Voor onderwijsniveau, vakgebied en duur spreken de resultaten elkaar geregeld tegen. Kleinere groepen en technologische ondersteuning lijken wel iets consistentere positieve resultaten op te leveren, maar ook die conclusies komen natuurlijk uit meta-analyses van zeer lage methodologische kwaliteit.

De echte conclusie van deze review is dus behoorlijk ontnuchterend. We hebben honderden onderzoeken, vijftien meta-analyses en telkens opnieuw resultaten die voor leerprestaties dezelfde positieve richting uitwijzen. Mooi, maar na al dat onderzoek hadden we toch mogen verwachten dat we ondertussen veel beter zouden weten hoe goed het werkt en onder welke omstandigheden. Het is misschien niet virtually nothing maar tegelijk toch niet veel meer.