Een schoolvoorbeeld van hoe meta-analyses wél kunnen: wat een nieuwe preprint ons leert over beweging en cognitie

effect van beweging op cognitie meta-analyseDeze post gaat over twee zaken. Enerzijds onderzoekt deze meta-analyse het effect van beweging op cognitie. Maar er is ook iets anders en daar moet ik het eerst over hebben. Het is namelijk momenteel een van mijn meest gelezen posts op deze blog: kloppen de meeste meta-analyses wel in onderwijsonderzoek? In feite is het vooral een overzicht van waar het allemaal kan mislopen en vaak ook misloopt. Ik kreeg al veel reacties, maar een ondertoon is soms: meta-analyses zijn slecht onderzoek. En dat was zeker niet de bedoeling van de auteurs van de review waarop ik de post schreef. Integendeel, denk ik. Ik las het zelf vooral als een pleidooi om het gewoon (nog) beter te doen. En dat dit kan, bewijst deze meta-analyse over de link tussen onder andere bewegen en cognitie.

De studie van Bartoš en collega’s (nog niet peer-reviewed, maar wel indrukwekkend zorgvuldig) is een meta-meta-analyse over het effect van lichaamsbeweging op cognitie, geheugen en executieve functies. De voorbije jaren verschenen er heel wat optimistische reviews over dit onderwerp. ze maakten stevige claims in de richting van “bewegen maakt je slimmer”. Maar wie zich afvraagt wat er écht gebeurt wanneer je honderden meta-analyses ontleedt tot op studieniveau, krijgt hier een bijzonder interessant antwoord. Er is veel ruis, nog meer heterogeniteit, en behoorlijk wat publicatiebias. En precies dat maakt deze preprint zo’n schoolvoorbeeld van hoe het zou moeten.

De auteurs heranalyseerden 215 meta-analyses en reconstrueerden 2.239 effectgroottes op studieniveau. Ze kozen niet voor één model, maar voor meerdere robuuste opties naast elkaar: Bayesiaanse model averaging, selectiemodellen, PET-PEESE en weight functions. Ze gebruikten niet alleen funnelplots, maar ook z-curves en biasfactoren met overtuigende evidentie. En ze eindigen niet bij één gemiddeld effect, maar tonen prediction intervals die laten zien hoe breed de uitkomsten werkelijk liggen. Het resultaat is tegelijk geruststellend en ontnuchterend. Sommige vormen van beweging hebben in specifieke populaties kleine positieve effecten, maar de algemene claim ‘bewegen verbetert cognitie’ houdt nauwelijks stand zodra je publicatiebias en heterogeniteit ernstig neemt.

Wat de auteurs vooral goed doen, is weigeren om de meetkundige middelmaat te verwarren met waarheid. Het gemiddelde effect voor general cognition krimpt na correcties tot een kwart standaarddeviatie, en voor geheugen en executieve functies bijna tot nul. Maar belangrijker: de prediction intervals lopen van mogelijke schade tot mogelijke winst. Als je die spreiding ziet, wordt duidelijk waarom je zulke gemiddelden niet moet overschatten. Dit is precies wat methodologische handboeken en de review waarover ik schreef proberen uit te leggen, maar wat in de praktijk van meta-analyses nog te weinig gebeurt.

Nog iets wat ik waardeer: de openheid. De auteurs publiceren code en data. Ze benoemen beperkingen (zoals mogelijk overlappende studies). En ook: ze corrigeren zelf meta-analyses die eerder te grote effecten rapporteerden. Zo hoort het. En ja, het blijft een preprint. Dus… er kan hier en daar nog iets verschuiven tijdens de peer review. Maar als voorbeeld van hoe transparante, zware en methodologisch consequente meta-analyse eruitziet, verdient het werk nu al een plaats in de categorie “schoolvoorbeeld”.

Nu ten slotte over de conclusie van dit titanenwerk. Het is uiteindelijk minder sexy dan sommige beleidsdocumenten graag hebben. Bewegen is gezond om talloze redenen, maar de claim dat het je brein een algemeen cognitief duwtje geeft, is voorlopig niet zo stevig als vaak wordt gedacht. Misschien is dat geen boodschap die viraal gaat, maar wel een die helpt om wetenschap beter te begrijpen. En dat is winst genoeg.

En oja, omdat ik weet dat deze vraag anders zal komen: wat met bewegend leren? Deze meta-meta-analyse zegt daar niet rechtstreeks iets over. Wel nuanceert ze een onderliggende aanname ervan: dat beweging op zich een cognitieve turbo is. De auteurs tonen dat het cognitieve effect van bewegen klein, onzeker en extreem heterogeen is.

Afbeelding: https://www.pexels.com/nl-nl/foto/ontspanning-kamer-vreugde-plezier-8613312/

Geef een reactie