De voorbije jaren heb ik het al vaker gehad over onder andere de replicatiecrisis in psychologieonderzoek. Deze – volgens mij welgekomen – correctie, kun je moeilijk los zien van een ander fenomeen in wetenschap, namelijk ‘publish or perish’. Veel wetenschappers worden nog altijd sterk afgerekend op hun publicaties. Dat dit soms negatieve effecten heeft, werd al vaker beschreven. Maar dan heb ik het niet over de recente schandalen. Wel over een ander fenomeen waarbij enkel onderzoeken gepubliceerd of aangeboden worden met hogere kans op publisatie.
Onderzoekers spreken daarom al decennialang over het zogenaamde file drawer problem. Stel dat tien onderzoeksgroepen een interventie onderzoeken. Acht vinden weinig of geen effect, twee vinden een positief effect. Het is niet ondenkbaar dat vooral die twee laatste studies gepubliceerd raken. Soms omdat tijdschriften liever opvallende resultaten publiceren, soms omdat onderzoekers zelf minder geneigd zijn om nulresultaten uit te werken en in te dienen. Maar… zo ontstaat een vertekend beeld van de werkelijkheid.
Voor wie vertrouwd is met discussies over publicatiebias klinkt dit allemaal niet nieuw. Dat publicatiebias bestaat, weten we al langer. De interessante vraag is niet óf er studies in de schuif liggen, maar hoe groot die schuif is én wat er precies in die schuif zit
Een nieuwe meta-analyse van Peter Bergman en Nat Chowanajin probeert precies dat te achterhalen. Ze bekeken hiervoor onderzoek naar een specifieke categorie van interventies: goedkope manieren om ouders meer te betrekken bij het onderwijs van hun kinderen via sms-berichten, telefoongesprekken of apps. Op zich interessant, maar wat deze studie echt bijzonder maakt, is dat de onderzoekers niet alleen gepubliceerde studies verzamelden. Ze gingen ook actief op zoek naar studies die wel waren uitgevoerd, maar nooit waren uitgeschreven of gepubliceerd.
Dat bleek geen eenvoudige klus. Ze doorzochten onderzoeksregisters, subsidiedatabanken, rapporten van onderzoeksorganisaties en namen zelfs contact op met onderzoekers. Uiteindelijk vonden ze 82 gerandomiseerde studies uit meer dan twintig landen. Opvallend: 24 daarvan waren nooit gepubliceerd.
Dat lijkt op het eerste gezicht een stevige bevestiging van het file drawer problem. Maar zoals zo vaak wordt het verhaal interessanter wanneer je dieper kijkt. De vraag is namelijk niet alleen hoeveel studies in de schuif zijn blijven liggen, maar vooral welke studies dat zijn.
Daarvoor ontwikkelden de auteurs een statistisch model waarmee ze probeerden te reconstrueren wat er in die schuif zit. Hun conclusie is verrassend genuanceerd. Ja, er is sprake van publicatiebias. Studies met statistisch significante resultaten worden vaker uitgeschreven dan studies zonder significante resultaten. Maar de verborgen studies blijken niet massaal negatieve effecten te bevatten. Wat vooral ontbreekt, zijn studies met kleinere effecten. En dat is een belangrijk verschil met het idee dat soms leeft over publication bias.
De karikatuur van publicatiebias is namelijk vaak dat onderzoekers een kast vol mislukte experimenten verbergen terwijl alleen de succesverhalen het daglicht zien. Dit onderzoek suggereert een ander beeld. De gepubliceerde literatuur lijkt de effecten wel wat te overschatten, maar niet volledig op zijn kop te zetten. Wanneer de auteurs corrigeren voor de ontbrekende studies, blijven de gemiddelde effecten positief. Ze worden alleen iets kleiner.
Dat is eigenlijk goed nieuws voor wie wetenschap ernstig neemt. Niet omdat publicatiebias geen probleem zou zijn. Dat blijft het wel degelijk. Maar wel omdat het laat zien dat het wetenschappelijke systeem soms beter werkt dan zowel de grootste optimisten als de grootste sceptici denken. De waarheid blijkt opnieuw ergens in het midden te liggen.
Maar er is meer. We spreken vaak over “onderzoek” alsof dat een afgewerkt product is. In werkelijkheid is onderzoek een proces. Sommige studies raken gepubliceerd. Andere blijven liggen omdat onderzoekers van job veranderen, omdat financiering stopt, omdat er geen tijd meer is om een rapport af te werken of simpelweg omdat niemand eraan toekomt. Dat betekent niet automatisch dat die resultaten waardeloos zijn. Het betekent wel dat een goed overzicht van de literatuur meer vraagt dan enkel zoeken naar gepubliceerde artikelen.
Het is misschien een open deur, maar wetenschap bestaat niet alleen uit wat wordt gepubliceerd. Soms loont het meer dan de moeite om ook eens te kijken naar wat in de schuif is blijven liggen. Blijkbaar vind je daar dan niet per se verborgen revoluties of complotten, maar wel een iets completer beeld van de werkelijkheid.