De voorbije jaren heb ik het al vaker gehad over onder andere de replicatiecrisis in psychologieonderzoek. Deze – volgens mij welgekomen – correctie, kun je moeilijk los zien van een ander fenomeen in wetenschap, namelijk ‘publish or perish’. Veel wetenschappers worden nog altijd sterk afgerekend op hun publicaties. Dat dit soms negatieve effecten heeft, werd al vaker beschreven. Maar dan heb ik het niet over de recente schandalen. Wel over een ander fenomeen waarbij enkel onderzoeken gepubliceerd of aangeboden worden met hogere kans op publisatie.
Onderzoekers spreken daarom al decennialang over het zogenaamde file drawer problem. Stel dat tien onderzoeksgroepen een interventie onderzoeken. Acht vinden weinig of geen effect, twee vinden een positief effect. Het is niet ondenkbaar dat vooral die twee laatste studies gepubliceerd raken. Soms omdat tijdschriften liever opvallende resultaten publiceren, soms omdat onderzoekers zelf minder geneigd zijn om nulresultaten uit te werken en in te dienen. Maar… zo ontstaat een vertekend beeld van de werkelijkheid.
Voor wie vertrouwd is met discussies over publicatiebias klinkt dit allemaal niet nieuw. Dat publicatiebias bestaat, weten we al langer. De interessante vraag is niet óf er studies in de schuif liggen, maar hoe groot die schuif is én wat er precies in die schuif zit