Het zijn moeilijke tijden voor mensen die met wetenschap bezig zijn, over wetenschap bloggen en wetenschap verdedigen. Ik doe alle drie. Daniel Muijs schreef het voorbije weekend deze blogpost waarin hij onderwijsonderzoek verdedigt. Hij begint met te erkennen dat er wel degelijk problemen zijn (zeker), maar dat er ook veel goed onderzoek wordt gedaan (ook zeker). Hij geeft zelfs een lijstje met recente, prima studies. Maar tegelijk waren voorbije zaterdag onder wetenschappers in Londen vooral de problemen het onderwerp van gesprek.

Ik twijfel nu of ik een overzicht van de problemen moet geven. Het is iets waar ik al een tijdje mee worstel. Soms schrijf ik over onderzoek, zoals deze umbrella review van 15 meta-analyses, waarbij ik bang ben dat ik de anti-wetenschap voed. Tegelijk vind ik het fout om de problemen niet te bespreken als ze zich voordoen en degelijk onderzoek dit kan aantonen.  Want de ironie is dat het in dit geval degelijk onderzoek is dat de problemen van andere onderzoeken aan het licht brengt. Je zou zelfs kunnen zeggen dat het toont dat wetenschap werkt, maar tegelijkertijd lijken de uitdagingen steeds groter te worden.

• Te veel onderzoek, te weinig goed onderzoek. De publicatiedruk beloont nog altijd aantallen papers, citaties en publicaties, liefst in de meest geciteerde tijdschriften. Dit alles stimuleert onderzoek met nieuwe inzichten die vooral publiceerbaar moeten zijn. Dit hoeft dan niet noodzakelijkerwijs belangrijke, robuuste of cumulatieve kennis te zijn, terwijl we die juist nodig hebben.
• Veel methodologisch zwak onderzoek. Een persoonlijke frustratie na veel papers te hebben gelezen de laatste maanden die hieraan lijden. Denk dan aan  kleine steekproeven, weinig power, slechte of onvoldoende gevalideerde meetinstrumenten, zwakke controlegroepen, korte interventies, enzovoort. In onderwijsonderzoek komt daar natuurlijk nog de enorme contextgevoeligheid nog bovenop die eigen is aan ons onderzoeksdomein.
• Publication bias en bedenkelijke onderzoekspraktijken. HARKing, p-hacking, outcome switching en selectief rapporteren kunnen de wetenschappelijke literatuur systematisch rooskleuriger maken dan de werkelijkheid. Stuart Ritchie toonde dit mooi in zijn boek Science Fictions.
• Replicatie blijft een probleem. Het is een van mijn dada’s, ik weet het, maar er wordt echt te weinig gerepliceerd in onderwijonderzoek. Dit is vooral omdat replicaties weinig prestige opleveren. We produceren dus veel nieuwe claims en controleren relatief weinig oude claims.
• Syntheses zijn maar zo goed als wat erin gaat. Dat sluit dus sterk aan bij mijn recente post over PBL. Tien of vijftien meta-analyses maken een conclusie niet automatisch sterker wanneer de oorspronkelijke, primaire studies zwak zijn, de interventies sterk verschillen of dezelfde studies telkens opnieuw in die meta-analyses worden opgenomen.
• Peer review kraakt onder het volume. Meer papers betekenen dat je steeds meer reviewers en editors nodig hebt, terwijl voor alle duidelijkheid het reviewwerk grotendeels onbetaald blijft en in feite vaak weinig voldoening geeft. Dit alles maakt grondige kwaliteitscontrole steeds moeilijker. Ik heb de voorbije maanden zelf een paar keer gedacht: waarom was dit geen desk reject.
• Paper mills en regelrechte fraude. Ondertussen zijn we beland bij problemen die echt voor de hele wetenschap gelden, al heeft ook onderwijsonderzoek er last van. Nature beschreef paper mills vorig jaar als een inmiddels bloeiende industrie en vermeldde een schatting van minstens 400.000 papers tussen 2000 en 2022 met kenmerken van paper-millproductie.

Veel van deze problemen zijn ouder dan je denkt, leerde al het mythbusten me de voorbije 15 jaar. Maar AI maakt al deze problemen gewoon een pak duidelijker én  erger. Generatieve AI verlaagt de inspanning en de kosten om middelmatige of waardeloze papers te produceren. Open datasets kunnen automatisch worden doorgespit op verbanden, waarna een LLM er razendsnel een (vooral ogenschijnlijk) degelijk artikel van kan brouwen. Recent onderzoek schat voor 2025 alleen al een excess van ongeveer 12.000 van zulke publicaties op basis van open gezondheidsdata. En dan kan het aantrekkelijk lijken om AI te gebruiken voor de peer review, iets waar sommige journals ook al mee experimenteren.

Je kunt bij dit alles denken: dit weten we toch al langer? Klopt. Over publicatiebias, replicatieproblemen, p-hacking en de perverse kanten van publicatiedruk wordt al jaren geschreven. Een deel van wat ik hierboven opsom, is dus allesbehalve nieuw. Wat mogelijk wel nieuw is, is de schaal waarop sommige van deze problemen zich nu kunnen gaan voordoen.

We hadden al een wetenschapssysteem dat op sommige plaatsen kwantiteit en nieuwigheid te sterk beloont. Dat systeem produceerde daardoor ook middelmatig en soms ronduit slecht onderzoek. Generatieve AI heeft nu de inspanning en kost om nog veel meer van dat onderzoek te produceren drastisch verlaagd. De menselijke capaciteit om het allemaal te lezen, te reviewen, te repliceren en uiteindelijk op waarde te schatten, is ondertussen niet even spectaculair toegenomen. Ik lees nu meer onderzoek voor deze blog om uiteindelijk steeds meer moeite te hebben om een onderzoek uit te kiezen.

En toch wil ik hier niet eindigen met de boodschap dat wetenschap niet meer te vertrouwen is, want ik volg wat Daniel schreef in zijn blog. Integendeel. De umbrella review waarover ik eerder schreef, is daar misschien zelf het beste voorbeeld van. Wetenschappers onderzochten kritisch wat andere wetenschappers hadden gedaan en concludeerden dat we veel minder zeker weten dan vijftien meta-analyses op het eerste gezicht deden vermoeden. Dat is geen falen van de wetenschap. Dat is wetenschap.

En voor alle duidelijkheid: de voorbije maanden heb ik ook fantastisch werk gezien van hardwerkende wetenschappers die – soms tegen beter weten in – niet de weg van het gemak zoeken. Die wel ook AI gebruiken omdat ze niet wereldvreemd zijn, doe ik ook, maar zelf aan het stuur blijven zitten.

En ik ben een grote verdediger van de open-science beweging en onderschrijf het belang van preregistratie (ook al krijg ik daar soms commentaar op van andere wetenschappers). Het zijn wel dergelijke mooie bewegingen die tonen dat we aan veel van de problemen werken!

Alleen wordt het werk om het kaf van het koren te scheiden steeds groter. Wie wetenschap wil verdedigen, moet haar problemen durven benoemen. Dat hoort volgens mij bij het wetenschapper zijn. Maar wie deze problemen benoemt, weet tegelijk dat elke kritiek vandaag kan worden gerecupereerd als argument tegen diezelfde wetenschap. Onverkwikkelijke verhalen zoals de zaak rond Jason Arday helpen daar ook absoluut niet mee. Soms lijkt de wetenschap zich vooral zelf in de voeten te willen schieten.

Daar worstel ik mee, alle suggesties zijn welkom.