In de weekendkrant van De Standaard staat dit artikel met een heel onheilspellende titel: AI-slop en neponderzoek overspoelen de wetenschap: “Het hele systeem staat op instorten.” Maar, ik kan het wel ergens onderschrijven, eerlijk gezegd.
Het deed me namelijk denken aan iets wat ik de afgelopen maanden al regelmatig heb meegemaakt. Ik probeer nog regelmatig artikels te reviewen voor wetenschappelijke tijdschriften. Vind het mijn taak. Ook al kun je bedenkingen hebben bij het gratis werken voor multinationals die heel veel poen scheppen. Maar steeds vaker denk ik: dit is nep, dit is AI.
Steek ik het artikel dan door Pangram, lijkt het artikel effectief quasi volledig door AI geschreven te zijn. Opgelet, dat wil nog niet zeggen dat het slecht is. De auteurs, die zelf ook geen native speakers waren, kunnen AI hebben gebruikt om hun taal te verbeteren. Daar heb ik geen problemen mee. Ik doe het ook soms en mijn Engels is een pak beter door Grammarly bijvoorbeeld (geen sponsoring). Maar als je dan ook nog een pak gehallucineerde referenties vindt. Statistieken die op het eerste gezicht gewoon niet kunnen kloppen. Dan weet je hoe laat het is.
Ik kreeg vorige week de vraag om een artikel opnieuw te beoordelen waarvan ik de editor uitvoerig had laten weten dat het AI-slop was, met bewijzen hiervan. Het had me behoorlijk wat werk gekost. Groot was mijn verbazing dat ik blijkbaar 1 van de 11 reviewers was. De eerste had gewoon geschreven dat het geaccepteerd moest worden, maar verschillende anderen hadden ook de AI-stijl van het schrijven opgemerkt én de fouten in de statistische analyses.
AI heeft de problemen in de wetenschappelijke publicatiecultuur niet uitgevonden. Foute referenties hebben Paul, Casper en ik al vijftien jaar grijze haren bezorgd tijdens ons mythewerk. En de schandalen rond Stapel, Arday, enz… Maar Claude, Gemini en co. dreigen ze wel exponentieel groter te maken. En ik vrees dat de bereidheid van onderzoekers om vrijwillig de rommel van anderen op te ruimen niet in hetzelfde tempo zal groeien.
Ik gruwelde bij het idee dat er dus 10 onderzoekers tijd en energie in hadden gestoken, terwijl de auteurs dat nauwelijks gedaan hebben. Ik heb het journal laten weten dat ik mijn tijd beter kan gebruiken.