Stel je voor: een model als GPT-5 haalt topresultaten op medische examens, verslaat benchmarks in toonaangevende tijdschriften en lijkt klaar om artsen te ondersteunen. Klinkt indrukwekkend, toch? Maar wat blijkt: zodra je de tests iets lastiger maakt, valt de façade uiteen. Dat is de boodschap van een nieuwe paper van Microsoft Research, met de veelzeggende titel The Illusion of Readiness (Gu et al., 2025). Ik ben vaak kritisch wanneer bedrijven hun eigen producten onderzoeken, maar in dit geval is Microsoft zelf nog kritischer dan ik zou zijn.

De onderzoekers tonen namelijk aan dat huidige modellen vaak slagen om de verkeerde redenen. Ze herkennen patronen en statistische shortcuts, maar begrijpen de geneeskunde zelf niet. Een model kan bijvoorbeeld een longontsteking correct “diagnosticeren” zonder ooit naar de radiografie te kijken, simpelweg omdat de tekst “koorts + hoest” vaak samen voorkomt met die diagnose in de trainingsdata.

Stress-tests in plaats van benchmarks

Wat Microsoft deed, is de modellen onderwerpen aan zogenaamde stress tests. Ze namen zes toonaangevende multimodale modellen – waaronder GPT-5, Gemini 2.5 Pro en OpenAI’s o-modellen – en bekeken hoe ze presteren zodra de omstandigheden veranderen. Beelden werden verwijderd, antwoordopties herordend, afleiders vervangen of zelfs subtiele visuele wijzigingen aangebracht.

De resultaten zijn pijnlijk:

• Zonder beelden bleven modellen vaak verrassend goed scoren, wat suggereert dat ze helemaal niet écht naar de beelden kijken, maar gokken op basis van tekstuele hints of memorisatie.

• Wanneer de volgorde van antwoordopties werd gewijzigd, kelderde de accuraatheid. Dat wijst op een afhankelijkheid van oppervlakkige patronen in plaats van begrip van de vraag.

• Nog ernstiger: modellen gaven overtuigende verklaringen die volledig gefabriceerd bleken. Ze legden haarfijn uit welke visuele kenmerken ze zagen – terwijl er helemaal geen beeld aanwezig was.

Met andere woorden: AI kan doen alsof ze redeneert, maar het is vaak een goocheltruc zonder veel inhoud.

Wat betekent dit voor de toekomst?

De studie onderstreept een ongemakkelijke waarheid. Huidige medische benchmarks zijn geen betrouwbare voorspeller voor hoe modellen zich in echte ziekenhuizen zullen gedragen. Ze meten vooral teststrategieën, niet robuust begrip. En toch worden deze scores vaak opgevoerd als bewijs van “medische klaarheid”.

Microsoft pleit daarom voor een radicale herziening: benchmarks moeten worden gezien als diagnostische tools, niet als einddoelen. Stress-tests die onzekerheid, onvolledige data en misleidende prikkels simuleren, zijn cruciaal om te weten of een model te vertrouwen is.

Dat uitgerekend een speler als Microsoft dit luid verkondigt, maakt de boodschap nog sterker. Het bedrijf heeft er alle belang bij om te tonen hoe ver ze staan, maar kiest hier voor transparantie en zelfkritiek. Het signaal is duidelijk: wie AI in de zorg wil inzetten, moet voorbij de leaderboard-wedstrijden kijken.

Een bredere les

Wat voor de geneeskunde geldt, geldt eigenlijk voor alle domeinen waar AI de sprong maakt van demo naar praktijk. Of het nu gaat om onderwijs, rechtspraak (iemand pleiitte gisteren nog om AI massaal te gebruiken in de rechtspraak) of mobiliteit: modellen moeten niet alleen juist antwoorden, maar vooral voor de juiste redenen. Het verschil tussen een gok en een diagnose kan letterlijk levens kosten.

De toekomst van AI hangt dus niet enkel af van nog grotere modellen, maar minstens evenveel van betere manieren om ze te testen en te evalueren. Transparantie, stressbestendigheid en robuust redeneren worden de nieuwe sleutelwoorden.

En dat Microsoft dat zelf zo scherp benoemt, mag misschien wel een lovenswaardig kantelpunt zijn in hoe we over AI-vooruitgang praten. Misschien is dat de grootste vooruitgang van dit moment: erkennen waar AI nog niet klaar voor is