Deze blog heeft een AI-probleem. Nee, niet omdat hij door AI werd geschreven. Of beter: ik heb een AI-onderzoekprobleem. Het probleem is namelijk dat ik stilaan niet meer weet welke nieuwe studies over AI en onderwijs nog de moeite waard zijn om hier te bespreken.

In de maandelijkse podcast maakte Rinke er al een paar keer een opmerking over. Weer een studie over AI. Uiteraard kan je de voorbije jaren moeilijk om artificiële intelligentie heen. En sinds ChatGPT eind 2022 voor het grote publiek beschikbaar werd, is er een ware explosie aan onderzoek ontstaan naar wat generatieve AI kan betekenen voor leren en onderwijs.  En met explosie bedoel ik ook echt een explosie.

Stanford heeft een repository waarin onderzoek over AI en K-12-onderwijs wordt verzameld. Toen onderzoekers daar in oktober 2025 de balans opmaakten, bevatte die 818 papers. Enkele maanden later waren het er al meer dan 1.100. Ondertussen zijn we alweer een heel stuk verder en is de kaap van 1.500 studies overschreden. Dat klinkt op het eerste gezicht fantastisch. Een nieuwe technologie duikt op, heeft mogelijk grote gevolgen voor onderwijs en wetenschappers storten zich erop.

Maar ik merk bij mezelf steeds vaker een ander gevoel als ik onderzoek lees voor mijn werk of deze blog en  ik opnieuw een studie over AI en onderwijs tegenkom: hebben we dit ondertussen niet al heel vaak onderzocht?

Heel veel onderzoek, maar hoeveel leren we bij?

Een eerste probleem is namelijk dat veel onderzoek min of meer hetzelfde lijkt te vertellen. Ik vat even samen:

• Leerlingen en studenten kunnen met AI bepaalde taken sneller uitvoeren.
• AI kan helpen bij feedback. Studenten waarderen het gemak.
• Als AI het denkwerk overneemt, bestaat het risico dat mensen minder zelf nadenken.
• Als AI daarentegen wordt ingezet als ondersteuning van het eigen denken, kunnen er positieve effecten zijn.
• Zoals bij veel in onderwijs hangen de precieze resultaten sterk af van wat de leerling doet, wat de AI doet, welke taak wordt uitgevoerd en hoe het geheel didactisch wordt ingebed.

Dat zijn belangrijke bevindingen voor leerlingen. Er is ook nog onderzoek naar het gebruik door leerkrachten wat tijdswinst kan opleveren en vertrouwen kan kosten.

Als grote verdediger van replicatieonderzoek wil ik nu niet pleiten voor minder replicatie. Integendeel. We hebben net meer replicaties nodig, in verschillende vakken, leeftijden, landen en omstandigheden. En bij een technologie die zo snel verandert, kan een onderzoek met een nieuw model wel degelijk iets anders vertellen dan een onderzoek met een oudere versie.

Maar… er is een verschil tussen repliceren om onze kennis steviger te maken en nog een studie toevoegen omdat AI nu eenmaal een onderwerp is waarmee je relatief makkelijk aandacht krijgt. Het aantal publicaties is daarom niet recht evenredig met de hoeveelheid kennis die erbij komt.

En dan is er de kwaliteit

Er is nog iets opvallends aan die Stanford-analyse. Van de 818 papers die op dat moment in hun repository zaten, voldeden er uiteindelijk maar 20 aan de criteria voor studies waarmee voldoende sterke causale uitspraken konden worden gedaan.

Dat wil absoluut niet zeggen dat de andere 798 studies waardeloos zijn. Een kwalitatieve studie kan zeer waardevol zijn zonder causaliteit te onderzoeken. Beschrijvend onderzoek kan ons vertellen hoe leerlingen en leraren AI gebruiken. Surveyonderzoek kan interessante patronen blootleggen. Maar het verschil tussen meer dan 800 publicaties en 20 studies met sterke causale evidentie zet de omvang van het onderzoeksveld wel enigszins in perspectief.

En wie veel onderzoek over AI leest, komt de problemen die ik al vaker vermeldde al snel tegen: kleine steekproeven, korte interventies, zelfrapportage, zelfgemaakte toetsen, onvoldoende sterke controlegroepen en soms behoorlijk grote conclusies op basis van behoorlijk beperkte gegevens. Die grote conclusies zijn dan populair op LinkedIn.

Maar daar komt nog een bijzonder probleem bij. Onderzoek naar AI heeft zelf soms een AI-probleem. Zo werd in 2024 in Heliyon een review gepubliceerd over ChatGPT en de veranderende rol van leraren. Het artikel werd later ingetrokken. Bij het onderzoek na publicatie werden onder meer irrelevante referenties en grote stukken tekst zonder bronvermelding gevonden. Er waren bovendien zorgen over niet-gemeld gebruik van generatieve AI bij het schrijven van het artikel. De auteur betwistte de redenen voor de retractie. Maar dit is zeker niet het enige voorbeeld.

We hebben zelfs al heel veel meta-analyses

Generatieve AI zoals we die nu kennen, wordt pas sinds eind 2022 massaal gebruikt. Het onderzoeksveld is dus amper enkele jaren oud. Toch is het ondertussen al moeilijk geworden om de meta-analyses over generatieve AI en onderwijs bij te houden.

Een meta-analyse uit 2026 combineert bijvoorbeeld 35 experimentele studies over ChatGPT en leeruitkomsten. Een andere analyse van generatieve AI in het hoger onderwijs combineert 57 studies en 97 effectschattingen. Nog een andere, specifiek over bachelorstudenten en ChatGPT, vond 66 studies die tussen begin 2023 en mei 2025 waren verschenen. En er zijn ondertussen aparte meta-analyses over bijvoorbeeld AI-feedback en zelfs over generatieve AI in medisch onderwijs.

Ook weer hier voor alle duidelijkheid: een meta-analyse maken over een jong onderzoeksveld is niet per definitie fout. Als er voldoende vergelijkbare studies zijn, kan het bijzonder nuttig zijn om deze samen te brengen. Maar we zien bij meta-analyses vaak een eigenschap over het hoofd. Men kan het onderliggende onderzoek niet beter maken dan het is. Garbage in, garbage out, omschreef ooit een collega-onderzoeker het.

Als je tientallen kleine, korte of methodologisch zwakke studies samenvoegt, krijg je niet opeens automatisch sterke evidentie. En wanneer verschillende meta-analyses telkens grotendeels dezelfde primaire studies gebruiken, hebben we ook niet opeens verschillende onafhankelijke bewijsstromen.

Zelfs een meta-analyse kan weer verdwijnen

Er is een voorbeeld dat dit bijna te mooi illustreert. In mei 2025 verscheen een meta-analyse met de veelbelovende titel The effect of ChatGPT on students’ learning performance, learning perception, and higher-order thinking. Het artikel kreeg enorm veel aandacht en werd honderden keren geciteerd. In april 2026 werd de meta-analyse ingetrokken. Dat betekent opnieuw niet dat meta-analyses over AI onbetrouwbaar zijn. Dat zou precies dezelfde soort te grote conclusie zijn waar ik hier voor waarschuw.

Maar het toont wel hoe voorzichtig we moeten zijn met de gedachte dat het woord meta-analyse automatisch betekent dat we nu een definitief antwoord hebben. Sterker nog, deze week verscheen alweer een interessante nieuwe systematic review en meta-analyse, deze keer over generatieve AI in STEM-onderwijs. De onderzoekers vonden 85 geschikte studies, waarvan er 49 konden worden opgenomen in de meta-analyse. Op het eerste gezicht was het gemiddelde effect van generatieve AI op cognitieve leeruitkomsten positief. Maar je keek beter nog even wat langer naar de analyse.

De verschillen tussen de studies waren gigantisch: I² = 96,32 procent. Het prediction interval liep van g = -1,52 tot g = 3,20. Met andere woorden: wat in een nieuwe situatie te verwachten valt, kan variëren van een behoorlijk negatief tot een zeer groot positief effect. De onderzoekers vonden bovendien aanwijzingen voor publicatiebias. Wanneer ze daarvoor met een aanvullende analyse probeerden te corrigeren, kon het algemene positieve effect zelfs grotendeels door die publicatiebias worden verklaard. Tja, wat weten we dan?

Er is nog een probleem: de technologie wacht niet

En dan is er iets waar onderwijsonderzoek sowieso moeite mee heeft, het kost namelijk (veel) tijd. Je moet het onderzoek ontwerpen, deelnemers zoeken, de interventie uitvoeren, de gegevens opschonen en vervolgens analyseren, een artikel schrijven, reviewers overtuigen en dan (lang) wachten tot het verschijnt.

Maar ondertussen heeft het AI-bedrijf achter de toepassing die je onderzocht niet stilgezeten en is de zoveelste nieuwe versie uitgekomen. Een studie met bijvoorbeeld een LLM-model uit 2023 kan methodologisch uitstekend zijn en toch de vraag oproepen hoe goed de resultaten nog toepasbaar zijn op systemen uit 2026. Modellen veranderen, interfaces veranderen en vooral de manier waarop mensen ermee omgaan verandert.

Dit alles creëert een vervelende paradox: We willen snel onderzoek omdat de technologie snel verandert. Maar snel onderzoek verhoogt het risico op zwakker onderzoek. Tegen de tijd dat we sterk en langdurig onderzoek hebben, bestaat het risico dat de technologie alweer veranderd is.

Ik zie daar oprecht geen eenvoudige oplossing voor.

Misschien hebben we dus niet vooral méér onderzoek nodig

Ik wil hier zeker niet pleiten om te stoppen met onderzoek naar AI en onderwijs. Integendeel, al merk ik echt dat ik het zelf begin te mijden. De technologie is tegelijk te belangrijk en de mogelijke gevolgen voor leren en onderwijs zijn te groot om dat niet te doen.

Maar ik wou in deze blog aankaarten dat we met de aanpak van vandaag soms echt te weinig bijleren. Duizend papers betekenen niet dat we duizend keer meer weten. Tien meta-analyses betekenen niet dat we tien onafhankelijke bevestigingen hebben. En een indrukwekkende effectgrootte vertelt weinig wanneer we niet weten welke studies eronder liggen, wat precies werd gemeten en met welke AI-conditie werd vergeleken.

Wat ik zelf steeds meer hoop te zien, zijn minder snelle variaties op dezelfde vraag en meer degelijk longitudinaal onderzoek, sterkere experimenten, goede replicaties, realistische onderwijscontexten en vooral onderzoek dat voortbouwt op wat we ondertussen al weten. Maar ja, dat kost tijd en dat heeft dan weer andere nadelen, zoals ik net heb beschreven. Ik wou AI hiervoor een oplossing vragen, maar ik kreeg daar ook geen bevredigend antwoord;

P.S.: Toevallig verscheen deze week toen ik net klaar was met het schrijven van deze blog ook een nieuwe scoping paper van Dirk Van Damme over AI in het onderwijs. Ook daarin passeren verschillende recente meta-analyses de revue die ik hier impliciet vermeldde. Van Damme concludeert dat de kennisbasis nog jong en ongelijk ontwikkeld is: veel onderzoek is kortdurend, relatief kleinschalig en vaak geconcentreerd in het hoger onderwijs, terwijl we veel minder weten over retentie, transfer en zelfstandige beheersing.