Ik heb het nu lang genoeg uitgesteld. De voorbije weken heb ik bewust vermeden om nog over onderzoek te schrijven over AI en onderwijs. Maar ik wil het vandaag wel doen over deze nieuwe meta-analyse van Zhang en collega’s in Review of Education. De centrale vraag in hun onderzoek is: ‘Werkt generatieve AI om een vreemde taal te leren?’ De meta-analyse lijkt alvast goed nieuws te brengen voor wie AI in het talenonderwijs wil inzetten. En er is veel goeds te vertellen over deze studie. Maar toch zal ik vooral moeten uitleggen waarom je niet enkel naar het positieve effect moet kijken.

Eerst de basic facts: de onderzoekers verzamelden 48 gecontroleerde studies uit de periode 2023 tot 2026, met in totaal 5.196 deelnemers en 67 effectgroottes. Ze beperkten zich daarbij tot generatieve AI, zoals ChatGPT en andere systemen op basis van grote taalmodellen. Oudere, regelgestuurde chatbots werden niet meegenomen.

Het gemiddelde effect op het leren van een tweede taal bleek behoorlijk groot: Hedges’ g = 0,76. Ter vergelijking: een effectgrootte van 0,8 wordt traditioneel als groot beschouwd. De onderzoekers bekeken ook of het uitmaakte op welke manier AI werd ingezet. Vooral bij spreekvaardigheid vonden ze een bijzonder groot effect (g = 1,48), terwijl de effecten voor woordenschat (g = 0,66) en schrijven (g = 0,61) iets bescheidener waren. Opvallend genoeg werd er voor lezen geen statistisch significant effect gevonden.

Ook de manier waarop leerlingen met AI omgaan, lijkt een – volgens mij onverwachte – rol te spelen. Wanneer leerlingen zelf de interactie sturen, vonden de onderzoekers grotere effecten dan wanneer AI vooral bepaalt wat er gebeurt. Het grootste leereffect bleek te komen wanneer AI werd gebruikt om feedback te geven en prestaties te beoordelen. Tot zover het goede nieuws. Maar als je nu stopt met lezen, dan mis je cruciale kanttekeningen.

Een groot effect, maar hoe groot precies?

Een eerste probleem zijn de enorme verschillen in de resultaten tussen de verschillende studies. De heterogeniteit bedraagt maar liefst 92,64%. Een gemiddelde vertelt dan te weinig over de realiteit. Ook bleken enkele van de gebruikte onderzoeken bijzonder grote effecten te rapporteren. Zo vonden de onderzoekers drie uitschieters met effectgroottes van 5,70, 5,16 en 4,56. Dergelijke resultaten kom je gewoon quasi nooit tegen in onderwijsonderzoek.

Logisch dus dat de onderzoekers ook keken naar wat er gebeurde als ze deze uitschieters uit de analyse haalden. Dan daalde het gemiddelde effect van 0,76 naar 0,57. Nog steeds een positief en behoorlijk resultaat, maar toch duidelijk minder. Voor spreekvaardigheid was de daling nog meer uitgesproken, van 1,48 naar 0,65.

Daar komt nog bij dat de onderzoekers duidelijke aanwijzingen vonden voor mogelijke publicatiebias. Kleinere studies met minder positieve resultaten verschijnen mogelijk minder vaak in de wetenschappelijke literatuur. Dit is nog een aanwijzing dat de gemiddelde effectgrootte wellicht een overschatting is.

Hoe goed waren de oorspronkelijke onderzoeken?

Eerder zagen we al dat er fouten kunnen optreden bij de kwaliteitscontrole van onderzoeken die worden opgenomen in meta-analyses. Hier hebben de auteurs de kwaliteit van de meegenomen studies wel degelijk beoordeeld. Voor de 25 gerandomiseerde experimenten gebruikten ze het bekende Cochrane Risk of Bias-instrument (RoB 2), terwijl ze voor de overige studies ROBINS-I gebruikten. Dat is een sterk punt van deze meta-analyse en een van de redenen waarom ik wel over dit onderzoek blog.

Maar wat ik vervolgens mis, is een analyse waarin die kwaliteitsbeoordelingen ook echt worden gebruikt om de resultaten verder te onderzoeken. Wat gebeurt er bijvoorbeeld wanneer we alleen de studies met een laag risico op bias meenemen? Blijft het gemiddelde effect dan overeind? En blijven dezelfde AI-toepassingen het beste scoren?

Voor zover ik kan nagaan, vind ik op die vragen geen antwoord. De onderzoekers voeren wel gevoeligheidsanalyses uit waarbij, zoals gezegd, extreme effectgroottes worden verwijderd, maar een uitschieter is natuurlijk niet noodzakelijk hetzelfde als een methodologisch zwakke studie. Dat is jammer, zeker omdat de onderzoekers zelf erkennen dat de experimentele en controlegroepen niet altijd voldoende vergelijkbaar waren… En dat brengt ons bij een volgend punt

Wat vergelijken we eigenlijk?

Stel dat leerlingen in een experiment ChatGPT mogen gebruiken om hun teksten te verbeteren. Ze krijgen daardoor onmiddellijk feedback, kunnen vragen stellen en hun teksten meerdere keren aanpassen. Wat doet de controlegroep? Deze leerlingen schrijven dezelfde tekst, maar krijgen geen vergelijkbare ondersteuning. Mijn vraag nu is: als de eerste groep vervolgens beter scoort, wat hebben we dan precies met deze studie aangetoond?

Dat generatieve AI werkt? Of eerder dat leerlingen beter presteren wanneer ze meer feedback krijgen, meer kunnen oefenen of extra ondersteuning ontvangen?

In hun analyses onderscheiden de auteurs verschillende soorten controlegroepen, waaronder traditionele instructie, andere technologieën en zelfstandig werken zonder ondersteuning. Maar hierdoor verdwijnen de verschillen tussen de experimentele omstandigheden natuurlijk niet.

Het is dus best mogelijk dat generatieve AI een nuttig middel is om bepaalde vormen van ondersteuning toegankelijker te maken. Dat zou op zichzelf al interessant zijn. Alleen is dat niet hetzelfde als aantonen dat generatieve AI beter werkt dan andere manieren om diezelfde ondersteuning te bieden.

Hebben leerlingen ook echt iets geleerd?

Een laatste bedenking heeft te maken met het verschil tussen presteren en leren. Ik vermoed dat dit onderscheid extra belangrijk is bij onderzoek naar het gebruik van generatieve AI. Een leerling die met behulp van ChatGPT een betere tekst schrijft, heeft niet noodzakelijk beter geleerd schrijven. Misschien heeft de leerling inderdaad iets geleerd uit de feedback. Maar misschien heeft AI vooral geholpen om de tekst te verbeteren.

Idem voor spreekvaardigheid, een leerling kan met ondersteuning van een chatbot een gesprek voeren, maar kan die leerling dat enkele weken later ook zonder die ondersteuning? Om dat te onderzoeken, hebben we onder andere uitgestelde natoetsen nodig. Maar, van de 48 studies in deze meta-analyse gebruikten er slechts vier een uitgestelde natoets.

Nog enkele andere bedenkingen

Ik heb nog wat andere beperkingen die ik moet vermelden. De meeste studies gebruikten zelfontwikkelde toetsen. Slechts dertien gebruikten gestandaardiseerde toetsen. Daar komt nog bij dat 39 van de 48 studies plaatsvonden in het hoger onderwijs en dat meer dan de helft uit China, Hongkong, Macau of Taiwan kwam. Dit beperkt de generaliseerbaarheid.

Dus werkt AI nu wel of niet?

Je zou nu kunnen stellen dat ik spijkers op laag water zoek, maar er is een reden waarom ik al een tijdje niet meer blog over AI in de klas. De kwaliteit van veel onderzoeken laat de wensen over. Dit is een degelijke studie, maar ik ben bang dat het grote effect terug een eigen verhaal gaat leiden. Laat me duidelijk zijn: deze bedenkingen betekenen niet dat generatieve AI niet helpt bij het leren van een vreemde taal. Integendeel, de meta-analyse levert behoorlijk wat aanwijzingen op dat AI een positieve bijdrage kan leveren, zeker wanneer het wordt ingezet voor feedback, schrijven en spreken. Maar ik schrijf bewust ‘aanwijzingen’, want sluitend lijkt me de evidentie echt nog niet.