Een vorige zomer redde me van een blunder op deze blog. Ik zag een meta-analyse passeren over AI en bewaarde die om over te bloggen, maar tegen dat ik terug begon, bleek de studie nogal te rammelen. Ondanks dat ze in een toptijdschrift was verschenen, bleken de onderliggende studies en de journals waarin ze verschenen waren dit veel minder van kwaliteit te zijn (en dat was een understatement). Het werd een rode draad vorig schooljaar: er verschijnt veel onderzoek naar AI, maar de kwaliteit is behelpen. Dat bleek uit een rapport van Stanford, en dat kende een triest dieptepunt met de terugtrekking van een veel besproken meta-analyse. En nu kwam er deze zomer een nieuwe meta-analyse. Is die dan beter terwijl het onderzoek dat vaak nog steeds niet is?
Laat me meteen duidelijk zijn: deze meta-analyse van Gülsen Gençdal en Nazım Çoğaltay is niet van hetzelfde kaliber als de eerder teruggetrokken studie. Methodologisch zit ze op zich behoorlijk in elkaar. De auteurs zochten systematisch naar onderzoek, gebruikten duidelijke inclusiecriteria en beperkten zich tot experimentele en quasi-experimentele studies. En ze deden ook de gebruikelijke controles op heterogeniteit en publicatiebias.
Maar het probleem blijft: garbage in, garbage out. Een meta-analyse wordt niet automatisch sterk omdat ze methodologisch correct is uitgevoerd. Ze blijft afhankelijk van de kwaliteit van de studies die erin terechtkomen. En daar wringt het volgens mij nog steeds bij deze studie. De auteurs besluiten dat AI een groot positief effect heeft op leerprestaties (d = 0,80). Dat klinkt als enorm, en misschien echt wel té indrukwekkend. Zulke gemiddelde effecten zijn in onderwijs eerder uitzonderlijk. En dat is zeker zo wanneer een onderzoeksdomein nog zo jong is en veel studies bestaan uit kleine steekproeven, korte interventies en zelfontwikkelde toetsen. Dergelijke korte steekproeven en korte interventies deed ook ooit de bubbel rond Growth Mindset groter worden.
Er is nog een tweede, meer verrassend probleem. De studie onderzoekt namelijk niet echt of AI werkt. Ze onderzoekt een enorme verzameling totaal verschillende toepassingen waarbij intelligente tutorsystemen, adaptieve leerplatformen, machine learning, deep learning en generatieve AI allemaal onder dezelfde noemer worden geplaatst. Didactisch hebben die soms nauwelijks iets met elkaar gemeen. Het is een beetje alsof je de effecten van “transport” onderzoekt en fietsen, auto’s, treinen en vliegtuigen samen analyseert. Er zijn verschillen qua afstand, uitstoot en comfort, laten we stellen.
Daardoor zegt die gemiddelde effectgrootte in feite weinig tot niets. Scholen vragen zich vandaag niet af of “AI” werkt. Ze willen weten of een specifieke toepassing, voor een specifiek leerdoel, bij een specifieke groep leerlingen iets toevoegt ten opzichte van een goed alternatief.
Deze meta-analyse is dus zeker beter dan sommige voorgangers. Maar ze verandert weinig aan mijn conclusie van het voorbije schooljaar. We hebben vandaag nog altijd nood aan minder AI-onderzoek, en vooral beter AI-onderzoek. Pas dan zullen – na een paar jaar wellicht – meta-analyses ons echt betrouwbare antwoorden kunnen geven.