Deze post op mijn Engelstalige blog wordt momenteel zeer veel gelezen, dus plaats ik hem ook maar hier!

De hype rond ChatGPT in het onderwijs is enorm. Je kunt niet door LinkedIn scrollen of een conferentie bijwonen zonder dat iemand alweer een baanbrekende toepassing van AI pitcht. Leraren experimenteren, studenten gebruiken het te pas en ook wel te onpas en onderzoekers haasten zich om te publiceren. Eerder deze maand kreeg ik de opmerking dat ik te sceptisch was geweest in lijn lezing door bij dit alles vragen te stellen. Ergens in die haast slaan we misschien wel namelijke het enige over waar we goed in zouden moeten zijn: de juiste vragen stellen.

Een recent commentaar van Weidlich, Gašević, Drachsler en mijn goede vriend en collega Paul Kirschner is een broodnodige pauzeknop. Hun boodschap is zowel simpel als brutaal: veel onderzoek naar ChatGPT in het onderwijs is niet alleen voorbarig – het zorgt in de kern voor verwarring en fouten.

Waarom?  We behandelen ChatGPT alsof het  een educatieve interventie is , terwijl het in werkelijkheid slechts een hulpmiddel en leermiddel is. Het is alsof je een onderzoek uitvoert om te kijken of “het gebruik van een vrachtwagen” de voedingswaarde verbetert, zonder je af te vragen wat in de truck zit. In het onderwijs verwarren we het medium (ChatGPT) met de methode (hoe het gebruikt wordt om iets te onderwijzen of te leren). Dat is niet zomaar een technisch detail – het maakt hele studies moeilijk of onmogelijk te interpreteren.

Neem een ​​recente meta-analyse, waar ik zelf bijna in gelopen was, die beweert dat ChatGPT de academische prestaties verbetert, met een opvallende effectgrootte van 0,7. Dat is hoger dan decennia aan onderzoek naar intelligente tutoringsystemen – AI-tools die ontworpen zijn om leren te ondersteunen. ChatGPT was daarentegen helemaal niet ontworpen voor onderwijs. Dus, hoe zou het dan beter presteren dan al het andere? Spoiler: waarschijnlijk niet. De studies in de meta-analyse lopen sterk uiteen in hoe ChatGPT werd gebruikt, wat studenten geacht werden te leren en wat telt als een “leerresultaat”. Eén studie mat hoe goed studenten ChatGPT gebruikten tijdens een taak – niet wat ze ervan leerden. Een andere studie baseerde zich op de beoordeling van hun eigen probleemoplossend vermogen door studenten na gebruik van de tool. Dat is geen leren, dat is zelfperceptie.

Dit klinkt allemaal als muggenzifterij, maar dat is het niet. Als we willen weten of ChatGPT leerlingen helpt leren, moeten we precies weten wat de leerlingen er precies mee doen, wat de vergelijkingsgroep in plaats daarvan doet en hoe we het leerproces meten. Veel onderzoeken zijn momenteel nog niet verder dan de eerste stap. Ze voegen ChatGPT gewoon toe aan de mix en hopen dat er iets goeds uit voortkomt.

Dat betekent dus voor alle duidelijkheid niet dat we niet moeten verkennen. Maar het betekent wel dat we moeten stoppen met doen alsof een flitsende nieuwe tool ons toestemming geeft om fundamentele onderzoekslogica over te slaan. Intelligente Tutorsystemen behaalden geen goede resultaten omdat ze ‘AI’ waren, maar omdat ze ontworpen waren met duidelijke onderwijsdoelen, gebaseerd op goed begrepen principes zoals feedback, adaptiviteit en cognitieve modellering. ChatGPT is dat niet. Het is een competent, universeel taalmodel, wat betekent dat het alles kan zijn – of niets – afhankelijk van hoe het gebruikt wordt.

Er schuilt een diepere les in dergelijke “fast science”. We zijn zo enthousiast om nieuwe technologieën te bestuderen dat we het risico lopen veel zwak, tegenstrijdig bewijs te produceren. Op de lange termijn vertraagt ​​dat niet alleen de vooruitgang, maar verwart het ook beleidsmakers, frustreert het onderwijs en geeft het sceptici een makkelijke reden om de hele zaak te verwerpen. Als we AI in het onderwijs optimaal willen benutten, moeten we het rustiger aan doen en het harde werk doen: onze vragen definiëren, zinvolle vergelijkingen maken en meten wat ertoe doet.

We hoeven het wiel of het water – naargelang als je dit in Vlaanderen of Nederland leest – niet telkens opnieuw uit te vinden als er een nieuwe technologie opduikt. Maar we moeten wel onthouden waar het wiel voor dient.