Een van de zaken waar leraren vaak op hopen als het over AI in het onderwijs gaat, is dat de technologie zou kunnen helpen om eindelijk minder tijd te moeten besteden aan het geven van feedback op bijvoorbeeld schrijfopdrachten. Goede feedback is een van de krachtigste manieren om leren te bevorderen, maar tegelijk ook nog steeds een van de meer tijdrovende taken van een lesgever.
Een nieuwe systematische review van 34 interventiestudies uit 19 landen laat zien dat die belofte niet helemaal uit de lucht gegrepen is. Grote taalmodellen zoals (in onderzoek vooral) ChatGPT blijken inderdaad verrassend goed in het geven van feedback op teksten. Maar de review studie maakt ook duidelijk waar de grenzen liggen.
Waar blinkt AI in uit?
Vrijwel alle onderzochte systemen geven snel feedback op zaken als grammatica, spelling, woordkeuze, stijl en structuur. Dat deed bijvoorbeeld Grammarly trouwens ook deels bij het schrijven van deze post. Studenten kunnen daardoor sneller reviseren en zouden op die manier ook vaker meerdere verbeterrondes kunnen doen. Verschillende studies rapporteren bovendien een hogere betrokkenheid en een betere feedbackvaardigheid: studenten leren beter omgaan met opmerkingen over hun tekst. Dat lijkt me belangrijke winst.
Ook op het vlak van schrijfkwaliteit lijken de resultaten voorzichtig positief te zijn. In meerdere interventies ging de kwaliteit van de teksten er op vooruit wanneer studenten AI-feedback gebruikten.
Wanneer gaat het mis?
Simpel gezegd: wanneer feedback complexer wordt, begint AI terrein te verliezen.
De onderzoekers leerden uit de verschillende onderzoeken dat lesgevers van vlees en bloed nog altijd duidelijk beter zijn in het geven van feedback op hogere-orde aspecten van schrijven. Denk dan bijvoorbeeld aan de kwaliteit van een argumentatie, de logische opbouw van een redenering, het bepalen welke problemen eerst aangepakt moeten worden of het afstemmen van feedback op een specifieke leerling en diens leerproces. Dit lijkt me eerlijk gezegd meer dan logisch. Een taalmodel ziet vooral een tekst, terwijl een leraar hopelijk ook de leerling achter die tekst ziet.
Interessant is dat de auteurs hun bevindingen koppelen aan het bekende feedbackmodel van Hattie en Timperley. AI blijkt vooral goed in de vraag “Hoe doe ik het nu?” (feed back): fouten aanwijzen, onduidelijkheden signaleren en verbeterpunten benoemen.
Veel moeilijker wordt het bij de vragen “Wat moet ik nu precies doen?” (feed forward) en “Hoe leer ik hier zelfstandig beter van?” (zelfregulatie). Net daar blijkt de menselijke docent voorlopig nog een duidelijke voorsprong te hebben.
Beter samen?
Nog opvallender is misschien een andere conclusie die de onderzoekers in hun review trekken. De beste resultaten worden niet gevonden wanneer leerlingen simpelweg ChatGPT gebruiken, maar wanneer AI-feedback wordt ingebed in goed onderwijs. Studies waarin leraren de AI-feedback bespreken, helpen interpreteren of combineren met eigen feedback laten doorgaans betere leerresultaten zien dan situaties waarin leerlingen volledig zelfstandig met AI werken. Cruciaal aandachtsput: bijna alle studies in deze review werden uitgevoerd binnen het hoger onderwijs. Onderzoeken waarbij dit bekeken wordt in het basis- en secundair onderwijs blijken nog behoorlijk schaars. Bovendien waren veel studies relatief klein en gebruikten ze uiteenlopende onderzoeksopzetten. De resultaten zijn dus veelbelovend, maar zeker nog geen definitieve zekerheid, ook al omdat de technologie zelf voortdurend evolueert.
Maar tegelijk lees ik het wel als een rondje goed nieuws voor de zomervakantie. AI zal leraren voorlopig nog niet vervangen, zeker als het om feedback gaat. Nog beter: AI kan hun werk juist versterken. Laat AI in de eerste ronde feedback geven op taal, spelling of structuur. Zo kan de docent meer tijd besteden aan wat veel moeilijker te automatiseren is: leerlingen helpen nadenken, argumenteren, keuzes maken en hun eigen leerproces sturen.