Dit onderzoek van Hamsa Bastani en collega’s dat verscheen tijdens mijn blogvakantie toont hoe AI wel degelijk leren ogenschijnlijk kan helpen, maar tegelijk net voor minder leren kan zorgen.

Hoe pakten ze het concreet aan om de invloed van generatieve AI, zoals GPT-4, op het leerproces van studenten te onderzoeken? In een randomized controlled trial op een middelbare school in Turkije bij meer dan 1000 leerlingen werd het gebruik van twee GPT-gebaseerde tutors getest tijdens wiskundelessen, GTP Base en GPT Tutor. De resultaten laten zien dat hoewel GPT-4 de prestaties tijdens oefensessies aanzienlijk kan verbeteren (48% verbetering met GPT Base en 127% met GPT Tutor), het uiteindelijk schadelijk kan zijn voor het leerproces. Studenten die gebruik maakten van GPT Base (de eenvoudige versie die de onderzoekers ontwikkelden) scoorden slechter op examens zonder hulp (17% slechter dan studenten die geen toegang hadden tot AI).

Dit negatieve effect was echter grotendeels afwezig bij gebruik van GPT Tutor die de onderzoekers ontwikkelden. Dit is wellicht omdat deze versie van de AI specifiek was ontworpen om meer begeleiding te bieden tijdens het leerproces in plaats van alleen maar antwoorden te geven. GPT Tutor hielp de studenten om stap voor stap problemen op te lossen, stimuleerde actief denken, en moedigde de ontwikkeling van probleemoplossende vaardigheden aan. Deze aanpak zorgde ervoor dat studenten het leerproces beter begrepen en zelfstandig konden toepassen, wat resulteerde in betere prestaties tijdens examens zonder hulp van AI. De juiste balans tussen ondersteuning en uitdaging door GPT Tutor hielp de studenten om onafhankelijker en effectiever te leren.

Maar, de onderzoekers waarschuwen op het einde van hun artikel:

ChatGPT is zeer onbetrouwbaar en geeft vaak onjuiste antwoorden. Onze resultaten suggereren dat studenten deze fouten niet kunnen ontdekken of niet bereid zijn de moeite te doen die nodig is om de juistheid te controleren. Hoewel GPT Tutor deze negatieve effecten grotendeels lijkt te verzachten, is er substantieel werk nodig om generatieve AI in staat te stellen het leren positief te verbeteren in plaats van te verminderen.

Abstract van het onderzoek:

Generative artificial intelligence (AI) is poised to revolutionize how humans work, and has already demonstrated promise in significantly improving hu- man productivity. However, a key remaining question is how generative AI af- fects learning, namely, how humans acquire new skills as they perform tasks. This kind of skill learning is critical to long-term productivity gains, especially in domains where generative AI is fallible and human experts must check its outputs. We study the impact of generative AI, specifically OpenAI’s GPT- 4, on human learning in the context of math classes at a high school. In a field experiment involving nearly a thousand students, we have deployed and evaluated two GPT based tutors, one that mimics a standard ChatGPT inter- face (called GPT Base) and one with prompts designed to safeguard learning (called GPT Tutor). These tutors comprise about 15% of the curriculum in each of three grades. Consistent with prior work, our results show that access to GPT-4 significantly improves performance (48% improvement for GPT Base and 127% for GPT Tutor). However, we additionally find that when ac- cess is subsequently taken away, students actually perform worse than those who never had access (17% reduction for GPT Base). That is, access to GPT-4 can harm educational outcomes. These negative learning effects are largely mitigated by the safeguards included in GPT Tutor. Our results suggest that students attempt to use GPT-4 as a “crutch” during practice problem sessions, and when successful, perform worse on their own. Thus, to maintain long-term productivity, we must be cautious when deploying generative AI to ensure hu- mans continue to learn critical skills.