De tijd is stilaan voorbij waar taalmodellen ons verrassen met wat ze kunnen. Soms doen ze dat nog wel met hoe ze fouten maken. Een nieuwe preprint met de heerlijke titel Does Liking Yellow Imply Driving a School Bus? legt precies zo’n mechanisme bloot. De eerste auteur is Hila Gonen, en ik botste op het artikel via Adam Boxer, die het deelde en meteen duidelijk maakte waarom dit meer is dan een leuke curiositeit.
De paper introduceert het begrip semantic leakage. Daarmee bedoelen de auteurs dat taalmodellen irrelevante betekenissen uit een prompt meenemen in hun antwoord. Niet omdat de logica daarom vraagt, maar omdat de statistische associatie te sterk is om te negeren. Wie “He likes yellow. He works as a …” aan een model voorlegt, krijgt opvallend vaak “school bus driver” terug. Geel en schoolbus horen nu eenmaal vaak samen in de data, en die samenhang lekt door in de generatie.
Het interessante is dat dit geen randverschijnsel blijkt. Gonen en collega’s testen dertien verschillende modellen en vinden het effect overal terug. Sterker nog, instruction-tuned modellen vertonen het vaker dan hun niet-gefinetunede varianten. Ook in andere talen en in meer open opdrachten, zoals verhalen schrijven of recepten voorstellen, duikt semantic leakage op. Een kind met de naam “Coral” leeft plots aan zee, een blauwe pan vraagt blijkbaar om blauwe bessen.
Wat dit artikel vooral duidelijk maakt, is dat we hier niet zomaar met een grappige bias te maken hebben, maar met een structureel mechanisme. Semantic leakage hangt nauw samen met wat we eerder al kenden als stereotypen en associatiebias, maar is breder en subtieler. Het verklaart ook waarom prompts soms ontsporen op manieren die moeilijk te voorspellen zijn: bepaalde woorden overschaduwen andere, relevantere informatie. Zoals Adam aangeeft in zijn tweet, kan dat repercussies hebben wanneer AI wordt ingezet om studententaken te beoordelen.
Voor onderwijs, beleid en praktijk is dit dus een nuttige waarschuwing. Niet elk fout of vreemd antwoord van een taalmodel wijst op een gebrek aan kennis. Soms is het gewoon een teveel aan associatie. Begrijpen waarom dat gebeurt, is minstens zo belangrijk als steeds betere output eisen. Deze paper helpt om dat mechanisme scherper te zien en maant dus impliciet ook aan tot voorzichtigheid.