In een recente studie van Bayer en Renou (2024) die ik gisteren ontdekte via Dylan Wiliam werd gekeken of de kwaliteit van hoe mensenredeneren verschilt naargelang met wie of wat je samenwerkt, met andere mensen of met kunstmatige intelligentie (AI). De onderzoekers wilden namelijk weten wanneer samenwerking met andere mensen betere resultaten oplevert en wanneer AI juist kan helpen om betere beslissingen te nemen. Hiervoor ontwikkelden ze een puzzelspel, het zogenaamde “rode hoeden”-spel, waarin deelnemers moesten raden welke kleur hoed zij zelf op hadden. De deelnemers konden de kleur van de hoeden van de anderen zien, maar niet die van zichzelf. Door logisch na te denken over de mogelijke antwoorden van de anderen, konden ze hun eigen hoedkleur afleiden. De puzzels werden in verschillende moeilijkheidsgraden gepresenteerd: eenvoudige taken waarbij slechts één of twee stappen van redeneren nodig waren, en moeilijkere met drie of vier stappen.
De onderzoekers ontdekten dat mensen beter presteren wanneer ze samenwerken met andere mensen in eenvoudige taken. Wanneer er maar weinig stappen nodig zijn om tot de juiste conclusie te komen, helpt het om samen te werken met mensen die zich in dezelfde situatie bevinden en dus mogelijk dezelfde mentale modellen gebruiken. Mensen kunnen zich gemakkelijker verplaatsen in de gedachtegang van anderen die hetzelfde moeten beredeneren, wat hun redeneringsproces ondersteunt. Bij moeilijkere taken bleek juist het tegenovergestelde. Zodra er drie of meer stappen nodig zijn, presteren deelnemers beter in samenwerking met AI. Dit komt doordat AI-algoritmes altijd correct redeneren, zonder de fouten of onzekerheden die menselijke partners zouden kunnen hebben. Hierdoor hoeven mensen bij de moeilijkere taken minder rekening te houden met mogelijke fouten van anderen, waardoor ze zelf ook effectiever kunnen redeneren.
Een interessante toevoeging aan het onderzoek was dat de onderzoekers ook een variant van het spel testten waarin deelnemers werden gekoppeld aan menselijke experts, die aantoonbaar goed waren in het oplossen van dit type puzzel. De resultaten in deze opstelling leken sterk op de resultaten met AI, wat erop wijst dat de zekerheid over de juistheid van de antwoorden van de partners bepalend is voor het verschil in kwaliteit van de redenering. Met AI of experts voelen mensen zich gestimuleerd om een logische oplossing te vinden zonder dat ze zelf modellen van het denkproces van hun partners hoeven te maken. Bij het samenwerken met andere mensen is het echter juist het proces van het bouwen van zulke mentale modellen dat de prestaties bij eenvoudige taken bevordert, terwijl dit een nadeel blijkt te zijn bij de moeilijkere taken.
Deze bevindingen hebben belangrijke implicaties voor de inzet van AI in werksituaties. Bij eenvoudige taken waarbij sociale afstemming en inlevingsvermogen van belang zijn, lijkt het nuttiger om mensen met elkaar te laten samenwerken. Voor complexere problemen, waarbij het aantal denkstappen toeneemt en de kans op fouten groter wordt, kan AI een betere samenwerkingspartner zijn omdat het geen fouten maakt en logisch consistent blijft redeneren.
Abstract van het onderzoek:
The resolution of complex problems is widely seen as the next challenge for hybrid human–artificial intelligence (AI) teams. This paper uses experiments to assess whether there is a difference in the quality of human reasoning depending on whether the humans interact with humans or algorithms. For this purpose, we design an interactive reasoning task and compare the performance of humans when paired with other humans and AI. Varying the difficulty of the task (i.e., steps of counterfactual reasoning required), we find that, for simple tasks, subjects perform much better if they play with other humans, whereas the opposite is true for difficult problems. Additional experiments in which subjects play with human experts show that the differences are driven by the knowledge that AI reasons correctly rather than that it is nonhuman.