A.I. doet sommige mensen dromen, dit nieuwe onderzoek van Holbrook et al lijkt eerder nachtmerries te brengen. De onderzoekers bekeken het fenomeen van “oververtrouwen” in AI-aanbevelingen, en dan specifiek in situaties waarin mensen beslissingen moeten nemen over leven en dood.

In twee experimenten werd getest hoe mensen omgaan met de aanbevelingen van robots bij het identificeren van gevaarlijke vijanden of gewone burgers. Wat bleek? Mensen waren geneigd hun initiële beslissingen vaak te herzien als de robot hen een andere suggestie gaf, zelfs als de AI willekeurige, onbetrouwbare adviezen gaf.

In het eerste experiment wilden de onderzoekers testen of mensen meer geneigd zijn te vertrouwen op een fysieke robot dan op een robot die alleen op een scherm verschijnt. De deelnemers kregen een drone-oorlogsvoering simulatie voor zich waarin ze moesten bepalen of een doelwit een vijand of een gewone burger was. Nadat ze hun keuze hadden gemaakt, kregen ze een willekeurig advies van de robot, die ofwel fysiek in de kamer aanwezig was, of virtueel op een scherm werd weergegeven.

Wat bleek? Het fysieke of virtuele aspect maakte eigenlijk niet veel uit. Deelnemers veranderden hun beslissingen even vaak, ongeacht of de robot fysiek aanwezig was of op een scherm verscheen. Het opvallende hier was dat, hoewel de robots aangaven dat ze fouten konden maken, de deelnemers toch in de meeste gevallen hun oorspronkelijke beslissing heroverwogen zodra de robot het oneens was. In feite maakte dit hun prestaties aanzienlijk slechter, want in plaats van op hun eigen oordeel te vertrouwen, volgden ze vaak de AI, zelfs als die willekeurig verkeerde suggesties gaf.

In het tweede experiment werd de focus verlegd naar hoe menselijk de robot overkwam. Hier gebruikten de onderzoekers drie soorten robots: een volledig menselijke robot (virtueel), een niet-menselijke machine die hetzelfde advies gaf, en een niet-interactieve machine die alleen tekstfeedback gaf. De vraag was of de mate van menselijkheid van de robot invloed had op het vertrouwen van de deelnemers.

Wat was hier het resultaat? Deelnemers waren geneigd meer te vertrouwen op robots die menselijk gedrag vertoonden, zoals gezichtsuitdrukkingen en handgebaren. Hoe menselijker de robot zich gedroeg, hoe sneller mensen geneigd waren hun initiële keuze te herzien. Opnieuw zagen de onderzoekers dat vertrouwen in de AI leidde tot een afname van de prestaties, want ook hier was de AI willekeurig en vaak fout, maar de menselijke trekjes leken dat vertrouwen alleen maar te versterken.

Beide experimenten laten zien dat we, zelfs met de wetenschap dat AI fouten kan maken, vaak te snel geneigd zijn om die technologie te volgen, vooral als de AI menselijke kenmerken vertoont. Een belangrijke beperking in dit onderzoek is dat – natuurlijk – de deelnemers nooit echt in een levensbedreigende situatie zaten. Tegelijk zet het onderzoek behoorlijk aan het denken, bijvoorbeeld als AI zou gebruikt worden om werk van studenten te beoordelen…

Abstract van het onderzoek:

This research explores prospective determinants of trust in the recommendations of artificial agents regarding decisions to kill, using a novel visual challenge paradigm simulating threat-identification (enemy combatants vs. civilians) under uncertainty. In Experiment 1, we compared trust in the advice of a physically embodied versus screen-mediated anthropomorphic robot, observing no effects of embodiment; in Experiment 2, we manipulated the relative anthropomorphism of virtual robots, observing modestly greater trust in the most anthropomorphic agent relative to the least. Across studies, when any version of the agent randomly disagreed, participants reversed their threat-identifications and decisions to kill in the majority of cases, substantially degrading their initial performance. Participants’ subjective confidence in their decisions tracked whether the agent (dis)agreed, while both decision-reversals and confidence were moderated by appraisals of the agent’s intelligence. The overall findings indicate a strong propensity to overtrust unreliable AI in life-or-death decisions made under uncertainty.