Kunstmatige intelligentie (AI) is overal, maar begrijpen we echt hoe het werkt? In sectoren zoals financiën en gezondheidszorg kan een AI-beslissing enorme gevolgen hebben. Daarom wordt er veel gesproken over ‘explainable AI’ (XAI), oftewel AI die zijn beslissingen begrijpelijk maakt. Maar veel van die “uitlegmodellen” schieten tekort: ze zijn te technisch, te abstract, of niet praktisch toepasbaar. Een recente studie van Eleanor Mill, Wolfgang Garn en Chris Turner onderzocht hoe dit beter kan met een aanpak die de gebruiker centraal stelt.

Het probleem begint bij de manier waarop AI-onderzoekers denken. Ze bouwen modellen, testen ze op data en bedenken er daarna een uitlegmodel bij. Maar een uitleg die logisch lijkt voor een ontwikkelaar, is niet per se nuttig voor de eindgebruiker. In plaats daarvan zou je moeten beginnen bij de gebruiker: wie heeft uitleg nodig, in welke context, en met welk doel? Het SAGE-framework helpt hierbij door vier vragen te stellen:

• Wat is de setting?
• Wie is het publiek?
• Wat is het doel?
• En welke ethische overwegingen spelen mee?

Een goed voorbeeld komt uit fraudedetectie bij banken. Stel, je bent een fraudeanalist en krijgt een lijst met verdachte transacties. Je moet snel beslissen welke legitiem zijn en welke moeten worden geblokkeerd. Een uitlegmodel dat je een grafiek laat zien met ingewikkelde correlaties, helpt niet. Maar een systeem dat in een paar zinnen uitlegt waarom een transactie als verdacht wordt aangemerkt – en dit presenteert in een standaardformat dat direct in je rapport kan – maakt je werk veel makkelijker.

Het onderzoek laat zien dat AI beter te begrijpen is als je het uitlegmodel aanpast aan de praktijk. Een populair model zoals SHAP, dat uitlegt welke factoren een beslissing beïnvloeden, werkt goed voor fraudedetectie. Maar het heeft aanpassingen nodig: de uitleg moet in tekst zijn in plaats van grafieken en moet een mate van betrouwbaarheid aangeven. Met deze verbeteringen wordt AI niet alleen transparanter, maar ook daadwerkelijk bruikbaar.

De les? Als je wilt dat AI uitlegbaar is, moet je niet alleen kijken naar de techniek, maar vooral naar de mens die de uitleg nodig heeft. Want een uitleg die alleen door AI-experts wordt begrepen, is uiteindelijk geen uitleg, maar gewoon een nieuw raadsel.

Abstract van de paper:

This paper demonstrates a design and evaluation approach for delivering real world efficacy of an explainable artificial intelligence (XAI) model. The first of its kind, it leverages three distinct but complementary frameworks to support a user-centric and context-sensitive, post-hoc explanation for fraud detection. Using the principles of scenario-based design, it amalgamates two independent real-world sources to establish a realistic card fraud prediction scenario. The SAGE (Settings, Audience, Goals and Ethics) framework is then used to identify key context-sensitive criteria for model selection and refinement. The application of SAGE reveals gaps in the current XAI model design and provides opportunities for further model development. The paper then employs a functionally-grounded evaluation method to assess its effectiveness. The resulting explanation represents real-world requirements more accurately than established models.