Een personage is bang. Of boos. Of verdrietig. Dit wordt duidelijk in de tekst. Maar kijk je vervolgens naar de bijbehorende illustratie, dan is de kans behoorlijk groot dat je iemand ziet die… rustig of gelukkig kijkt. Dat is de opvallende uitkomst van een nieuwe NBER-working paper van Anjali Adukia en collega’s. De onderzoekers bekeken hoe emoties worden weergegeven in Amerikaanse schoolboeken en in bekroonde kinderboeken. Het onderwerp is dus kortgezegd de congruentie tussen woord en beeld.

Dat verschilt erg van wat ik eerst dacht waarover het onderzoek ging. De titel van het onderzoek is (How) Do We Teach Emotions?, maar strikt genomen onderzoekt deze studie niet wat kinderen daadwerkelijk leren over emoties. Er werden geen kinderen getest. We weten dus niet of de patronen die de onderzoekers vinden invloed hebben op hoe kinderen emoties herkennen, begrijpen of uiten. Wat ze wel onderzoeken, is de emotionele wereld die kinderen in boeken wordt voorgeschoteld. En die blijkt dus verrassend verschillend te zijn, naargelang je leest of kijkt.

De onderzoekers analyseerden enerzijds schoolboeken uit Californië en Texas uit de voorbije drie decennia, met name voor onder meer taal, wetenschappen en social studies. Daarnaast bekeken ze ook een eeuw (!) aan bekroonde Amerikaanse kinderboeken. Met behulp van AI-technologie en verschillende methodes brachten ze acht emoties in kaart: boosheid, kalmte, verwarring, walging, angst, geluk, verdriet en verrassing.

Als ze naar de teksten kijken, vinden ze een behoorlijk breed palet. Geluk is met ongeveer 29 procent de meest voorkomende emotie, gevolgd door verdriet met ongeveer 20 procent. Maar ook boosheid, angst, verwarring, walging, kalmte en verrassing komen regelmatig voor. Kijken we naar de illustraties, dan verandert het beeld, euh, letterlijk.

Ongeveer 90 procent van de emoties die de onderzoekers in afbeeldingen herkennen, bestaat uit slechts twee categorieën: kalmte en geluk. Dat verschil blijkt bovendien behoorlijk stabiel in tijd en ruimte. Het verschijnt in schoolboeken én kinderboeken, in materiaal uit Californië én Texas en over verschillende perioden heen. Ook wanneer de onderzoekers naar verschillende groepen personages kijken, blijft hetzelfde algemene patroon bestaan.

Nu zou je kunnen denken dat illustratoren simpelweg de vrolijkere momenten uit een verhaal kiezen om af te beelden. Een boek kan tenslotte over verdriet gaan zonder dat iedere illustratie een verdrietig gezicht hoeft te tonen. Daarom vergeleken de onderzoekers bewust ook teksten en afbeeldingen op dezelfde pagina. En dan wordt het fenomeen nog duidelijker!

Wanneer de tekst boosheid beschrijft, toont slechts 13 procent van de bijbehorende afbeeldingen ook boosheid. Bij angst is dat 9 procent, bij verdriet 10 procent en bij verrassing 8 procent. Alleen bij kalmte is er een sterke overeenkomst tussen tekst en beeld. Tja, hoe zou dat laatste kunnen komen? Wanneer de tekst een andere emotie dan kalmte beschrijft, toont de afbeelding in 58 tot 67 procent van de gevallen toch een kalm gezicht.

Voor bijna de helft van de onderzochte pagina’s vinden de onderzoekers zelfs helemaal geen overlap tussen de emoties in de tekst en die in de afbeelding. Ze controleerden vervolgens ook nog of dit misschien komt doordat de tekst en de illustratie over verschillende personages gaan. Ook wanneer ze personages zo goed mogelijk aan elkaar koppelen, blijft dit opvallende patroon bestaan.

Dat roept natuurlijk een interessante vraag op. Wat leren kinderen wanneer verhalen hun vertellen dat personages bang, boos of verdrietig zijn, terwijl de gezichten die ze daarbij zien vooral kalm en gelukkig blijven? De auteurs suggereren dat hierdoor mogelijk een impliciete norm wordt meegegeven. Het onderliggende, impliciete idee is dan dat je allerlei emoties kunt ervaren, maar dat je naar buiten toe vooral kalm of gelukkig hoort te zijn. De onderzoekers verwijzen zelf naar eerder onderzoek waaruit blijkt dat blootstelling aan emotioneel rijke inhoud samenhangt met onder meer emotionele woordenschat, perspectiefname en emotieherkenning.

Maar hier maken de onderzoekers volgens mij dus een grote sprong, groter dan hun data toelaat. Deze studie toont niet aan dat kinderen de impliciete boodschap daadwerkelijk oppikken. Dat is een plausibele hypothese die uit de bevindingen voortvloeit, maar geen uitkomst die in dit onderzoek bij kinderen werd gemeten.

Er zit nog een interessante mogelijke verklaring in de studie. Misschien ligt het namelijk niet alleen aan auteurs, uitgevers en illustratoren. De onderzoekers koppelden een deel van de boeken aan gegevens over aankopen door Amerikaanse huishoudens en aan de collecties van openbare bibliotheken. Daar vinden ze aanwijzingen dat boeken met traditioneel meer ‘negatieve’ emoties op de cover minder vaak worden gekozen. Mijn jeugdboek heeft geen echte emoties in de gezichten op de voorkant van de kaft. Mila kijkt behoorlijk kalm op de achterflap. Oef.

Met andere woorden: misschien krijgen we voor een deel gewoon de kinderboeken die we als ouders zelf willen kopen. Maar ook hier zou ik voorzichtig mee zijn. Het gaat niet om een experiment waarin willekeurig verschillende covers aan kopers werden getoond. De auteurs spreken daarom over een mogelijke rol van consumentenvraag, niet over een bewezen causaal mechanisme.

Ik wil nog ook bij één methodologisch detail stilstaan dat je misschien al opmerkte in de blogpost. Het herkennen van emoties gebeurde voor een belangrijk deel met generatieve AI: onder meer GPT-4o-mini voor tekst en Gemini 2.5 Pro Preview voor afbeeldingen. Dat klinkt misschien als een reden om de resultaten met een flinke korrel zout te nemen, maar de onderzoekers hebben daar behoorlijk wat werk rond verricht. Ze herhaalden hun analyses met andere methoden, waaronder een woordenlijstaanpak, een apart taalmodel en klassieke beeldherkenning. De precieze percentages verschuiven dan vooral het onderscheid tussen kalm en gelukkig blijkt lastig, maar het centrale patroon blijft overeind: veel emotionele diversiteit in de tekst, veel minder in het beeld.

Ze hebben de AI-beoordelingen ook vergeleken met die van menselijke beoordelaars. Daaruit blijkt dat het herkennen van emoties allesbehalve perfect is, zelfs voor mensen. Dat maakt mij terughoudend om te veel belang te hechten aan ieder afzonderlijk percentage, maar het feit dat verschillende methodes hetzelfde algemene patroon opleveren maakt de hoofdbevinding wel een stuk overtuigender.