Wie vandaag ChatGPT, Gemini of Claude gebruikt, werkt indirect met een idee uit 2017, leerde ik vrijdag van Barbara Oakley. Dat idee staat beschreven in een paper met een opvallend zelfverzekerde titel: Attention Is All You Need. Achteraf gezien was die titel geen grootspraak, maar een vrij accurate samenvatting van wat volgde. Alhoewel Barbara aangaf dat toen de paper ingediend werd voor een conferentie, de organisatie er nauwelijks aandacht aan had besteed en het in een spreekwoordelijke achterkamer voorgesteld werd. In de praktijk kreeg de paper toen weinig aandacht buiten een kleine kring van specialisten

Tot dat moment draaiden taalmodellen vooral rond volgorde. Woorden werden één voor één verwerkt, netjes in de volgorde waarin ze in een zin verschenen. Recurrente neurale netwerken en LSTM’s deden dat werk: elk nieuw woord bouwde voort op het vorige. Dat werkte, maar had duidelijke beperkingen. Het was traag, moeilijk te paralleliseren en vooral: hoe verder woorden uit elkaar stonden, hoe moeilijker het werd om hun relatie goed te leren.

De kernvraag van de paper was verrassend eenvoudig: wat als volgorde niet het organiserende principe hoeft te zijn? Wat als een model in één keer naar een hele zin kan kijken, en zelf kan bepalen welke woorden relevant zijn voor elkaar?

Het antwoord daarop is wat de auteurs “attention” noemen. In plaats van woorden sequentieel te verwerken, laat je elk woord expliciet “kijken” naar alle andere woorden in de zin en bepalen welke ertoe doen. Dat gebeurt niet vaag of intuïtief, maar wiskundig precies: elk woord krijgt een gewicht toegekend voor elk ander woord, afhankelijk van hoe relevant die relatie is voor de taak. Het model leert die relevanties zelf.

Dat lijkt misschien een technische nuance, maar het gevolg is fundamenteel. Relaties tussen woorden hoeven niet meer via lange omwegen door een keten van tussenstappen te lopen. Alles kan rechtstreeks met alles verbonden zijn. Afstand in de zin speelt geen structurele rol meer.

De tweede doorbraak is dat dit mechanisme volledig parallel werkt. Omdat het model niet meer stap voor stap hoeft te gaan, kan het hele zinnen tegelijk verwerken. Dat maakt training niet alleen veel sneller, maar ook schaalbaar. Zonder deze eigenschap zouden grote taalmodellen simpelweg onhaalbaar zijn geweest.

Om dat aandachtmechanisme krachtiger te maken, introduceren de auteurs “multi-head attention”. Het model kijkt niet één keer naar een zin, maar meerdere keren tegelijk, telkens vanuit een ander perspectief. Eén aandachtshoofd kan focussen op grammaticale relaties, een ander op betekenis, een derde op langeafstandsverbanden. Dat is geen expliciete keuze van de programmeur, maar iets wat het model zelf leert tijdens training.

Omdat het model geen ingebouwd besef van volgorde meer heeft, moet positie expliciet worden toegevoegd. Dat gebeurt via zogeheten positionele encoderingen: wiskundige signalen die aangeven waar een woord zich in een zin bevindt. Niet omdat volgorde onbelangrijk is, maar omdat ze niet langer impliciet wordt afgedwongen door de architectuur zelf.

Samen vormen deze ideeën de Transformer-architectuur. Op het moment van publicatie teste men die vooral op machinevertaling, waar ze meteen beter presteerde dan alles wat er tot dan toe bestond, en dat ook nog eens met minder rekentijd. Maar belangrijker dan die resultaten was wat de architectuur mogelijk maakte.

De Transformer is geen taalmodel op zich, maar een manier om informatie te structureren. Zodra bleek hoe goed deze aanpak werkte, paste men ze vrijwel onmiddellijk toe op andere taken: tekstbegrip, samenvatten, vraag-antwoordsystemen, en uiteindelijk grootschalige taalmodellering. GPT, BERT, PaLM, Gemini en ChatGPT zijn geen directe kopieën van deze paper, maar ze bouwen er allemaal op voort.

Wat deze paper zo bijzonder maakt, is niet dat ze “AI menselijker” maakte of “intelligentie” introduceerde. Ze deed iets veel prozaïscher, maar krachtigers: ze herformuleerde hoe we naar taalverwerking kijken. Niet als een ketting van stappen, maar als een netwerk van relaties. Betekenis ontstaat niet door volgorde alleen, maar door verbanden.

Achteraf lijkt het evident. Op het moment zelf was het een radicale breuk met wat als vanzelfsprekend gold. En precies daarom vormt Attention Is All You Need het stille fundament onder vrijwel alles wat vandaag met grote taalmodellen gebeurt.

Als je ChatGPT vraagt om verbanden te leggen, context vast te houden of eerdere zinnen mee te nemen in een antwoord, dan werkt het nog altijd volgens dat ene idee uit 2017: alles kan aandacht krijgen, zolang het relevant is.

Ik heb me nu de hele tijd ingehouden om niet de ironie te benoemen dat we nu vooral problemen met aandacht hebben. Oops te laat. Maar alle gekheid op een stokje: deze relatief korte paper is ondertussen meer dan 100.000 keer geciteerd.