Het was een van de belangrijkste nieuwe inzichten uit PISA begin deze maand: het zijn nu vooral de kinderen uit rijkere, meer hoogopgeleide gezinnen die wereldwijd achteruitgaan. Ik heb dit inzicht nog deze week tijdens een vergadering vermeld. Maar… klopt het wel? Marc Colomer en collega’s publiceerden net een working paper die alles behoorlijk op de helling zet.

De OESO gebruikt binnen PISA voor het meten van de sociaal-economische status (SES) van de deelnemende vijftienjarigen de bekende ESCS-index, voluit de Index of Economic, Social and Cultural Status. Deze is opgebouwd uit drie componenten: het beroep van de ouders, hun opleidingsniveau en de bezittingen die thuis aanwezig zijn. Alleen werd die laatste component, HOMEPOS, in 2025 behoorlijk anders gemeten dan in 2022. Ook de vragen over de opleiding van ouders veranderden.

In 2022 peilde PISA bijvoorbeeld naar verschillende soorten boeken thuis: klassieke literatuur, hedendaagse literatuur, wetenschappelijke boeken, kunst- en muziekboeken, technische naslagwerken, woordenboeken en boeken die helpen bij schoolwerk. Deze vragen blijken in 2025 te zijn verdwenen.

Ze werden vervangen door nieuwe, nationaal geselecteerde items. Denk aan zaken als stromend water, een parkeerplaats bij het huis, vuilnisophaling, een koelkast, airconditioning of verwarming, een zwembad, een beveiligingssysteem, een smart-tv, een vaatwasser of huishoudelijke hulp.

Opgelet, hiervoor kun je goede redenen bedenken. De auteurs benadrukken zelf dat de nieuwe vragen mogelijk zelfs beter zijn wanneer je naar de materiële leefomstandigheden van de jongeren wilt kijken. Maar… hierdoor kun je de scores van 2022 en 2025 veel moeilijker met elkaar vergelijken! Want wat blijkt? Die oude en nieuwe items blijken heel anders samen te hangen met schoolprestaties.

De elf items die na 2022 verdwenen, correleerden gemiddeld .201 met de wiskundescores. Voor de zestien items die in beide afnames voorkwamen, was dat .122 in 2022 en .108 in 2025. Voor de nieuwe items uit 2025 was het nog maar .052. Zelfs wanneer rekening wordt gehouden met opleiding en beroep van de ouders, blijft het verschil echt wel groot.

Als je naar de veranderingen kijkt, lijkt het ook niet onlogisch. In 2022 bevatte de maat relatief veel informatie over cultureel kapitaal, wat sterk samenhing met schoolprestaties. In 2025 peilde men meer naar informatie over materiële leefomstandigheden die, zeker in veel rijke OESO-landen, veel minder onderscheidend zijn voor schoolprestaties. Maar zo ontstonden er dus verschillen in welke leerlingen in het hoogste sociaaleconomische kwartiel terechtkomen.

De onderzoekers laten ook zien dat dit daadwerkelijk is gebeurd. Wanneer ze dezelfde leerlingen indelen met de officiële en met hun geharmoniseerde maat, verandert in 2022 34 procent van de leerlingen van HOMEPOS-kwartiel. De onderzoekers stellen dat het hierdoor vooral lijkt alsof de meest bevoorrechte leerlingen er spectaculair op achteruit zijn gegaan.

De auteurs proberen daarom in hun analyses waar mogelijk vervolgens de meetlat gelijk te houden. Ze reconstrueren een sociaaleconomische index met de zestien bezittingsitems die in zowel 2022 als 2025 aanwezig waren, kalibreren die gezamenlijk en brengen ook de andere componenten zoveel mogelijk op een gemeenschappelijke schaal. Ze blijven daarbij voor de combinatie van de drie componenten de werkwijze van de OESO volgen. Hun nieuwe ESCS-index correleert bovendien .971 met de officiële ESCS. Het is dus niet alsof ze een totaal andere definitie van sociaaleconomische status bedenken. Sterk werk, lijkt het me, eerlijk gezegd.

Met de officiële ESCS daalden de vier sociaaleconomische kwartielen in wiskunde met respectievelijk 2,8, 3,9, 2,6 en 14 punten. De kloof tussen boven en onder werd daardoor 11,2 punten kleiner. Met de geharmoniseerde index dalen dezelfde vier groepen met 7,7, 5,2, 4,0 en 6,2 punten. De kloof wordt dan niet kleiner, maar wordt 1,6 punten groter.

Als de onderzoekers niet met kwartielen maar met tien groepen werken, wordt het probleem nog zichtbaarder. Met de geharmoniseerde index verdwijnt die knik vrijwel volledig. Alle groepen gaan achteruit binnen een veel smallere bandbreedte. Je zou ook nog kunnen denken dat dit resultaat door een paar vreemde landen wordt veroorzaakt. Maar ook dat lijkt niet het geval.

Met de officiële ESCS wordt de kloof voor wiskunde in 31 van de 36 onderzochte onderwijssystemen kleiner, waarvan er 19 statistisch significant zijn. Met de geharmoniseerde index wordt de kloof nog in 17 systemen kleiner, maar slechts in één daarvan significant. In twee landen wordt hij zelfs significant groter. Bovendien valt in alle 36 onderzochte systemen de officiële hoogste SES-groep sterker terug dan wanneer je de geharmoniseerde maat gebruikt.

Maar de onderzoekers wilden nog meer checken. Daarvoor gingen ze terug tot PISA 2015 en berekenden voor 2015, 2018, 2022 en 2025 een index op basis van dezelfde set items. Met de gepubliceerde indices lijkt de sociaaleconomische kloof eerst toe te nemen en vervolgens in 2025 fors te krimpen. Wanneer dezelfde meetregel over alle vier de afnames wordt gebruikt, zie je die spectaculaire krimp niet! De sociaaleconomische kloof in wiskunde is in 2025 volgens deze geharmoniseerde ESCS zelfs 6,5 punten groter dan in 2015.

De onderzoekers vonden trouwens nog een tweede meetprobleem. De OESO paste ook de vragen over de opleiding van de ouders in 2025 aan. In 2022 werd afzonderlijk gevraagd naar moeder en vader, in 2025 naar parent or guardian 1 en parent or guardian 2. Terug, een aanpassing die past bij de tijd. De antwoordcategorieën veranderden eveneens en er zijn veel meer ontbrekende antwoorden. De oorspronkelijke vragen zijn bovendien niet opgenomen in het publieke databestand, waardoor de onderzoekers dit probleem minder goed konden reconstrueren.

Maar wanneer ze simpelweg kijken naar leerlingen van wie de ouders tertiair (hoger) onderwijs hebben gevolgd, verandert hun gemiddelde wiskunderesultaat tussen 2022 en 2025 nauwelijks: +2 punten. Leerlingen van wie de ouders maximaal twaalf jaar onderwijs hebben gevolgd, gaan daarentegen 8,2 punten achteruit.

Tot slot een bijna ironisch detail in dit hele verhaal. Het technische rapport van PISA 2025 waarschuwt zelf dat je ESCS in 2025, anders dan in eerdere cycli, niet als trendschaal mag behandelen. En dit net vanwege deze aanzienlijke veranderingen in de manier waarop opleiding, beroep en bezittingen van ouders werden gemeten. Dat doet je afvragen waarom Schleicher en co vervolgens toch behoorlijk stevige conclusies trekken uit de vergelijking van de sociaaleconomische groepen tussen 2022 en 2025.

Dit betekent niet  dat PISA 2025 nu waardeloos is. Ook deze onderzoekers stellen met hun analyses de algemene daling in prestaties niet ter discussie. Deze working paper is ook wellicht niet het laatste woord. Hij dateert van 22 september 2026 en is nog niet peer-reviewed. De onderzoekers moesten bovendien zelf keuzes maken om de verschillende PISA-rondes met elkaar te vergelijken. Ze zeggen dan ook nadrukkelijk niet dat hun geharmoniseerde index de enige of de ‘juiste’ manier is om sociaaleconomische status te meten. Tegelijk wijzen ze de OESO met hun eigen woorden op een belangrijk probleem.