Soms is het frustrerend dat PISA-data ons alleen correlaties kunnen laten zien. Niet omdat correlaties waardeloos zijn, al kan dat door de posts waarin ik op het verschil hamer soms lijken, maar omdat sommige correlaties bijna smeken om een verklaring. Een nieuwe studie van Yifan Wang, Yanru Liu en Dennis Alonzo, gepubliceerd in het British Journal of Educational Psychology, is daar een prachtig én frustrerend voorbeeld van. De onderzoekers combineerden vier PISA-rondes, gegevens van ruim 1,37 miljoen 15-jarigen uit 73 landen en maten voor economische ongelijkheid. En ze vonden iets wat je niet meteen zou verwachten: hoe groter de economische ongelijkheid in een land, hoe meer academisch doorzettingsvermogen jongeren rapporteerden. En mocht dat nog niet genoeg vragen oproepen, bleek die samenhang verder ook nog sterker voor jongeren uit gezinnen met een lagere sociaaleconomische status.
Met academisch doorzettingsvermogen bedoelen de onderzoekers de neiging van leerlingen om schoolwerk af te maken en door te blijven gaan wanneer ze worden geconfronteerd met afleiding, moeilijkheden of uitdagingen. Het concept is nauw verwant aan grit. Maar belangrijk hierbij is dat de onderzoekers zich specifiek richten op het volhouden van inspanning. En daar is ook wel iets voor te zeggen: eerder onderzoek suggereert dat juist dit onderdeel sterker samenhangt met schoolprestaties dan grit als geheel.
Vier keer hetzelfde vreemde verband
De onderzoekers gebruikten PISA 2000, 2012, 2018 en 2022. Deze meetmomenten zijn niet toevallig gekozen. Deze vier PISA-rondes bevatten bruikbare vragen over doorzettingsvermogen. Alles bij elkaar omvat de analyse 1.374.393 leerlingen uit 73 landen, al verschilt het precieze aantal landen per PISA-ronde.
Vervolgens koppelden de onderzoekers die gegevens aan de Gini-coëfficiënt. Dit is een veelgebruikte maat voor economische ongelijkheid. Daarbij gebruikten ze telkens een Gini-score die eerder gemeten werd. Voor PISA 2022 bijvoorbeeld nam men de ongelijkheid uit 2020, voor PISA 2018 die in 2016. Een hogere Gini-score betekent trouwens een grotere economische ongelijkheid.
En dan krijg je dus correlaties die om uitleg smeken. Op landniveau bedroeg de samenhang tussen economische ongelijkheid en gemiddeld academisch doorzettingsvermogen:
- PISA 2022: r = .61
- PISA 2018: r = .47
- PISA 2012: r = .48
- PISA 2000: r = .49
Vier keer positief, vier keer relatief stevig. Landen met meer economische ongelijkheid hadden dus gemiddeld genomen leerlingen die zelf aangaven dat ze meer doorzetten. Ook wanneer de onderzoekers onder meer rekening hielden met het bbp per hoofd, de bevolkingsgrootte en de werkloosheid in een land of regio, bleef deze samenhang bestaan.
Maar wacht even
Hier is natuurlijk een enorme waarschuwing nodig, en niet enkel het correlatiegegeven. We hebben het over landen die op talloze manieren van elkaar verschillen. Dat twee kenmerken op landniveau samenhangen, betekent allerminst dat het ene het andere veroorzaakt.
De onderzoekers weten dat uiteraard ook. Daarom gaan ze in hun analyses verder dan deze eenvoudige correlaties. Ze gebruiken multilevelmodellen waarin leerlingen genest zijn binnen scholen en scholen binnen landen. Ze controleren daarbij op verschillende kenmerken van landen én leerlingen. Bovendien houden ze rekening met de steekproefopzet van PISA.
Dat maakt het verband, niet onverwacht, veel kleiner. Economische ongelijkheid verklaart afzonderlijk ongeveer 0,8 tot 1,9 procent van de verschillen in doorzettingsvermogen. Dat is dus een heel ander verhaal dan de opvallende correlaties tussen landgemiddelden. Maar belangrijker: de positieve samenhang verdwijnt niet. In alle vier de PISA-rondes blijft meer economische ongelijkheid samenhangen met meer gerapporteerd academisch doorzettingsvermogen.
En de onderzoekers doen behoorlijk hun best om te kijken of ze het resultaat kapot kunnen krijgen. Ze testen andere statistische modellen, andere tijdsintervallen voor de Gini-coëfficiënt, controleren voor culturele verschillen en zelfs voor verschillen tussen landen in de neiging om extreem of instemmend te antwoorden op vragenlijsten. Ze doen analyses waarbij telkens één land wordt weggelaten en analyses zonder Latijns-Amerikaanse en Caribische landen. Maar… het algemene patroon blijkt behoorlijk robuust.
En dan wordt het nog vreemder
Want de onderzoekers bekeken ook de sociaaleconomische achtergrond van de leerlingen. In drie van de vier PISA-rondes (2012, 2018 en 2022, maar niet in 2000) vonden ze een interactie met SES. De positieve samenhang tussen economische ongelijkheid en doorzettingsvermogen was ongeveer 1,5 tot 1,8 keer sterker bij leerlingen met een lagere SES dan bij leerlingen met een hogere SES.
Dat maakt het resultaat tegelijk interessanter en gevaarlijker om te interpreteren. Je zou hier immers heel snel het verhaal kunnen schrijven dat economische ongelijkheid blijkbaar goed is voor het doorzettingsvermogen van kansarme jongeren. En nee, dat gaan we niet even via een RCT onderzoeken. En dat toont deze studie helemaal niet aan.
De leerlingen rapporteren zelf dat ze meer doorzetten. We weten niet dat economische ongelijkheid daar de oorzaak van is. En zelfs als toekomstig onderzoek een causale relatie zou aantonen, weten we nog niet of het mechanisme dat daarachter zit iets is waarover we enthousiast zouden moeten worden.
Dus waarom?
De auteurs bespreken verschillende mogelijkheden. In een samenleving met grotere verschillen tussen arm en rijk kan onderwijs sterker worden gezien als een weg naar economische vooruitgang – of als een manier om te vermijden dat je achterop raakt. Grotere ongelijkheid kan ook meer competitie en statusvergelijking uitlokken. Ouders kunnen daardoor meer nadruk leggen op hard werken en schoolsucces. En juist voor jongeren uit gezinnen met weinig middelen kan het gevoel dat er veel op het spel staat sterker zijn. Ik denk dat dit allemaal plausibel klinkt, maar terug: dit onderzoek heeft die mechanismen niet getest.
Er zijn wellicht ook veel minder prettige mogelijke verklaringen te bedenken. Zo kan meer doorzetten bijvoorbeeld ook gepaard gaan met meer druk, meer angst voor sociale achteruitgang of de overtuiging dat de school en bij uitbreiding onderwijs een van de enige mogelijkheden is om aan een penibele economische situatie te ontsnappen. Daarom ook dat de auteurs expliciet waarschuwen dat hun bevinding niet betekent dat economische ongelijkheid gunstig is. Het zou evengoed kunnen gaan om een vorm van aanpassing aan een ongunstige omgeving.
Daar komt ook nog bij dat PISA hier zelfgerapporteerd doorzettingsvermogen meet en dus niet observeert hoe lang leerlingen daadwerkelijk blijven proberen wanneer ze een moeilijke taak krijgen. Bovendien werd doorzettingsvermogen in de vier PISA-rondes niet telkens op exact dezelfde manier gemeten. Het opmerkelijke is dus dat, ondanks die verschillen, telkens ongeveer hetzelfde patroon verschijnt.
En dus blijf ik na deze studie vooral met vragen achter. Niet omdat het onderzoek slecht is, ik denk oprecht van niet. De onderzoekers hebben een opmerkelijk verband gevonden dat over vier PISA-rondes heen en in allerlei alternatieve analyses behoorlijk hardnekkig blijkt te zijn. Maar precies daardoor wil je weten wat erachter zit.