In december 2024 schreef ik hier twee keer kort na elkaar over PIAAC, het minder bekende volwassen broertje van PISA. PIAAC meet onder andere geletterdheid en gecijferdheid bij volwassenen, terwijl PISA dat doet bij 15-jarigen. Er zat toen iets in de Vlaamse resultaten dat me behoorlijk fascineerde. Ik schreef:

In 2012 waren de gemiddelde PISA-scores al echt aan het dalen, maar die daling is dus niet zichtbaar in de PIAAC-scores van de 25-34-jarigen in 2023!

Geef toe, dat lijkt vreemd. Als PISA iets zegt over de vaardigheden die jongeren op school verwerven en die ze later in het volwassen leven zullen nodig hebben, dan zou je toch verwachten dat een daling daar later ook ergens zichtbaar wordt wanneer je vaardigheden bij volwassenen meet. In mijn blog opperde ik toen al enkele mogelijke verklaringen. Misschien groeien mensen na hun vijftiende nog verder door vervolgonderwijs, professionalisering en werk. En natuulijk is er nog die ene verklaring die behoorlijk belangrijk wordt als straks de nieuwe PISA-resultaten komen: mogelijk speelt ook mee hoe serieus jongeren PISA nemen.

Een dag later voegde ik daar nog een belangrijke waarschuwing rond PIAAC zelf aan toe. De respons bij PIAAC was in veel landen behoorlijk laag. Vlaanderen en Nederland kregen van de OESO bijvoorbeeld een medium caution mee. De onderzoekers proberen mogelijke vertekeningen door non-respons statistisch te corrigeren, maar kunnen niet garanderen dat daarmee alle vertekening verdwenen is.

Waarom haal ik twee blogposts van bijna twee jaar geleden terug boven? Niet omdat PISA er aankomt, ook niet omdat Jeroen Backs in zijn twee lezingen voor het ambasadeursevent van Leerpunt naar deze discrepantie verwees, maar… omdat de OESO nu een nieuwe working paper heeft gepubliceerd met de bijzonder toepasselijke titel Towards a stronger link between PISA and PIAAC: Two assessments, one story? En die paper werpt nieuw licht op precies het raadsel waar ik toen en Jeroen in zijn verhaal nu op botste.

Het korte antwoord op de vraag uit de titel lijkt te zijn: soms wel, maar zeker niet altijd. De onderzoekers vergelijken PISA en PIAAC op verschillende manieren. Je kunt bijvoorbeeld simpelweg kijken of landen die goed presteren in PISA ook goed presteren in PIAAC. Dan blijkt er wel degelijk een verband te bestaan (lees hier het cruciale woord verband…). Dat verband wordt bovendien duidelijker wanneer je in PIAAC niet alle volwassenen neemt, maar enkel 16- tot 19-jarigen en recente immigranten uitsluit. Voor wiskunde/gecijferdheid bedraagt de correlatie tussen de gemiddelde scores dan .74. Voor lezen/geletterdheid is dat .53. zeker die eerste correlatie is echt hoog te noemen. Landen waar jongeren gemiddeld sterk presteren in PISA hebben dus meestal ook relatief sterke jonge volwassenen in PIAAC.

Maar dat is niet ons raadsel. Je kunt namelijk ook een andere vraag stellen. Niet: scoren dezelfde landen hoog? Maar: als de prestaties in een land doorheen de tijd stijgen of dalen in PISA, zien we dan dezelfde beweging in PIAAC? En dan blijkt het beeld behoorlijk te veranderen. Als we gaan van de ‘foto’ naar de ‘film’, dan blijkt de samenhang tussen de trends in beide onderzoeken meestal erg zwak.

Dat blijft zo wanneer de onderzoekers de PIAAC-steekproef beperken tot 16- tot 19-jarigen en recente immigranten uitsluiten. Terwijl PISA in veel landen een dalende beweging laat zien, zijn de veranderingen in PIAAC veel gemengder. En sommige landen maken dat verschil heel zichtbaar.

Finland is misschien het opvallendste voorbeeld. In een van de vergelijkingen heeft het land een duidelijke negatieve PISA-trend, maar tegelijk een sterk positieve PIAAC-trend. Polen en Litouwen vertonen dan weer een andere afwijkende beweging. Wanneer je die drie opvallende landen uit de analyse haalt, wordt het verband tussen beide trends wel wat positiever, maar het blijft bescheiden en statistisch behoorlijk onzeker.

Ook Noorwegen – Jeroen vermeldde die in Brugge in een antwoord op een vraag – valt op. Finland, Noorwegen en Slovakije presteren in PIAAC beter dan je op grond van hun PISA-prestaties zou verwachten. Voor Nederland geldt dat specifiek voor geletterdheid. Aan de andere kant vinden we onder andere Nieuw-Zeeland, Polen en de Verenigde Staten, die in PIAAC juist lager uitkomen dan hun PISA-resultaten zouden doen verwachten. Worden die naties dus ‘dommer’ na afstuderen terwijl bij ons het omgekeerde het geval was?

Dit alles maakt wat ik in 2024 over Vlaanderen schreef ineens iets minder raadselachtig. Het Vlaamse patroon staat blijkbaar dus niet alleen. Vlaanderen staat als regio wel niet apart in het document, dus over mijn vaststelling in 2024 zelf kan ik weinig toevoegen.

Blijft nu de vraag: waarom lopen beide dan uit elkaar?

Een eerste mogelijkheid is eigenlijk heel logisch: mensen stoppen niet met leren wanneer ze vijftien zijn, en wat daarna gebeurt kan bovendien van land tot land verschillen. Wat jongeren tijdens de leerplicht verwerven, vormt zeker mee hun latere vaardigheden, maar bepaalt deze niet volledig. Vaardigheden kunnen daarna verder groeien door onderwijs, opleiding en werk, of juist achteruitgaan wanneer ze weinig worden gebruikt.

Maar er zijn nog andere mogelijke verklaringen. PISA en PIAAC meten niet exact hetzelfde, bij andere populaties en in heel andere omstandigheden. PISA wordt op school afgenomen bij 15-jarigen, PIAAC bij volwassenen thuis. Ook de testduur, steekproeftrekking en motivatie van deelnemers verschillen. Zelfs bij wiskunde en gecijferdheid zijn er inhoudelijke verschillen: PISA bevat bijvoorbeeld meer formele, schoolse wiskundige inhoud dan PIAAC.

En jawel, daar duikt ook mijn waarschuwing uit die tweede blogpost opnieuw op. De auteurs besteden expliciet aandacht aan verschillen in respons tussen landen. In PIAAC Cycle 2 varieerde de respons van 27 tot 73 procent. De OESO gebruikt allerlei procedures om mogelijke vertekening te onderzoeken en te corrigeren, maar ook deze auteurs wijzen erop dat zulke correcties niet noodzakelijk alle verschillen tussen landen en onderzoeken oplossen. De onderzoekers waarschuwen daarom zelf om vooral de vergelijking van trends niet te hard te interpreteren.

Dus nu even een poging tot samenvatting, waarbij ik terug niet aan OESO-bashing wil doen. Als je een foto neemt, vertellen PISA en PIAAC behoorlijk vaak hetzelfde verhaal. Landen met sterke prestaties bij 15-jarigen hebben meestal ook relatief sterke prestaties bij jonge volwassenen. So far so good. Maar… als je naar de film kijkt, wordt het een pak ingewikkelder. Een land dat achteruitgaat in PISA hoeft niet in dezelfde richting of aan hetzelfde tempo achteruit of vooruit te gaan in PIAAC. Zowel Finland als Noorwegen maken dat bijzonder zichtbaar. Ook het Vlaamse raadsel past volgens mij hierbij. .

Dat betekent niet dat PISA ons helemaal niets vertelt over vaardigheden die later belangrijk zijn. Integendeel, de samenhang tussen de niveaus is daarvoor echt wel te duidelijk aanwezig. Maar het betekent evenmin dat je uit een stijgende of dalende PISA-score rechtstreeks kunt afleiden wat er jaren later met de vaardigheden van volwassenen zal gebeuren en dat is wellicht een cruciale nuance die we binnenkort kunnen gebruiken.