Gisteren kwam PIAAC uit en het nieuws was volgens mij behoorlijk ok. Onze volwassen bevolking behoort nog steeds tot de subtop en terwijl we op PISA achteruitgaan, blijven de resultaten op PIAAC behoorlijk stabiel. Opvallend genoeg was de toon in de media een pak negatiever. Ik vermeldde ook dit:

Er is ook minder goed nieuws te rapen. De kloof in Vlaanderen tussen toppresteerders en laagpresteerders vergroot namelijk significant waarbij de typische breuklijnen terugkomen: kort- t.o.v. langgeschoolden enerzijds en autochtoon versus mensen met een migratie-achtergrond.

Maar in de meeste media werd dit minder goede nieuws het hoofdthema. Is dit een uitdaging, zeker. Is dit nieuw nieuws, niet echt.

Maar… er is ook nog iets anders. Ik had toen ik gisteren blogde over PIAAC enkel het Nederlandstalige rapport kunnen lezen. Ondertussen heb ik ook het internationale rapport gelezen. Er zijn bij alle onderzoeken die gebeuren beperkingen en ik heb de voorbije jaren geleerd om bij OESO-onderzoeken goed de voetnoten te lezen. Maar de keer staat het open en bloot en duidelijk vrij vroeg in het rapport vanaf pagina 10 en verder. De bevraging liep in veel landen niet zo van een leien dakje.

Bij PISA gaan de onderzoekers de scholen in en kunnen leerlingen moeilijk weglopen (al kunnen ze weigeren of er zich makkelijk vanaf maken), maar bij PIAAC is niet mogelijk om een deel van de bevolking te verplichten mee te doen. In het Vlaamse rapport las ik al op hoe laag de respons was, maar omdat ik andere gelijkaardige studies kende, viel me die niet direct op. Maar de OESO waarschuwt wel degelijk zelf over dit fenomeen. In feite was er enkel in Zuid-Korea een respons die degelijk genoeg was om automatisch als representatief aanvaard te worden. In de andere deelnemende landen en regio’s ging het van licht kwaad tot een pak erger.

Vlaanderen en Nederland behoren tot de groep waarbij er “Medium Caution” staat. Wat betekent dit?

…meaning that proficiency estimates are more susceptible to non-response biasand more caution should be exerted.

Men probeert wel statistisch dit te compenseren, maar men geeft zelf aan dat dit geen garantie kan geven dat er geen vertekening (positief, negatief, anders,…) kan zijn.

Hiermee wil ik het onderzoek niet onderuit halen, niet het goeie nieuws dat ik er zelf in las weggooien, maar het is wel belangrijk om mee te nemen.