Investeren in onderwijs voor jonge kinderen via programma’s gebeurt op veel plaatsen, maar dankzij James Heckman weten we dat sustaining, onderhouden, belangrijk is, omdat anders het effect kan uitdoven. Dat verklaart al een deel van de titel van deze post die bijna klinkt als het begin van een raadsel. Het is precies wat onderzoekers Shruti Jha, John List, Rebecca Royer en Anya Samek beschrijven in een nieuwe NBER-working paper. Centraal in hun paper staat de vraag: als het effect van een onderwijsinterventie na verloop van tijd niet meer zichtbaar is in testscores, betekent dit dan ook dat het effect echt verdwenen is?

Een experiment van tien jaar eerder

Dit verhaal begint al in 2010 en 2011 in Chicago Heights, een relatief arme omgeving ten zuiden van Chicago. Gezinnen met kinderen van drie tot vijf jaar werden via loting aan verschillende groepen/condities toegewezen. Sommige kinderen kregen voorschoolse educatie. Andere gezinnen namen deel aan een programma voor ouders, de Parent Academy. Daarnaast was er een controlegroep met kinderen en ouders die niet deelnamen aan voorschoolse educatie of waarvan de ouders geen vorming kregen.

De vorming in de Parent Academy duurde ongeveer negen maanden en bestond uit workshops waarin ze leerden hoe ze thuis de ontwikkeling van hun kind konden ondersteunen. Daarbij ging het zowel om schoolse vaardigheden als om zaken zoals bijvoorbeeld executieve functies. De achterliggende gedachte was nadrukkelijk dat ouders de eerste leraren van hun kinderen zijn.

Hierbij is het belangrijk voor het vervolg van het verhaal, dat er behoorlijk forse financiële prikkels aan verbonden waren. Ouders konden namelijk geld verdienen door workshops bij te wonen, thuis activiteiten uit te voeren en mee te werken aan evaluaties. Het maximale bedrag kon oplopen tot 6.900 dollar per jaar, ruim een kwart van het mediane gezinsinkomen in deze populatie.

Binnen het ouderprogramma waren er trouwens twee varianten. Sommige ouders kregen de beloningen meteen uitbetaald. Bij andere ouders werd een deel op een rekening gezet die beschikbaar kwam wanneer hun kind later hoger onderwijs zou gaan volgen.

Bye bye verschillen

Aanvankelijk vonden de onderzoekers effecten. Het ouderprogramma had vooral positieve effecten op executieve functies, terwijl de voorschoolse interventie eerder winst liet zien op academische vaardigheden. Maar zoals aangekondigd in de inleiding vervaagden die verschillen met het verstrijken van de jaren. Tegen de tijd dat Covid toesloeg, waren er op gestandaardiseerde tests geen duidelijke verschillen meer te vinden tussen de groepen.

En dan is de verleiding groot om te besluiten dat het effect verdwenen is. Maar toen sloten de scholen door de pandemie…

Toen kwam Covid

De pandemie zorgde plots voor een situatie die de onderzoekers tien jaar eerder onmogelijk hadden kunnen voorzien. Ja, voor hen was het in feite een cynisch geschenk uit de hemel. De normale bijdrage van de school aan het leren van kinderen viel voor een langere tijd grotendeels weg. En wat merkten de onderzoekers? Opeens ontstonden er opnieuw verschillen tussen de drie groepen.

Bij de kinderen uit de controlegroep daalden de testscores tijdens de pandemie met ongeveer 0,30 standaarddeviatie. Bij kinderen van ouders die jaren eerder de Parent Academy hadden gevolgd, bedroeg die daling ongeveer 0,11 standaarddeviatie. Het verschil tussen beide groepen was daarmee statistisch significant. Voor de kinderen die destijds de voorschoolse interventie hadden gekregen, was de daling ongeveer 0,25 standaarddeviatie en vond men geen significant verschil met de controlegroep.

Met andere woorden: juist toen de school als belangrijke leeromgeving tijdelijk wegviel, deden de kinderen van ouders uit het ouderprogramma het relatief beter.

Dus misschien was niet alles verdwenen?

De verklaring van de onderzoekers is dat de oorspronkelijke interventie mogelijk iets bij de ouders heeft veranderd wat jarenlang nauwelijks zichtbaar was in de testscores van hun kinderen, maar wel degelijk aanwezig bleef.

Zolang scholen normaal functioneren, leveren zij immers een groot deel van de input die kinderen nodig hebben om te leren. Verschillen in wat ouders thuis kunnen of doen, hoeven dan niet noodzakelijk sterk zichtbaar te worden. Maar wanneer die schoolinput plots sterk afneemt, kan wat ouders thuis bijdragen veel belangrijker worden.

De auteurs spreken daarom in hun werk over latent human capital. Hiermee doelen ze op kennis, vaardigheden of gedrag die door een interventie zijn opgebouwd, maar waarvan het effect pas zichtbaar wordt wanneer de omstandigheden veranderen.

Ik vind dat persoonlijk een fascinerende gedachte die behoorlijk wat op zijn kop zou kunnen zetten, maar moeilijker vast te stellen is zonder dergelijke, uitzonderlijke omstandigheden. Misschien betekent fade-out soms niet dat alles wat een interventie heeft veroorzaakt ook daadwerkelijk verdwenen is. Misschien meten we gewoon op een moment waarop die verschillen nauwelijks tot uiting komen.

Hier komt het nuancestuk

Het is verleidelijk om nu te schrijven dat een ouderprogramma van tien jaar geleden kinderen tijdens Covid heeft beschermd tegen leerverlies. Zo eenvoudig is het helaas niet. Door het natuurlijke karakter van dit experiment, of toch zeker van het onverwachte tweede deel, zijn er een pak beperkingen.

Ten eerste is er behoorlijk wat uitval onder de gezinnen. Van de 676 kinderen die qua leeftijd in aanmerking kwamen voor de analyse, hadden de onderzoekers voor slechts 338 kinderen zowel de noodzakelijke gegevens van vóór als na Covid. Dat is zowat de helft. De onderzoekers proberen daarvoor statistisch te corrigeren met inverse probability weighting, maar zo’n correctie kan alleen rekening houden met verschillen die je ook daadwerkelijk hebt gemeten. Uitval blijft daarom geen abnormale, maar wel een belangrijke beperking van deze studie.

Er is nog een tweede belangrijke nuance. Het positieve resultaat wordt vooral gedragen door de groep waarbij een deel van de financiële beloning uit het oorspronkelijke programma op een rekening was gezet voor later hoger onderwijs. Bij deze groep bleef dus ook jaren later nog een financiële prikkel bestaan. Bij de groep die de beloningen destijds meteen kreeg uitbetaald, was het verschil niet statistisch significant. Als je zo iets leest, begint je brein direct vanalles te denken, wel bij mij toch.

Want het maakt het verhaal meer ingewikkeld. We kunnen niet simpelweg zeggen: ouders leerden tien jaar geleden iets, en die kennis kwam tijdens Covid plots weer boven water. Mogelijk speelde ook die langdurige financiële prikkel een rol in het gedrag van ouders.

Verder weten we niet wat ouders tijdens de schoolsluitingen precies deden. Dit werd niet gemeten. We weten dus niet of ouders uit het programma hun kinderen bijvoorbeeld vaker hielpen, andere leeractiviteiten aanboden of de technieken uit de workshops van tien jaar eerder opnieuw gebruikten.

Begrijp me niet verkeerd, de voorgestelde verklaring is volgens mij meer dan plausibel, maar het mechanisme zelf is niet bewezen.

Wat weten we dus?

Wat ik zelf meeneem van deze studie, is dat een fade-out niet per se een fade-out moet zijn. Dat effecten die uitdoven, opnieuw zichtbaar kunnen worden onder de juiste (nee, niet cynisch bedoeld) omstandigheden, en dus niet weg blijken te zijn. Maar wat die omstandigheden dan zijn, lijkt me moeilijker te bepalen.