Ik beken: toen ik de titel van dit artikel las (“A national megastudy shows that email nudges to elementary school teachers boost student math achievement”) en de bijhorende perstekst, ging bij mij meteen de alarmbellen af. Grote woorden, grote aantallen, grote beloftes. En bovendien: een van de bekende namen, Angela Duckworth, in het auteurslijstje heeft in het verleden al eens forse claims gemaakt die later veel nuance vroegen. Dat is geen reden om het onderzoek meteen weg te wuiven, maar wel om het extra zorgvuldig te lezen. Dus laten we het onderzoek beoordelen op de eigen merites. En als je proeft dat ik me toch heb geërgerd, is dat geen toeval.

Waarover gaat het? Meer dan 140.000 Amerikaanse leerkrachten die het online platform Zearn Math gebruiken, kregen vier weken lang wekelijks een e-mail. Er waren vijftien varianten van die mail, plus één controlegroep die een standaard herinnering kreeg. Sommige mails verwezen naar concrete gegevens over de eigen klas, andere bleven algemeen. De onderzoekers keken vervolgens niet naar toetsresultaten of wiskundig inzicht, maar naar één eenvoudige maat: hoeveel online lessen de leerlingen in die vier weken afronden op het platform. De best werkende mail zorgde ervoor dat leerlingen gemiddeld 0,09 les meer maakten in een maand. Dat verschil bleek statistisch significant.

Laat ons beginnen met wat het onderzoek wél sterk maakt. Methodologisch is dit indrukwekkend. Meer dan 140.000 leerkrachten en bijna 3 miljoen leerlingen werden willekeurig verdeeld over vijftien verschillende e-mailinterventies, met een vooraf geregistreerd analyseplan. Dat is geen klein labexperiment, maar grootschalig veldonderzoek in echte scholen, met echte leerkrachten en echte leerlingen. Dat verdient respect. De auteurs zijn bovendien transparant over technische problemen. Bij ruim elf procent van de leerkrachten liep de maildistributie fout. Ze corrigeren expliciet voor multiple testing en voor de zogenoemde “winner’s curse”, waarbij ze weten dat de “winnaar” van veel testen bijna altijd iets té goed lijkt om waar te zijn. Dit is geen slordig onderzoek.

Maar dan komt de kernvraag: wat is het effect?

Het best presterende experiment, waarbij leerkrachten wekelijks een mail kregen met een link naar een persoonlijk dashboard met leerlinggegevens, leidde tot gemiddeld 0,09 extra lessen op vier weken tijd. Dat komt neer op een toename van ongeveer 5%, na correctie 3,3%. In absolute termen gaat het van gemiddeld 1,78 naar 1,81 lessen in vier weken. Dat is het verschil dat hier wordt gepresenteerd als “boosting student achievement”.

En precies daarom struikel ik over de grote woorden. Dit resultaat is statistisch significant, maar inhoudelijk uiterst beperkt. We hebben het over fracties van één extra online lesje in een maand. De effectgrootte bedraagt d = 0,02. Dat is zo klein dat je het in bijna elk praktisch gesprek zou afronden naar nul. De auteurs erkennen dit trouwens zelf en noemen het effect “surprisingly small”.

Het onderzoek laat vooral zien hoe moeilijk het is om gedrag van leerkrachten via lichte interventies te veranderen. Dat is op zich een belangrijke boodschap. Zowel de onderzoekers, als de medewerkers van het platform, als de leerkrachten zelf voorspelden effecten die dertig keer groter waren dan wat uiteindelijk werd gevonden. Dat is misschien wel een van de meest interessante bevindingen van de hele studie. Onze intuïtie over wat zal werken, is structureel te optimistisch.

Dan is er nog een tweede belangrijke vraag: wat is hier eigenlijk gemeten? Niet wiskundeprestaties in de klassieke zin, maar het aantal voltooide lessen op één specifiek online platform. Meer lessen op Zearn Math betekent niet automatisch beter begrip, laat staan duurzame leerwinst. De auteurs erkennen dit onderscheid zelf en verwijzen expliciet naar het verschil tussen performance en learning. Toch suggereert de titel wel degelijk dat het om “achievement” gaat. Dat is op zijn minst discutabel.

Bovendien verandert deze interventie het lesgeven zelf nauwelijks. Het gaat om mails die leerkrachten aanzetten om vaker in te loggen op een dashboard. De keten is dan wel echt lang om over oorzaak en gevolg te praten: e-mail, inloggen, aandacht, meer platformgebruik door leerlingen. Dit is geen pedagogische innovatie, maar een administratieve prikkel. Ik snap oprecht niet waarom men dacht dat dit een groot effect kon hebben.

Interessant is wel dat gepersonaliseerde mails iets beter werken dan algemene mails. Wanneer leerkrachten concrete informatie krijgen over hun eigen klas, reageren ze iets sterker. Dat past bij wat we al langer weten over feedback en motivatie: specifiek en relevant werkt beter dan algemeen en abstract. Maar ook hier blijft het effect beperkt. Ongeveer twee procent extra lessen.

Wat me daarnaast opvalt, is hoe sterk schaal en betekenis hier uit elkaar lopen. Door de enorme steekproef wordt zelfs een miniem effect statistisch betrouwbaar. Maar beleidsmatig en pedagogisch blijft de vraag: is dit de moeite? Willen we echt investeren in systemen die miljoenen mails sturen om leerkrachten gemiddeld 0,06 extra lessen per maand te laten genereren?

De auteurs zijn in hun discussie overigens veel voorzichtiger dan hun titel doet vermoeden. Ze spreken over kleine effecten, over de nood aan verder onderzoek, over mogelijke uitdoofeffecten en over het feit dat dit geen wondermiddel is. Het probleem zit dus minder in de analyse dan in de framing. “Boost student math achievement” klinkt alsof hier iets fundamenteels is opgelost, terwijl het in werkelijkheid gaat om een uiterst marginale verschuiving in platformgebruik.

En dan is er nog een bredere vraag: wat zegt dit over onderwijsverbetering? Het risico van dit soort studies is dat ze het idee versterken dat complexe leerproblemen met gedragspsychologische micro-interventies zijn op te lossen. Alsof een slim geformuleerde mail belangrijker is dan curriculum, instructiekwaliteit, lerarenopleiding of tijd voor voorbereiding. Terwijl dit onderzoek juist het omgekeerde suggereert. Zelfs met enorme schaal en zorgvuldige opzet blijven de opbrengsten klein.

Als je dit artikel zonder marketingbril leest, blijft er iets waardevols over. Niet dat e-mails het wiskundeonderwijs verbeteren, maar dat onderwijs zich niet zomaar laat verbeteren met e-mails. Dat is een veel interessantere en eerlijkere boodschap dan de titel suggereert. Maar je moet al moeite doen om dit er uit te halen.

Mijn grootste bezwaar is dan ook niet de studie zelf, maar de toon waarin ze naar buiten wordt gebracht. Dit is degelijk, grootschalig en transparant onderzoek naar een zeer klein effect. Het wordt echter gepresenteerd als een doorbraak. En dat is jammer. Wie echt gelooft in evidence-informed onderwijs, zou juist moeten pleiten voor precisie in taal. Zeggen wat iets is, niet wat we hopen dat het is.