Ik was dit weekend in Canada op een onderwijsconferentie en het viel me op hoeveel mensen naar de podcast Sold a Story verwezen. Ook hier zag ik hem al een paar keer op sociale media voorbijkomen, en dan specifiek de aflevering waarin Emily Hanford Project Follow Through bespreekt. Sommige mensen zullen dit enorme Amerikaanse onderwijsproject uit de jaren zestig en zeventig ondertussen wel kennen. Hierin vergeleek men verschillende aanpakken voor het onderwijs aan jonge kinderen uit kansarme gezinnen. Direct Instruction (DI), het programma ontwikkeld door Siegfried Engelmann en collega’s, een specifieke vorm van directe/expliciete instructie, kwam daarbij opvallend goed uit de bus. Robert Kaplinsky publiceerde een interessante factcheck van deze uitzending. Laat ik de factcheck even… euh, factchecken.

Verwacht geen grote debunking in deze post, maar wel wat extra nuance. Kaplinsky ging terug naar de oorspronkelijke rapporten en zijn factcheck is absoluut het lezen waard. Dat is de hoofdreden van deze post. Project Follow Through was namelijk niet het mooie, zuivere experiment dat er soms van wordt gemaakt. Iets waar ik me soms ook aan schuldig maak als ik het te kort moet uitleggen.

Het is en blijft een belachelijk groot experiment, of beter: quasi-experiment. Maar men wees scholen bijvoorbeeld niet willekeurig toe aan programma’s. Verder verschilde de implementatie sterk tussen locaties. Nog een beperking is dat het moeilijk was om na te gaan hoe trouw de programma’s daadwerkelijk werden uitgevoerd. Ook was er toen al discussie over zowel de gekozen uitkomstmaten als de statistische analyses.

Kaplinsky heeft dus gelijk als hij waarschuwt voor een al te eenvoudig verhaal: Amerika organiseerde het grootste onderwijsexperiment ooit, Direct Instruction won, einde discussie.

Maar wacht, want ook de factcheck verdient enige factchecking.

Ten eerste ontdekt Kaplinsky eigenlijk weinig grote feitelijke fouten in het verhaal van Hanford. Op verschillende punten bevestigen de oorspronkelijke bronnen eerder wat ze vertelt dan dat ze het tegenspreken. Ook de kritiek op de oorspronkelijke evaluatie deed de sterke resultaten van Direct Instruction niet zomaar verdwijnen.

Ten tweede, en belangrijker, is Project Follow Through natuurlijk niet het enige onderzoek dat we ondertussen over Direct Instruction hebben. Het project ligt al bijna een halve eeuw achter ons. Sindsdien is DI nog veel vaker onderzocht, ook in reviews en meta-analyses (zie oa hier). Aantonen dat Project Follow Through belangrijke methodologische beperkingen had, betekent dus niet dat daarmee ook de evidentie voor Direct Instruction verdwijnt.

Misschien is dus de betere conclusie dat Project Follow Through opvallend positieve resultaten vond voor Direct Instruction, die bovendien passen binnen een veel bredere latere onderzoeksliteratuur met positieve effecten voor DI.

Juist: nuance op de nuance dus.