De voorbije dagen deed een oude blogpost van Geert Driessen opnieuw de ronde. In deze post op de website van Didactief uit 2021 uit de onderzoeker stevige bedenkingen bij de NPO-menukaart. Iets wat we in Vlaanderen beter kennen als de EEF of de Leerpunt-toolkit. Je moet deze blog wel in zijn context plaatsen: tijdens de coronapandemie gebruikte de Nederlandse overheid de toolkit als een soort menukaart waaruit scholen interventies konden kiezen om aanspraak te maken op (veel) middelen. Dat was op zich een ongelukkige toepassing – en minstens even ongelukkige communicatie. Al klopt het idee dat de menukaart scholen ‘verplichtte’ tot een bepaalde aanpak dus niet helemaal. Het was een leidraad, geen keurslijf. Scholen werden juist aangemoedigd om hun keuzes te onderbouwen op basis van wat we wél weten uit onderzoek, niet om blind lijstjes af te vinken. Overigens was de Nederlandse menukaart geen één-op-éénvertaling van de oorspronkelijke toolkit – er werd lokaal aan gesleuteld.

En dat is eigenlijk net de richting waarin we verder moeten denken: niet in termen van “werkt wel” of “werkt niet”, maar via een cultuur waarin scholen zélf onderzoeken wat bij hen werkt – mét hulp van het best beschikbare bewijs. Driessen maakt een aantal terechte opmerkingen over de kwaliteit van sommige studies in de toolkit. Het klopt dat niet elke onderliggende studie even sterk is, en dat sommige effectgroottes klein lijken. Maar net dat is eigenlijk geen zwakte, maar een sterkte: het wordt expliciet en transparant vermeld. Dat is al een hele verbetering ten opzichte van bijvoorbeeld het werk van Hattie, waarbij die kwaliteitscheck lange tijd ontbrak. De toolkit is daar veel eerlijker over.

Net daarom is het belangrijk om goed te blijven uitleggen wat die cijfers eigenlijk zeggen – en wat niet. In het onderwijs zijn kleine effectgroottes lang niet altijd triviaal. Dat is trouwens een van de vergissingen die het massale gebruik van Hattie’s werk in de hand heeft gewerkt: de misvatting dat alleen een effectgrootte van 0.4 of hoger telt. Terwijl een interventie met een effect van 0.2 op grote schaal, goedkoop én haalbaar, wél degelijk een verschil kan maken. Zeker als die wordt gecombineerd met andere, eveneens bescheiden maar robuuste verbeteringen.

Dat sommige onderwijsonderzoeken methodologisch sterker kunnen, daar is weinig discussie over. Maar als dat een reden wordt om het hele idee van evidence-informed onderwijs te wantrouwen of weg te zetten als “bluf”, dan gooien we het kind met het badwater weg. Het alternatief – werken op buikgevoel, traditie, de nieuwste hype of erger nog: praktijken waarvan we intussen goed weten dat ze weinig of zelfs negatieve effecten hebben – is zelden een beter idee. Het lijkt me zinvoller om te blijven investeren in beter onderzoek én in een betere vertaling ervan naar de klas, dan om alles maar te ridiculiseren.

Tot slot: de toolkit is geen statisch document, maar een levend systeem dat voortdurend wordt aangepast. Dit jaar nog krijgen beide toolkits een stevige update: het aantal onderliggende bronnen stijgt van ongeveer 3000 naar bijna 5000. Daarmee speelt men ook in op een terechte kritiek: dat het onderzoek in de oorspronkelijke versies vooral angelsaksisch was. Die onevenwichtigheid wordt nu bijgestuurd. En misschien het opvallendste: de nieuwe studies veranderen de bestaande inzichten nauwelijks. Wat stilaan bevestigt wat we al vermoedden – dat het bewijs robuust is, ook als je breder kijkt.