Als je in het onderwijs werkt, herken je vast het volgende dilemma: je leest over een geweldige nieuwe aanpak die ergens enorm goed werkt, maar je vraagt je meteen af: werkt dat bij mij op school ook? En vooral, werkt dat voor mijn leerlingen, mijn lesgevers, mijn context?

Het What Works Clearinghouse (WWC) in de Verenigde Staten doet precies dat: onderzoeken wat werkt in het onderwijs met zeer strenge criteria. Maar hun focus lag lange tijd vooral op interne validiteit – eenvoudig gezegd, of het gevonden effect wel echt komt door de interventie zelf. Minder aandacht ging naar externe validiteit, oftewel of die resultaten ook gelden in andere situaties en voor andere leerlingen.

Betsy Wolf stelt in haar onderzoek terecht de vraag: weten we eigenlijk genoeg over voor wie bepaalde interventies werken, en in welke omstandigheden? Ze dook daarom in de WWC-gegevens en maakte heldere overzichtskaarten van welke leerlingen, scholen en uitkomsten nu precies in al dat onderzoek zitten.

Het resultaat was opvallend. De WWC heeft veel gegevens over leerlingen en scholen verzameld, maar belangrijke informatie over de achtergrond van leerlingen ontbreekt regelmatig. Ook bleken sommige groepen, zoals leerlingen met specifieke achterstanden of beperkingen, maar beperkt onderzocht te zijn. Er bestaat bovendien een oververtegenwoordiging van onderzoek uit grote, stedelijke scholen en bepaalde staten, waardoor je voorzichtig moet zijn met generaliseren naar kleinere of landelijke scholen.

Nog een interessante conclusie uit het onderzoek is dat bepaalde soorten uitkomsten – zoals reken- en leesvaardigheid – volop onderzocht zijn, terwijl bijvoorbeeld sociaal-emotionele ontwikkeling of schoolklimaat sterk onderbelicht blijven.

Kortom: “Wat werkt?” is een nuttige vraag, maar wordt pas echt relevant als we ook vragen “voor wie werkt het, en in welke context?” Hoe beter we die nuances begrijpen en hoe vollediger onderzoek die nuances meeneemt, hoe bruikbaarder het wordt voor iedereen in het onderwijsveld.

Het is een bezorgdheid die ik zeker onderschrijf en die ik ook herken bij de (internationale) partners van Leerpunt. Je zal merken dat dergelijke informatie wel degelijk al aanwezig is in de Toolkits van de EEF die we hertaalden. Dit jaar wordt de wetenschappelijke basis van de toolkit verder uitgebouwd met bijna 2000 onderzoeken, precies ook om hier aan tegemoet te komen.

Tegelijk merk ik ook dat context ook kan gebruikt worden om onderwijsonderzoek helemaal weg te zetten. Een soort extreem doorgevoerde vorm van evidence-informed kant er voor zorgen dat er geen evidence meer overblijft. Ook dat kan zeker niet de bedoeling zijn…

Abstract van het onderzoek:

The What Works Clearinghouse (WWC) at the Institute of Education Sciences reviews rigorous research on educational practices, policies, programs, and products with a goal of identifying “what works” and making that information accessible to the public. One critique of the WWC is the need to more closely examine “what works” for whom, in which settings, and for which outcomes. The purpose of this article is to create evidence maps of the WWC study data to display the student populations, settings, and outcomes included in the evidence base. Findings show that the WWC study data include a broad range of students, settings, and outcomes relevant to education in the U.S., yet missing data on sample characteristics are a concern. The WWC evidence base also includes relatively few studies focused on specific student populations or some outcome domains. Finally, findings suggest that “what worked,” or the extent to which studies found favorable results, meaningfully depended on which outcomes were examined in the studies. The findings have implications for researchers, funders of research, and the WWC.