Eerder deze week had ik het over de mogelijkheid dat onderwijsonderzoek voor een crisis staat. Niet noodzakelijk een ramp, maar misschien wel een noodzakelijke schok. Ik kreeg er veel reacties op via de vele kanalen die sociale media vandaag bieden, waarvoor dank. Een van de reacties bracht me op het spoor van een zeer relevante studie die voor extra verdieping kan zorgen in het debat.

In Replication after Collins: An ethnography of current replication studies in psychology onderzochten Jonna Brenninkmeijer en collega’s hoe replicatieonderzoek er vandaag echt aan toe gaat in de psychologie. Niet vanuit een ivoren toren of een ander soort verheven positie, maar door gewoon mee te kijken in labs, vergaderingen en onderzoekspraktijken. En wat ze zagen, is herkenbaar.

Veel onderzoekers begonnen met het idee dat een replicatie iets eenvoudigs is: je neemt het protocol van een eerdere studie en herhaalt het. Maar in de praktijk blijkt dat onmogelijk. De context is anders, de deelnemers zijn anders, de technologie is anders en de onderzoeker zelf zijn dat ook. Zelfs al probeer je alles “exact” te volgen, het blijft altijd een nieuwe uitvoering. Of zoals de auteurs het, in de geest van Harry Collins, hernemen: wetenschap is minder een kwestie van recepten volgen dan van leren koken.

Dat brengt me terug bij onderwijsonderzoek vandaag. Ook wij werken vaak met een algoritmisch model van wetenschap: een zorgvuldig uitgeschreven methodesectie, een pre-registratie, een analyseplan. Dat is allemaal waardevol, maar het suggereert soms een precisie die in de werkelijkheid niet bestaat. Elke interventie, elke les, elke schoolcontext is anders zoals ik al vaker beargumenteerd heb. En juist daar schuilt de rijkdom, maar ook de complexiteit van ons vakgebied.

Wat ik boeiend vond in het stuk van Brenninkmeijer en collega’s, is dat replicatieonderzoekers gaandeweg veranderden. Ze begonnen met de gedachte: “We herhalen gewoon wat al gedaan is.” Maar ze eindigden met de vaststelling: “We hebben vooral veel geleerd over hoe we zélf onderzoek doen.” Sommigen zeiden letterlijk dat ze sindsdien geen artikel meer konden lezen zonder te denken: wat ontbreekt hier allemaal aan informatie? Replicatie bleek geen technische oefening, maar een vorm van zelfreflectie.

Misschien is dat precies wat ons onderwijsonderzoek nu nodig heeft. Een periode van reflectie, niet van paniek. Even de spiegel vasthouden: doen we nog onderzoek dat past bij de complexiteit van onderwijs vandaag? Zijn we niet te afhankelijk geworden van protocollen, vragenlijsten en gemiddelden, terwijl de echte inzichten vaak schuilen in hoe context, interactie en cultuur mee vormgeven wat er gebeurt?

Maar die nuance brengt ook een risico met zich mee, en ook dit merkte ik in sommige reacties én eerder tijdens conferenties in het buitenland. Wie wil, kan uit zo’n verhaal concluderen dat wetenschap dan maar betrekkelijk is. Dat alles toch “afhangt van de context” en dat je dus net zo goed op buikgevoel kunt varen. Dat zou een vergissing zijn. Dat perfect repliceren vaak zeer pittig blijkt of dat context een invloed heeft, betekent niet dat alles even goed is. Het betekent net dat we beter moeten begrijpen wanneer en waarom iets werkt, en onder welke voorwaarden. Zie ook bijvoorbeeld de toolkits van de EEF en Leerpunt die ook deze benadering hanteren. Wetenschap die zichzelf bevraagt, is geen zwaktebod, maar juist haar sterkste vorm van zelfcorrectie.

De crisis waar ik al over schreef, zou dan geen instorting zijn, maar een omslag. Niet het einde van onderwijsonderzoek, maar een kans om het beter te maken, door:

• Meer aandacht voor de context waarin data ontstaan.
• Meer openheid over de onzekerheid van onze bevindingen.
• Meer besef van de menselijke kant van onderzoek van de leraar, de leerling én de onderzoeker zelf.

In dat opzicht kunnen we veel leren van de psychologen in dat etnografische onderzoek. Zij ontdekten dat replicatie niet alleen een toets is van betrouwbaarheid, maar ook een spiegel van hun wetenschap. Misschien is dat wat wij nu ook nodig hebben: een spiegel. Geen crisis om te vrezen, maar een kans om onszelf opnieuw uit te vinden.