Ik blog ondertussen al meer dan 15 jaar over (vooral) onderwijsonderzoek. Vaak gaat het om nieuwe studies die ik samenvat, van kanttekeningen voorzie en probeer te plaatsen binnen wat we al weten. Maar wat als de manier waarop je onderzoek communiceert eigenlijk nauwelijks iets uitmaakt? Via René Kneyber ontdekte ik een nieuwe studie van Samuel Sims en collega’s die deze behoorlijk ongemakkelijke vraag stelt.

Ze lieten bijna 3000 leraren een korte samenvatting lezen van een hypothetisch onderzoek naar een didactische aanpak. Daarbij varieerden ze negen elementen waarvan je zou kunnen verwachten dat ze de boodschap overtuigender zouden kunnen maken. Zo kregen sommige leraren een verhaal van een collega te lezen, terwijl anderen concreet advies voor de toepassing kregen. Soms werden de effectgrootte of steekproefgrootte vermeld, was er een aanbeveling van een expert, volgde er een uitleg over waarom de aanpak werkt of een verwijzing naar een geloofwaardige universiteit. Omdat elk van die elementen wel of niet aanwezig kon zijn, ontstonden maar liefst 512 verschillende versies van dezelfde onderzoekssamenvatting. Klinkt alleen al als design behoorlijk overtuigend.

Maar wat bleek? Eigenlijk maakte bijna niets verschil. Voor acht van de negen elementen vonden de onderzoekers geen statistisch significant effect op de intentie van leraren om de aanpak te gebruiken. Het enige significante effect was heel klein en bovendien negatief. Ook allerlei extra analyses veranderden weinig aan dat beeld.

Tijd dus om mijn blogs te sluiten en iets anders te doen ’s ochtends vroeg? Hold your horses, nee, toch niet Wat hier onderzocht werd, is behoorlijk specifiek. Ze keken naar een korte samenvatting van één onderzoek, waarna meteen werd gevraagd of leraren van plan waren de beschreven aanpak te gebruiken. Het gaat dus zelfs niet om werkelijk gedrag.

En daar zou je in feite blij mee moeten zijn. Ik hoop zelf alvast niet dat iemand na één blogpost over één studie denkt: vanaf morgen gooi ik mijn onderwijs helemaal om. Vaak zou dat volgens mij een bijzonder slecht idee zijn.

Wat ik met mijn blog probeer te doen, is iets anders. Nieuwe studies plaatsen naast wat we al weten. Soms bevestigt een studie eerdere bevindingen, soms spreekt ze die tegen, en soms voegt ze een belangrijke nuance toe. Heel soms is een onderzoek vooral interessant omdat er je er géén grote conclusies uit mag trekken. Zoals bij deze studie, trouwens.

Interessant genoeg komen de auteurs zelf ook tot die conclusie. Ze suggereren dat we misschien meer nood hebben aan knowledge brokers, zoals bijvoorbeeld in Vlaanderen Leerpunt. Ze hebben het dan over mensen en organisaties die verschillende onderzoeken samenbrengen, synthetiseren en vertalen naar een meer samenhangend beeld, in plaats van te verwachten dat één goed geschreven onderzoekssamenvatting de praktijk verandert.

Dus nee, ik stop nog niet met bloggen. En Leerpunt heeft zelf nog veel op de agenda om te delen met de wereld!