Als je een wetenschappelijk artikel leest, kan onderzoek soms een merkwaardig emotieloos proces lijken. Eerst formuleerden de onderzoekers een hypothese. Vervolgens voerden ze een experiment uit. Daarna analyseerden ze de data en trokken ze een conclusie.  Wie zelf onderzoek doet, weet natuurlijk dat het zelden zo voelt. Integendeel, het is een proces van vallen en opstaan, van eureka-momenten en niet eens inwendig gevloek. En dan heb ik het nog niet gehad over de lijdensweg die publiceren kan zijn (damn you, tweede reviewer!)

Een nieuw artikel van Jonna Brenninkmeijer en collega’s geeft een vrij uitzonderlijke inkijk in dit proces. De onderzoekers volgden van heel dichtbij een team psychologen dat een invloedrijk experiment uit de jaren tachtig probeerde te repliceren, dat onderzoek vind je trouwens hier. Ze observeerden vergaderingen, analyseerden documenten en volgden het project van de voorbereiding tot de uiteindelijke publicatie. Het resultaat is bijna een kijkje in het hoofd (en hart) van de wetenschapper.

Het oorspronkelijke experiment dat men wou repliceren was naar hedendaagse normen behoorlijk klein. Er deden 32 vierjarige kinderen mee, acht per conditie. Eén persoon gaf de instructies, één persoon codeerde wat de kinderen deden. Een van de vier instructiemethoden (scaffolding) leverde duidelijk betere resultaten op en de onderliggende onderwijsstrategie werd vervolgens breed bekend. Nu wilde dit team van onderzoekers deze studie zo nauwkeurig mogelijk herhalen. Maar deze keer met meer dan 250 kinderen, vier mensen die de instructies gaven en vijf codeurs om een degelijke power te hebben.

En dan beginnen de problemen. Om te beginnen blijkt veel informatie over het oorspronkelijke experiment verloren te zijn gegaan. Er is geen oorspronkelijk protocol meer, geen opname, zelfs de oorspronkelijke puzzel is verdwenen. De onderzoekers moeten dus reconstrueren wat er destijds precies is gebeurd. Repliceren lijkt eenvoudig, maar ondanks het feit dat het oorspronkelijke onderzoek een enorme invloed heeft gehad op het onderwijs, blijkt de info schaars.

Maar ze botsen al snel op veel meer.  Neem iets eenvoudigs, zoals of de ouder wel of niet aanwezig is. Een vierjarige reageert anders wanneer mama of papa in de kamer zit. Maar ook de onderzoeker gedraagt zich anders wanneer een ouder meekijkt. En wat doe je dan? Laat je de ouder aanwezig zijn, omdat dat in het oorspronkelijke experiment wellicht ook zo was? Of zet je de ouder achter een observatieraam omdat je daarmee een beter gecontroleerd experiment krijgt?

En dan komt de realiteit als de onderzoekers daadwerkelijk met de kinderen gaan werken. Ze proberen heel nauwkeurig vast te leggen wanneer en hoe een onderzoeker een kind mag helpen. Maar vierjarigen hebben de vervelende gewoonte om zich niet altijd volgens een onderzoeksprotocol te gedragen. Soms doet een kind niets. Soms zal het expliciet om hulp vragen. Een andere keer begint het doodleuk met de puzzelstukken te spelen.

Als onderzoeker wil je dan reageren zoals een mens dat doet, maar mag dat wel volgens het protocol?

Op een bepaald moment merkt een van de onderzoekers op dat sommige reacties van de kinderen heel natuurlijk aanvoelen, maar volgens het experiment eigenlijk fouten zijn. Het blijkt een voortdurende keuze tussen trouw blijven aan het protocol en een warme, ondersteunende interactie met het kind van vlees en bloed dat voor je zit. En dat alles maakt het een emotioneel pittig proces.

De onderzoekers ontdekken bijvoorbeeld dat de persoon die in het oorspronkelijke experiment alle instructies gaf de vrouw van de oorspronkelijke onderzoeker was. Zij was bovendien intensief getraind. Een onderzoeker die later bij hen was opgeleid, herinnert zich hoe het echtpaar tijdens haar training letterlijk over haar schouder meekeek en voortdurend bijstuurde. Een van de replicerende onderzoekers reageert daar bijzonder sterk op. Ze beseft dat er blijkbaar iets is doorgegeven dat nooit in de oorspronkelijke wetenschappelijke publicaties is beschreven. Ze heeft protocollen, beslisregels en coderingsschema’s, maar niemand staat over haar schouder om haar te leren wat de oorspronkelijke onderzoekers blijkbaar vanzelfsprekend vonden. Is de replicatie dus geen zuivere replicatie meer?

Ook het coderen van de video’s blijkt veel moeilijker dan gedacht. Wat is bijvoorbeeld een handeling van een kind? Als een kind een puzzelstuk oppakt en het ergens anders neerlegt, telt dat dan als een correcte handeling, een verkeerde handeling of helemaal niet als een betekenisvolle handeling? Of wat is hulp? Een puzzelstuk goed leggen is duidelijk hulp. Maar wat met stukken klaarleggen? Een compliment geven? Glimlachen als bevestiging?

Vijf codeurs moeten dergelijke gedragingen op dezelfde manier beoordelen. Dat lukt aanvankelijk niet voldoende. Een van de onderzoekers vertelt dat ze twintig maanden keihard aan het project heeft gewerkt. Ze maakt zich zorgen over haar loopbaan. Ze wil niet nog meer opofferen. Op een bepaald moment zegt ze zelfs dat ze nooit meer zo’n project wil doen. Op een ander moment zijn het lege cellen in de dataset die haar wakker houden.

Het is allemaal oprecht heel herkenbaar voor wie met onderzoek bezig is, maar het zijn tegelijk zinnen die je zelden in de uiteindelijke methodesectie van een wetenschappelijk artikel leest. En het interessante is dat die emoties hier niet alleen ruis zijn die de rationele wetenschapper moet proberen te onderdrukken. Ze vertellen de onderzoekers soms dat er iets wringt in wat ze doen.

Waarom krijgen we onze codeurs niet betrouwbaar op één lijn? Waarom lukt het ons niet om dit protocol natuurlijk uit te voeren? Of waarom kunnen we niet reconstrueren wat de oorspronkelijke onderzoekers precies deden? En als een team deskundige onderzoekers na jaren voorbereiding moeite heeft om een onderwijsstrategie volgens het protocol uit te voeren, wat betekent dat dan voor een leraar die dezelfde strategie in een gewone klas moet gebruiken? Deze laatste vraag is cruciaal voor evidence-informed werken, trouwens.

Uiteindelijk lukt een belangrijk onderdeel trouwens wel. De onderzoekers berekenen hoe nauwkeurig hun instructeurs de voorgeschreven instructies hebben uitgevoerd en komen uit op ongeveer 70 procent. Dat is ongeveer hetzelfde percentage als in het oorspronkelijke onderzoek. Er heerst opluchting, tot de resultaten komen.

Niets. Of toch bijna niets: de vier verschillende instructiemethoden leveren ongeveer dezelfde resultaten op. Het sterke effect uit het oorspronkelijke onderzoek herhaalt zich niet. De replicatie is mislukt, of beter, het oorspronkelijke onderzoek repliceert niet.

Ook dat gaat gepaard met emoties. De onderzoekers hadden vooraf al rekening gehouden met de mogelijkheid dat ze het oorspronkelijke effect niet zouden vinden. Maar helemaal geen verschil tussen de condities hadden ze blijkbaar toch niet verwacht. Maar dan botst men op de moeilijkste vraag: wat betekent zo’n mislukte replicatie?

De eenvoudige conclusie zou kunnen zijn dat het oorspronkelijke onderzoek fout zat. Het was tenslotte een experiment met slechts acht kinderen per conditie, één instructeur en één codeur. De nieuwe studie was veel groter en vond het effect niet terug. Maar de onderzoekers beginnen ook aan iets fundamentelers te twijfelen.

Misschien zit de essentie van deze onderwijsstrategie helemaal niet in een verzameling stappen die je netjes in een protocol kunt vastleggen. Misschien zat een deel van het oorspronkelijke succes in de interactie tussen die specifieke onderzoeker en die specifieke kinderen. Denk dan aan ervaring, timing, impliciete kennis en coaching.

De auteurs van deze nieuwe studie trekken daar behoorlijk grote filosofische conclusies uit. Volgens hen toont deze casus hoe methode, emoties en zelfs onze ideeën over wat een psychologisch fenomeen eigenlijk is, met elkaar verweven kunnen raken. Tijdens het onderzoek veranderden de replicatoren immers zelf van mening over wat ze eigenlijk probeerden te repliceren. Ik zou hier zelf voorzichtiger mee zijn.

Dit blijft één weliswaar mooi uitgewerkte casus. En er bestaat ook een veel eenvoudiger mogelijke verklaring: misschien was de oorspronkelijke, zeer kleine studie gewoon fout, of was het gevonden effect sterk overschat. Daarvoor hoeven we onze volledige visie op psychologische fenomenen nog niet te herzien.

We praten de laatste jaren veel over hoe wetenschap betrouwbaarder kan worden. We hebben het over preregistratie, grotere steekproeven, open data, replicaties en transparantie. Vaste lezers van deze blog weten dat ik dit meer dan terecht vind.  Maar soms kan het klinken alsof we daarmee de mens uit de wetenschap kunnen verwijderen. Dat kunnen we natuurlijk niet.

Wetenschappers hebben verwachtingen. Ze twijfelen. Ze zijn loyaal aan collega’s en theorieën. De onderzoekers kunnen bang zijn om fouten te maken. Ze zijn opgelucht wanneer iets lukt en teleurgesteld wanneer maanden werk op niets lijken uit te draaien. Soms liggen ze wakker van hun dataset.  Goede wetenschap vereist volgens mij niet dat al die dingen verdwijnen. Degelijke wetenschap probeert ervoor te zorgen dat kennis betrouwbaar blijft, ondanks al die dingen.