Ah, de replicatiecrisis. Een van mijn geliefde onderwerpen. En ja, ik heb er terug een. En het heeft met bier te maken.

In 1995 verscheen een studie die bijna te mooi was om niet te citeren. Obers en barmannen op het Oktoberfest zouden slechter scoren op een simpele fysicataak dan mensen zonder ervaring met het dragen van bierpullen.

De taak is klassiek. Teken het waterniveau in een gekanteld glas. Het correcte antwoord is horizontaal ten opzichte van de grond. Toch maken veel mensen de fout om het water mee te laten kantelen met het glas.

Hecht en Proffitt vonden iets intrigerends: wie beroepsmatig met vloeistof werkt, zou vaker die fout maken. Hun verklaring was elegant. Servers ontwikkelen een objectgebonden referentiekader. Ze letten op de rand van het glas om niet te morsen. Die gewoonte zou hen parten spelen in een abstracte taak. Expertise als valkuil.

Het verhaal klopte cognitief. Het paste in een breder idee dat ervaring soms tot cognitieve rigiditeit leidt. Het werd vaak geciteerd als voorbeeld van hoe expertise prestaties kan ondermijnen. Het dook op in managementliteratuur, marketing en cognitieve psychologie. Het had alles wat een goed academisch verhaal nodig heeft: een paradox en een anekdotische setting die tot de verbeelding spreekt.

Alleen was er al snel een studie van Vasta en collega’s die net het omgekeerde vond. Deze werd duidelijk minder geciteerd volgens Google Scholar. Maar… beide onderzoeken hadden kleine steekproeven.

Dus gingen Tenney en collega’s dertig jaar later terug naar Oktoberfest en meer. Terug naar het veld. Obers en serveersters. Barmannen. Studenten. Buschauffeurs. Meer dan vierhonderd deelnemers. Preregistratie. Open data. Alles zoals het hoort.

En wat bleek?

Geen effect.

Ervaren deelnemers presteerden niet slechter op de water-leveltaak. Het verschil was praktisch nul. Sterker nog, als er al een richting in zat, dan was die licht omgekeerd ten opzichte van het oorspronkelijke verhaal.

Op een tweede intuïtieve fysicataak, over het traject van een vallend object, leek er aanvankelijk wel een verschil. Maar dat verdween na controle voor demografische factoren. Ook daar geen stevige basis voor een spectaculair expertiseverhaal.

Wat dit zo interessant maakt, is niet alleen dat een klassiek effect niet terugkomt. Het is hoe makkelijk zo’n eerste, elegante bevinding een eigen leven gaat leiden. Eén studie wordt een illustratie. Die illustratie wordt een citaat. En dat citaat wordt een vast voorbeeld in presentaties en handboeken.

In onderwijs en psychologie gebeurt dat vaker dan we denken. Een mooi experiment met een sterke narratieve punch wordt een soort shorthand voor een complex fenomeen. Pas jaren later, wanneer iemand de moeite doet om het opnieuw en grondiger te testen, blijkt het verhaal minder stevig dan gedacht. Of als iemand er een lemma in een mytheboek aan wijdt…

Op het Oktoberfest blijft het bier in elk geval gewoon horizontaal. Er zijn gelukkig ook nog zekerheden.

Afbeelding: https://nl.wikipedia.org/wiki/Bestand:Hacker-Pschorr_Oktoberfest_Girl_Remix.jpg