Waarom ik blij ben met de replicatiecrisis…

Deze week was er deze tweet van Rutger Bregman:

Je zou er ondertussen ook Growth Mindset, Grit en misschien de power pose kunnen aan toevoegen. Al moet ik er aan toevoegen dat Milgram recent ook succesvol werd gerepliceerd. Oja, er is ook nog het potloodverhaal dat niet meer klopt.

Waarom ben ik hier blij mee? Nee, niet uit leedvermaak maar omdat het goede wetenschap is. Het toont dat kennis door wetenschap steeds ‘met de kennis van nu’ is en dat er waar nodig gecorrigeerd wordt. En om op de vraag van Rutger te antwoorden: replicaties leveren niet enkel weerlegging op, maar ook net bevestiging. Het is veel erger als er in een onderzoekstak te weinig replicatie is of replicatie quasi onmogelijk gemaakt wordt (nee, echt).

Wat dit allemaal wel betekent, is dat we soms voorzichtig moeten zijn met de stelligheid waarmee we iets als onderzoeker stellen, al vind je vaak de grootste stelligheid het vaakst bij mensen die met bepaalde inzichten aan de haal gaan. Het is de reden waarom wetenschappers het vaak net moeilijk hebben in bepaalde debatten. Kwakzalvers en goedmenende lieden die niet gebonden zijn aan hoe wetenschap werkt, kunnen alles met veel stelligheid beweren. Tegenover ‘het is zo’ en ‘ik weet’, staat een ogenschijnlijk zwakker ‘wij denken’.

Zelfs veel replicaties maken nooit iets 100% zeker. Je kan dan nog bijvoorbeeld meemaken dat een hele nieuwe techniek van meten veel op de helling zet. Maar veel geslaagde replicaties maken wel iets meer zeker.

Dus ja, ik ben blij met de replicatiecrisis die al een tijdje woedt, en ik kan niet wachten tot die ten volle uitbreekt in onderwijs en sociologie, om twee takken van de wetenschap die me na aan het hart liggen. Ondertussen gaat het namelijk na enkele jaren crisis mijn inziens steeds beter met de psychologie.

Lectuur op zaterdag: Chaplin, Stanford, Pavlov en andere dingen die we vergaten of net moeten vergeten

De weekendbijlage bij deze blog:

Tot slot, soms is echt alles al gezegd:

De presentatie die ik net gaf op Kind in alle Staten

Dit is mijn presentatie, maar deze tweet vat alles fijn samen:

Over werken in het onderwijs

Eerlijk, ik was niet verbaasd toen ik de voorpagina van mijn krant zag deze ochtend. Zie ook mijn spontane reactie:

Dit zat er al lang aan te komen, onder andere in Nederland is het al niet meer zo abnormaal om met bepaalde etralegale voordelen te zwaaien om leerkrachten te overtuigen. En ondertussen trekt de economie al een tijdje aan, beginnen we het lerarentekort hier ook echt te voelen (al verschilt het naar onderwerp en naar regio) en ontmoette ik het voorbije jaar te veel schooldirecties die elke dag hopen dat er niemand ziek wordt.

Ik begrijp de reactie van het Katholiek Onderwijs, maar het is volgens mijn naïef te denken dat als er een krapte op de arbeidsmarkt bestaat dat leerkrachten enkel en vooral uit idealisme voor de job zouden kiezen als een groot deel van de rest van de wereld wel voordelen kent.

Nu, het is niet zo dat het onderwijs als werkgever geen voordelen biedt. Iedereen denkt nu aan de vakantie, maar dat komt vooral neer op een makkelijker combinatie van gezin en werk al staat dat net als de zekerheid (vaste benoeming) en pensioen al een tijdje onder druk.

Maar er zitten enkele dingen serieus fout. Voor wie denkt dat ik nu over de burnouts en jobonzekerheid van jonge leerkrachten ga beginnen, deze keer niet. Er zijn andere voorbeelden die tonen dat vandaag in onderwijs willen werken niet gaat over krijgen van extralegale voordelen, maar over het opgeven van veel.

Zo is het niet normaal dat zij-instromers vaak enorm veel loon moeten inleveren als ze in onderwijs willen stappen. Het is niet normaal dat sommige leerkrachten voor het zelfde loon 29 uur moeten les geven terwijl anderen 22 uur en nog anderen 24 uur voor de klas moeten staan.

Bonussen werken niet voor kenniswerker en merit pay maakt onderwijs kapot. Maar als de kloof te groot wordt met de rest van de arbeidsmarkt, dan zit je ook met een probleem.

Scholen die met elkaar concurreren voor leerkrachten kunnen er voor zorgen dat de beste en meest ervaren leerkrachten nog vaker dan vandaag in de makkelijkste scholen terechtkomen en de ongelijkheid in onderwijs toeneemt. Als je wil weten hoe dit kan ontsporen, check hoe Zweden de voorbije jaren zijn onderwijs zag ontsporen en van gidsland evolueerde tot really bad practice.

Veel van wat ik hier beschrijf moest opgelost worden in een loopbaanpact dat er deze legislatuur niet meer zal komen. Ik hoop dat de mensen die dit onmogelijk maakten de druppels boter voelen smelten op hun voorhoofd. Ze dragen een enorme verantwoordelijkheid.

IQ lijkt wel degelijk achteruit te gaan (maar we weten niet waarom)

Lang is ons IQ gestegen, het zogenaamde Flynn-effect, waarbij Flynn zelf aangaf dat het niet noodzakelijk betekent dat we slimmer werden, maar dat we misschien gewoon gemiddeld beter werden in het oplossen van IQ-testen. Er zijn de voorbije jaren zeer veel verschillende verklaringen voor de stijging van IQ gegeven van computergames en soaps (zie Steven Johnson) tot minder lood in onze omgeving.

Maar… een nieuwe studie toont nu dat het Flynn-effect gekeerd zou zijn. We hebben een tijdlang vastgesteld dat er nauwelijks nog stijging was, maar onderzoek door de Noorse onderzoekers Bernt Bratsberg and Ole Rogeberg, dat ik vond via Stuart Ritchie, toont nu dat de voorbije decennia het IQ (specifiek in Noorwegen) terug gaandeweg is gaan dalen. Net als bij de stijging (het Flynn-effect) is het nu bij de daling (het reverse Flynn-effect) moeilijk om aan te duiden wat er aan de hand is. We kunnen effectief dommer worden, maar het kan ook zijn dat de hedendaagse manier van denken niet meer gevat kan worden in een traditionele IQ-test, veranderingen in onderwijs,… En ja, het kan evenzeer aan computers liggen en minder lezen en denken. Maar vooraleer je dat laatste onthoudt, deze nieuwe studie toont dit niet aan. Meer nog, IQ zou beginnen dalen zijn bij de cohorte die in 1975 geboren werd (oef, ben zelf van 74) en zou zowat 7 punten per generatie bedragen. De onderzoekers konden op basis van hun data geen uitsluitsel geven van wat de mogelijke verklaringen zouden kunnen zijn. Wel kunnen ze opvallend genoeg enkele eerdere verklaringen wel weerleggen:

The results show that large positive and negative trends in cohort IQ operate within as well as across families. This implies that the trends are not due to a changing composition of families, and that there is at most a minor role for explanations involving genes (e.g., immigration and dysgenic fertility) and environmental factors largely fixed within families (e.g., parental education, socialization effects of low-ability parents, and family size). While such factors may be present, their influence is negligible compared with other environmental factors. Notably, this goes counter to the conclusion of a recent review on retrograde Flynn effects (6) and the expert opinions reported in a recent survey of intelligence researchers, which found “the anti-Flynn effect being attributed mainly to genetics and immigration” (7).

Daarom besluiten de onderzoekers dat ze geen ‘smoking gun’ vonden die de daling kan verklaren:

While our results support the claim that the main drivers of Flynn effects are environmental and vary within families, we are unable to identify the causal structure of the underlying environmental effects: Exposure occurring in any year will affect all cohorts below conscription age, but sensitivity to environmental factors may differ by age, and environmental effects may decay at different rates after exposure. The study design cannot distinguish between such possibilities, which also implies that the Flynn effect between two cohorts may differ with the age at which they are assessed (see the discussion in ref. 19), and our results remain consistent with a number of proposed hypotheses of IQ decline: changes in educational exposure or quality, changing media exposure, worsening nutrition or health, and social spillovers from increased immigration.

Abstract van de studie:

Population intelligence quotients increased throughout the 20th century—a phenomenon known as the Flynn effect—although recent years have seen a slowdown or reversal of this trend in several countries. To distinguish between the large set of proposed explanations, we categorize hypothesized causal factors by whether they accommodate the existence of within-family Flynn effects. Using administrative register data and cognitive ability scores from military conscription data covering three decades of Norwegian birth cohorts (1962–1991), we show that the observed Flynn effect, its turning point, and subsequent decline can all be fully recovered from within-family variation. The analysis controls for all factors shared by siblings and finds no evidence for prominent causal hypotheses of the decline implicating genes and environmental factors that vary between, but not within, families.