Soms moet ik heel veel onderzoek lezen vooraleer ik iets vind om over te bloggen. Dit was nu het geval, eerlijk gezegd. Maar dan vond ik deze studie die tegelijk ontzettend herkenbaar is, maar ook veel gevolgen heeft. De perstekst vat het zo samen: op dagen dat mensen mentaal scherper zijn, krijgen ze meer gedaan. Klopt. Maar wat erachter zit, is een pak interessanter en genuanceerder.

In deze studie volgden Wilson en Hutcherson 184 studenten gedurende twaalf weken. Elke dag deden die studenten een reeks korte cognitieve taken op hun smartphone, denk aan varianten van Stroop, Go/No-Go en werkgeheugentaken, samen goed voor een kleine tien minuten per dag. Op basis daarvan berekenden de onderzoekers een samengestelde maat voor wat ze “mental sharpness” noemen: hoe precies en efficiënt iemand informatie verwerkt op dat moment.

Daarnaast rapporteerden de studenten elke dag hun doelen en in welke mate ze die hadden bereikt. Niet alleen in algemene termen (“hoe groot was de kloof tussen wat je wilde doen en wat je gedaan hebt?”), maar ook via concrete doelen die ze zelf formuleerden en nadien beoordeelden. Dit alles leverde een behoorlijk rijke dataset op: meer dan 9000 meetmomenten, verspreid over bijna drie maanden.

Wat vonden de onderzoekers?

Het eerste belangrijke resultaat is dat er inderdaad een verband is tussen dagelijkse cognitieve “scherpte” en doelrealisatie. Op dagen dat studenten hoger scoren op die cognitieve taken, rapporteren ze ook dat ze meer van hun doelen hebben gerealiseerd. Dat verband blijft overeind, zelfs wanneer je controleert voor andere factoren zoals slaap, motivatie, stemming en aantal gewerkte uren. Het effect is niet groot, maar echt niet te verwaarlozen. De auteurs drukken het zelf zo uit: een verschil van één standaardafwijking in mentale scherpte komt ongeveer overeen met het effect van zo’n veertig minuten extra werk op een dag. Ik denk dat veel mensen blij zouden zijn met 40 meer productieve minuten. Maar hier komt de echte draai.

Wanneer ze niet kijken naar verschillen binnen personen over tijd, maar naar verschillen tussen personen, verdwijnt het effect. Studenten die gemiddeld beter scoren op die cognitieve taken, zijn niet systematisch beter in het realiseren van hun doelen.

Een oud probleem verklaard

Met andere woorden: het is niet zo dat “slimmere” of “betere” studenten meer gedaan krijgen. Het is wel zo dat dezelfde student op sommige dagen meer gedaan krijgt dan op andere, en dat dat samenhangt met hoe scherp hij of zij die dag functioneert.

Dat helpt een oud probleem in de literatuur beter te begrijpen. Onderzoek naar zelfcontrole, cognitieve controle en executieve functies vindt vaak verrassend zwakke verbanden met echte uitkomsten. Dat werd soms gelezen als: die cognitieve factoren doen er niet echt toe. Deze studie suggereert iets anders: ze doen er wel toe, maar niet op het niveau waarop we meestal kijken. Niet als stabiele eigenschap, maar als fluctuerende toestand.

Gevolgen…

We evalueren alsof prestaties stabiele kenmerken weerspiegelen. Alsof een toets een vrij zuivere meting is van wat iemand kan. Maar wat als een deel van die prestatie gewoon afhangt van hoe “scherp” iemand die dag is? Dat is geen nieuw idee. Iedereen die lesgeeft, weet dat er goede en slechte dagen zijn. Maar dit soort onderzoek maakt het explicieter en, belangrijker, meetbaar. Het laat zien dat die variatie niet zomaar ruis is, maar systematisch samenhangt met wat mensen effectief doen.

Dat zet een aantal dingen op scherp:

1. Ten eerste: het verschil tussen state en trait. Veel onderzoek vond zwakke verbanden tussen cognitieve vaardigheden en echte uitkomsten. Dat werd soms geïnterpreteerd als: het maakt allemaal niet zoveel uit. Deze studie suggereert eerder het omgekeerde: het maakt wél uit, maar niet op de manier waarop we meestal meten. Niet als stabiel verschil tussen leerlingen, maar als fluctuerende toestand binnen leerlingen.
2. Wat meten we eigenlijk als we evalueren? Als prestaties mee afhangen van dag-tot-dag variatie in cognitieve “scherpte”, dan meten we niet alleen kennis of vaardigheid, maar ook een momentopname van iemands functioneren op dat specifieke moment. Dat is op zich geen probleem, maar het wordt er wel één als we er sterke conclusies aan koppelen.
3. Het idee van eerlijkheid. We gaan er impliciet van uit dat een toets een gelijk speelveld creëert. Maar als dezelfde leerling op maandag en donderdag systematisch anders kan presteren door factoren zoals slaap of cumulatieve vermoeidheid, dan is dat speelveld minder vlak dan we denken.

Dat betekent niet dat evalueren zinloos wordt. Wel dat het idee van één meting als “de waarheid” moeilijker vol te houden is. Terug: dit is niet nieuw, maar een belangijke bevestiging

Voor onderwijs

En daar zit misschien de belangrijkste implicatie voor onderwijs: niet dat we plots cognitieve tests moeten gaan afnemen om te zien hoe “scherp” leerlingen zijn, maar dat we moeten nadenken over hoe we omgaan met variatie.

Dat kan op verschillende manieren. Door meer te spreiden in evaluatie zowel qua tijd als vorm, zodat toevallige fluctuaties minder doorwegen. Door ruimte te laten voor herkansen of verschillende vormen van bewijs. En door formatieve evaluatie serieuzer te nemen als tegengewicht voor summatieve momentopnames. Maar ook door realistischer te kijken naar wat prestaties betekenen. Een slechte dag is niet meteen een gebrek aan kunnen. En een goede dag is niet noodzakelijk een stabiel niveau. Tegelijk zegt dit onderzoek wel ook dat dit geldt voor het evalueren van het individu, op groepsniveau speelt dit minder, wat bijvoorbeeld betekent dat dit minder speelt voor zaken zoals PISA, PIRLS, Vlaamse toetsen, enz.

Beperkingen

Terwijl deze studie veel beperkingen van ander onderzoek aantoont, zijn er wel een paar belangrijke kanttekeningen te maken bij dit onderzoek:

Ten eerste gaat het om zelfrapportage. Studenten geven zelf aan welke doelen ze hadden en in welke mate ze die bereikt hebben. Dat is rijkere informatie dan een enkele score, maar het blijft gevoelig voor vertekeningen. Wat mensen denken dat ze gedaan hebben, is niet altijd hetzelfde als wat ze effectief gedaan hebben.

Ten tweede is de meting van “mental sharpness” ingenieus, maar niet perfect. Ze combineren verschillende korte taken tot één maat, maar die is vrij ruisgevoelig. De auteurs geven zelf aan dat die maat maar een deel van de echte variatie vangt. Dat betekent tegelijk dat de gevonden effecten waarschijnlijk onderschat zijn, maar ook dat voorzichtigheid nodig blijft.

Ten derde gaat het om een vrij specifieke groep: gemotiveerde studenten die bereid zijn om twaalf weken lang dagelijks taken te doen op hun smartphone. Dat is niet noodzakelijk representatief voor leerlingen in een klas, laat staan voor bredere populaties.

En misschien nog het belangrijkste: dit is observationeel onderzoek. Er is een duidelijk verband tussen cognitieve scherpte en doelrealisatie, maar dat betekent niet automatisch dat het ene het andere veroorzaakt. Het is goed mogelijk dat er onderliggende factoren meespelen, of dat de relatie in twee richtingen werkt.

Zoals zo vaak maakt dit onderzoek de werkelijkheid niet eenvoudiger, maar complexer. Het bevestigt iets wat we intuïtief al wisten – dat mensen schommelen – maar het ondergraaft tegelijk de neiging om prestaties te lezen als vaste eigenschappen.