Toen ik de voorbije week het (zeer) kritische onderzoek over het werk van Hattie bracht, schrapte ik op het allerlaatste moment nog een passage. Niet als censuur. Wel omdat ik er zelf nog niet uit was, of ik het met de kritiek wel of niet eens was. Concreet ging het erover dat Kalmendal Bruns en collega’s aangaven dat veel onderzoek dat Hattie gebruikte in zijn analyses rond bijvoorbeeld technologie in onderwijs verouderd zou zijn. De vraag is of het dan wel slim was om die oudere meta-analyses nog te gebruiken. Nu maken de auteurs zelf ook een onderscheid. Ze stellen niet dat alle oudere onderzoeken onbruikbaar zijn, maar dat sommige onderwerpen, zoals onderwijstechnologie, sneller om actualisering vragen.
Ogenschijnlijk lijkt dit logisch, maar is dat zo. Ik ben zelf minder zeker. We denken graag dat de wereld en mensen veranderen. Deels is dat zeker zo, maar er is ook veel dat gelijk blijft. Leren we vandaag anders dan vroeger? Ik denk op veel vlakken niet. Maar het is natuurlijk wel zo, dat we nu technologie hebben die dingen kan, waarvan men 50 jaar geleden enkel kon dromen.
Maar tegelijk… veranderen de onderliggende principes dan zo snel? Als je kijkt naar het nogal fantastische werk van Audrey Watters over Teaching Machines, dan begint haar geschiedenis van onderwijstechnologie veel vroeger dan je denkt (begin vorige eeuw) en eindigt die ook veel vroeger (in de jaren 80). Dat laatste omdat veel van de principes die we vandaag nog herkennen toen al bestonden. Zelfs als je kijkt naar zaken als Duolingo, AI-tutors, enz., zie je vooral veel overeenkomsten. Dat betekent natuurlijk niet dat de effecten per definitie van die verschillende technologieën ook hetzelfde zouden zijn of hetzelfde zouden blijven. Misschien is de technologie dan nu performanter geworden? Wellicht, laten we het hopen, al bestaat er ook zoiets als enshitification. En sommige onderzoeken suggereren eeder dat we een stap achteruit aan het zetten zijn dan vooruit.
Dit alles betekent uiteraard niet dat je nieuwere meta-analyses mag negeren wanneer die beschikbaar zijn. Maar ook dan lijkt me de vraag vooral wat die nieuwe onderzoeken toevoegen of veranderen. Zelf denk ik dat we per studie moeten nagaan of ze nog relevant is. Niet alleen of ze ‘oud’ is, maar ook of ze degelijk is uitgevoerd (maatstaven kunnen veranderen).
Ik herinner me ooit een collega-onderzoeker die stelde dat je geen onderzoek mocht vermelden dat ouder was dan 10 jaar. Hoeveel zouden we dan niet kwijt zijn? Het vermelden van alleen oud onderzoek is voor mij ook fout. Dus ik vind het niet erg om nog naar Ebbinghaus (1885) of Thorndike te verwijzen, maar dan meestal ook in een adem dat recent onderzoek hun punten nog steeds bevestigt. Het is niet omdat het oud is, dat het fout is. Oud maakt ook niet juist; denk bijvoorbeeld aan bepaalde ideeën van Piaget die door later onderzoek zijn bijgesteld of weerlegd.