Dit onderzoek staat al een tijdje in een open tabblad in mijn browser. Ik las het al ten tijde van de post over de umbrella review van vijftien meta-analyses over project-based learning, maar wou niet een gelijkaardige post twee dagen na elkaar schrijven. Toen was de conclusie behoorlijk pijnlijk. Terwijl bijna alle meta-analyses positieve effecten rapporteerden, bleken ze methodologisch van zo’n lage kwaliteit dat we er eigenlijk weinig betrouwbare conclusies uit konden trekken. Deze meta-meta-analyse van Kanadli en Sancar-Tokmak over gamification geeft een mooie aanvulling op dat verhaal. Niet omdat gamification en project-based learning hetzelfde zouden zijn. Ook niet omdat dit nieuwe onderzoek dezelfde problemen tegenkomt. Maar wel omdat het opnieuw laat zien hoe misleidend een ogenschijnlijk eenvoudige vraag kan zijn: werkt het?
We kunnen gamification ondertussen al lang niet meer een nieuw idee noemen. Het betekent, kort gezegd, dat je elementen uit games gebruikt in een context die zelf geen game is. Denk bijvoorbeeld aan punten, badges, levels, ranglijsten, uitdagingen of andere spelmechanismen in een leeromgeving. Dat deze elementen in feite vaak uit onderwijsonderzoek of onderwijstheorieën komen, denk aan token economy, scaffolding of de zone van naaste ontwikkeling, wordt hierbij vaak vergeten.
En er is inmiddels ook behoorlijk wat onderzoek naar het concept gedaan. Zoveel zelfs dat er niet alleen meta-analyses bestaan, maar nu ook een nieuwe meta-analyse van bestaande meta-analyses. De onderzoekers vonden 28 (!) meta-analyses over gamification, waarvan er uiteindelijk 10 aan hun inclusiecriteria voldeden.
Beide onderzoekers namen niet simpelweg de gemiddelde effecten uit die tien meta-analyses en berekenden daar vervolgens opnieuw een gemiddelde van. In plaats daarvan keren ze terug naar de effectgroottes van de oorspronkelijke, primaire studies die in deze meta-analyses waren opgenomen en analyseren die opnieuw binnen één statistisch kader. Waar nodig herberekenen ze zelfs de effectgroottes.
Zo komen ze voor academische prestaties uit op 105 effectgroottes, gebaseerd op 97 studies. Voor motivatie en engagement gaat het om 42 effectgroottes uit evenveel studies.
Dus: werkt gamification?
Als je alleen naar het gemiddelde kijkt dat men zo berekend heeft, lijkt het antwoord behoorlijk eenduidig: ja. Voor academische prestaties vinden de onderzoekers aanvankelijk een meer dan mooi gemiddeld effect van g = 0,559. Voor motivatie en engagement vinden ze bijna hetzelfde: g = 0,527.
Maar is hiermee de kous af? Nee, niet echt. Om te beginnen blijken de verschillen tussen studies enorm groot. Voor prestaties lopen de gevonden effectgroottes bijvoorbeeld van -1,613 tot +4,035. De prediction interval, die een idee geeft van de spreiding van werkelijke effecten die je in verschillende contexten kunt verwachten, loopt van -0,491 tot +1,609.
Deze verschillen zijn enorm. Het gemiddelde zegt dat gamification helpt, maar erachter zitten situaties waarin het vermoedelijk veel helpt, situaties waarin het nauwelijks verschil maakt en situaties waarin het zelfs behoorlijk negatief kan uitpakken.
De onderzoekers bekeken daarom ook uitschieters. Wanneer ze negen uitschieters voor academische prestaties verwijderen, daalt het gemiddelde effect naar g = 0,503. Dit lost de heterogeniteit nog steeds niet op, die ondertussen hoog blijft, met I² = 76%. De prediction interval loopt ook nog steeds van -0,289 tot +1,294.
Bij motivatie en engagement zien we iets vergelijkbaars. Na het verwijderen van drie uitschieters daalt het gemiddelde effect van 0,527 naar g = 0,398. De heterogeniteit bedraagt daar I² = 77%, met een prediction interval van -0,169 tot +0,965.
Dat verwijderen van uitschieters vraagt trouwens de nodige voorzichtigheid. Je mag er niet zomaar van uitgaan dat extreme effecten automatisch fout zijn. In een aanvullende analyse identificeerden de onderzoekers zelf ook extreme waarden die ze juist behielden, omdat ze plausibel waren en niet het gevolg waren van fouten in de data. Zelf zou ik niet te veel belang hechten aan het precieze verschil tussen bijvoorbeeld 0,559 en 0,503. De enorme variatie tussen studies is volgens mij een pak interessanter.
En dan is er nog publicatiebias
Voor academische prestaties vinden de onderzoekers aanwijzingen dat positieve resultaten waarschijnlijk oververtegenwoordigd zijn in de gepubliceerde literatuur. Wanneer ze daarvoor proberen te corrigeren, zakt het geschatte effect voor academische prestaties naar: g = 0,316 met een prediction interval van -0,778 tot +1,410. Voor motivatie en engagement komt de voor mogelijke publicatiebias aangepaste schatting uiteindelijk uit op slechts g = 0,183. Het effect verdwijnt niet, maar wordt echt een pak kleiner.
Let wel, ook hier is voorzichtigheid terug nodig. De statistische methode die de onderzoekers hiervoor gebruiken is geen magische machine die ons vertelt wat het ‘echte’ effect is. De auteurs noemen hun aangepaste schatting zelf expliciet verkennend. Toch is het algemene beeld wel duidelijk. Hoe beter je naar de data kijkt, hoe minder sterk de eenvoudige uitspraak ‘gamification werkt’ wordt.
Gemiddeld lijkt er een positief effect te zijn. Maar hoe groot dat effect is, verschilt sterk. En in sommige omstandigheden kan het effect zelfs negatief zijn. Alleen vertelt zo’n gemiddeld effect ons niet welke omstandigheden dat precies zijn.
Maar hoe goed zijn al die meta-analyses eigenlijk?
Dan komen we terug bij de umbrella review van een tijdje geleden. Bij project-based learning was dit precies de grote verrassing/teleurstelling die me aan het bloggen zette. Er waren vijftien meta-analyses, maar een formele beoordeling van hun methodologische kwaliteit liet zien dat ze allemaal als critically low moesten worden beoordeeld.
Daarom mis ik in deze nieuwe studie over gamification één belangrijke stap. Voor zover ik kan zien, voeren Kanadli en Sancar-Tokmak geen formele kwaliteitsbeoordeling uit van de tien meta-analyses waarop hun nieuwe analyse is gebaseerd, bijvoorbeeld met AMSTAR 2 of ROBIS. Dat betekent niet dat ze de resultaten van die meta-analyses zomaar voor waar aannemen. Integendeel. Hun methode is op dit punt behoorlijk interessant. Zoals ik al schreef, gaan ze terug naar de effectgroottes uit de primaire studies. Ze proberen verder afhankelijkheden tussen effectgroottes op te lossen. De onderzoekers voeren ook zelf sensitiviteitsanalyses uit en herberekenen de effectgroottes wanneer ze inconsistenties ontdekken.
Maar daarmee weten we dus nog niet hoe betrouwbaar de onderliggende onderzoeksbasis is. De kwaliteit van een meta-analyse gaat immers over meer dan alleen de berekening van de uiteindelijke effectgrootte. In feite omzeilen of beter ondervangen de onderzoekers deze vraag door hun aanpak.
Misschien stellen we gewoon te vaak een te eenvoudige vraag (bis)
De vraag ‘werkt gamification?’ is niet fout. En het antwoord op basis van deze studie is ook niet dat we helemaal niets weten. Integendeel, het beste korte antwoord lijkt me gemiddeld waarschijnlijk wel een beetje (sexy antwoord, he). Maar zodra je dit weet, beginnen eigenlijk pas de interessante vragen. Welke vorm van gamification? Voor welk doel? Voor welke leerlingen? In welke context? Hoe lang? Welke game-elementen worden gebruikt? Wat doet de leraar? En hoe goed is het onderzoek waarop we ons antwoord baseren?
De onderzoekers zelf komen uiteindelijk tot een vergelijkbare conclusie: de effectiviteit van gamification lijkt sterk afhankelijk van de context en de implementatie. No shit, Sherlock.