Enkele kritische artikels over Silicon Valley en hun blik op de wereld, wat commentaar

De voorbije uren is er veel te doen geweest over de tweet van Elon Musk waarin hij een Britse duiker die kritiek op hem had een pedofiel noemde. Hoewel pijnlijk, is het interessanter om te kijken naar het artikel dat de directe aanleiding van de tweet was. Dit was namelijk dit opiniestuk van Zeynep Tufekci met de vraag wat Silicon Valley dan de duikers in Thailand zou kunnen leren:

The Silicon Valley model for doing things is a mix of can-do optimism, a faith that expertise in one domain can be transferred seamlessly to another and a preference for rapid, flashy, high-profile action. But what got the kids and their coach out of the cave was a different model: a slower, more methodical, more narrowly specialized approach to problems, one that has turned many risky enterprises into safe endeavors — commercial airline travel, for example, or rock climbing, both of which have extensive protocols and safety procedures that have taken years to develop.

This “safety culture” model is neither stilted nor uncreative. On the contrary, deep expertise, lengthy training and the ability to learn from experience (and to incorporate the lessons of those experiences into future practices) is a valuable form of ingenuity.

Het was niet het enige stuk dat verscheen de voorbije tijd rond de “Move fast and break things” mentaliteit in sectoren die misschien een andere benadering nodig hebben. De aanleiding was onder andere het mislukte experiment dat 600 miljoen doller kostte waarvan slechts een deel opgehoest werd door de Bill en Melinda Gates foundation maar dat wel door de filantropen aangestuurd werd. Het zorgde voor de vraag hoe deze gefortuneerde donoren ter verantwoording kunnen geroepen worden:

When foundation grants fail to achieve the objectives officials sought, philanthropists turn their backs, shrug, and walk away. Or try again. They have no responsibility to districts, individual schools, teachers, students and parents for hopes raised and dashed. Donors are beyond the reach of being fired or voted out of office. Yet as anyone knows from personal experience, admitting error is crucial to insights into a problem and, ultimately invention of better ways to solve it.

Persoonlijk heb ik wel schrik dat dit soort denken overslaat naar Vlaanderen en Nederland. Dergelijk denken zorgde er al voor dat ik vorig jaar deze post schreef. Zeker als onderwijs het minder goed doet, kan de drang om ‘onderwijs even op te lossen’ al snel ontstaan. Of beter: als het idee bestaat dat het onderwijs voor de eigen kinderen niet goed genoeg is (aka het mijn-dochter argument), kan de drang ontstaan voor iedereen het onderwijs aan te passen.

Opgelet: de voorbije jaren heb ik filantropische organisaties ontmoet die – vaak in de luwte – zeer mooi werk leveren. Maar nog maar zeer onlangs confronteerde ik een van de architecten van de Bill & Melinda Gates foundation met een van de mislukkingen waar hijzelf en Mark Zuckerberg bij betrokken waren. Hij wou het zelf geen mislukking noemen, het project had gewoon meer tijd nodig. Het is hetzelfde project dat in het stuk van Tufekci genoemd wordt en dat ondertussen 100 miljoen doller heeft gekost. Als tijd geld is, dan heeft het mijn inziens genoeg tijd gekost, maar dat is wellicht anders als je bij de rijkste mensen ter wereld hoort.

Hoe kan het beter? Een van de organisaties die het mijn inziens beter doen, zetten niet in op 1 of andere aanpak, willen zich ook niet op een bepaalde visie vastpinnen, maar steunen verschillende aanpakken zelfs vanuit verschillende visies die elk wel gebaseerd zijn op wetenschappelijke evidentie en belangrijk: eerst klein monitoren wat werkt en niet werkt in die precieze omstandigheden om te kijken waar dan in de toekomst verder op ingezet wordt en tegelijk ook monitoren of het vergroten van de schaal wel lukt. Je kan je dan nog vragen stellen bij het democratisch gehalte, maar de kans op breken is dan alvast kleiner dan de kans dat er effectief voor kinderen een verschil gemaakt wordt.

Waar selecteer je in onderwijs? Over toegang tot hoger onderwijs.

Vandaag staat er in De Standaard een warm pleidooi van professor Yves T’Sjoen voor een niet-bindende toegangsproef voor wie taal- en letterkunde wil studeren. Zijn verwijzing naar studenten die nauwelijks foutloze zinnen kunnen schrijven en toch aan een taalrichting willen beginnen, maakt zijn pleidooi meer dan begrijpelijk. In dit stuk wil ik wat achtergrond geven bij een relevante, ietwat onderhuidse vraag: waar selecteer je.

Als we het over selectie hebben in onderwijsdiscussies, denken we hier vaak aan een brede eerste graad. Maar die selectie maken we later in de opleiding van onze kinderen voor een stuk ongedaan. In Vlaanderen hebben we namelijk een vrij uniek systeem waarbij bijna iedereen naar gelijk welke richting in het hoger onderwijs kan gaan. We hebben wel toelatingsexamens voor arts en tandarts en binnenkort kan je niet meer na elk zevende jaar in het beroepsonderwijs richting universiteit, maar in feite gebeurt de selectie niet in het middelbaar onderwijs.

Vergelijk dat met bijvoorbeeld Zuid-Korea waar er op het einde van het secundair onderwijs centrale eindexamens zijn die bepalen of je al dan niet naar de universiteit mag. Ben je bij de beste van de allerbeste, dan maak je kans op een plaatsje in een van de drie topuniversiteiten en is je broodje gebakken. Je zal makkelijk door je universitaire studies komen en je bent binnen voor de rest van je leven. Die eindexamens zijn dus vaak echt allesbepalend waardoor de druk immens kan zijn.

Het is een zeer extreme vorm van selecteren in het middelbaar onderwijs die we in de meeste landen in meer of mindere mate tegenkomen. Het kan zo ook zijn dat je voor bepaalde vakken examen moet afgelegd hebben om aan bepaalde richtingen te studeren.

Beide systemen hebben voor- en nadelen die vaak elkaars spiegelbeeld zijn. Het grote voordeel van ons systeem is dat je aan iedereen kansen geeft en een keuze uitstelt. Het grote nadeel aan ons systeem is dat het aantal niet-geslaagden in een eerste jaar hoger onderwijs vaak zeer groot is en dat dit gepaard gaat met heel veel werkdruk voor docenten, administraties, enz. Ooit hoorde ik het omschrijven als een samenkomen van een Romaans en Angelsaksisch model. Het Romaanse zit hem in de grote toegang, het Angelsaksische zit hem in de drang naar excellentie. De cocktail samen kan moordend zijn.

Een nadeel van centrale eindexamens kan de enorme bijlesindustrie zijn die in de meeste Aziatische landen bestaat, terwijl Vlaanderen volgens de meest recente OESO-data zowat de kleinste bijlesindustrie heeft.

Mocht je van mij nu een aanbeveling in een of andere richting verwachten, moet ik je teleurstellen. Ik beken: ik ben relatief blij met ons systeem, maar voel wel hoe het al meer dan een tijdje kraakt in al zijn voegen. En de mensen die het andere model voorstaan, hebben zeer goede argumenten. Elk voordeel heeft zijn nadeel zei de grote Nederlands filosoof Cruyff. Maar het is wel belangrijk dat we beseffen wat de gevolgen van onze keuzes zijn.

Hoe een school de vakantie (en mogelijk het jaar) van meer dan 300 leerlingen verpestte (en de onderliggende problemen)

Het is een groot verhaal in Nederland: 354 leerlingen van de Maastrichtse VMBO-scholen te horen dat hun eindexamens afgekeurd zijn omdat de school er een warboel van heeft gemaakt.

De uitleg van de directeur:

Dit is erg, dit is heel erg. Concreet heeft minister Arie Slob op basis van de inspectie moeten beslissen dat deze kinderen niet kunnen slagen dit jaar. De verhalen die nu naar buiten komen over deze school zijn niet van de poes, met vakken die nooit gegeven werden, docententekorten, organisatorische rampen,…

Dat het slecht gaat op een school is erg, maar er zit elementen onder dit verhaal die alles nog veel pijnlijker maken.

Door schaalvergroting en fusies zijn quasi alle scholen in dat deel van Limburg onderdeel van dezelfde scholengroep LVO, geleid door een bestuursvoorzitter Postema die ook nog wel wat andere jobs te doen heeft:

Het probleem is dat noch leerlingen, noch leerkrachten in feite kunnen ontsnappen. Je kan niet naar een andere school voor jouw richting gaan, of het moet naar België zijn. Je kan niet in een andere scholengroep werken, of je moet verhuizen. En dan ben je geneigd je mond te houden.

Dat is probleem 1, wat een gevaarlijke cocktail wordt als je probleem 2 er bij neemt. De scholengroep is zelf verantwoordelijk voor de kwaliteitscontrole. Dit is iets wat meer en meer opgang maakt in het onderwijs, ook bijvoorbeeld in het Vlaamse hoger onderwijs. De hogescholen en universiteiten monitoren zelf de kwaliteit van de opleidingen ter vervanging van de vroegere visitaties. Op instituut-niveau wordt wel nog controle gedaan.

Er kwamen wel klachten en na schijnbaar lang aandringen (zie NRC-artikel in een van de vorige links) is de school wel op de vingers getikt, maar kwaliteitscontrole door een organisatie die zijn zaken niet op orde heeft, is geen kwaliteitscontrole. Dat de directies de laatste tijd nogal moeten wisselen, doet daar ook geen goed aan.

Dat brengt ons bij probleem drie. Deze scholengroep had en heeft grote plannen rond innovatie, maar lijkt hierbij ondertussen het eigenlijke werk niet op orde te hebben.

In deze situatie lijken er enkel maar verliezers. De oproep en petitie om de leerlingen toch hun diploma te geven, kan de minister niet volgen. Het zou de diploma’s van alle andere kinderen onmiddellijk devalueren. De oproep van Postema om niet de kinderen maar de school te straffen, is mooi maar hypocriet wegens veel te laat. Zoals ik al eerder aangaf lijken de docenten hier ook vooral mee slachtoffer en ik heb extra te doen met de interimdirecteur die er pas werkt en dit allemaal op zijn bord krijgt.

Ondertussen zag ik op Twitter verschillende docenten die aanbieden een stuk van hun vakantie op te geven om de leerlingen te examineren om toch te kunnen slagen. Misschien zit hier een uitweg, maar juridisch zal het goed moeten worden uitgeplozen.

Maar het is vooral nu het moment bij uitstek om na te denken over schaalgrootte, kwaliteitsborging, lerarentekorten en te beseffen dat onderwijs een vak is. En dat geldt voor alle lagen in de structuur…

Waarom ik blij ben met de replicatiecrisis…

Deze week was er deze tweet van Rutger Bregman:

Je zou er ondertussen ook Growth Mindset, Grit en misschien de power pose kunnen aan toevoegen. Al moet ik er aan toevoegen dat Milgram recent ook succesvol werd gerepliceerd. Oja, er is ook nog het potloodverhaal dat niet meer klopt.

Waarom ben ik hier blij mee? Nee, niet uit leedvermaak maar omdat het goede wetenschap is. Het toont dat kennis door wetenschap steeds ‘met de kennis van nu’ is en dat er waar nodig gecorrigeerd wordt. En om op de vraag van Rutger te antwoorden: replicaties leveren niet enkel weerlegging op, maar ook net bevestiging. Het is veel erger als er in een onderzoekstak te weinig replicatie is of replicatie quasi onmogelijk gemaakt wordt (nee, echt).

Wat dit allemaal wel betekent, is dat we soms voorzichtig moeten zijn met de stelligheid waarmee we iets als onderzoeker stellen, al vind je vaak de grootste stelligheid het vaakst bij mensen die met bepaalde inzichten aan de haal gaan. Het is de reden waarom wetenschappers het vaak net moeilijk hebben in bepaalde debatten. Kwakzalvers en goedmenende lieden die niet gebonden zijn aan hoe wetenschap werkt, kunnen alles met veel stelligheid beweren. Tegenover ‘het is zo’ en ‘ik weet’, staat een ogenschijnlijk zwakker ‘wij denken’.

Zelfs veel replicaties maken nooit iets 100% zeker. Je kan dan nog bijvoorbeeld meemaken dat een hele nieuwe techniek van meten veel op de helling zet. Maar veel geslaagde replicaties maken wel iets meer zeker.

Dus ja, ik ben blij met de replicatiecrisis die al een tijdje woedt, en ik kan niet wachten tot die ten volle uitbreekt in onderwijs en sociologie, om twee takken van de wetenschap die me na aan het hart liggen. Ondertussen gaat het namelijk na enkele jaren crisis mijn inziens steeds beter met de psychologie.

Over werken in het onderwijs

Eerlijk, ik was niet verbaasd toen ik de voorpagina van mijn krant zag deze ochtend. Zie ook mijn spontane reactie:

Dit zat er al lang aan te komen, onder andere in Nederland is het al niet meer zo abnormaal om met bepaalde etralegale voordelen te zwaaien om leerkrachten te overtuigen. En ondertussen trekt de economie al een tijdje aan, beginnen we het lerarentekort hier ook echt te voelen (al verschilt het naar onderwerp en naar regio) en ontmoette ik het voorbije jaar te veel schooldirecties die elke dag hopen dat er niemand ziek wordt.

Ik begrijp de reactie van het Katholiek Onderwijs, maar het is volgens mijn naïef te denken dat als er een krapte op de arbeidsmarkt bestaat dat leerkrachten enkel en vooral uit idealisme voor de job zouden kiezen als een groot deel van de rest van de wereld wel voordelen kent.

Nu, het is niet zo dat het onderwijs als werkgever geen voordelen biedt. Iedereen denkt nu aan de vakantie, maar dat komt vooral neer op een makkelijker combinatie van gezin en werk al staat dat net als de zekerheid (vaste benoeming) en pensioen al een tijdje onder druk.

Maar er zitten enkele dingen serieus fout. Voor wie denkt dat ik nu over de burnouts en jobonzekerheid van jonge leerkrachten ga beginnen, deze keer niet. Er zijn andere voorbeelden die tonen dat vandaag in onderwijs willen werken niet gaat over krijgen van extralegale voordelen, maar over het opgeven van veel.

Zo is het niet normaal dat zij-instromers vaak enorm veel loon moeten inleveren als ze in onderwijs willen stappen. Het is niet normaal dat sommige leerkrachten voor het zelfde loon 29 uur moeten les geven terwijl anderen 22 uur en nog anderen 24 uur voor de klas moeten staan.

Bonussen werken niet voor kenniswerker en merit pay maakt onderwijs kapot. Maar als de kloof te groot wordt met de rest van de arbeidsmarkt, dan zit je ook met een probleem.

Scholen die met elkaar concurreren voor leerkrachten kunnen er voor zorgen dat de beste en meest ervaren leerkrachten nog vaker dan vandaag in de makkelijkste scholen terechtkomen en de ongelijkheid in onderwijs toeneemt. Als je wil weten hoe dit kan ontsporen, check hoe Zweden de voorbije jaren zijn onderwijs zag ontsporen en van gidsland evolueerde tot really bad practice.

Veel van wat ik hier beschrijf moest opgelost worden in een loopbaanpact dat er deze legislatuur niet meer zal komen. Ik hoop dat de mensen die dit onmogelijk maakten de druppels boter voelen smelten op hun voorhoofd. Ze dragen een enorme verantwoordelijkheid.

Terug van weggeweest: de leerkracht heeft het gedaan

“Succes heeft vele vaders en mislukking is steeds een wees” gaat de uitdrukking, maar dan wel vaak een wees waarvan iedereen de vader wil aanwijzen. Gisteren was er terug slecht onderwijsnieuws met de resultaten voor Frans in het basisonderwijs en ik voorspelde gisteren al in een post welke discussies zouden kunnen volgen. Alhoewel het in het lijstje stond, had ik niet verwacht dat het minister Crevits zou zijn die vragen stelt bij de leerkrachten zelf.

De minister zorgde voor een trendbreuk met haar voorganger Pascal Smet door als basishouding de leerkracht te verdedigen. Na vier jaar zalven, slaat ze nu. Heeft ze een punt? Als je naar de Onderwijsspiegel van vorig jaar kijkt, is het antwoord ja. Even een letterlijke quote uit het rapport:

Leraren zijn zich niet altijd bewust van hun rol als ‘taalmodel’. Het ontbreekt hen in een derde van de bezochte scholen aan een ruime taalbagage, voldoende spreekdurf en een goede Franse uitspraak.

Maar in het rapport staat er ook iets anders. De nieuwe eindtermen leggen veel meer de nadruk op communicatieve vaardigheden in het Frans, maar de meerderheid van de bezochte scholen volgden deze verandering nog niet. Er zou dus een mismatch tussen de eindtermen en de focus in de klas. Dat laatste is niet onbelangrijk bij de huidige didactische discussies die losbarsten over taalonderwijs.

Maar is de leerkracht dan de enige met boter op het hoofd? Dat lijkt me sterk. Nieuwe eindtermen en bijhorende nieuwe leerplannen moeten ingevoerd worden, als scholen deze nauwelijks volgen, dan is er bij die implementatie duidelijk iets misgegaan waarbij naar én scholen, én leerkrachten, én pedagogische begeleiding, én… gekeken moet worden. En dat is dringend, want we willen binnenkort… nieuwe eindtermen invoeren.

Taal was voor minister Crevits een belangrijk speerpunt. De onderwijsspiegel quote haar beleidsnota als volgt:

Vlaams minister van Onderwijs Hilde Crevits verwijst in haar beleidsnota (2014-2019) expliciet naar de noodzaak om de competenties van Nederlands en moderne vreemde talen, waaronder Frans, blijvend te verbeteren, onder meer via een actief talenbeleid en door bekendheid te geven aan de mogelijkheid om in taalinitiatie in het Engels, Frans en Duits te voorzien wanneer de leerlingen het Nederlands voldoende onder de knie hebben.

De gevolgen van beleid zijn in onderwijs zelden snel-snel merkbaar, sommige van deze maatregelen zijn zelfs pas heel recent mogelijk geworden. Toch kan ik me inbeelden dat als je als minister te horen krijgt dat het onderwijs net op een van je speerpunten steeds slechter scoort, dat dit pijn doet, zeker in verkiezingstijden.

Maar ik kan me ook de reacties van leerkrachten en scholen inbeelden die vandaag het nieuws op hun bord krijgen. Misschien reageren ze met een gelaten zucht, moe op het einde van een schooljaar waarin de werkdruk weer toenam door oa M-decreet, planlast die maar niet ingedijkt lijkt te worden,  maar ook steeds vaker omdat op veel plaatsen het lerarentekort zeer voelbaar wordt. Een schooldirecteur in het basisonderwijs reageert wellicht ook gelaten omdat hij of zij zeer graag onderwijskundige veranderingen wil begeleiden op school, maar eerst het lekkend dak moet oplossen. Het klopt dat er eindelijk meer geld voor het basisonderwijs komt, maar ook dat is nog maar een heel recente maatregel. Ik zal maar niet herhalen hoeveel schooldirecteurs nieuw waren in september en hoe lang ze het gemiddeld volhouden…

Belangrijker dan het aanduiden van mogelijke vaders (en moeders trouwens) van het weeskind, is het kijken van hoe we hier uitraken. Zelf denk ik alvast niet dat het een optie mag zijn om de lat van de eindtermen laag te houden omdat leerkrachten deze niet aan zouden kunnen. De lat moet hoog omdat we anders de negatieve spiraal verder zetten. Dit is zeker een taak voor de leerkrachten zelf. Maar dan moeten we ook ervoor zorgen dat de leerkrachten die lat ook aankunnen. En dan gaat het niet alleen over instroom (en de minder vaak vermelde maar belangrijkere uitstroom) uit de lerarenopleiding, maar ook over optimale ondersteuning, goede werkomstandigheden, het onderwijs voor sterke profielen aantrekkelijk maken, enzovoort.

Uitdagingen, uitdagingen, uitdagingen

Er was PIRLS en nu zijn er de peilingstoetsen Frans. Het nieuws is terug niet goed (al zijn ze +/- ok voor techniek in SO) en er zijn overeenkomsten. Het gaat in beide gevallen over taal(begrip) en over basisonderwijs.

Wat zit er nu allemaal aan te komen?

  • Discussies over het niveau van de leerkrachten, over instroom, uitstroom, al dan niet academiseren, vakleerkrachten in SO,…
  • Discussies over de eindtermen en ook die discussies kunnen verschillende kanten uit:
    • Als meer dan de helft ze niet behalen, kloppen de eindtermen wel?
    • Moet de lat hoger?
    • Moeten ze concreter?
  • Discussies of de school dit alleen kan en moet oplossen?
  • En deze ochtend al op twitter: moeten er centrale examens komen om een hoge lat af te dwingen?

Ik verwacht of hoop verder ook nog op discussies over didactiek, al vrees ik hier een stellingenoorlog.

De verschillende discussies zullen bemoeilijkt worden omdat we:

  • ten eerste het parlement effectief over eindtermen zal discussiëren die op 1 september zouden moeten ingevoerd worden in de eerste graad SO (en ja ik schreef hier bewust niet zullen);
  • ten tweede omdat we het komende anderhalf jaar verschillende verkiezingen hebben.

Kort na de Vlaamse verkiezingen, in december 2019 worden de volgende PISA-resultaten bekend gemaakt met als focus …taal en begrijpend lezen.

Zware beroepen in onderwijs? Enkele catch 22’s…

Dit stuk verscheen gisteren op Knack.be.

Leerkrachten worden erkend als een zwaar beroep in de (voorlopige?) lijst die twee vakbonden vorige week deelden. Los van de politieke discussie of er al dan niet een lijst van zware beroepen moet bestaan, wil ik het hebben over de meerdere catch 22’s die ik merk in deze discussie als het over onderwijs gaat.

De eerste vraag is natuurlijk of het überhaupt mogelijk is lang na je zestigste in bijvoorbeeld in de kleuterklas aan de slag te zijn. En voor je begint over andere taken in het onderwijs die oudere leerkrachten kunnen opnemen, Mieke Van Hecke had vorige week gelijk dat die andere taken nu ook niet zo groot zijn dat het oplossing is voor alle leerkrachten.

Maar er is meer. We hebben leerkrachten tekort, al kan het verschillen naar regio en topic. Dit tekort gaat de komende jaren enkel toenemen als je beseft dat er bijvoorbeeld in Gent alleen al 2000 leerlingen extra bijkomen in het secundair onderwijs de komende paar jaar terwijl het aantal studenten in de lerarenopleiding al jaren gestaag afneemt.

In zo een tijd kan je zowel redeneren dat het belangrijk is dat iedereen zo lang mogelijk moet werken (om tekorten op te vangen), of dat een vroeger pensioen de job aantrekkelijker kan maken. Maar door een job het label van zwaar beroep te geven, maak je de job niet echt aantrekkelijk. Het is het zelfde als het aankaarten van problemen in het onderwijs. Dit moet je doen en er zijn genoeg uitdagingen die moeten opgelost worden, maar tegelijk is de kans groot dat je de beeldvorming over onderwijs en ons mooi beroep nog verder de dieperik induwt.

Schooldirecties zijn niet opgenomen in de lijst van zware beroepen. Op basis van de gehanteerde criteria verdedigbaar, op basis van de hedendaagse realiteit waarbij directies het vaak nog minder lang volhouden dan leerkrachten veel minder. Maar terug een moeilijke afweging. De directies zijn boos dat ze niet opgenomen zijn in de lijst, beargumenteren dat niemand nog die job zal willen doen. Tegelijk is het nu ook al vaak moeilijk iemand nog te vinden die gek -sorry, idealistisch- genoeg is om het te doen.

Hoe kunnen we uit deze impasse raken? Een deel van de oplossing is dat we er moeten voor zorgen dat de job voor iedereen in het onderwijs dragelijk wordt en blijft. De uitdagingen zijn toegenomen door juridisering, toegenomen diversiteit, M- en andere decreten,… Het zal iedereen betrokken in het onderwijs ten goede kome, leerkrachten, directies, ondersteunend personeel, ouders en natuurlijk vooral ook de kinderen. Maar dergelijke oplossing kost geld. Geld kan er enkel komen door of meer investeringen of door keuzes om om bepaalde zaken wel in te zetten en andere uit te stellen of te verwaarlozen.

Het is zeer jammer dat een van de belangrijkste onderwijsdossiers deze legislatuur wellicht niet zal afgerond worden. Voor je denkt dat dit een verwijzing is naar de eindtermen en bijhorende modernisering van het secundair onderwijs, ik heb het over het loopbaanpact. Minister Hilde Crevits en de sociale partners hebben wel enkele maatregelen nu al beslist om werken in het onderwijs iets aantrekkelijker te maken, maar een groot ingrijpend plan komt er hoogstwaarschijnlijk niet meer voor de Vlaamse verkiezingen.

De ironie is dat de discussies net door de pensioenhervormingen bemoeilijkt werden waardoor we weer bij de lijst met zware beroepen zitten. Ik schreef het al: catch 22.

Meet je met je examen wel wat je wil meten?

We zijn eind mei en in onderwijs is het nu echt wel stilaan de tijd van summatief evalueren, wat vaak de vorm van examens aanneemt. Een tweet van Casper kwam echter te laat voor mijn eigen examen over evalueren. Mijn collega’s en ik dienden onze examens maandag al in. Maar het is een te mooi voorbeeld om te laten liggen.

Bekijk even de volgende vraag:

De opmerking van Casper maakt al veel duidelijk wat je als probleem zou kunnen zien bij deze vraag, maar laten we even de vier kwaliteitscriteria bekijken die mijn eigen studenten moeten kunnen toepassen.

  1. Validiteit: dit is het antwoord op de vraag of je wel meet wat je wilt meten?
  2. Betrouwbaarheid: in welke mate meet je objectief wat je wilt meten?
  3. Transparantie: weet de leerling of student hoe en op welke doelen hij of zij zal beoordeeld worden
  4. Hanteerbaarheid of efficiëntie.

Je zou je nu kunnen denken dat er enkel of vooral een probleem met validiteit is. Meet dit examen wat je wil meten? Deze vraag is echter moeilijker te beantwoorden omdat dit steeds van de doelen afhangt. Als een doel dat het examen wil meten, is hoe goed leerlingen informatie uit een tekst kunnen halen om een probleem op te kunnen lossen, dan is dit wellicht niet een zeer slechte vraag. Al is dan de vraag wel meer gericht op begrijpend lezen dan op wiskundige berekeningen en kun je je afvragen of dit wel nog wiskunde mag heten of eerder probleemoplossend denken. Deze doelen duidelijk communiceren heeft te maken met het criterium van transparantie.

Die talige gerichtheid zorgt volgens mij vooral voor problemen met het tweede criterium: betrouwbaarheid. In de reacties op de tweet van Casper viel al snel Dyslexie. En het klopt, leerlingen met dyslexie krijgen vaak extra tijd om dergelijke toetsen op te lossen. Maar tegelijk ga je net door het grote talige element in de vraag leerlingen die meer moeite hebben met taal of lezen gaan benadelen waarbij je achteraf niet kan zeggen of ze de vraag slecht beantwoord hebben door hun taalproblemen of omdat ze slecht zijn in wiskunde. Tegelijk reageerden enkele tweeps op Casper dat ze met zulke vragen wel goed zouden scoren op wiskunde als alpha’s, maar dat is nog niet zeker. Je hebt ook nog steeds wiskunde nodig om het vraagstuk op te lossen.

Bij het opstellen van bijvoorbeeld multiple choice vragen kijken we zelf met ons team altijd na – of beter laten we door een collega met een frisse blik nakijken – hoe talig ons examen is. Combinaties van negaties, antwoorden die schuil gaan in kleine woordjes,… kunnen er voor zorgen dat het examen meer een test begrijpend lezen is dan wat we effectief willen meten.

Dit zal nooit de enige vraag van het examen geweest zijn en wellicht/hopelijk zijn de andere vragen meer eenduidig wiskunde en is deze vraag gemaakt om te kijken hoe ver iemand kan springen. Dit relativeert voor een stuk de voorgaande opmerkingen.

Tot slot wel een bedenking: dergelijke vragen komen vaak voor in testen zoals PISA in hun doel om los te staan van nationale curricula. Daarom is elke PISA-test ook voor een stuk een test van begrijpend lezen. Laten onze Vlaamse leerlingen in PIRLS net hier slecht op scoren… Belooft weinig goeds voor de toekomst op dergelijke testen.