Nieuwe paper toont leerwinst van collegiale visitaties in scholen

Collegiale visitaties zijn gewoon leraren die elkaars lessen observeren. Een nieuwe paper toont een leerwinst bij zowel de leerlingen van de leraren die geobserveerd werden als bij de leerlingen van de leraren die observeren.

Concreet gaat het over 2 à 3 observaties aan de hand van een ‘rubrics’, een observatie-checklist, waarbij het cruciaal is dat er geen consequenties verbonden waren met de resultaten van de observaties. Deze waren dus ‘low-stakes’ in die in dat er geen formele beoordeling van de geobserveerde leraren gebeurde.

De gebruikte checklist kan je ook lezen in de paper die open access is.

Abstract van het onderzoek:

This paper reports improvements in teacher job performance, as measured by student test scores, resulting from a program of (zero-) low-stakes peer evaluation. Teachers working at the same school observed and scored each other’s teaching. Students in randomly-assigned treatment schools scored 0.07σ higher on math and English exams (0.09σ lower-bound on TOT). Within each treatment school, teachers were further randomly assigned to roles: observer and observee. Teachers in both roles improved, perhaps slightly more for observers. The typical treatment school completed 2-3 observations per observee teacher. Variation in observations was generated partly by randomly assigning a low and high (2*low) dose of suggested number of observations. Benefits were quite similar across dose conditions.

Presentatie: The Dark Side van Evalueren #toetscongresVO

Dit is de presentatie die bij mijn keynote hoorde bij het Nederlandse Nationale Toetscongres VO op 10 oktober 2019 in Amsterdam. Voor een deel van de achtergrond bij het verhaal, check hier.

De minder mooie kant van aandacht voor sociaal-emotioneel leren in onderwijs

Vrijdag verscheen een wetenschappelijke paper van Ben Williamson waarin hij stilstaat bij de stijgende populariteit van sociaal-emotioneel leren in onderwijs. Onder andere de OESO besteedt vandaag meer aandacht aan sociaal-emotioneel leren waardoor we een opvallend samengaan krijgen van psychometrie en economische analyses.

Williamson stelt dat het naïef zou zijn te denken dat de aandacht ingegeven zou zijn uit bezorgdheid voor de kinderen en jongeren. Hij stelt vast dat:

  • de positieve psychologie ten gelde gemaakt wordt als bron voor productiviteitsverhoging,
  • de ‘return on investment’ hoog zou zijn, met 11 dollar winst per geïnvesteerde dollar,
  • en het vooral de edtech-bedrijven zijn die hier een belangrijke rol spelen achter de schermen.

Op Twitter voegde Williamson nog dit doembeeld er aan toe: straks headsets om betrokkenheid te meten?

En of dat zo vergezocht is?

Abstract van het onderzoek:

Psychology and economics are powerful sources of expert knowledge in contemporary governance. Social and emotional learning (SEL) is becoming a priority in education policy in many parts of the world. Based on the enumeration of students’ ‘noncognitive’ skills, SEL consists of a ‘psycho-economic’ combination of psychometrics with economic analysis, and is producing novel forms of statistical ‘psychodata’ about students. Constituted by an expanding infrastructure of technologies, metrics, people, money and policies, SEL has travelled transnationally through the advocacy of psychologists, economists, and behavioural scientists, with support from think tank coalitions, philanthropies, software companies, investment schemes, and international organizations. The article examines the emerging SEL infrastructure, identifying how psychological and economics experts are producing policy-relevant scientific knowledge and statistical psychodata to influence the direction of SEL policies. It examines how the OECD Study on Social and Emotional Skills, a large-scale computer-based assessment, makes ‘personality’ an international focus for policy intervention and ‘human capital’ formation, thereby translating measurable socio-emotional indicators into predicted socio-economic outcomes. The SEL measurement infrastructure instantiates psychological governance within education, one underpinned by a political rationality in which society is measured effectively through scientific fact-finding and subjects are managed affectively through psychological intervention.

Een aparte verklaring waarom meisjes geen STEM-richtingen kiezen: ze lezen te goed!

Nieuw onderzoek door Thomas Breda en Clotilde Napp, gepubliceerd in PNAS, beschrijft een opvallende, maar ietwat aparte verklaring waarom het aantal meisjes dat voor STEM-richtingen kiest stagneert in de meeste landen op een laag cijfer: ze lezen te goed.

Volg even de redenering:

  • Meisjes die goed zijn in wiskunde blijken vaak ook goed of zelf nog beter in taal.
  • Jongens die goed zijn in wiskunde hebben deze link minder vaak.

Daarom zouden meisjes makkelijker ook nog andere opties dan STEM-vakken kiezen, terwijl jongens bijna noodgewongen bij wiskunde blijven. Je kan je afvragen of dit erg is, maar naast het feit dat we meer STEM-profielen kunnen gebruiken, betekent dit vaak ook dat meisjes later minder verdienen.

Oh, en nee, minder goed kunnen lezen, zoals we een tijdje hebben geprobeerd in ons taalgebied (sorry voor het cynisch grapje) is geen oplossing.

Het frustrerende van onderwijsbeleid: het vergt vaak veel tijd om resultaat te zien (kleine tip voor de nieuwe minister)

In het antwoord dat de nieuwe minister van onderwijs in het interview onderaan deze pagina geeft op de vraag van Linda De Win waarop hij mag afgerekend worden binnen vijf jaar, noemt Ben Weyts verschillende zaken die ook in het regeerakkoord staan, maar… ik vrees dat hij bijvoorbeeld op het verbeteren van onze onderwijsprestaties in internationale vergelijkingen nu al met een probleem zit.

Deze zomer zat ik met een reeks onderzoekers samen aan tafel en het was Dylan Wiliam die nog maar eens herhaalde dat het effect van de meeste beleidsbeslissingen meestal pas ettelijke jaren te zien zijn. Er was een consensus rond tafel dat het dom was om in het vorige decennium naar Finland te reizen om te zien wat ze doen deden in onderwijs, omdat de beslissingen die tot de prima resultaten op PISA hebben geleid… genomen werden in de jaren 80 van vorige eeuw. Meer nog: de laatste PISA-rondes deed Finland het opvallend slechter, dus in die redenering is het misschien zo dat op het moment dat iedereen ging gaan kijken ze net minder goede keuzes aan het maken waren. Niet alles in onderwijs gaat traag – Zweden heeft zo zijn onderwijs razendsnel kunnen doen verslechten – maar het is toch vrij uitzonderlijk.

Concreet wil dit zeggen dat:

  • Als we vooruit gaan, de kans groot is dat dit komt door het beleid van de vorige minister van onderwijs, dit wil iets zeggen over de huidige achteruitgang en de minister in de voorgaande decennia…
  • inschatten of het nieuwe beleid al dan niet voor vooruitgang zorgt, kunnen we wellicht maar ten vroegste voor deze internationale vergelijkingen zien op het moment dat Ben Weyts ofwel in een mogelijke tweede termijn zit als minister van onderwijs of geen minister van onderwijs meer is.