Online examens met proctoring? Dat laatste lijkt vooral een placebo.

Onderzoekers van de Universiteit van Twente gooien een kleine bom op iets wat momenteel massaal gebeurt in hoger onderwijs. Door de corona-crisis zijn we massaal moeten overschakelen naar online examineren. Om dit eerlijk te laten verlopen gebruiken instellingen proctering-software, zoals bijvoorbeeld Procterio. Laura Bergmans, Nacir Bouali, Marloes Luttikhuis en Arend Rensink deden een ingenieus onderzoek naar hoe betrouwbaar deze software is en het antwoord is in feite: niet.

Hoe kwam men dit te weten? De onderzoekers recruteerden 30 vrijwillige studenten en vroegen zes van hen om effectief te spieken bij een eerstejaarsexamen onder toezicht van Proctorio. Vijf anderen kregen de opdracht om niet vals te spelen maar zich wel verdacht te gedragen. Alle anderen werden gevraagd om de test eerlijk af te leggen. De 11 studenten die in een van de twee speciale condities zaten, mochten zelf beslissen hoe ze vals spelen om het systeem voor de gek te houden.

Wat waren de resultaten:

  • The automatic analysis of Proctorio detected none of the cheating students; the human reviewers detected 1 (out of 6). Thus, the percentage of false negatives was very large, pointing to a very low sensitivity of online proctoring.
  • None of the honest students were flagged as suspicious by Proctorio, whereas one was suspected by the human reviewer. Thus, the percentage of false positives was zero for the automatic detection, and 4% for the human analysis, pointing to a relatively high specificity achievable by online proctoring (which, however, is quite useless in the light of the disastrous sensitivity).

Houston, we hebben een probleem. De onderzoekers noemen het effect van proctering een placebo. Het is vooral een afschrikmiddel, maar het doet in feite niet echt iets. Oja, in het artikel staat ook hoe er vals gespeeld werd. Ik herhaal het hier maar niet. Moeten studenten die deze blogpost lezen nog een beetje moeite doen.

(Dank aan Wilfred Rubens om het artikel in Vice te tippen die over het onderzoek verscheen)

Abstract van het onderzoek:

In this paper we report on the outcome of a controlled experiment using one of the widely available and used online proctoring systems, Proctorio. The system uses an AI-based algorithm to automatically flag suspicious behaviour, which can then be checked by a human agent. The experiment involved 30 students, 6 of which were asked to cheat in various ways, while 5 others were asked to behave nervously but make the test honestly. This took place in the context of a Computer Science programme, so the technical competence of the students in using and abusing the system can be considered far above average. The most important findings were that none of the cheating students were flagged by Proctorio, whereas only one (out of 6) was caught out by an independent check by a human agent. The sensitivity of Proctorio, based on this experience, should therefore be put at very close to zero. On the positive side, the students found (on the whole) the system easy to set up and work with, and believed (in the majority) that the use of online proctoring per se would act as a deterrent to cheating. The use of online proctoring is therefore best compared to taking a placebo: it has some positive influence, not because it works but because people believe that it works, or that it might work. In practice however, before adopting this solution, policy makers would do well to balance the cost of deploying it (which can be considerable) against the marginal benefits of this placebo effect.

2 gedachten over “Online examens met proctoring? Dat laatste lijkt vooral een placebo.

  1. Deze vaststellingen lijken wel een bevestiging van wat veel goede docenten en mensen belast met bestrijding van fraude en borging van kwaliteit al lwisten:denk niet dat men er met één instrument tegen valsspelers komt. Een goede evaluatie eist meer.
    En als ingenieur en informaticus voeg ik daaraan toe: en denk niet dat men er met alleen maar technologische hulpmiddelen geraakt; de mens (lesgever) blijft een cruciale rol spelen.

    Met de visie van Bovenwijs op centrale toetsen passen we zoveel mogelijk et principe toe van méérdere, elkaar aanvullende en voldoende in de tijd gespreide evaluatiemogelijkheden. Voor meer, zie op https://bovenwijs.vlaanderen/

  2. Dat “online proctoring gaat lijken op placebo” hangt af van de oplossing dat gekozen wordt. Er zijn andere online proctoring oplossingen zoals die van Respondus (en ProctorU) die veel betrouwbaarder zijn. De zwakke schakel blijft de interpretatie van de flags en bijbehorende beelden door de mens. Wellicht zijn de kosten misschien wat hoger, maar het zou de onderzoekers zeker tot een andere conclusie hebben gebracht over online proctoring en ook de gelijkenis met “placebo” zou dan van de tafel geveegd kunnen worden.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s

Deze site gebruikt Akismet om spam te bestrijden. Ontdek hoe de data van je reactie verwerkt wordt.