Onderzoekers van de Universiteit van Twente gooien een kleine bom op iets wat momenteel massaal gebeurt in hoger onderwijs. Door de corona-crisis zijn we massaal moeten overschakelen naar online examineren. Om dit eerlijk te laten verlopen gebruiken instellingen proctering-software, zoals bijvoorbeeld Procterio. Laura Bergmans, Nacir Bouali, Marloes Luttikhuis en Arend Rensink deden een ingenieus onderzoek naar hoe betrouwbaar deze software is en het antwoord is in feite: niet.

Hoe kwam men dit te weten? De onderzoekers recruteerden 30 vrijwillige studenten en vroegen zes van hen om effectief te spieken bij een eerstejaarsexamen onder toezicht van Proctorio. Vijf anderen kregen de opdracht om niet vals te spelen maar zich wel verdacht te gedragen. Alle anderen werden gevraagd om de test eerlijk af te leggen. De 11 studenten die in een van de twee speciale condities zaten, mochten zelf beslissen hoe ze vals spelen om het systeem voor de gek te houden.

Wat waren de resultaten:

• The automatic analysis of Proctorio detected none of the cheating students; the human reviewers detected 1 (out of 6). Thus, the percentage of false negatives was very large, pointing to a very low sensitivity of online proctoring.
• None of the honest students were flagged as suspicious by Proctorio, whereas one was suspected by the human reviewer. Thus, the percentage of false positives was zero for the automatic detection, and 4% for the human analysis, pointing to a relatively high specificity achievable by online proctoring (which, however, is quite useless in the light of the disastrous sensitivity).

Houston, we hebben een probleem. De onderzoekers noemen het effect van proctering een placebo. Het is vooral een afschrikmiddel, maar het doet in feite niet echt iets. Oja, in het artikel staat ook hoe er vals gespeeld werd. Ik herhaal het hier maar niet. Moeten studenten die deze blogpost lezen nog een beetje moeite doen.

(Dank aan Wilfred Rubens om het artikel in Vice te tippen die over het onderzoek verscheen)

Abstract van het onderzoek:

In this paper we report on the outcome of a controlled experiment using one of the widely available and used online proctoring systems, Proctorio. The system uses an AI-based algorithm to automatically flag suspicious behaviour, which can then be checked by a human agent. The experiment involved 30 students, 6 of which were asked to cheat in various ways, while 5 others were asked to behave nervously but make the test honestly. This took place in the context of a Computer Science programme, so the technical competence of the students in using and abusing the system can be considered far above average. The most important findings were that none of the cheating students were flagged by Proctorio, whereas only one (out of 6) was caught out by an independent check by a human agent. The sensitivity of Proctorio, based on this experience, should therefore be put at very close to zero. On the positive side, the students found (on the whole) the system easy to set up and work with, and believed (in the majority) that the use of online proctoring per se would act as a deterrent to cheating. The use of online proctoring is therefore best compared to taking a placebo: it has some positive influence, not because it works but because people believe that it works, or that it might work. In practice however, before adopting this solution, policy makers would do well to balance the cost of deploying it (which can be considerable) against the marginal benefits of this placebo effect.