Onderzoek naar kunstmatige intelligentie kampt met zware replicatieproblemen (Linda Duits)

Deze post verscheen eerst op dieponderzoek.nl.

Het onderzoek naar kunstmatige intelligentie is booming. Onderzoekers willen graag laten zien wat ze machines allemaal kunnen leren, maar in hun haast sneuvelt een basiswaarde van wetenschappelijk onderzoek: herhaalbaarheid. Dat staat in een nieuwsbericht van Science. Sleutelresultaten uit eerdere studies kunnen niet gerepliceerd worden. Dat heeft verschillende, serieuze oorzaken die slecht onderkend worden. Bovendien is er sprake van perverse prikkels die replicatie in de weg staan.

Er is veel druk om snel te publiceren. Op arXiv, een site met voorpublicaties van artikelen in de exacte hoek, worden dagelijks papers gepubliceerd die nog niet gepeer-reviewed zijn. Er is wel een journal dat speciaal bedoeld is voor replicatiestudies binnen informatica, ReScience, maar alle replicaties die daar tot nu toe in zijn gepubliceerd waren positief. Herhaalstudies die niet lukken blijven dus onbekend, terwijl daar juist het probleem ligt.

Grootste obstakel in repliceren is het ontbreken van de broncode. Die wordt zelden meegepubliceerd. Daardoor is het bijvoorbeeld onduidelijk wat een algoritme nou precies doet. Er zijn verschillende redenen voor het ontbreken van zulke belangrijke details:

“The code might be a work in progress, owned by a company, or held tightly by a researcher eager to stay ahead of the competition. It might be dependent on other code, itself unpublished. Or it might be that the code is simply lost, on a crashed disk or stolen laptop—what Rougier calls the “my dog ate my program” problem.”

Zelfs als je wel de broncode kunt bemachtigen, betekent het niet dat je een kunstmatige intelligentie hetzelfde kunt laten doen als de oorspronkelijke onderzoekers. Het gaat immers om machines die leren, en leren is afhankelijk van wat je erin stopt. De ‘trainingsdata’ zijn dus relevant, niet alleen voor wat een machine precies kan leren maar ook voor hoe snel hij dat kan.

“[A computer scientist at McGill University] ran several of these “reinforcement learning” algorithms under different conditions and found wildly different results. For example, a virtual “half-cheetah”—a stick figure used in motion algorithms—could learn to sprint in one test but would flail around on the floor in another. Henderson says researchers should document more of these key details.”

Onderzoek is zelden ‘clean’: wat je ook bestudeert, je onderzoek is altijd het resultaat van bepaalde aannames en beslissingen waarvan de details zelden worden opgenomen in de onderzoeksverslagen. Oudere disciplines hebben vaak al een fase doorgemaakt waarin ze reflexief zijn geweest op methodes. Dat is noodzakelijk voor een discipline om serieus genomen te blijven worden. Juist omdat methode zo centraal staat in hoe machines leren leren, is het bizar dat onderzoekers hier niet het volle belang van inzien.

Terugkijken op de schoolschietpartij in Florida: leesvoer, hoaxes en overlevers

Het was de 18de schietpartij (alhoewel dat cijfer omstreden is) in de VS dit jaar (en dit is al 20 jaar aan de gang) en terwijl de roep naar strengere wapenwetgevingen weer luider wordt (maar wellicht weer niet veel zal opleveren), waren er ook enkele andere opvallende elementen.

Zo kon de hele buitenwereld de aanslag volgen via Snapchat en meer bepaald Snap maps. Ook in tijden van sociale media, zijn het aantal hoaxes en correcte verhalen rond de moordaanslag met moeite bij te houden. Was de schutter een democraat, lid van een schietclub, lid van IS,… Check hier een overzicht met controle.

Het laatste woord is voor de overlevers:

Hoe jongeren reageren op psychische nood van peers op sociale netwerken (Linda Duits)

Deze blogpost verscheen eerst op dieponderzoek.nl

De algemene gedachte is dat jongeren vooral positieve berichten op sociale netwerken zetten. Toch worden die sites ook gebruikt om aan te geven dat je het moeilijk hebt. Leeftijdsgenoten en vrienden zijn de eersten die zulke berichten over psychische nood zien, en voor interventiemethoden is het daarom zinnig om te weten hoe zij reageren op zulke berichten. Een recente studie [open access] stelt die vraag centraal.

De onderzoekers hielden diepte-interviews met 27 bachelorstudenten over berichten met psychische nood die ze zich herinnerden gezien te hebben. De interviewers werden vervolgens door twee onderzoekers thematisch geanalyseerd.

Het belangrijkste inzicht: mensen die een sterke band hebben met degene die zo’n bericht plaatst, reageren. Hoe goed je iemand kent was de belangrijkste overweging voor de respondenten. Die reactie stuurden ze via een privébericht of door te bellen.

Bij een minder sterke band, speelden verschillende voorwaarden een rol:

Waargenomen ernst
Als de nood zeer acuut lijkt, wordt er sneller hulp geboden. Het gaat dan bijvoorbeeld om een medisch noodgeval, zelfmoordoverwegingen, zelfverwonding en verkrachting. Een overweging daarbij is of ze spijt zouden hebben als ze dat niet zouden doen.

Consistentie in postingspatronen
De respondenten namen ook in overweging wat voor posts iemand verder plaatst. Als iemand vaak emotionele berichten online zet, wisten de respondenten niet hoe ze daarmee om moesten gaan. Dat werd vaker gezien als niet-serieus. Als iemand echter vaak negatieve berichten plaatst waarna er een stilte volgt, werd dat wel weer gezien als een teken van echte nood.

Doeltreffendheid 
Onzekerheid over het nut van reageren speelde ook een rol als de respondenten de persoon niet goed kenden. Als ze dachten dat reageren geen verschil zou maken, werd er minder snel actie ondernomen.

Wederkerigheid in het verleden
Als de persoon in nood de respondent vaak aandacht had gegeven op een sociaal netwerk, in de vorm van likes of comments, zou de respondent eerder reageren. Dit lijkt mij een afgeleide van nabijheid, maar de onderzoekers benoemen dit niet als zodanig.

Inleving in de poster of de geposte ervaring
Als de respondenten zich konden identificeren met het bericht, omdat ze zelf vergelijkbare dingen hadden meegemaakt of ze zich dat goed konden voorstellen, werd er sneller gereageerd.

Afkeer van aandachtszoekers
Als iemand gedacht wordt psychische nood te posten om aandacht te krijgen, was de kans kleiner dat er gereageerd werd.

Ideeën over andere omstanders
Als de respondenten het gevoel hadden dat er al andere mensen mee bezig waren, zouden ze minder snel reageren. Daarbij speelde ook een rol wat anderen van hen zouden denken. Ze wilden niet ongevoelig overkomen en dat weerhield hen soms van reageren.

Implicaties
Helaas bespreken de onderzoekers niet wat dit nu precies betekent voor hulpdiensten of andere instanties die werken aan interventiemethoden – ik denk daarbij ook aan scholen waarbij aan monitoring van sociale media wordt gedaan. Het artikel wordt besloten met een generieke conclusie (“[t]he results of this study can also serve as an important building block for future research into support seeking and providing on SNSs” – SNS staat voor Social Network Site). De vier aanbevelingen die worden gedaan zijn uitermate vaag:

“First, this research could help inform SNS policies and practices surrounding identifying, flagging, and moderating distressed posts, which are particularly difficult because certain posts calling for help may fall into the category of self-harm or other banned content. Second, research about the relevant factors motivating response could improve SNS algorithms for people’s personal feeds and ensure that people are seeing the posts in the proper context. Third, further parsing out response motivations could help SNSs design posting features that could facilitate help, as well as build in response features that could increase the likelihood of helping (e.g., separating distressed posts from the newsfeed, reminding responders of prior interactions and reciprocity, etc.). Lastly, while this study attempts to understand how people within the social media environment perceive their friends’ posts, identifying gaps in response and perception could prove helpful for others who are trying to successfully intervene, such as guidance counselors, teachers, and parents” (p. 9).

De opvallende afwezigen in dit lijstje zijn de peers waar het onderzoek om draaide. De taak voor praktijkprofessionals lijkt me het vertalen van deze inzichten naar een toolkit voor jongeren. Hoe bepaal je of iemand aandacht wil of echte nood heeft? Waarom ben je zo bang voor wat anderen van je reactie denken? Wat zou je zelf willen als je je rot voelde en je dat op sociale media zou aangeven? En niet te vergeten: wie kan een leerling of student inschakelen als hij/zij zelf niet durft of wil reageren, maar wel denkt dat er iets aan de hand is?

Wie met vragen zit over zelfdoding, kan terecht bij de Zelfmoordlijn op het gratis nummer 1813 en op de site www.zelfmoord1813.beIn Nederland is er ook een zelfmoordhulplijn 0900-0113 en bijbehorende website waar je ook terecht kan als je je zorgen maakt om iemand anders. 

Shame sexting bij tieners van dichtbij bestudeerd: wat blijft onzichtbaar? (Linda Duits)

Deze post verscheen eerst op dieponderzoek.nl.

Onlangs promoveerde Willemijn Krebbekx op een waardevol proefschrift over jongeren en seksualiteit op Nederlandse middelbare scholen. Ze deed uitvoerig veldwerk op vier scholen met verschillende niveaus, twee binnen de Randstad en twee er buiten. Ze verzamelde data door participerende observatie, individuele interviews en groepsinterviews. Een van haar deelstudies gaat over wat wel shame sexting wordt genoemd: het verspreiden van een naaktfoto. Het voorval gebeurde op een vmbo-school met zo’n 300 leerlingen, buiten de Randstad. Zoe is de gefingeerde naam van het slachtoffer.

Krebbekx laat zien dat wat er gebeurt als de foto verspreid wordt een vaststaand scenario volgt, waarbij het meisje dat slachtoffer is schuld en verantwoordelijkheid krijgt toegeschreven, samen met een lage eigenwaarde. Bovendien worden allerlei elementen uitgegumd, zoals de groepjes die er bestaan op school en de ‘economie van foto’s’ waar het beeld onderdeel van uitmaakt.

Schuld en circulatie
Een van de ouderejaars liet een docent de foto zien en zo kwam het bij de staf terecht. Docent Oosten probeerde met Zoe te praten, die steeds zei ‘het is mijn eigen domme schuld’. De docent belde met haar ouders (de vader huilde, de moeder dacht aan een loverboy). Omdat de dader niet op dezelfde school zat, zocht zij geen contact met hem. Mevrouw Oosten plaatste vervolgens een notitie in het schoolsysteem, zichtbaar voor alle docenten, dat Zoe haar ouders doodzwijgt, geeneens goedemorgen zegt en gewoon doet waar ze zin in heeft. Het gedrag van Zoe thuis werd zo onderdeel van het probleem gemaakt en de oorzaken werden in Zoe gezocht. Ze zou het verkeerde pad op gaan.

Krebbekx laat zien hoe de foto niet alleen digitaal circuleerde, maar hoe leerlingen elkaar ook fysiek de foto toonden, op de mobiele telefoon. Bovendien werd er over de foto en over Zoe gesproken, ook een vorm van circulatie. De interventie van de docenten versnelde die circulatie. Ook Zoe’s beste vriendinnen legden de schuld bij haar en waren boos op haar, zelfs toen ze in de klas moest huilen. De verspreider bleef buiten schot, ‘Zoe deed het zelf’ is de reactie. Dit sentiment kwam ook van Mevrouw Oosten: ‘waarom doen ze dit toch?’ – doelend op meisjes-meervoud.

Later werd het gehele verhaal duidelijk: Zoe had de foto gestuurd omdat Joey, de betreffende jongen, er alleen voor haar zou zijn als ze dat zou doen. Joey deelde de foto vervolgens met zijn beste vriendin Sara, die hem doorstuurde aan al haar Whatsapp-contacten. Er was nauwelijks ruimte voor Zoe om haar kant van het verhaal te vertellen. Nog weer later, een half jaar verder, vertelde Zoe aan Krebbekx dat zij meer naaktfoto’s had genomen dan degene die rondging. Ze was zelf in bezit van meerdere dickpics van jongens die ze hield als pressiemiddel om verspreiding van haar foto’s te voorkomen.

Groepjes en de economie van foto’s
De boosheid van Zoe’s (witte) vriendinnen bleek voor hen samen te hangen met een eerdere verandering in Zoe’s gedrag: ze ging minder met hen om en meer met ‘bruinen’ van een andere school. Zoe had volgens hen geheimen. Krebbekx vestigt de aandacht op bestaan van verschillende groepjes (netwerken) gebaseerd op geografische grenzen zoals verschillende scholen en dorpen. Sociale media overbruggen die grenzen.

De jongeren gebruikten hun telefoons vrijwel de gehele dag om foto’s te maken. Op ieder moment kon een groepje meisjes ‘selfie!’ roepen en dan poseerde iedereen direct. Foto’s werden continue gedeeld, via de wifi van de school. Het posten, liken en commenten kan gezien worden als een economie: productie, consumptie en waardering. Die  economie is gendered. Gevraagd worden om een naaktfoto is voor meisjes een teken van begeerd worden, maar er daadwerkelijk een versturen kan reputatieschade betekenen. Voor jongens is het in het bezit hebben van een naaktfoto bewijs dat een meisje iets voor hem gedaan heeft. Ook voor meisjes kan zulk ‘bezit’ waarde hebben, als brengt het verspreiden van naaktfoto’s van jongens hen aanzienlijk minder schade toe. Het voorval werd binnen de school echter als geïsoleerd van deze economie behandeld.

Implicaties
In de media en in wetenschappelijke studies wordt sexting als een specifiek scenario gebracht dat alvast voorschrijft hoe iedereen hoort te reageren. De schuld wordt daarin heel duidelijk bij het vrouwelijke slachtoffer gelegd. Krebbekx laat zien dat er in dat scenario geen plek is voor een aantal zaken die wel van belang zijn: de verschillende groepjes, de jongens die ook naaktfoto’s versturen, de alledaagse technologische processen van circulatie van foto’s en de gegenderde aard daarvan.

Het scenario nodigt allerlei acties uit: de interventie van de docenten, het slachtoffer dat ruzie zoekt met de verspreider, roddelen over het slachtoffer. Het scenario bepaalt hoe we kunnen denken over sexting: een naïef, onzeker pubermeisje dat indruk wil maken op een jongen. Andere versies zijn daardoor niet mogelijk.

Koningin Mathilde spreekt zich uit tegen pesten

Opvallende boodschap voor de Saferinternetday:

Opvallende posters tegen GAFAM: Google, Apple, Facebook, Amazon en Microsoft

Ik ontdekte deze posters via een tweet van Ann Dejaegher:

Je kan de posters hier zelf downloaden en verspreiden en alles heeft een beetje een guerilla-feel. Zoals Ann opmerkt, kan het wel een goed vertrekpunt zijn voor een discussie over mediawijsheid met leerlingen.

Scherpe daling gebruik Facebook onder Nederlandse jongeren (Linda Duits)

Deze post verscheen eerst op dieponderzoek.nl.

In 2011 schreven wij hier dat 55plussers massaal op Facebook gingen. Inmiddels is de groep ouderen stevig verankerd op het netwerk: 69 procent van de Nederlandse 65- tot 79-jarigen zit op Facebook. Dat blijkt uit de jaarlijkse sociale-media-monitor van Newcom Research waarover Marketingfacts vandaag schrijft. Het grote nieuws dat zij rapporteren: een massale uittocht van jongeren.

Het dagelijks gebruik van Facebook in de leeftijdsgroep 15-19 jaar daalde met maar liefst 25 procentpunt tussen 2016 en 2018. Marketingfacts:

De onderzoekers van Newcom Research hebben de jongeren ook gevraagd naar hun beweegredenen. Zij concluderen dat jongeren zich minder thuis voelen tussen de (oudere) mensen die op Facebook zitten. De 15-19-jarigen geven aan dat er teveel mensen op zitten waar ze niks mee hebben (31 procent) en ze zich er niet meer thuis voelen (30 procent). Advertenties zijn voor slechts 13 procent een motivatie om af te haken.

Waarschijnlijk was dit een gesloten vraag. Een andere mogelijke reden zijn de betere gebruikersmogelijkheden die concurrerende netwerken Snapchat en Instagram bieden, zoals filters. Deze apps worden evenveel als Facebook gebruikt door deze leeftijdsgroep. Dit betekent overigens niet dat er een einde komt aan de dominantie van de techgigant: Facebook is immers eigenaar van Instagram en Whatsapp – dat is weliswaar geen sociaal netwerk maar wordt door alle leeftijdsgroepen het meest gebruikt.

Google experimenteert met een nieuwe app voor hyperlokaal nieuws: Bulletin

Voorlopig is het enkel in 2 steden – Nashville en Oakland – in de VS, maar Google lijkt met Bulletin iets hyperlokaal te proberen met nieuws. Larry Ferlazzo was er supersnel bij om de mogelijkheden voor onderwijs te benoemen.