Wat big data ons niet kan leren over daten (Linda Duits)

Deze post verscheen eerder op dieponderzoek.nl.

Seth Stephens-Davidowitz is econoom en schrijver, bekend van het boek Everybody Lies. Daarin kijkt hij naar zoekopdrachten in plaats van naar survey-antwoorden, om te betogen dat mensen eerlijker zijn tegen Google dan tegen onderzoekers. Om zijn nieuwe boek Don’t Trust Your Gut: Using Data to Get What You Really Want in Life te promoten verscheen er een artikel van hem op Wired over dating en data science, met de catchy titel ‘People Are Dating All Wrong, According to Data Science’. Klopt dat?

Datagedreven
Stephens-Davidowitz’s stijl is aanstekelijk en gepersonaliseerd. In plaats van te beschrijven dat ene Samantha Joel 43 bestaande datasets combineerde en daarop een kunstmatige intelligentie losliet, schrijft hij over “a young, energetic, uber-curious, and brilliant scientist, Samantha Joel” die “recruited a large number of scientists”. Dat leidde dan tot een indrukwekkende dataset.

“Joel and her team didn’t just have more data than everybody else in the field. They had better statistical methods. Joel and some of the other researchers had mastered machine learning, a subset of artificial intelligence that allows contemporary scholars to detect subtle patterns in large mounds of data. One might call Joel’s project the AI Marriage, as it was among the first studies to utilize these advanced techniques to try to predict relationship happiness.”

Het is hyperbolisch taalgebruik dat de hype rond big data en data science (alsof niet alle wetenschap datagedreven is) aanwakkert: het idee is dat als je dataset maar groot genoeg is, je alle antwoorden kunt vinden. Dat blijkt niet zomaar zo te zijn, ook niet in het geval de zoektocht naar een romantische partner.

Opzet studie
Het is veelzeggend dat Stephens-Davidowitz nauwelijks iets vertelt over de onderzoeksvragen en de gehanteerde methode. Nu is het alsof de ‘AI Marriage’ magisch analyses uitvoerde, in plaats van door mensen werd gevoed met specifieke data. Uiteraard staat deze informatie wel in het artikel over de studie.

Er werden 43 datasets gecombineerd, met daarin in totaal 11.196 stellen die meermaals ondervraagd zijn, variërend van twee tot elf keer, over een tijdsperiode variërend van twee tot 48 maanden. Deze data zeggen dus sowieso niets over relaties langer dan vier jaar. De onderzoekers wilden weten hoeveel van de variantie in relatiekwaliteit verklaard kan worden en welke psychologische maten het beste zijn in relatiekwaliteit voorspellen. De mate van verklaarde variantie verwijst naar de grootte van de voorspellende waarde van een variabele.

Resultaten volgens Stephens-Davidowitz
In zijn boek en op Wired schrijft Stephens-Davidowitz dat big data ons niet kan helpen bij het vinden van een romantische partner. Volgens hem is er geen set van eigenschappen die geluk in de liefde garandeert en geen AI die kan voorspellen welke twee mensen met elkaar geluk gaan vinden. De factoren die wél voorspellende kracht hebben gaan over de respondent zelf, dus degene die de vragenlijst ingevuld had. Als iemand tevreden over zijn leven was voor de relatie begon, vrolijk ingesteld en niet depressief was, dan was de kans groter op een succesvolle relatie.

In de rest van het stuk reflecteert Stephens-Davidowitz op wat het betekent dat de resultaten van zo’n omvattend onderzoek exact hetzelfde is als de common sense-wijsheid “Nobody can make you happy until you’re happy with yourself first”. Hij blijft – uiteraard – enthousiast over een ‘data driven life’ en legt zich er maar bij neer:

“we data geeks must also accept [sic] when the data confirms conventional wisdom or clichéd advice. We must be willing to go wherever the data takes us, even if that is to findings like those featured on Daily Inspirational Quotes.”

Zijn uiteindelijke conclusie is dat we het verkeerde najagen op de datemarkt: lange mannen met sexy banen gaan ons niet gelukkig maken. Goh.

Resultaten volgens de studie
Het is belangrijk op te merken dat het onderzoek nooit ging over lange mannen met sexy banen. Lengte van de partner komt in het gehele onderzoek niet voor, de enige variabele die over uiterlijk ging was de mate waarin iemand de partner aantrekkelijk vond. In plaats daarvan staat in het onderzoek een onderscheid centraal tussen individuele variabelen (over de respondent zelf) en relatie-specifieke variabelen (over de partner en over de relatie), en gaat de conclusie over het verschil daartussen. Ook daarover rapporteert Stephens-Davidowitz verkeerd.

Relatie-variabelen, dus de manier waarop een respondent naar de relatie en de partner kijkt, verklaren 45 procent van de variantie aan het begin van het onderzoek en tot 18 procent van de variantie in relatiekwaliteit aan het einde van de studie. Individuele variabelen verklaren minder variantie, maar nog steeds 21 procent aan het begin en 12 aan het eind. Deze uitkomst sluit aan bij bestaande meta-analyses, oftewel: dit wisten we al.

Implicaties
Er is dus een grote mismatch tussen wat Stephens-Davidowitz beweert op basis van dit onderzoek en het onderzoek zelf. Het klinkt natuurlijk leuk: de belofte dat we beter zouden kunnen daten als we meer datagedreven zouden zijn. ‘Big data’ suggereert dat we voorbij menselijke fouten kunnen gaan – de computer weet het beter. Maar al aan het begin gaan hier dingen mis.

Wat zou goed daten inhouden? Dat we direct een partner voor het leven vinden? Dat zou betekenen dat mensen niet daten voor de seks en het impliceert dat een levenslange partner ideaaltypisch is boven bijvoorbeeld meerdere langdurige partners.

Een tweede fout is het idee dat partnerkeuze en/of relatiesucces überhaupt te verklaren is met kenbare variabelen. Mensen vinden het heel moeilijk te omschrijven waarom ze op iemand vallen, het meest in de buurt komt vaak ‘die persoon is fijn om bij te zijn’. Als onafhankelijke (voorspellende) variabele heb je daar niets aan als onderzoek want de samenhang met de afhankelijke variabele is veel te groot. De beste voorspeller voor geluk in de liefde is dan of je graag bij iemand bent. Daar verkoop je geen boeken mee.

Het werk van de YouTuber: slaaf van grillen van de aandachtsspanne van anderen (Linda Duits)

Deze post verscheen eerst op dieponderzoek.nl.

Het leven van een influencer gaat niet over rozen. Voor buitenstaanders is de arbeid die je verricht grotendeels onzichtbaar (zie wat ik daarover schreef met Cesar Majorana), tegelijkertijd werk je voor die buitenstaander – in de zin dat je probeert zijn views en likes te scoren. Onder influencers komen dan ook veel burnouts voor. Het is werk waar je niet makkelijk uitstapt: je hebt een schare volgers opgebouwd, daar verdien je geld mee en het is moeilijk die ‘deal’ te laten schieten en je om te scholen.

Op Vox schreef Rebecca Jennings over wat zij onhandig het YouTube-brein noemt: wat er gebeurt met je hersenen

“when you are both creatively and financially subject to the whims of other people’s attention spans for years at a time, weighed down by neverending demand for more content for dwindling returns.”

Onhandig, omdat het dus gaat om de hersenen van de contentmaker, niet van de gebruiker. Ter vergelijking, het twitterbrein ziet ze als mensen die op Twitter voortdurend boos zijn, het instagrambrein als te materialistisch en het tiktokbrein als onvoorwaardelijk trend-toegewijd. Maar Jennings signaleert wel iets relevants over het carrièrepad van vloggers.

Zij beginnen vaak jong en als ze succesvol blijken, zijn ze YouTuber for life. Jennings schrijft dat niet toe aan het systeem, maar aan de persoonlijkheden van de YouTubers die het maken. Ze noemt ze “fervently individualistic”, “a little bitter” en “keenly, almost freakishly attuned to the in-depth analytics YouTube provides for them”. Daaruit spreekt weinig empathie, en daarmee laat ze YouTube veel te makkelijk ontsnappen aan systeemkritiek. Het is immers YouTube dat, zoals Jennings zelf schrijft, de vlogger overstelpt met feedback over welke content het goed doet en welke niet.

Het lot van de YouTuber doet denken aan dat van kindsterretjes, zoals Miley Cyrus: op een gegeven moment past het pad en het imago niet meer, en dan moeten ze vrij breken. Dat gaat in de meeste gevallen niet goed. Het verschil is dat de oude kindsterren waren overgeleverd aan de wensen en financiële belangen van ouders, studio’s of platenmaatschappijen, de online generatie is slaaf aan de grillen van het algoritme. Tel daarbij op dat het online nog moeilijker is persoon en persona uit elkaar te houden, dus wie je echt bent en de persona die je neerzet in je vlogs, en je ziet dat deze mensen eerder hulp en sympathie verdienen dan kritiek en hoon.

Beeld: vlogger Dan Howell die na drie jaar radiostilte in een recent vlog uitlegt waarom hij met YouTube wilde stoppen. 

Verschillende nieuwe evoluties in augmented reality en artificiële intelligentie

De voorbije dagen zag ik verschillende nieuwe toepassingen passeren, een overzichtje:

  • Google liet een bril zien met live vertaling:

  • Facebook/Meta kon niet achterblijven:
  • Nog augmented reality, wel ongeveer, deze update op Google Streetview is nogal straf:

  • En via Donald Clark kwam ik terug bij Google, maar dan met AI:

Waarom zitten er zoveel hoogopgeleiden in de politiek? (onderzoek)

Het voorbije weekend las ik dit in de Volkskrant:

Toevallig ontdekte ik vervolgens via BPS Digest dit onderzoek van Jochem van Noord et al, gepubliceerd in Personality and Social Psychology Bulletin. Hierin stellen de onderzoekers vast dat zowel mensen met zelf een laag of hoog opleidingsniveau een voorkeur hebben voor politici met een hoger opleidingsniveau. Maar – en dat is imho het belangrijkste – dat de redenen voor deze voorkeur voor elke groep anders kunnen zijn. Het is wellicht niet de enige reden waarom er zoveel hoogopgeleiden in de politiek zitten, maar het lijkt me zeker een rol te spelen. De deelnemers aan het onderzoek waren Nederlanders, trouwens.

De onderzoekers deden verschillende deelstudies. In het eerste onderzoek kregen deelnemers met verschillende opleidingsniveaus vier fictieve profielen van politieke kandidaten te zien. De profielen gaven aan dat de kandidaten ofwel een masterdiploma ofwel een diploma van de middelbare school hadden, en beschreven activiteiten die zij tijdens hun universitaire of schooltijd hadden voltooid. De kandidaten werden inhoudelijk voorgesteld als progressief of conservatief.

Na het bekijken van de profielen beoordeelden de deelnemers de bekwaamheid, het engagement, de warmte en de moraliteit van de kandidaten. Ze gaven ook aan hoe waarschijnlijk ze waren dat ze op de kandidaat zouden stemmen en in hoeverre ze zich persoonlijk met de kandidaat identificeerden.

De resultaten toonden aan dat, over het algemeen, de deelnemers niet alleen hoger opgeleide kandidaten competenter vonden, maar ook meer geneigd waren op hen te stemmen (in feite zou de overtuiging dat hoger opgeleide kandidaten competenter waren gedeeltelijk kunnen verklaren waarom de deelnemers meer geneigd waren op hen te stemmen). Ze beoordeelden deze kandidaten ook hoger op ‘agency’ en moraliteit.

Deelnemers die zelf hoger opgeleid waren, hadden een opvallend sterk geloof in de competentie van de collega hoger opgeleiden, en waren meer geneigd om op hen te stemmen. Dit in vergelijking met de respondenten die lager opgeleid zijn. Een mogelijke verklaring hiervoor kan het groepsvooroordeel zijn. Deze deelnemers voelden namelijk  ook een sterkere gedeelde identiteit met hoger dan met lager opgeleide kandidaten. Ook opvallend: de deelnemers die lager opgeleid waren, identificeerden zich gemiddeld meer met kandidaten met conservatievere politieke oriëntaties.

Een tweede deelstudie bekeek de link tussen competentie en stemgedrag. Wat gebeurt er als een kandidaat met een lager opleidingsniveau als bijzonder competent wordt afgeschilderd? Om daar achter te komen, presenteerde het team in een tweede onderzoek sommige kandidaten met uitgebreide politieke ervaring en andere met helemaal geen ervaring.

Ook in deze tweede studie werden hoger opgeleide kandidaten als competenter gezien en zouden de deelnemers aan het onderzoek vaker voor hen stemmen. Toch was voor lager opgeleide deelnemers in deze tweede studie de opleiding van de kandidaat minder belangrijk dan de competentie van de kandidaat: deze deelnemers toonden geen voorkeur voor hoger opgeleide kandidaten, maar wel voor meer competente kandidaten. De onderzoekers vermoeden op basis van deze tweede deelstudie dat in het eerste onderzoek lager opgeleide deelnemers niet specifiek de voorkeur gaven aan hoger opgeleide kandidaten vanwege hun opleiding, maar omdat deze opleiding hen een gevoel van bekwaamheid gaf.

Voor hoger opgeleide kandidaten leek ook hier weer identificatie de belangrijkste factor te zijn. Zij verkozen competente boven niet-competente kandidaten, maar verkozen ook hoger opgeleide boven lager opgeleide kandidaten, onafhankelijk van hun competentieniveau.

Ik geef graag nog even de laatste paragraaf mee van het onderzoek, dat wijst op de uitdaging die hierin schuilgaat voor de democratie:

Overall, this research tells a story of how higher educated candidates are seen as more “electable,” but also of how the higher educated as a group defend their interests (consciously or not), whereas the less educated are prevented from doing so. The combination of (a) a higher perceived competence, that is mainly seen as a cognitive advantage over the less educated, and which (b) is seen as the most important factor for electability, and (c) an ingroup bias among higher educated whereby (strongly identifying) higher educated favor higher educated regardless of competence, and (d) an absence of ingroup bias among the less educated due to an assumption of higher competence of the higher educated, contributes to an almost unavoidable dominance of higher educated in modern politics. Almost unavoidable, that is. There is a silver lining for the less educated. When given the chance, the less educated do not simply show deference to the higher educated, but, unlike the higher educated themselves, accord more weight to candidate competence over education per se. As such, deference should not necessarily be taken as proof of political preference.

Abstract van het onderzoek:

When choosing between political candidates of different educational levels, do voters show ingroup bias or base their vote choice on candidates’ perceived competence? We aim to investigate how (fictional) political candidates of different educational levels are evaluated and voted for, how this is affected by voters’ educational level, and the role of perceived (Study 1) and manipulated competence (Study 2). Higher educated participants preferred higher to less educated candidates over and above their level of competence, particularly when they identified strongly with their educational level. This reflects ingroup bias among the higher educated. Less educated participants preferred higher educated candidates in Study 1, but did not prefer higher educated candidates when competence was manipulated independently from education in Study 2. The less educated, unlike the higher educated, therefore, seem to show deference to the assumed competence of the higher educated, because it disappears when more reliable competence information is available.

Ben jij een digitale dinosaurus? (Universiteit van Vlaanderen)

Zie jij de bomen door het grote mediabos nog? Is je smartphone een verlengstuk van je arm? Doe jij alles online? Of heb je het gevoel dat je niet meer mee bent? De digitale wereld evolueert razendsnel, dat staat vast. Prof. dr. Ilse Mariën is expert digitale ongelijkheid aan de VUB en komt je vertellen hoe jij die digitale revolutie overleeft.

De ondoorgrondelijke wegen waarop YouTube seksualiteit censureert (Linda Duits)

Deze post verscheen eerst op dieponderzoek.nl.

Een van de kwalijke aspecten van de grote platformen is dat ze niet transparant zijn over hun werkwijze, bijvoorbeeld als het gaat om het censureren van bepaalde soorten content. Het zijn Amerikaanse bedrijven en Amerikanen zijn seksueel conservatiever dan wij. Dat betekent dat wij hun seksuele moraal ongewenst opgelegd krijgen. Daar hebben Nederlandse makers last van.

Digitale burgerrechten-beweging Bits of Freedom interviewde zangeres Merol, bekend van onder andere ‘Hou Je Bek En Bef Me’ over haar ervaringen met YouTube. Het nummer kreeg om onduidelijke redenen een leeftijdsbeperking: in de clip zijn geen expliciete beelden te zien en hetzelfde nummer in live-uitvoering is gewoon voor iedereen zichtbaar. Uit haar relaas wordt duidelijk hoe ondoorgrondelijk de wegen van YouTube zijn:

“Het is dus niet zo dat er een soort klantenservice is bij YouTube. Voor “Hou Je Bek En Bef Me” ben ik na rondvragen in contact gekomen met iemand die bij YouTube werkt. Die persoon legde uit dat het door adverteerders kwam, die met dat nummer niet geassocieerd zouden willen worden. Je krijgt over zo’n leeftijdsrestrictie wel een mailtje, waaronder met de uitleg hoe je bezwaar kunt maken. Dat heb ik gedaan en toen is het age filter eraf gehaald, maar later is het er toch weer opgedaan.”

Videos krijgen een flag die er dus weer af kan, maar ook er zomaar weer op gezet kan worden. Er zijn geen duidelijke regels over welke content wel en niet mag. Merol vermoedt dat vrouwen en lhbtqia+ mensen aan strengere regels worden gehouden:

“Er zijn clips van mannelijke artiesten met veel bloot die qua tekst soms verder gaan dan ik. Die krijgen geen leeftijdsrestrictie. Dat is natuurlijk wel vreemd. Gelden er andere regels voor mannen? Adje, bijvoorbeeld, wordt in één van zijn clips gepijpt – maar dat heeft dan weer geen consequenties. De queer rapgroep LIONSTORM, daarentegen, kreeg er wél meteen last van toen er in één van hun clips gebeft werd.”

Omdat je als artiest voor je bereik en dus je inkomen afhankelijk bent van platformen als YouTube, leidt zulke censuur onherroepelijk tot zelfcensuur: volgende keer pas je wel op met een tepel of een bil. Daarmee verliest de kunst – en daar zou meer bezwaar tegen gemaakt moeten worden.

Beeld: het ‘bef’-moment uit de clip van ‘Hou Je Bek En Bef Me’.