Onderzoek naar kunstmatige intelligentie kampt met zware replicatieproblemen (Linda Duits)

Deze post verscheen eerst op dieponderzoek.nl.

Het onderzoek naar kunstmatige intelligentie is booming. Onderzoekers willen graag laten zien wat ze machines allemaal kunnen leren, maar in hun haast sneuvelt een basiswaarde van wetenschappelijk onderzoek: herhaalbaarheid. Dat staat in een nieuwsbericht van Science. Sleutelresultaten uit eerdere studies kunnen niet gerepliceerd worden. Dat heeft verschillende, serieuze oorzaken die slecht onderkend worden. Bovendien is er sprake van perverse prikkels die replicatie in de weg staan.

Er is veel druk om snel te publiceren. Op arXiv, een site met voorpublicaties van artikelen in de exacte hoek, worden dagelijks papers gepubliceerd die nog niet gepeer-reviewed zijn. Er is wel een journal dat speciaal bedoeld is voor replicatiestudies binnen informatica, ReScience, maar alle replicaties die daar tot nu toe in zijn gepubliceerd waren positief. Herhaalstudies die niet lukken blijven dus onbekend, terwijl daar juist het probleem ligt.

Grootste obstakel in repliceren is het ontbreken van de broncode. Die wordt zelden meegepubliceerd. Daardoor is het bijvoorbeeld onduidelijk wat een algoritme nou precies doet. Er zijn verschillende redenen voor het ontbreken van zulke belangrijke details:

“The code might be a work in progress, owned by a company, or held tightly by a researcher eager to stay ahead of the competition. It might be dependent on other code, itself unpublished. Or it might be that the code is simply lost, on a crashed disk or stolen laptop—what Rougier calls the “my dog ate my program” problem.”

Zelfs als je wel de broncode kunt bemachtigen, betekent het niet dat je een kunstmatige intelligentie hetzelfde kunt laten doen als de oorspronkelijke onderzoekers. Het gaat immers om machines die leren, en leren is afhankelijk van wat je erin stopt. De ‘trainingsdata’ zijn dus relevant, niet alleen voor wat een machine precies kan leren maar ook voor hoe snel hij dat kan.

“[A computer scientist at McGill University] ran several of these “reinforcement learning” algorithms under different conditions and found wildly different results. For example, a virtual “half-cheetah”—a stick figure used in motion algorithms—could learn to sprint in one test but would flail around on the floor in another. Henderson says researchers should document more of these key details.”

Onderzoek is zelden ‘clean’: wat je ook bestudeert, je onderzoek is altijd het resultaat van bepaalde aannames en beslissingen waarvan de details zelden worden opgenomen in de onderzoeksverslagen. Oudere disciplines hebben vaak al een fase doorgemaakt waarin ze reflexief zijn geweest op methodes. Dat is noodzakelijk voor een discipline om serieus genomen te blijven worden. Juist omdat methode zo centraal staat in hoe machines leren leren, is het bizar dat onderzoekers hier niet het volle belang van inzien.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

w

Verbinden met %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.