De leiders van meer dan honderd van 's werelds toonaangevende bedrijven op het gebied van kunstmatige intelligentie maken zich grote zorgen over de ontwikkeling van "killer robots". In een open brief aan de VN waarschuwden deze bedrijfsleiders, waaronder Elon Musk van Tesla en de oprichters van Google's DeepMind, dat het gebruik van autonome wapentechnologie kan worden overgenomen door terroristen en despoten, of tot op zekere hoogte kan worden gehackt.
Maar de echte dreiging is veel ernstiger - en het is niet alleen menselijk wangedrag, maar ook machinaal wangedrag. Onderzoek van complexe systemen toont aan dat ze zich veel onvoorspelbaarder kunnen gedragen dan uit de som van individuele acties kan worden afgeleid. Enerzijds betekent dit dat de menselijke samenleving zich heel anders kan gedragen dan je zou verwachten als je het gedrag van individuen bestudeert. Aan de andere kant geldt hetzelfde voor technologie. Zelfs ecosystemen van eenvoudige kunstmatige intelligentieprogramma's - die we domme, goede bots noemen - kunnen ons verrassen. Zelfs individuele bots kunnen zich vreselijk gedragen.
De afzonderlijke elementen waaruit complexe systemen bestaan, zoals economische markten of het wereldwijde weer, hebben de neiging niet op een eenvoudige lineaire manier met elkaar in wisselwerking te staan. Dit maakt deze systemen erg moeilijk te modelleren en te begrijpen. Zo is het zelfs na jarenlang klimaatonderzoek onmogelijk om het langetermijngedrag van het weer te voorspellen. Deze systemen zijn even gevoelig voor de kleinste veranderingen als ze explosief reageren. Het is erg moeilijk om op elk moment de exacte staat van een dergelijk systeem te weten. Dit alles maakt deze systemen intern onvoorspelbaar.
Al deze principes zijn van toepassing op grote groepen mensen die op hun eigen manier handelen, of het nu menselijke samenlevingen zijn of groepen AI-bots. Wetenschappers hebben onlangs een soort complex systeem bestudeerd dat goede bots gebruikte om Wikipedia-artikelen automatisch te bewerken. Deze verschillende bots zijn ontworpen, geschreven en gebruikt door vertrouwde Wikipedia-editors, en hun onderliggende software is open source en voor iedereen beschikbaar. Individueel hebben ze een gemeenschappelijk doel om de encyclopedie te verbeteren. Hun collectieve gedrag bleek echter verrassend ineffectief.
Goed gevestigde regels en conventies vormen de kern van hoe deze bots op Wikipedia werken, maar aangezien de website geen centraal controlesysteem heeft, is er geen effectieve coördinatie tussen de mensen die verschillende bots gebruiken. De resultaten onthulden een aantal bots die elkaars bewerkingen jarenlang annuleerden en niemand merkte het. En natuurlijk, aangezien deze bots helemaal niet leren, merkten ze het ook niet.
Deze bots zijn ontworpen om het bewerkingsproces te versnellen. Maar kleine verschillen in het ontwerp van bots, of tussen de mensen die ze gebruiken, kunnen leiden tot een enorme verspilling van middelen in een voortdurende 'edit war' die veel sneller door redacteuren kan worden opgelost.
De onderzoekers ontdekten ook dat bots zich anders gedroegen in verschillende taalversies van Wikipedia. De regels lijken praktisch hetzelfde te zijn, de doelen zijn identiek, de technologieën zijn vergelijkbaar. Maar op de Duitstalige Wikipedia was de bot-samenwerking veel efficiënter en productiever dan bijvoorbeeld in het Portugees. Dit kan alleen worden verklaard door de verschillen tussen de menselijke editors die deze bots in verschillende omgevingen hebben uitgevoerd.
Promotie video:
Exponentiële verwarring
Bots van Wikipedia hebben geen grote autonomie en het systeem werkt niet meer in overeenstemming met de doelen van individuele bots. Maar de Wikimedia Foundation is van plan AI te gebruiken die deze bots meer autonomie zal geven. En dit zal waarschijnlijk leiden tot nog meer onvoorspelbaar gedrag.
Een goed voorbeeld van wat er kan gebeuren, wordt getoond door bots die zijn ontworpen om met mensen te praten wanneer ze gedwongen worden om met elkaar te communiceren. We zijn niet langer verrast door de reacties van persoonlijke assistenten zoals Siri. Maar zorg ervoor dat ze met elkaar communiceren en ze zullen zich snel op onverwachte manieren gaan gedragen, ruzie maken en zelfs elkaar beledigen.
Hoe groter het systeem wordt en hoe autonomer elke bot wordt, hoe complexer en onvoorspelbaarder het toekomstige gedrag van dat systeem zal zijn. Wikipedia is een voorbeeld van een groot aantal relatief eenvoudige bots op het werk. Het chatbotvoorbeeld is een voorbeeld van een klein aantal relatief complexe en inventieve bots - in beide gevallen ontstaan onvoorziene conflicten. Complexiteit, en dus onvoorspelbaarheid, groeit exponentieel naarmate persoonlijkheid aan het systeem wordt toegevoegd. Daarom, wanneer systemen met een groot aantal zeer complexe robots in de toekomst verschijnen, zal hun onvoorspelbaarheid onze verbeelding te boven gaan.
Brandende waanzin
Zelfrijdende auto's beloven bijvoorbeeld een doorbraak te maken op het gebied van efficiëntie en verkeersveiligheid. Maar we weten nog niet wat er zal gebeuren als we een groot wild systeem van volledig autonome voertuigen hebben. Ze kunnen zich zelfs binnen een kleine vloot van individuele voertuigen in een gecontroleerde omgeving anders gedragen. En zelfs nog meer onvoorspelbaar gedrag kan zich manifesteren wanneer zelfrijdende auto's, "getraind" door verschillende mensen op verschillende plaatsen, met elkaar in wisselwerking treden.
Mensen kunnen zich relatief snel aanpassen aan nieuwe regels en conventies, maar ze hebben moeite om tussen systemen te schakelen. Kunstmatige middelen kunnen zelfs nog moeilijker zijn. Als bijvoorbeeld een auto 'getraind in Duitsland' naar Italië reist, weten we niet hoe hij de ongeschreven culturele conventies zal beheersen die veel andere 'getrainde in Italië'-auto's volgen. Iets alledaags, zoals het oversteken van een kruispunt, kan dodelijk riskant worden omdat we gewoon niet weten of de auto's correct zullen samenwerken of dat ze zich onvoorspelbaar zullen gedragen.
Denk nu eens aan de moordende robots die Musk en zijn collega's lastig vallen. Een dodelijke robot kan in verkeerde handen erg gevaarlijk zijn. Hoe zit het met het systeem van onvoorspelbare killer-robots? Denk voor jezelf.
Ilya Khel
