Buiten het raam is 2022. Je rijdt zoals gewoonlijk met een zelfrijdende auto door de stad. De auto nadert een stopbord, dat hij vele malen is gepasseerd, maar deze keer stopt hij er niet voor. Voor jou is dit stopbord net als de andere. Maar voor een auto is het totaal anders. Een paar minuten eerder plakte de aanvaller, zonder iemand te waarschuwen, een plaatje op het bord, onzichtbaar voor het menselijk oog, maar waarvan de technologie ongetwijfeld opvalt. Dat wil zeggen, een kleine sticker op het bord veranderde het stopbord in iets heel anders dan het stopbord.
Dit lijkt allemaal ongelooflijk. Maar een groeiend onderzoeksgebied bewijst dat kunstmatige intelligentie tot zoiets kan worden misleid als het een klein detail ziet dat volledig onzichtbaar is voor mensen. Nu machine learning-algoritmen steeds vaker op onze wegen verschijnen, onze financiën, ons gezondheidszorgsysteem, hopen computerwetenschappers meer te leren over hoe ze hen kunnen beschermen tegen dergelijke aanvallen - voordat iemand hen echt voor de gek probeert te houden.
"Dit is een groeiende zorg in de machine learning- en AI-gemeenschap, vooral omdat deze algoritmen steeds vaker worden gebruikt", zegt Daniel Lode, assistent-professor bij de afdeling Computer- en Informatiewetenschappen aan de Universiteit van Oregon. “Als spam passeert of wordt geblokkeerd door meerdere e-mails, is dit niet het einde van de wereld. Maar als je in een zelfrijdende auto vertrouwt op een vision-systeem dat de auto vertelt hoe hij moet rijden zonder ergens tegenaan te botsen, ligt de inzet veel hoger."
Of de machine nu kapot gaat of gehackt wordt, de machine learning-algoritmen die de wereld "zien", zullen eronder lijden. En dus voor de auto lijkt de panda op een gibbon, en de schoolbus lijkt op een struisvogel.
In één experiment toonden wetenschappers uit Frankrijk en Zwitserland aan hoe dergelijke verstoringen ertoe kunnen leiden dat een computer een eekhoorn aanzien voor een grijze vos en een koffiepot voor een papegaai.
Hoe is dit mogelijk? Bedenk hoe uw kind getallen leert herkennen. Als het kind een voor een naar de symbolen kijkt, begint het een aantal gemeenschappelijke kenmerken op te merken: sommige zijn langer en slanker, zessen en negens bevatten één grote lus, en achten bevatten er twee, enzovoort. Zodra ze genoeg voorbeelden zien, kunnen ze nieuwe getallen snel herkennen als vieren, achten of drieling - zelfs als ze er dankzij het lettertype of het handschrift niet precies zo uitzien als alle andere vieren, achten of drielingen die ze ooit hebben gehad. al gezien.
Machine learning-algoritmen leren de wereld te lezen via een enigszins vergelijkbaar proces. Wetenschappers voeden de computer honderden of duizenden (meestal gelabelde) voorbeelden van wat ze op de computer zouden willen vinden. Wanneer de machine de gegevens doorzoekt - dit is een nummer, dit is niet, dit is een nummer, dit is het niet - begint het de kenmerken op te merken die tot een reactie leiden. Binnenkort kan ze naar de foto kijken en zeggen: "Dat zijn er vijf!" met hoge precisie.
Promotie video:
Zo kunnen zowel mensenkinderen als computers een breed scala aan objecten leren herkennen, van cijfers tot katten, van boten tot individuele menselijke gezichten.
Maar, in tegenstelling tot een mensenkind, let een computer niet op details op hoog niveau, zoals de harige oren van katten of de kenmerkende hoekige vorm van de vier. Hij ziet niet het hele plaatje.
In plaats daarvan kijkt het naar individuele pixels in een afbeelding - en de snelste manier om objecten te scheiden. Als de overgrote meerderheid van de eenheden op een bepaald punt een zwarte pixel en op andere punten een paar witte pixels heeft, zal de machine heel snel leren om ze uit een paar pixels te bepalen.
Nu terug naar het stopbord. Door de pixels in het beeld onmerkbaar te corrigeren - experts noemen dergelijke interferentie "verstoringen" - kun je de computer laten denken dat er in feite geen stopteken is.
Vergelijkbare onderzoeken van het Evolutionary Artificial Intelligence Lab aan de University of Wyoming en Cornell University hebben nogal wat optische illusies voor kunstmatige intelligentie opgeleverd. Deze psychedelische afbeeldingen van abstracte patronen en kleuren zijn in tegenstelling tot wat voor mensen dan ook, maar worden door de computer snel herkend als slangen of geweren. Dit suggereert hoe de AI naar iets kan kijken en het object niet kan zien, of in plaats daarvan iets anders kan zien.
Deze zwakte komt veel voor in alle soorten algoritmen voor machine learning. "Je zou verwachten dat elk algoritme een gat in het pantser heeft", zegt Yevgeny Vorobeichik, assistent-professor informatica en informatica aan de Vanderbilt University. "We leven in een zeer complexe, multidimensionale wereld, en algoritmen hebben van nature slechts invloed op een klein deel ervan."
Sparrow is "zeer zeker" dat als deze kwetsbaarheden bestaan, iemand zal uitzoeken hoe deze te exploiteren. Waarschijnlijk heeft iemand dit al gedaan.
Overweeg spamfilters, geautomatiseerde programma's die lastige e-mails eruit filteren. Spammers kunnen proberen deze barrière te omzeilen door de spelling van de woorden te veranderen (in plaats van Viagra - vi @ gra) of door een lijst met "goede woorden" toe te voegen die meestal in normale letters voorkomen: zoals "aha", "ik", "blij". Ondertussen kunnen spammers proberen woorden te verwijderen die vaak in spam voorkomen, zoals 'mobiel' of 'winnen'.
Waar kunnen oplichters ooit terecht? Een zelfrijdende auto die wordt misleid door een stopbordsticker is een klassiek scenario dat is bedacht door experts in het veld. Aanvullende gegevens kunnen pornografie helpen door veilige filters te glippen. Anderen kunnen proberen het aantal controles te verhogen. Hackers kunnen de code van schadelijke software aanpassen om wetshandhaving te omzeilen.
Aanvallers kunnen erachter komen hoe ze ontbrekende gegevens kunnen creëren als ze een kopie krijgen van een machine learning-algoritme dat ze willen misleiden. Maar het hoeft niet zo te zijn om het algoritme te doorlopen. Je kunt het eenvoudig met brute kracht breken door er enigszins verschillende versies van e-mail of afbeeldingen naar toe te gooien totdat ze passeren. Na verloop van tijd zou het zelfs kunnen worden gebruikt voor een volledig nieuw model dat weet waar de goeden naar op zoek zijn en welke gegevens ze moeten produceren om ze voor de gek te houden.
"Mensen manipuleren machine learning-systemen sinds ze voor het eerst werden geïntroduceerd", zegt Patrick McDaniel, hoogleraar informatica en engineering aan de Universiteit van Pennsylvania. "Als mensen deze methoden gebruiken, weten we er misschien niet eens van."
Deze methoden kunnen niet alleen door fraudeurs worden gebruikt - mensen kunnen zich verbergen voor de röntgenogen van moderne technologieën.
"Als je een soort politieke dissident bent onder een repressief regime en je wilt evenementen organiseren zonder medeweten van de inlichtingendiensten, dan moet je misschien automatische observatiemethoden op basis van machine learning vermijden", zegt Lode.
In een project dat in oktober werd gepubliceerd, creëerden onderzoekers van Carnegie Mellon University een bril die het gezichtsherkenningssysteem subtiel kan misleiden, waardoor een computer actrice Reese Witherspoon voor Russell Crowe aanziet. Het klinkt belachelijk, maar zo'n technologie kan van pas komen voor iedereen die wanhopig op zoek is naar censuur door machthebbers.
Wat te doen met dit alles? "De enige manier om dit volledig te vermijden, is door een perfect model te creëren dat altijd correct zal zijn", zegt Lode. Zelfs als we kunstmatige intelligentie zouden kunnen creëren die de mens in alle opzichten overtreft, kan de wereld nog steeds een varken op een onverwachte plek laten glijden.
Algoritmen voor machine learning worden meestal beoordeeld op hun nauwkeurigheid. Een programma dat stoelen in 99% van de gevallen herkent, zal duidelijk beter zijn dan een programma dat zes van de tien stoelen herkent. Maar sommige experts suggereren een andere manier om het vermogen van het algoritme om met een aanval om te gaan, te beoordelen: hoe moeilijker, hoe beter.
Een andere oplossing zou kunnen zijn dat experts het tempo van programma's kunnen bepalen. Maak uw eigen voorbeelden van aanvallen in het laboratorium op basis van de mogelijkheden van de criminelen naar uw mening, en laat ze vervolgens zien aan het machine learning-algoritme. Dit kan het helpen om in de loop van de tijd veerkrachtiger te worden, op voorwaarde natuurlijk dat de testaanvallen van het type zijn dat in de echte wereld zal worden getest.
“Machine learning-systemen zijn een hulpmiddel om na te denken. We moeten intelligent en rationeel zijn over wat we ze geven en wat ze ons vertellen,”zei McDaniel. "We moeten ze niet behandelen als perfecte orakels van de waarheid."
ILYA KHEL
