Onderzoekers van het Massachusetts Institute of Technology (MIT) hebben een techniek ontwikkeld om tekstanalyse van kunstmatige intelligentie (AI) te misleiden, meldde Wired op 23 februari.
Onderzoekers hebben gemerkt dat een kleine verandering in een zin, begrijpelijk voor een persoon, AI kan misleiden. Ze ontwikkelden een algoritme om woorden te vervangen door synoniemen en zo de herkenningstekst van de AI te misleiden. De nuance is dat het aanvallende algoritme zelf AI gebruikt om synoniemen te selecteren.
Als voorbeeld de uitdrukking "De personages, gegoten in onmogelijk gekunstelde situaties, zijn totaal vervreemd van de werkelijkheid." ("Personages die in ongelooflijk gekunstelde situaties worden gespeeld, hebben geen voeling met de werkelijkheid"), wat een negatieve recensie is van de film.
Als we de woorden erin vervangen door synoniemen, dan is de zin "De personages, gegoten in onmogelijk gemanipuleerde omstandigheden, volledig vervreemd van de werkelijkheid" ("Personages die in ongelooflijk bekwame omstandigheden worden gespeeld, zijn volledig gescheiden van de realiteit"), dan beschouwt de AI de recensie als positief.
Ook andere typen AI-systemen kunnen worden misleid; in dit geval werden de kwetsbaarheden vooral aangetoond in beeld- en spraakherkenningssystemen.
De onderzoekers merkten op dat dergelijke subtiele datacorrupties AI kunnen misleiden en kunnen worden gebruikt om systemen aan te vallen, wat belangrijk wordt naarmate AI zich verspreidt op het gebied van financiën, gezondheidszorg en andere.