Artificial Intelligence las de agressieve opmerkingen van Reddit-gebruikers en begreep hoe mensen praten die andere mensen haten. Het is moeilijker om hem te misleiden dan een gewone bot-moderator.
Het internet wordt bewoond door dikke en dunne trollen en gewoon onbeleefde mensen die niet in hun zakken zoeken naar woorden. Het handmatig modereren van internet is een moeilijke en ondankbare klus. Bots die zijn geprogrammeerd om te zoeken naar woorden uit de "verboden lijst", doen het beter, maar ze kunnen niet weten wanneer een bijtende opmerking met codewoorden een onschuldige grap is en wanneer het een kwaadaardige verbale aanval is.
Onderzoekers in Canada hebben kunstmatige intelligentie geleerd om grove grappen te onderscheiden van kwetsende grappen en wat sociologen 'haatzaaiende taal' noemen.
Dana Wormsley, een van de makers van AI, merkt op dat "aanzetten tot haat" moeilijk te formaliseren is. Formeel beledigende woorden kunnen inderdaad zowel met ironie als in hun mildere betekenis worden gebruikt; slechts enkele van de teksten die dergelijke woorden bevatten, roepen ernstig op en vernederen. We zullen geen voorbeelden geven, omdat de overheidsorganisaties die het internet in Rusland reguleren, nog geen kunstmatige intelligentie hebben).
Het neurale netwerk werd getraind op de steekproeven van de verklaringen van leden van de gemeenschap die bekend staan om hun vijandigheid jegens verschillende bevolkingsgroepen. Het neurale netwerk heeft geleerd van de berichten op de Reddit-site - een platform waar je een breed scala aan belangengroepen kunt vinden, van burgerrechtenactivisten tot radicale vrouwenhaters. De teksten die naar het systeem werden geüpload, beledigden het vaakst Afro-Amerikanen, mensen met overgewicht en vrouwen.
Een neuraal netwerk dat op deze manier werd getraind, gaf minder valse positieven dan programma's die "aanzetten tot haat" aan de hand van trefwoorden. Het systeem ving racisme op waar er helemaal geen indicatorwoorden waren. Maar ondanks de goede prestaties zijn de makers van de AI-moderator er niet zeker van dat hun ontwikkeling op grote schaal zal worden gebruikt. Tot nu toe heeft ze met succes haatdragende taal gevonden op Reddit, maar of ze hetzelfde zal kunnen doen op Facebook en andere platforms is onbekend. Bovendien is het systeem onvolmaakt en mist het soms veel van de ogenschijnlijk onbeschofte racistische uitspraken die een zoekmotor met trefwoorden niet zou missen. De enige die een belediging kan onderscheiden van een onschuldige grap terwijl de persoon blijft.
