Gedurende verschillende jaren in de jaren tachtig werden kandidaten voor de St George's Hospital Medical School in Londen geselecteerd met behulp van een hoogtechnologische methode. Een computerprogramma, een van de eerste in zijn soort, scande cv's en selecteert uit alle sollicitaties ongeveer 2.000 kandidaten per jaar. Het programma beoordeelde de toelatingsverslagen, onderzocht de kenmerken van de succesvolle aanvragers en paste aan totdat de beslissingen overeenkwamen met de mening van de toelatingscommissie.
Het programma heeft echter geleerd om meer te vinden dan alleen goede cijfers en tekenen van academische prestaties. Vier jaar nadat het programma was geïmplementeerd, ontdekten twee artsen in het ziekenhuis dat het programma de neiging had vrouwelijke kandidaten en personen met niet-Europese namen af te wijzen, ongeacht hun academische verdiensten. Artsen ontdekten dat ongeveer 60 sollicitanten elk jaar eenvoudigweg geen interviews kregen vanwege hun geslacht of ras. Het programma nam gender- en raciale vooroordelen op in de gegevens die voor de training werden gebruikt - in feite leerde het dat artsen en buitenlanders niet de beste kandidaten voor artsen zijn.
Dertig jaar later worden we geconfronteerd met een soortgelijk probleem, maar programma's met interne vooroordelen zijn nu wijdverspreider en nemen beslissingen met nog hogere belangen. Kunstmatige intelligentie-algoritmen op basis van machine learning worden door alles gebruikt, van overheidsinstanties tot gezondheidszorg, bij het nemen van beslissingen en het doen van voorspellingen op basis van historische gegevens. Door patronen in de data te onderzoeken, absorberen ze ook de vooroordelen in de data. Google toont bijvoorbeeld meer advertenties voor laagbetaalde banen aan vrouwen dan aan mannen; De eendaagse verzending van Amazon omzeilt zwarte buurten en digitale camera's hebben moeite om niet-blanke gezichten te herkennen.
Het is moeilijk om te weten of het algoritme bevooroordeeld of eerlijk is, en zelfs computerexperts denken van wel. Een van de redenen is dat de details van het maken van het algoritme vaak als eigendomsinformatie worden beschouwd, zodat ze zorgvuldig worden bewaakt door de eigenaren. In meer complexe gevallen zijn de algoritmen zo complex dat zelfs de makers niet precies weten hoe ze werken. Dit is het probleem van de zogenaamde "zwarte doos" van AI - ons onvermogen om de binnenkant van het algoritme te zien en te begrijpen hoe het tot een oplossing komt. Als we opgesloten blijven, kan onze samenleving ernstig worden beschadigd: de digitale omgeving belichaamt historische discriminatie waartegen we jarenlang hebben gestreden, van slavernij en lijfeigenschap tot discriminatie van vrouwen.
Deze zorgen, die voorheen werden geuit in kleine informatica-gemeenschappen, winnen nu aan kracht. De afgelopen twee jaar zijn er nogal wat publicaties op dit gebied verschenen over transparantie van kunstmatige intelligentie. Samen met dit besef groeit het verantwoordelijkheidsgevoel. "Is er iets dat we niet zouden moeten bouwen?", Vraagt Keith Crawford, een onderzoeker bij Microsoft en mede-oprichter van AI Now Insitute in New York.
“Machine learning is eindelijk naar voren gekomen. We proberen het nu voor honderden verschillende taken in de echte wereld te gebruiken”, zegt Rich Caruana, senior wetenschapper bij Microsoft. “Het is mogelijk dat mensen in staat zullen zijn om kwaadaardige algoritmen in te zetten die op de lange termijn grote gevolgen zullen hebben voor de samenleving. Nu lijkt het erop dat iedereen zich ineens realiseerde dat dit een belangrijk hoofdstuk in ons vakgebied is."
Promotie video:
Ongeautoriseerd algoritme
We gebruiken algoritmen al heel lang, maar het black box-probleem is ongekend. De eerste algoritmen waren eenvoudig en transparant. We gebruiken er nog steeds veel, bijvoorbeeld om de kredietwaardigheid te beoordelen. Bij elk nieuw gebruik speelt regelgeving een rol.
"Mensen gebruiken al decennia algoritmen om de kredietwaardigheid te beoordelen, maar deze gebieden hebben een aantal behoorlijk sterke schikkingen gekend die parallel zijn gegroeid met het gebruik van voorspellende algoritmen", zegt Caruana. Regelgevende regels zorgen ervoor dat voorspellende algoritmen bij elke score een verklaring geven: je werd afgewezen omdat je veel krediet hebt of te weinig inkomen.
Op andere gebieden, zoals het rechtssysteem en reclame, zijn er geen regels die het gebruik van opzettelijk onleesbare algoritmen verbieden. U weet misschien niet waarom u een lening werd geweigerd of niet werd aangenomen, omdat niemand de eigenaar van het algoritme dwingt uit te leggen hoe het werkt. "Maar we weten dat, omdat algoritmen zijn getraind op gegevens uit de praktijk, ze vooringenomen moeten zijn - omdat de echte wereld bevooroordeeld is", zegt Caruana.
Beschouw bijvoorbeeld taal, een van de meest voor de hand liggende bronnen van vooringenomenheid. Wanneer algoritmen worden getraind op basis van geschreven tekst, vormen ze een aantal associaties tussen woorden die vaker samen voorkomen. Ze leren bijvoorbeeld dat "voor een man een computerprogrammeur is hetzelfde als voor een vrouw om huisvrouw te zijn." Wanneer dit algoritme de taak heeft om een geschikt cv te vinden voor een programmeurstaak, wordt het waarschijnlijk geselecteerd uit mannelijke kandidaten.
Dergelijke problemen zijn vrij eenvoudig op te lossen, maar veel bedrijven zullen het gewoon niet doen. In plaats daarvan zullen ze dergelijke inconsistenties verbergen achter een schild van beschermde informatie. Zonder toegang tot de details van het algoritme zullen experts in veel gevallen niet kunnen bepalen of er sprake is van een bias of niet.
Aangezien deze algoritmen geheim zijn en buiten de jurisdictie van toezichthouders vallen, is het voor burgers bijna onmogelijk om de makers van de algoritmen aan te klagen. In 2016 verwierp de Wisconsin Superior Court het verzoek van een persoon om de interne werking van COMPAS te herzien. De man, Eric Loomis, werd veroordeeld tot zes jaar gevangenis, gedeeltelijk omdat COMPAS hem als "hoog risico" beschouwde. Loomis zegt dat zijn recht op een eerlijk proces is geschonden door de afhankelijkheid van de rechter van een ondoorzichtig algoritme. De laatste aanvraag bij het Amerikaanse Hooggerechtshof is in juni 2017 mislukt.
Maar geheime bedrijven zullen niet voor onbepaalde tijd van hun vrijheid genieten. In maart zal de EU wetten aannemen die bedrijven verplichten om geïnteresseerde klanten uit te leggen hoe hun algoritmen werken en hoe beslissingen worden genomen. De VS heeft een dergelijke wetgeving niet in de maak.
Black box forensisch onderzoek
Ongeacht of toezichthouders bij dit alles betrokken raken, een culturele verschuiving in de manier waarop algoritmen worden ontworpen en geïmplementeerd, zou de prevalentie van vooringenomen algoritmen kunnen verminderen. Nu steeds meer bedrijven en programmeurs zich inzetten om hun algoritmen transparant en verklaarbaar te maken, hopen sommigen dat bedrijven die dat niet doen hun goede reputatie bij het grote publiek verliezen.
De groei in rekenkracht heeft het mogelijk gemaakt om algoritmen te creëren die zowel nauwkeurig als begrijpelijk zijn - een technische uitdaging die ontwikkelaars in het verleden niet hebben overwonnen. Recent onderzoek suggereert dat verklaarbare modellen kunnen worden gemaakt die de herhaling van criminelen net zo nauwkeurig voorspellen als een zwarte doos van forensische wetenschappers zoals COMPAS.
"We zijn klaar - we weten hoe we modellen moeten maken zonder zwarte dozen", zegt Cynthia Rudin, assistent-professor informatica en elektrotechniek aan de Duke University. “Maar het is niet zo eenvoudig om de aandacht van mensen op dit werk te vestigen. Als overheidsinstanties zouden stoppen met betalen voor black box-modellen, zou dat helpen. Als rechters weigeren om black box-modellen te gebruiken voor veroordeling, zal dat ook helpen."
Anderen werken aan manieren om de validiteit van algoritmen te testen door een systeem van checks and balances te creëren voordat het algoritme aan de wereld wordt vrijgegeven, net zoals elk nieuw medicijn wordt getest.
“Modellen worden nu te snel gemaakt en ingezet. Er is geen goede validatie voordat het algoritme wordt vrijgegeven”, zegt Sarah Tan van Cornell University.
Idealiter zouden ontwikkelaars bekende vooroordelen - zoals geslacht, leeftijd en ras - terzijde moeten schuiven en interne simulaties moeten uitvoeren om hun algoritmen op andere problemen te testen.
In de tussentijd, voordat we zover komen dat alle algoritmen grondig zullen worden getest voordat ze worden vrijgegeven, is het al mogelijk om te bepalen welke aan bias zullen lijden.
In hun meest recente werk beschreven Tan, Caruana en hun collega's een nieuwe manier om te begrijpen wat er zich onder de motorkap van black box-algoritmen afspeelt. Wetenschappers hebben een model gemaakt dat het black box-algoritme nabootst en leren het risico op recidive in te schatten met behulp van COMPAS-gegevens. Ze creëerden ook een ander model dat trainde op gegevens uit de echte wereld om te laten zien of de voorspelde recidive daadwerkelijk heeft plaatsgevonden. Door de twee modellen te vergelijken, konden wetenschappers de nauwkeurigheid van de voorspelde score beoordelen zonder het algoritme te analyseren. Verschillen in de resultaten van de twee modellen kunnen aangeven welke variabelen, zoals ras of leeftijd, mogelijk belangrijker zijn in een bepaald model. Hun resultaten toonden aan dat COMPAS zwarte mensen discrimineert.
Goed ontworpen algoritmen kunnen langdurige vooroordelen op het gebied van strafrecht, politie en vele andere gebieden van de samenleving elimineren.
Ilya Khel
