De kunstmatige intelligentie van Amazon, ontworpen om cv's van werkzoekenden te sorteren, rangschikte mannen hoger dan vrouwen. In het bijzonder verwierp hij cv's met het woord "vrouwelijk" en bood aan kandidaten aan te nemen die typische mannelijke werkwoorden in spraak gebruikten, zelfs als deze mensen niet over de nodige vaardigheden beschikten. Als gevolg hiervan moest het bedrijf het project afsluiten.
Kunstmatige HR-intelligentie
De machine learning-experts van Amazon hebben ontdekt dat de kunstmatige intelligentie die het cv van kandidaten voor functies bij het bedrijf verwerkt, vrouwelijke werkzoekenden discrimineert, meldde Reuters. Deze functie is niet opzettelijk in het systeem opgenomen - het was het resultaat van machine learning.
Een op kunstmatige intelligentie gebaseerde cv-sorteermachine is sinds 2014 in ontwikkeling bij Amazon door een 12-koppig team in Edinburgh. Al in 2015 merkte het bedrijf dat het nieuwe systeem niet voldeed aan het principe van genderneutraliteit bij het evalueren van kandidaten voor softwareontwikkelingsfuncties en andere technische vacatures.
Al snel realiseerden ze zich de reden: het feit is dat het systeem is getraind op de cv's die het bedrijf de afgelopen 10 jaar heeft ingevoerd. De meeste van deze cv's werden gehouden door mannen, wat in grote lijnen de stand van zaken in de IT-industrie weerspiegelt. Als gevolg hiervan leerde de kunstmatige intelligentie van Amazon dat mannelijke werkzoekenden de voorkeur hebben boven vrouwen.
Taalkundige afwijzing
Promotie video:
Als gevolg hiervan begon kunstmatige intelligentie cv's weg te gooien die het woord "vrouwelijk" bevatten in uitdrukkingen als "kapitein van de schaakclub voor vrouwen". Het mechanisme verlaagde ook de cijfers van afgestudeerden van twee hogescholen voor vrouwen, maar de bronnen van Reuters gaven hun namen niet op. Bij het evalueren van cv's gaf kunstmatige intelligentie ze tussen de één en vijf sterren - vergelijkbaar met hoe kopers producten op Amazon beoordelen.
Het systeem lette ook op andere woorden. De ontwikkelaars hebben 500 computermodellen gemaakt voor verschillende taken en geografische locaties. Elk model werd getraind om ongeveer 50.000 signaalwoorden te herkennen die in het cv van de sollicitant aanwezig waren.
Het is opmerkelijk dat het mechanisme woorden negeerde die vaardigheden aanduiden die vaak worden beschreven in de cv's van IT-professionals, zoals het vermogen om verschillende codes te schrijven, enz. In plaats daarvan spoorde het systeem bijvoorbeeld typische werkwoorden voor mannelijke spraak bij in de zelfbeschrijving van kandidaten, zoals 'voldaan' (uitgevoerd) of "gevangengenomen", zoals ze regelmatig werden gezien in oude cv's waarvan de machine leerde. Met deze aanpak was genderdiscriminatie niet het enige probleem - het mechanisme beval vaak mensen aan die niet over de nodige vaardigheden voor de functie beschikten.
Het verdere lot van het project
Amazon heeft het systeem aangepast zodat het niet meer reageert op signaalwoorden. Dit was echter geen garantie dat het mechanisme geen andere manier zou vinden om cv's van vrouwen te identificeren. Begin 2017 raakte het bedrijf teleurgesteld in het project en ontbond het team. Bronnen van Reuters zeggen dat de HR-specialisten rekening hielden met de aanbevelingen van het systeem, maar er nooit alleen op vertrouwden.
Een van de bronnen zegt dat het project is afgesloten. Een ander stelt dat er in Edinburgh een nieuw team is gevormd om het mechanisme verder te ontwikkelen, maar dit keer met de nadruk op gelijkheid en inclusie. Een andere bron meldt dat er nu een sterk gewijzigde versie van de engine wordt gebruikt om routinewerk uit te voeren, zoals het verwijderen van dubbele cv's uit de database.