Kunstmatige intelligentie ontwikkelt zich actief in Rusland en de wereld - ook emotioneel. Hij is geïnteresseerd in grote bedrijven en ambitieuze startups die nieuwe ontwikkelingen introduceren in de detailhandel, marketing, onderwijs, het bankwezen en rekrutering. Volgens Mordor Intelligence werd de markt voor emotieherkenning in 2018 geschat op $ 12 miljard en zal deze in 2024 groeien tot $ 92 miljard.
Wat is emotionele AI
Emotion AI (Emotion AI) is een AI waarmee een computer menselijke emoties kan herkennen, interpreteren en erop kan reageren. Een camera, microfoon of draagbare sensor leest de toestand van een persoon en een neuraal netwerk verwerkt de gegevens om een emotie te bepalen.
Er zijn twee manieren om emoties te analyseren:
- Contact. Een persoon wordt op een apparaat gezet dat zijn hartslag, elektrische impulsen van het lichaam en andere fysiologische indicatoren leest. Dergelijke technologieën kunnen niet alleen emoties bepalen, maar ook het stressniveau of de kans op een epileptische aanval.
- Contactloos. Emoties worden geanalyseerd aan de hand van video- en audio-opnames. De computer leert gezichtsuitdrukkingen, gebaren, oogbewegingen, stem en spraak.
Om een neuraal netwerk te trainen, verzamelen datawetenschappers een steekproef van gegevens en markeren ze handmatig de verandering in de emotionele toestand van een persoon. Het programma bestudeert patronen en begrijpt welke tekens bij welke emoties horen.
Het neurale netwerk kan worden getraind op verschillende gegevens. Sommige bedrijven en laboratoria gebruiken videobanden, andere bestuderen stem en sommige profiteren van meerdere bronnen. Maar hoe diverser de gegevens, hoe nauwkeuriger het resultaat.
Overweeg twee belangrijke bronnen:
Promotie video:
Foto's en stilstaande beelden van video
Afbeeldingen worden eerst verwerkt om het voor de AI gemakkelijker te maken om mee te werken. Gelaatstrekken - wenkbrauwen, ogen, lippen, enzovoort - zijn gemarkeerd met stippen. Het neurale netwerk bepaalt de positie van de punten, vergelijkt ze met de tekenen van emoties uit de sjabloon en concludeert welke emotie wordt weerspiegeld: woede, angst, verrassing, verdriet, vreugde of kalmte.
Er is ook een andere benadering. Markeringen van emoties worden onmiddellijk op het gezicht opgemerkt - bijvoorbeeld een glimlach of fronsende wenkbrauwen. Vervolgens zoekt het neurale netwerk naar markeringen op de afbeelding, analyseert hun combinaties en bepaalt de toestand van de persoon.
De studie van emotiemarkeringen begon in de 20e eeuw. Toegegeven, toen werden ze los van neurale netwerken beschouwd. Wetenschappers Paul Ekman en Wallace Friesen ontwikkelden in 1978 het Facial Action Coding System (FACS). Het splitst gezichtsuitdrukkingen op in individuele spierbewegingen of actie-eenheden. De onderzoeker bestudeert motorische eenheden en vergelijkt ze met emotie.
Stem en spraak
Het neurale netwerk haalt veel parameters van de stem uit het akoestische signaal - bijvoorbeeld toon en ritme. Ze bestudeert hun verandering in de tijd en bepaalt de toestand van de spreker.
Soms wordt een spectrogram gebruikt voor training - een afbeelding die de sterkte en frequentie van een signaal in de loop van de tijd laat zien. Bovendien analyseert de AI de woordenschat voor nauwkeurigere resultaten.
Waar is de gebruikte technologie
Verkoop en reclame
Het meest voor de hand liggende gebruik van emotieherkenningstechnologie is in marketing. Met hun hulp kunt u bepalen hoe een advertentievideo een persoon beïnvloedt. Om dit te doen, kunt u bijvoorbeeld een structuur met een camera installeren die advertenties verandert afhankelijk van de stemming, het geslacht en de leeftijd van voorbijgangers.
Een soortgelijk ontwerp is ontwikkeld door startups Cloverleaf en Affectiva. Ze introduceerden een elektronische schapadvertentie met de naam shelfPoint die gegevens verzamelt over de emoties van klanten. Nieuwe technologieën zijn getest door Procter & Gamble, Walmart en andere grote bedrijven. Volgens Cloverleaf steeg de omzet met 10-40%, terwijl de klantbetrokkenheid 3-5 keer toenam.
Een meer ongebruikelijke optie is een robotconsulent met kunstmatige intelligentie. Hij zal met klanten omgaan, hun emoties lezen en hen beïnvloeden. En maak ook gepersonaliseerde aanbiedingen.
De servicerobot werd gepresenteerd door de Russische startup Promobot. Het maakt gebruik van een neuraal netwerk ontwikkeld door Neurodata Lab, dat emoties uit verschillende bronnen tegelijk bepaalt: opnamen van een gezicht, stem, bewegingen, evenals ademhaling en hartslag.
Promobot verkoopt zijn robots actief in het buitenland. In 2018 tekende de startup een contract met het Amerikaanse bedrijf Intellitronix voor 56,7 miljoen dollar, en in de volgende overeengekomen om apparaten te leveren aan Saoedi-Arabië, Israël, Koeweit en Zweden - voor hen zal het bedrijf 1,1 miljoen dollar ontvangen. Volgens Promobot werken er vandaag 492 robots. in 34 landen over de hele wereld als gidsen, conciërges, consultants en promotors.
Banken
Technologie voor emotieherkenning helpt banken om feedback van klanten te krijgen zonder enquêtes en om de service te verbeteren. Op de afdelingen zijn videocamera's geïnstalleerd en algoritmen voor opname bepalen de tevredenheid van bezoekers. Neurale netwerken kunnen ook de stem en spraak van de klant en operator analyseren tijdens een oproep naar het contactcenter.
In Rusland proberen ze al heel lang emotionele AI te implementeren: het werd in 2015 getest bij Sberbank en drie jaar later lanceerde Alfa-Bank een pilot voor het analyseren van emoties op basis van video. Naast opnames van bewakingscamera's worden ook oproepopnames gebruikt. VTB lanceerde in 2019 een pilootproject om emotionele AI te implementeren. En Rosbank heeft samen met Neurodata Lab de bepaling van de emoties van klanten door middel van spraak en spraak al getest. De cliënt belde de bank en het neurale netwerk analyseerde zijn toestand en de betekenis van het gesprek. Bovendien merkte de AI pauzes op in de spraak, het stemvolume en de communicatietijd van de operator. Hierdoor kon niet alleen de tevredenheid over de service worden gecontroleerd, maar ook het werk van de contactcenter-operators.
Nu heeft Rosbank zijn eigen oplossing voor emotieherkenning geïmplementeerd. In plaats van een akoestisch signaal analyseert het systeem de tekst, terwijl de nauwkeurigheid hoog blijft.
Het Speech Technology Center is ook betrokken bij het herkennen van emoties in spraak (Sberbank bezit een meerderheidsbelang). De Smart Logger-service analyseert de stem en woordenschat van klanten en operators, spreektijd en pauzes om de tevredenheid over de service te achterhalen.
Amusement gebied
Emotieherkenningssystemen kunnen worden gebruikt om de reactie van het publiek op een film te meten. Disney voerde in 2017, in samenwerking met wetenschappers, een experiment uit: installeerde camera's in een bioscoop en verbonden deep learning-algoritmen om de emoties van kijkers te beoordelen. Het systeem kon de reacties van mensen voorspellen door ze slechts een paar minuten te observeren. Tijdens het experiment hebben we een indrukwekkende dataset verzameld: 68 markers van elk van de 3.179 kijkers. In totaal werden 16 miljoen gezichtsafbeeldingen verkregen.
Voor hetzelfde doel heeft YouTube-videohosting zijn eigen AI gecreëerd, genaamd YouFirst. Hiermee kunnen videobloggers en bedrijven inhoud testen voordat deze op het platform wordt vrijgegeven. Gebruikers klikken op een speciale link, gaan ermee akkoord een video op te nemen en de video te bekijken. Op dit moment bepaalt het neurale netwerk hun reacties en stuurt de gegevens naar de kanaaleigenaar.
Onder Russische bedrijven kunnen reacties op video's worden geanalyseerd door bijvoorbeeld Neurobotics. Het bedrijf heeft het EmoDetect-programma ontwikkeld dat vreugde, verdriet, verrassing, angst, woede, walging en neutraliteit herkent. Het programma bestudeert maximaal 20 lokale gelaatstrekken in stilstaande kaders en een reeks afbeeldingen. Het systeem analyseert motoreenheden en maakt gebruik van FACS-gezichtscoderingstechnologie. Het is mogelijk om video op te nemen vanaf een webcam. Met de EmoDetect API kunt u het product integreren met externe applicaties.
Emotionele AI begint ook in de game-industrie te worden toegepast. Het helpt om het spel te personaliseren en meer interactie met de gamer toe te voegen.
Zo hielp het Amerikaanse emotionele AI-bedrijf Affectiva bij het creëren van de psychologische thriller Nevermind. De spanning hangt af van de toestand van de speler: de plot wordt donkerder als hij onder spanning staat, en vice versa.
Opleiding
Emotieherkenning geldt ook voor het onderwijs. Het kan worden gebruikt om de stemming en aandacht van studenten tijdens de les te bestuderen.
Russische ontwikkelaars hebben emotionele AI toegepast in Perm. De aanzet voor de ontwikkeling van technologie waren de aanvallen van leerlingen op basisschoolleerlingen en de leraar. Rostelecom en de startup New Vision hebben het Smart and Safe School-programma ontwikkeld om de emotionele toestand van kinderen te monitoren. Dit zal helpen om asociale adolescenten te identificeren voordat zich een tragedie voordoet.
Het was gebaseerd op het Paul Ekman-systeem. Het neurale netwerk analyseerde de kleinste spierbewegingen met behulp van 150 punten op het gezicht. Tijdens de les werd een grote hoeveelheid data verzameld: 5-6 duizend frames per leerling. Het programma heeft de dataset bestudeerd en de emotionele toestand van elk kind berekend. Volgens de makers was de nauwkeurigheid 72%.
HR
Emotionele AI kan nuttig zijn bij het werken met personeel. Het helpt om de toestand van de medewerker te bepalen, zijn vermoeidheid of ontevredenheid tijdig op te merken en taken efficiënter te herverdelen.
Bovendien helpt technologie bij het werven. Met behulp van emotionele AI kun je een kandidaat voor een baan controleren of tijdens een sollicitatiegesprek liegen.
Het Amerikaanse bedrijf HireVue gebruikt kunstmatige intelligentie om kandidaten te evalueren. De sollicitant doorloopt een video-interview en het neurale netwerk bepaalt zijn toestand aan de hand van trefwoorden, stemintonatie, bewegingen en gezichtsuitdrukkingen. De AI benadrukt de kenmerken die belangrijk zijn voor de functie en geeft cijfers, en de HR-manager selecteert de juiste kandidaten.
De in Londen gevestigde startup Human gebruikt video om emoties te identificeren en deze af te stemmen op karaktereigenschappen. Na het video-interview ontvangen recruiters een rapport waarin staat hoe eerlijk, nieuwsgierig, opgewonden, enthousiast of zelfverzekerd de kandidaat was en hoe hij op vragen reageerde.
Geneesmiddel
Op dit gebied zullen niet alleen contactloze, maar ook contactmethoden voor het bepalen van emoties nuttig zijn. Ze worden actief geïmplementeerd door buitenlandse startups, bijvoorbeeld Affectiva en Brain Power. De ontwikkelingen van de bedrijven omvatten een AI-bril die kinderen en volwassenen met autisme helpt de emoties van andere mensen te herkennen en sociale vaardigheden te ontwikkelen.
Maar neurale netwerken kunnen patiënten helpen zonder draagbare sensoren. Wetenschappers van het Massachusetts Institute of Technology hebben een neuraal netwerk gecreëerd dat depressie detecteert door iemands spraak te analyseren. De nauwkeurigheid van het resultaat was 77%. En startup Beyond Verbal gebruikt AI om de mentale gezondheid van patiënten te analyseren. In dit geval selecteert het neurale netwerk alleen spraakbiomarkers uit de audio-opname.
Auto's
Massachusetts Institute of Technology ontwikkelt een AI genaamd AutoEmotive die de conditie van de bestuurder en passagiers zal bepalen. Hij houdt niet alleen het stressniveau in de gaten, maar probeert het ook te verminderen - door zachte muziek te spelen, de temperatuur in de cabine aan te passen of een minder drukke route te nemen.
Beperkingen van emotionele AI
Het neurale netwerk kan geen rekening houden met de context
AI heeft geleerd basale menselijke emoties en toestanden te identificeren, maar is tot nu toe niet goed bestand tegen complexere situaties. Wetenschappers merken op dat gezichtsuitdrukkingen niet altijd nauwkeurig aangeven hoe iemand zich echt voelt. Zijn glimlach kan geveinsd of sarcastisch zijn, en dit kan alleen worden bepaald door de context.
Experts van NtechLab zijn van mening dat het nog steeds moeilijk is om de reden voor deze of gene emotie nauwkeurig te achterhalen.
NtechLab benadrukt dat het nodig is om niet alleen gezichtsuitdrukkingen te herkennen, maar ook menselijke bewegingen. Diverse gegevens zullen emotionele AI veel efficiënter maken. Daniil Kireev, een vooraanstaand onderzoeker bij het productontwikkelingsbedrijf VisionLabs voor gezichtsherkenning, is het hiermee eens. Volgens hem neemt bij een grote hoeveelheid data de nauwkeurigheid van de algoritmen toe.
“Er zijn fouten, hun aantal hangt af van veel factoren: de kwaliteit van het trainingsvoorbeeld, het getrainde neurale netwerk, de gegevens waarop het uiteindelijke systeem werkt. Door informatie uit verschillende bronnen toe te voegen, bijvoorbeeld spraak, kunt u de kwaliteit van het systeem verbeteren. Tegelijkertijd is het belangrijk om te begrijpen dat we aan het gezicht eerder de uitdrukking ervan bepalen dan aan de uiteindelijke emotie. Het algoritme kan proberen de gesimuleerde emotie te achterhalen, maar daarvoor moet de ontwikkeling van technologie een kleine stap voorwaarts zetten”, zegt Daniil Kireev.
Slechte uitrusting
Externe factoren beïnvloeden de kwaliteit van de algoritmen. Om de nauwkeurigheid van emotieherkenning hoog te houden, moeten videocamera's en microfoons van hoge kwaliteit zijn. Daarnaast wordt het resultaat beïnvloed door belichting, de locatie van de camera. Volgens Daniil Kireev bemoeilijken ongecontroleerde omstandigheden het proces van het bepalen van de toestand van een persoon.
Om emotionele AI te ontwikkelen, heb je hoogwaardige hardware nodig. Als u goede apparatuur vindt en deze correct instelt, zal de nauwkeurigheid van de resultaten erg hoog zijn. En wanneer het toegankelijker en breder wordt, zullen emotieherkenningstechnologieën worden verbeterd en actiever geïmplementeerd.
“De nauwkeurigheid van het systeem hangt van veel factoren af. De belangrijkste is de kwaliteit van de stilstaande beelden van de camera, die ter herkenning aan het systeem worden gegeven. De kwaliteit van stilstaande beelden wordt op zijn beurt beïnvloed door de instellingen en kenmerken van de camera, de matrix, belichting, de locatie van het apparaat en het aantal gezichten in het frame. Met de juiste configuratie van de hardware en software is het mogelijk om de nauwkeurigheid van de gedetecteerde emotie tot 90-95% te bereiken”, zegt Vitaly Vinogradov, productmanager van Ivideon, de dienst voor videobewaking en videoanalyse in de cloud.
Technologie perspectief
In Rusland wint emotionele AI alleen maar aan kracht. Startups ontwikkelen technologie en brengen hun producten op de markt, en klanten testen ze met de nodige voorzichtigheid.
Maar Gartner schat dat in 2024 meer dan de helft van de online advertenties zal worden gemaakt met behulp van emotionele AI. Computervisie, die wordt gebruikt om emoties te detecteren, wordt de komende 3-5 jaar een van de belangrijkste technologieën. En MarketsandMarkets voorspelt dat de markt voor emotieanalyse tegen 2024 zal verdubbelen - van $ 2,2 miljard naar $ 4,6 miljard.
Daarnaast tonen grote bedrijven interesse in emotieherkenning - bijvoorbeeld Procter & Gamble, Walmart, VTB, Rosbank, Sberbank en Alfa-Bank. En binnenlandse startups ontwikkelen proefprojecten die in de toekomst kant-en-klare oplossingen voor bedrijven zullen worden.
Evgeniya Khrisanfova
