Onlangs waren neurale netwerken verrassend met hun vaardigheden - had je tien jaar geleden kunnen geloven dat een computer portretten van Dostojevski en Marilyn Monroe kon "animeren"? Bereid je voor om verder versteld te staan, want onderzoekers van MIT hebben een Speech2Face neuraal netwerk gecreëerd dat in staat is portretten van mensen te tekenen door simpelweg naar hun stem te luisteren. De technologie is verre van ideaal, maar het vermogen om het geslacht, de nationaliteit en de leeftijd van een persoon te bepalen, is indrukwekkend.
Om het neurale netwerk te trainen, werd de AVSpeech-kit gebruikt met een miljoen korte video's met duizenden sprekende mensen. Tracks met video en geluid zijn gescheiden, zodat het systeem in staat was om elk type materiaal zo gedetailleerd mogelijk te bestuderen. In de eerste fase van het werk bestudeerde het VGG-Face-algoritme videofragmenten en creëerde portretten van de mensen erop in volledige en neutrale gezichtsuitdrukkingen. Een ander deel van het algoritme bestudeerde het spectrogram van de stem en paste aanvullende wijzigingen toe op de resulterende portretten - als resultaat werd een geschat portret van elke sprekende persoon verkregen.
Een neuraal netwerk voor het maken van op spraak gebaseerde portretten is al een realiteit
Als je het gezicht van een persoon vergelijkt met een video en de optie die door het algoritme wordt voorgesteld, kun je veel verschillen ontdekken. De onderzoekers verzekeren echter dat ze aanvankelijk niet het meest vergelijkbare portret van een persoon wilden maken - veel factoren beïnvloeden de toon en intonatie van de menselijke stem, dus ze zouden toch niet het ideale resultaat hebben gekregen. Maar het neurale netwerk doet uitstekend werk van wat belangrijk is voor onderzoekers, namelijk de precieze bepaling van geslacht, nationaliteit en leeftijd.
De auteurs van het werk merkten op dat het algoritme op dit moment zwak is in het bepalen van de leeftijd, maar dat ze de nauwkeurigheid kunnen verbeteren. Er werd ook vastgesteld dat het algoritme Europese en Aziatische gezichten beter nabootst, maar dit is alleen te wijten aan het feit dat de trainingsvideo's een ongelijk aantal gezichten van verschillende nationaliteiten hadden.
Promotie video:
Waarom heb je een neuraal netwerk nodig?
Hoe kan deze technologie in de toekomst nuttig zijn? Als alternatief kan met behulp hiervan op een dag een service worden gemaakt waarbij de virtuele avatar van een gebruiker automatisch wordt gemaakt op basis van zijn stem. De nieuwe studie heeft ook grote wetenschappelijke voordelen: door de gegevens te bestuderen, kunnen wetenschappers het verband vinden tussen iemands uiterlijk en zijn stem. U kunt naar stemmen luisteren en portretten bekijken die op basis daarvan zijn gemaakt op de website van het project.
Ramis Ganiev
