Met behulp van technologie om hersenactiviteit, kunstmatige intelligentie en een spraaksynthesizer te scannen, hebben wetenschappers van Columbia University (VS) een apparaat gemaakt dat in staat is menselijke gedachten om te zetten in gearticuleerde spraak. De onderzoeksresultaten, gepubliceerd in Scientific Reports, vertegenwoordigen een belangrijke stap in het verbeteren van hersencomputerinterfaces. In de toekomst kunnen dergelijke apparaten worden gebruikt door mensen die niet meer kunnen spreken als gevolg van een blessure of ziekte.
Om een apparaat te ontwikkelen dat de mogelijkheden van een spraaksynthesizer en kunstmatige intelligentie combineert, wendden de studie-auteur, neurowetenschapper Nima Mesgarani en zijn collega's zich tot de nieuwste ontwikkelingen op het gebied van diepgaand machinaal leren en spraaksynthesetechnologieën. Het resultaat van hun werk is een op kunstmatige intelligentie gebaseerde vocoder die in staat is om vrij nauwkeurig hersenactiviteit rechtstreeks vanuit de auditieve cortex te interpreteren en deze vervolgens te vertalen in verstaanbare spraak. De auteurs van het werk merken op dat spraak in dit geval erg geautomatiseerd blijkt te zijn, maar mensen kunnen in de meeste gevallen woorden herkennen.
Volgens de makers is het nieuwe apparaat dat wordt gebruikt om de resulterende spraak weer te geven, gebaseerd op dezelfde technologie die wordt gebruikt in digitale assistenten zoals Alexa, Siri en Google Assistant.
Ten eerste hebben experts de vocoder getraind om de menselijke hersenactiviteit correct te interpreteren. Hiervoor nodigden de wetenschappers vijf vrijwilligers uit die een behandeling voor epilepsie ondergingen om deel te nemen aan het experiment. Alle vijf hadden elektroden geïmplanteerd in de auditieve cortex om het elektro-encefalogram te lezen.
“We vroegen epileptische patiënten die al een hersenoperatie ondergaan, om te luisteren naar zinnen die door verschillende mensen worden uitgesproken. Tegelijkertijd analyseerden we patronen in de hersenactiviteit van patiënten. De vocoder werd getraind op de verkregen neurale modellen”, legt Mesgarani uit.
De patiënten werd gevraagd om te luisteren naar de opnames waarin de acteurs reeksen van getallen van 0 tot 9 voorlezen. Tegelijkertijd namen de wetenschappers de signalen van de hersenen op en stuurden ze vervolgens door de vocoder, waarvan de signalen werden gecorrigeerd door een neuraal netwerk om de duidelijkheid te verbeteren, dat de geluiden analyseerde van de vocoder zelf, die geluiden produceerde als reactie op deze signalen. Het resultaat was dat een robotstem een reeks gesproken nummers kon herhalen. Om de resultaten te evalueren, nodigden de wetenschappers 11 mensen met uitstekend gehoor uit.
“Het bleek dat mensen in ongeveer 75% van de gevallen woorden kunnen herkennen, wat veel beter is dan eerdere pogingen. De gevoelige vocoder en krachtige neurale netwerken genereerden de geluiden waar de patiënten naar luisterden met een verbazingwekkende nauwkeurigheid”, zegt Mesgarani.
Promotie video:
In de toekomst gaat Mesgarani's team het neurale netwerk leren om complexere woorden, zinnen en zelfs hele zinnen uit te spreken. Daarna willen ze een implantaat ontwikkelen dat iemands gedachten kan vertalen in volledige spraak.
'Als de eigenaar van het implantaat bijvoorbeeld denkt:' Ik heb een glas water nodig ', leest ons systeem de hersensignalen en vertaalt ze in spraak. Dit geeft iedereen die door een blessure of ziekte niet meer kan spreken, een nieuwe kans om te communiceren met de wereld om hen heen”, voegt Mesgarani toe.
Nikolay Khizhnyak
