Om mensen te helpen die niet kunnen praten, hebben neurowetenschappers een apparaat ontwikkeld dat hersensignalen kan omzetten in spraak. Deze technologie is nog niet voldoende ontwikkeld voor gebruik buiten het laboratorium, hoewel het kan worden gebruikt om hele zinnen samen te stellen die grotendeels worden begrepen, schrijft "Nature".
Om mensen te helpen die niet kunnen praten, hebben neurowetenschappers een apparaat ontwikkeld dat hersensignalen kan omzetten in spraak.
Deze technologie is nog niet volwassen genoeg voor gebruik buiten het laboratorium, hoewel ze kan worden gebruikt om hele zinnen te synthetiseren die algemeen worden begrepen. De makers van de spraakdecoder presenteerden de beschrijving ervan in een artikel dat op 24 april in het tijdschrift Nature werd gepubliceerd.
Wetenschappers hebben in het verleden kunstmatige intelligentie gebruikt om hersensignalen te vertalen in enkele woorden, meestal bestaande uit één lettergreep, zegt Chethan Pandarinath, een neuro-ingenieur aan de Emory University in Atlanta, Georgia, die een commentaar op het artikel schreef. "Van de ene lettergreep naar zinnen springen is technisch uitdagend en, gedeeltelijk, daarom is het werk zo indrukwekkend", zegt hij.
Zet beweging om in geluid
Veel mensen die niet meer kunnen spreken, communiceren met een apparaat waarvoor ze kleine bewegingen moeten maken om de cursor te gebruiken om letters of woorden op het scherm te selecteren. Een beroemd voorbeeld was de Britse natuurkundige Stephen Hawking, die een motorneuronziekte had. Hij gebruikte een spraakapparaat dat werd geactiveerd door de spier van de wang, zei studieleider Edward Chang, een neurochirurg aan de Universiteit van Californië, San Francisco.
Omdat mensen die dergelijke apparaten gebruiken, woorden letter voor letter moeten typen, kunnen deze apparaten erg traag zijn en tot tien woorden per minuut 'spreken', zegt Chang. Bij natuurlijke spraak worden gemiddeld 150 woorden per minuut gebruikt. "Dit komt door de efficiëntie van het spraakkanaal", zegt hij. En dus besloten Chang en zijn team om het spraaksysteem te simuleren bij het bouwen van hun spraakdecoder.
Promotie video:
De wetenschappers werkten met vijf mensen bij wie elektroden op het oppervlak van de hersenen werden geïmplanteerd tijdens de behandeling van epilepsie. Toen deelnemers aan het experiment honderden zinnen hardop voorlas, registreerden wetenschappers eerst de activiteit van de hersenen. Chang en collega's combineerden deze opnames vervolgens met gegevens van eerdere experimenten die keken naar hoe bewegingen van de tong, lippen, kaak en strottenhoofd geluid produceren.
Met behulp van deze gegevens hebben wetenschappers een deep learning-algoritme "getraind" en vervolgens dit programma in hun decoder opgenomen. Het apparaat zet hersensignalen om in gespecificeerde bewegingen van het spraakkanaal en zet deze bewegingen om in synthetische spraak. Mensen die naar de 101 samengestelde zinnen luisterden, konden gemiddeld 70% van de woorden begrijpen, zegt Chang.
In een ander experiment vroegen wetenschappers een van de deelnemers om zinnen hardop voor te lezen en vervolgens dezelfde zinnen met hun mond te dempen. De zinnen die in dit geval werden gesynthetiseerd, waren van slechtere kwaliteit dan de zinnen die werden gesynthetiseerd uit de 'gesproken' spraak, zegt Chang, maar de resultaten zijn nog steeds bemoedigend.
Het begrijpen van gesynthetiseerde spraak is een kwestie van de toekomst
Spraak, die wordt gesynthetiseerd door hersensignalen om te zetten in bewegingen van het spraakkanaal en deze in geluid te vertalen, is gemakkelijker te begrijpen dan spraak, die wordt gesynthetiseerd door hersensignalen rechtstreeks in geluid om te zetten, zegt Stephanie Riès, een neurowetenschapper aan de San Diego State University. in Californië.
Maar het is onduidelijk of de nieuwe spraakdecoder zal werken met woorden die mensen alleen in hun hoofd 'spreken', zegt Amy Orsborne, een neuro-ingenieur aan de Universiteit van Washington in Seattle. "Het artikel laat heel goed zien dat het apparaat werkt met nabootsende spraak", zegt ze. "Maar hoe werkt het als de persoon zijn lippen niet beweegt?"
Marc Slutzky, een neurowetenschapper aan de Northwestern University in Chicago, Illinois, is het daarmee eens en zegt dat de spraakdecoder efficiënter kan zijn. Hij merkt op dat luisteraars gesynthetiseerde spraak identificeerden door woorden te kiezen uit een reeks keuzes, maar naarmate het aantal keuzes toenam, werd het moeilijker om de woorden te begrijpen.
Dit onderzoek "is een heel belangrijke stap, maar er moet nog veel gebeuren voordat gesynthetiseerde spraak gemakkelijk kan worden begrepen", zegt Slutsky.
Georgië Guglielmi (Giorgia Guglielmi)
