Ingenieurs van het Institute for the Study of Higher Nervous Activity zijn erin geslaagd een systeem te creëren dat gedachten vertaalt in begrijpelijke en herkenbare spraak. Door iemands hersenactiviteit te beheersen, reconstrueert technologie gedachten in woorden.
Deze wetenschappelijke doorbraak, gekoppeld aan de kracht van AI en spraaksynthesizers, opent een nieuw tijdperk in de interactie tussen de computer en de hersenen. Dit opent natuurlijk ook nieuwe kansen voor mensen die om de een of andere reden niet meer kunnen spreken.
“Onze stemmen helpen om contact te houden met onze vrienden, familie en de wereld om ons heen, dus het verliezen van stemvermogen door letsel of ziekte is verschrikkelijk voor mensen. Met de huidige voorraad kennis hebben we echter een mogelijke manier om deze macht te herstellen. We hebben aangetoond dat met de juiste technologie de gedachten van mensen kunnen worden ontcijferd en begrepen door elke luisteraar”, zegt Nima Mesgarani, Ph. D. en een van de auteurs van een onderzoek dat is uitgevoerd aan het Mortimer B. Zuckerman Institute of Mental Behavior aan de Columbia University.
Tientallen jaren van onderzoek hebben aangetoond dat wanneer mensen spreken of zich zelfs maar voorstellen dat ze woorden spreken, karakteristieke activiteitspatronen in hun hersenen verschijnen. Een duidelijk en herkenbaar signaalpatroon ontstaat ook wanneer we luisteren naar iemand die spreekt, of ons voorstellen dat we luisteren. Deskundigen proberen deze patronen al decennia te ontcijferen, maar pas nu is er een toekomst voor hen opengegaan, waarin gedachten niet langer in de hersenen kunnen worden verborgen, maar in plaats daarvan naar believen in gesproken taal kunnen worden vertaald.
Maar deze prestatie was niet gemakkelijk te bereiken. Vroege pogingen om hersensignalen van Dr. Mesgarani en anderen te ontcijferen, waren gericht op eenvoudige computermodellen die spectrogrammen analyseerden, wat visuele representaties zijn van geluidsfrequenties.
Maar omdat deze benadering niets opleverde dat in de buurt kwam van verstaanbare spraak, wendde het team van Dr. Mesgarani zich tot een vocoder, een computeralgoritme dat spraak kan synthetiseren nadat het is getraind om de gesprekken van mensen op te nemen.
"Dit is dezelfde technologie die Amazon Echo en Apple Siri gebruiken om onze vragen mondeling te beantwoorden", zegt Dr. Mesgarani, die ook universitair hoofddocent elektrotechniek is aan de Columbia School of Engineering and Applied Science van de Fu Foundation.
Om de vocoder te leren hersenactiviteit te interpreteren, werkte Dr. Mesgarani samen met Ashesh Dinesh Mehta, M. D., Ph. D., neurochirurg bij het Neuroscience Institute van Northwell Health Physician Partners en co-auteur van het artikel van vandaag. Dr. Mehta behandelt patiënten met epilepsie, van wie sommigen regelmatig een operatie moeten ondergaan.
Promotie video:
"In samenwerking met Dr. Mehta, vroegen we epileptische patiënten die al een hersenoperatie hadden ondergaan, om naar suggesties van verschillende mensen te luisteren, terwijl we patronen in hun hersenactiviteit maten", zegt Dr. Mesgarani. "Deze neurale patronen hebben de vocoder getraind."
De onderzoekers vroegen diezelfde patiënten vervolgens om naar luidsprekers te luisteren die de cijfers 0 tot en met 9 uitspraken terwijl ze hersensignalen opnamen die vervolgens door een vocoder konden worden geleid. Het geluid dat door de vocoder wordt geproduceerd als reactie op deze signalen, werd geanalyseerd en verfijnd met behulp van neurale netwerken zoals kunstmatige intelligentie die de structuur van neuronen in biologische hersenen nabootsen.
Het eindresultaat was een robotstem die een reeks getallen herhaalde. Om de nauwkeurigheid van de opname te verifiëren, gaven Dr. Mesgarani en haar team de mensen opdracht om naar de opname te luisteren en te vertellen wat ze hoorden.
"We ontdekten dat mensen geluiden ongeveer 75% van de tijd kunnen begrijpen en herhalen, wat veel beter is dan eerdere pogingen", zegt Dr. Mesgarani. De verbetering van de verstaanbaarheid was vooral duidelijk bij het vergelijken van de nieuwe opnames met eerdere pogingen op basis van het spectrogram. "Een gevoelige vocoder en krachtige neurale netwerken vertegenwoordigden de geluiden die de patiënten aanvankelijk hoorden met verbazingwekkende nauwkeurigheid."
Dr. Mesgarani en haar team zijn nu van plan om complexere woorden en zinnen te testen. Ze zijn ook van plan om dezelfde tests uit te voeren op de hersensignalen die worden uitgezonden wanneer een persoon spreekt of zich spraak voorstelt. Uiteindelijk hopen ze dat hun systeem deel kan uitmaken van een implantaat, vergelijkbaar met het implantaat dat wordt gedragen door sommige epileptische patiënten, die de gedachten van de drager direct in woorden vertalen.
"In dit scenario, als de eigenaar van de chip denkt: 'Ik heb een glas water nodig', kan ons systeem de hersensignalen opnemen die door die gedachte worden gegenereerd en deze omzetten in gesynthetiseerde verbale spraak", zegt Dr. Mesgarani. "Het is een gamechanger en voor iedereen die door een blessure of ziekte niet meer kan spreken, biedt technologie een nieuwe kans om te communiceren met de wereld om hen heen."
Redactionele commentaar
Aangezien sommige van onze medewerkers een bepaalde relatie hebben met neurofysiologie, kunnen we absoluut ondubbelzinnig stellen dat het oplossen van het probleem van het lezen van gedachten en het vertalen van deze gedachten in woorden geen probleem is dat een filosofische doctor samen met een intelligente neurochirurg kan oplossen. Dit is een taak voor het onderzoeksinstituut, dat het honderd, tweehonderd of meer jaar zal oplossen. Bovendien is het helemaal geen feit dat het onderzoeksinstituut dit probleem zal oplossen - ook al worden alle NASA-supercomputers daarheen gebracht, waarop een menigte ingenieurs neurale netwerken gaat simuleren. Een artikel in een wetenschappelijk tijdschrift zal echter niet liegen en het feit van herkenning van gedachten is er zeker. Hoe kunnen deze twee feiten dan samen worden gebracht?
Erg makkelijk. In de afgelopen 20-30 jaar is er een enorm aantal volledig ongelooflijke en zeer complexe technologieën zoals microprocessors en harde schijven in de wereld verschenen. En elke dag komen er steeds meer nieuwe uitvindingen bij, die worden opgeschreven op enkele "getalenteerde studenten" die, zittend in de garage, een stuk metaalschroot hebben verzameld, waar onderzoeksinstituten al 50 jaar om vechten. En in dit geval hebben we een uitvinding van een vergelijkbare oorsprong. Dat wil zeggen, een ontwikkeling die al vele jaren wordt gedaan (of overgedragen aan mensen), het is niet duidelijk wie, maar die werd vastgelegd op de tante en oom uit Colombia.
In feite is er totaal geen verschil wie Wikipedia zal opschrijven als "uitvinders" van technologie. Het belangrijkste is dat de technologie via een wetenschappelijk tijdschrift aan de wereld werd gepresenteerd. Verder zal een of ander Chinees bedrijf beginnen met het produceren van dergelijke "gadgets" die mensen zullen laten wennen aan het idee dat hun hoofd nu volledig transparant is geworden. Ten slotte zal de derde fase dezelfde Orwelliaanse "1984" zijn, wanneer zelfs de gedachten van een persoon vrijelijk van een afstand kunnen worden gelezen. Bijvoorbeeld door speciale sensoren in appartementen te plaatsen of een speciale chip te integreren die reageert op hersenimpulsen in het lichaam. Verder.
Elke technologie heeft in de regel de tegenovergestelde toepassing. Als er bijvoorbeeld een technologie is om zenuwimpulsen in woorden om te zetten, dan kun je met hetzelfde principe elk woord omzetten in iemands gedachten. In deze situatie hebben de presidenten van verschillende landen een grandioos vooruitzicht om door absoluut het hele electoraat te worden ondersteund, aangezien er nu een technische mogelijkheid is om elke kiezer zelfs zoals hij te laten denken - het is voldoende om een correct gemoduleerd signaal in het stopcontact te steken.
Over het algemeen spreekt het voor zich dat 's werelds mooiste vooruitzichten zich openen en dat we de ontwikkeling van evenementen met belangstelling volgen.