Neurowetenschappers hebben dynamische visuele beelden gemaakt die in het hoofd verschenen tijdens het bekijken van willekeurig geselecteerde video's. In de toekomst zal dergelijke technologie artsen helpen om de hallucinaties van patiënten op het scherm te bekijken, en rijke excentriekelingen - om hun dromen te uploaden naar YouTube
Een fantastisch resultaat werd behaald aan de University of California in Berkeley: de proefpersonen kregen verschillende video's van YouTube te zien (fragmenten van films, trailers, etc.), terwijl een magnetische resonantie-imager in detail de activiteit van cellen in verschillende delen van de visuele cortex opnam. Met behulp van deze informatie konden de wetenschappers de bekeken frames in kleur en dynamiek reconstrueren (zie de indrukwekkende video aan het einde van het materiaal).
De kwaliteit van deze herstelde clips lijkt misschien onbelangrijk voor sommigen, maar het is onvergelijkbaar beter en nauwkeuriger dan wat werd verkregen "uit het hoofd" van een persoon in het eerste experiment van dit type.
De wetenschappers, die het nieuwe programma voor de herkenning van mentale beelden hebben gemaakt, traden zelf om de beurt op als proefpersonen, omdat ze vele uren achter elkaar in de tomograaf moesten doorbrengen.
Om te beginnen namen de onderzoekers een foto van hersenactiviteit op tijdens het kijken naar een aantal trailers van Hollywood-films. Biologen hebben een 3D-computermodel van de hersenen gebouwd met groepen cellen (voxels) en vastgelegd hoe elke voxel reageert op veranderingen in vorm en beweging van objecten op het scherm. Het was dus mogelijk om een ruwe overeenkomst te krijgen van visuele informatie en het proces van de verwerking ervan in de hersenschors.
Om het algoritme te testen en te verfijnen, gaven wetenschappers hem duizenden uren van miljoenen willekeurig gemaakte video's van dezelfde YouTube-service, waarbij ze het tegenovergestelde resultaat kregen: gesimuleerde hersenactiviteit die zou worden waargenomen als een persoon deze video's zou bekijken.
Frames uit de video's, en aan de rechterkant - ze zijn hetzelfde, maar genomen van het hoofd van de waarnemer
Promotie video:
Ten slotte werd het algoritme weer omgekeerd. Toen mensen een testvideo in een tomograaf bekeken, pakte de computer 100 clips van het web op, die hoogstwaarschijnlijk zo'n beeld van celactiviteit veroorzaakten. Vervolgens, seconde na seconde, mengde het programma frames uit deze clips, waardoor een wazige film ontstond, die goed samenviel met wat de persoon in werkelijkheid waarnam.
(Details van het experiment zijn te vinden in een artikel in Current Biology en een persbericht van de universiteit.)
"Dit is hoe we een raam openen naar de bioscoop dat in onze gedachten gaat", zegt co-auteur Jack Gallant. Gallant is ons overigens bekend uit zijn ervaring met herkenning door middel van hersenscanning van de geziene foto's.
Wetenschappers leggen uit waarom hersenherkenning met behulp van magnetische tomografie moeilijk te implementeren is. Een van de problemen is dat de scanner veranderingen in de bloedstroom door de cortex registreert, en deze treden veel langzamer op dan dat zenuwsignalen veranderen.
Daarom was zo'n truc eerder alleen mogelijk met statische plaatjes. "We hebben dit probleem opgelost door een tweetrapsmodel te maken dat zenuwcellen en bloedstroomsignalen afzonderlijk beschrijft", zegt Shinji Nishimoto, hoofdauteur van het onderzoek.
Het kan een decennium duren voordat de nieuwe technologie praktisch is toegepast. Maar al in deze ruwe vorm kan het neurofysiologen helpen om beter te begrijpen wat er in het menselijk hoofd gebeurt.
Leonid Popov
