Ontwikkelaars van de Purdue University hebben een neuraal netwerk gemaakt dat fMRI-beelden van de hersenen die tijdens het kijken naar een video zijn gemaakt, kan analyseren en vervolgens in realtime kan bepalen wat de persoon aan het kijken was.
Bij het experiment waren drie proefpersonen betrokken, die ongeveer duizend kleine filmpjes te zien kregen. Tijdens de show konden wetenschappers een enorme hoeveelheid fMRI-gegevens verkrijgen, die toen een convolutioneel neuraal netwerk begonnen te demonstreren dat was getraind om hersenactiviteit te matchen met de plots van de video's. Met behulp van de fMRI-afbeelding leerde het netwerk zeer snel en correct om te bepalen wat de vrijwilliger precies aan het kijken was op het moment dat de afbeelding werd gemaakt.
Bovendien leerde het neurale netwerk de gegevens van andere mensen te ontcijferen op basis van informatie verkregen van fMRI van andere vrijwilligers, terwijl het resultaat even hoog was met zowel fMRI-gegevens van gezonde proefpersonen als die met een visuele beperking.
Dankzij deze studie konden wetenschappers gedachten ontcijferen en tegelijkertijd ontdekten ze welke delen van de hersenen verantwoordelijk zijn voor het herkennen van afbeeldingen en video's. Het punt is dat de hersenen de video in afzonderlijke componenten verdelen. Als een persoon bijvoorbeeld een auto tegen de achtergrond van een muur ziet bewegen, herkent het ene deel van de hersenen de muur en het andere een auto - zo konden wetenschappers het werk van de hersenen traceren bij het vergelijken van individuele blokken met informatie en het samenbrengen in een enkel beeld.
Viacheslav Larionov
