Onmiddellijk toen Dr. Blake Richards hoorde over deep learning, realiseerde hij zich dat hij voor meer stond dan alleen een methode die een revolutie teweeg zou brengen in kunstmatige intelligentie. Hij realiseerde zich dat hij naar iets fundamenteels van het menselijk brein keek. Het was begin jaren 2000 en Richards gaf een cursus aan de Universiteit van Toronto met Jeff Hinton. Hinton, die achter de creatie van het algoritme zat dat de wereld veroverde, kreeg een inleidende cursus over zijn lesmethode aangeboden, geïnspireerd door het menselijk brein.
De sleutelwoorden hier zijn "door de hersenen geïnspireerd". Ondanks Richards 'veroordeling speelde de weddenschap tegen hem. Het menselijk brein, zo bleek, heeft geen belangrijke functie die is geprogrammeerd in deep learning-algoritmen. Op het eerste gezicht schonden deze algoritmen de biologische basisfeiten die al door neurowetenschappers zijn bewezen.
Maar wat als deep learning en de hersenen echt compatibel zijn?
En dus, in een nieuwe studie gepubliceerd in eLife, stelde Richards, in samenwerking met DeepMind, een nieuw algoritme voor op basis van de biologische structuur van neuronen in de neocortex. De cortex, de hersenschors, herbergt hogere cognitieve functies zoals redeneren, voorspellen en flexibel denken.
Het team combineerde hun kunstmatige neuronen tot een gelaagd netwerk en daagde het uit voor de taak van klassieke computervisie - om handgeschreven getallen te identificeren.
Het nieuwe algoritme heeft uitstekend werk geleverd. Maar iets anders is belangrijk: hij analyseerde voorbeelden om te leren op dezelfde manier als deep learning-algoritmen, maar hij was volledig gebouwd op de fundamentele biologie van de hersenen.
"Diep leren is mogelijk in een biologische structuur", concludeerden de wetenschappers.
Aangezien dit model momenteel een computerversie is, hoopt Richards het stokje door te geven aan experimentele neurowetenschappers die kunnen testen of een dergelijk algoritme werkt in een echt brein.
Promotie video:
Als dat zo is, kunnen de gegevens worden doorgegeven aan computerwetenschappers om massaal parallelle en efficiënte algoritmen te ontwikkelen waarop onze machines zullen draaien. Dit is de eerste stap op weg naar het samenvoegen van de twee gebieden in een ‘deugdzame dans’ van ontdekking en innovatie.
De zondebok vinden
Hoewel je waarschijnlijk hebt gehoord dat AI onlangs de beste van het beste versloeg in Go, weet je nauwelijks precies hoe de algoritmen achter deze AI werken.
Kortom, deep learning is gebaseerd op een kunstmatig neuraal netwerk met virtuele "neuronen". Net als een hoge wolkenkrabber is het netwerk gestructureerd in een hiërarchie: neuronen op laag niveau verwerken input - bijvoorbeeld horizontale of verticale balken waaruit het nummer 4 bestaat - en neuronen op hoog niveau verwerken abstracte aspecten van nummer 4.
Om het netwerk te trainen, geef je het voorbeelden van wat je zoekt. Het signaal plant zich voort door het netwerk (beklimt de trappen van het gebouw), en elk neuron probeert iets fundamenteels te zien in het werk van de "vier".
Als kinderen nieuwe dingen leren, doet het netwerk het in het begin niet goed. Ze deelt alles uit dat naar haar mening op het cijfer vier lijkt - en je krijgt beelden in de geest van Picasso.
Maar zo verloopt het leren precies: het algoritme stemt de output af op de ideale input en berekent het verschil tussen de twee (lees: fouten). Fouten "verspreiden zich terug" door het netwerk, waarbij elk neuron wordt getraind, zeggen ze, dit is niet wat je zoekt, ziet er beter uit.
Na miljoenen voorbeelden en herhalingen begint het web feilloos te werken.
Het foutsignaal is buitengewoon belangrijk om te leren. Zonder effectieve "fout-backpropagation", zal het netwerk niet weten welke van zijn neuronen fout zijn. Op zoek naar een zondebok verbetert kunstmatige intelligentie zichzelf.
De hersenen doen het ook. Maar hoe? We hebben geen idee.
Biologische doodlopende weg
Het voor de hand liggende is dat de deep learning-oplossing niet werkt.
Het teruggeven van een fout is een uiterst belangrijke functie. Het vereist een bepaalde infrastructuur om correct te werken.
Ten eerste moet elk neuron in het netwerk een foutmelding krijgen. Maar in de hersenen zijn neuronen verbonden met slechts een paar (indien aanwezig) stroomafwaartse partners. Om de backpropagation in de hersenen te laten werken, moeten neuronen op de eerste niveaus informatie waarnemen van miljarden verbindingen in de stroomafwaartse kanalen - en dit is biologisch onmogelijk.
En hoewel sommige deep learning-algoritmen een lokale vorm van foutterugpropagatie aanpassen - in wezen tussen neuronen - is het vereist dat hun heen en weer verbindingen symmetrisch zijn. In de synapsen van de hersenen gebeurt dit bijna nooit.
Modernere algoritmen passen een iets andere strategie aan door een apart feedbackpad te implementeren dat neuronen helpt lokaal fouten te vinden. Hoewel dit biologisch beter haalbaar is, hebben de hersenen geen apart computernetwerk dat zich toelegt op het vinden van zondebokken.
Maar het heeft neuronen met complexe structuren, in tegenstelling tot de homogene "ballen" die momenteel worden gebruikt bij diep leren.
Vertakkende netwerken
Wetenschappers halen inspiratie uit de piramidale cellen die de menselijke cortex vullen.
"De meeste van deze neuronen hebben de vorm van bomen, met hun 'wortels' diep in de hersenen en 'takken' die naar de oppervlakte komen", zegt Richards. "Het is opmerkelijk dat de wortels één set inputs krijgen en de takken anders."
Het is merkwaardig, maar de structuur van neuronen blijkt vaak 'precies zoals het nodig is' te zijn om een rekenprobleem effectief op te lossen. Neem bijvoorbeeld sensorische verwerking: de bodems van piramidale neuronen zijn waar ze zouden moeten zijn om sensorische input te ontvangen, en de toppen zijn handig geplaatst om fouten door feedback te verzenden.
Zou deze complexe structuur een evolutionaire oplossing kunnen zijn om met het verkeerde signaal om te gaan?
Wetenschappers hebben een meerlagig neuraal netwerk gecreëerd op basis van eerdere algoritmen. Maar in plaats van homogene neuronen gaven ze haar neuronen in de middelste lagen - ingeklemd tussen input en output - vergelijkbaar met echte. Het algoritme leerde van handgeschreven getallen en presteerde veel beter dan een enkellaags netwerk, ondanks het ontbreken van de klassieke backpropagation van de fout. Cellulaire structuren zelf zouden de fout kunnen identificeren. Op het juiste moment combineerde het neuron beide informatiebronnen om de beste oplossing te vinden.
Daar is een biologische basis voor: neurowetenschappers weten al lang dat de input-takken van een neuron lokale berekeningen uitvoeren die kunnen worden geïntegreerd met backpropagation-signalen van de output-takken. Maar we weten niet of de hersenen echt op deze manier werken - dus gaf Richards neurowetenschappers de opdracht om erachter te komen.
Bovendien behandelt dit netwerk het probleem op dezelfde manier als de traditionele deep learning-methode: het gebruikt een gelaagde structuur om geleidelijk meer abstracte ideeën over elk nummer te extraheren.
"Dit is een kenmerk van diep leren", leggen de auteurs uit.
Diep lerend brein
Er zullen ongetwijfeld meer wendingen in dit verhaal zijn, aangezien computerwetenschappers meer biologische details in AI-algoritmen brengen. Richards en zijn team kijken naar een top-down voorspellende functie, waarbij signalen van hogere niveaus direct invloed hebben op hoe lagere niveaus reageren op input.
Feedback van hogere lagen verbetert niet alleen de foutsignalering; het kan ook minder verwerkende neuronen aanmoedigen om in realtime "beter" te presteren, zegt Richards. Tot dusverre presteerde het netwerk niet beter dan andere niet-biologische deep learning-netwerken. Maar het maakt niet uit.
"Diep leren heeft een enorme impact gehad op AI, maar tot nu toe was de impact op de neurowetenschappen beperkt", zeggen de auteurs van het onderzoek. Nu hebben neurowetenschappers een excuus om een experimentele test uit te voeren en erachter te komen of de structuur van neuronen ten grondslag ligt aan het natuurlijke algoritme van diep leren. Misschien zal in de komende tien jaar een wederzijds voordelige uitwisseling van gegevens tussen neurowetenschappers en onderzoekers van kunstmatige intelligentie beginnen.
Ilya Khel
