Een klein, zelfgeorganiseerd netwerk van kunstmatige synapsen onthoudt hun ervaringen en kan eenvoudige problemen oplossen. De makers hopen dat er ooit op basis van dit kunstmatige brein apparaten zullen worden gemaakt die qua energie-efficiëntie niet onderdoen voor de rekenkracht van het brein. Over het algemeen zijn hersenen, als we hun prestaties bij het denken en oplossen van problemen achterwege laten, perfect in hun energie-efficiëntie. De hersenen hebben dezelfde hoeveelheid energie nodig om te werken als een 20 watt gloeilamp absorbeert. En een van de krachtigste en snelste supercomputers ter wereld, Computer K in Kobe, Japan, gebruikt tot 9,89 megawatt aan stroom - ongeveer hetzelfde als 10.000 huishoudens. Maar in 2013 kostte het de machine, zelfs met deze energie, 40 minuten om 1% van de activiteit van het menselijk brein in 1 seconde te simuleren.
En dus hopen onderzoekstechnici van het NanoSystems Institute of California aan de University of California, Los Angeles, te kunnen concurreren met de rekenkundige en energie-efficiënte mogelijkheden van de hersenen, dankzij systemen die de structuur van de hersenen weerspiegelen. Ze creëren een apparaat, mogelijk het eerste in zijn soort, dat 'door de hersenen is geïnspireerd om eigenschappen te genereren die de hersenen in staat stellen te doen wat ze doen', zegt Adam Stig, een onderzoeker en universitair hoofddocent aan het instituut die het project leidt met Jim Gimrzewski, hoogleraar scheikunde aan de Universiteit van Californië. In Los Angeles.
Hun ontwerp is helemaal niet zoals gewone computers, die zijn gebaseerd op kleine draden die zijn geprint op silicium microschakelingen in zeer geordende schakelingen. De huidige experimentele versie is een 2 x 2 mm raster van zilveren nanodraden verbonden door kunstmatige synapsen. In tegenstelling tot siliciumcircuits met zijn geometrische precisie, is dit apparaat geweven als een "goed gemengde spaghettischotel", zegt Stig. Bovendien is de fijne structuur georganiseerd op basis van willekeurige chemische en elektrische processen en is hij niet zorgvuldig ontworpen.
In zijn complexiteit lijkt dit zilveren web op een brein. Er zijn een miljard kunstmatige synapsen per vierkante centimeter van het raster, wat verschillende ordes van grootte verschilt van het echte brein. De elektrische activiteit van het netwerk vertoont ook een eigenschap die uniek is voor complexe systemen zoals de hersenen: "criticaliteit", een toestand tussen orde en chaos die maximale efficiëntie aangeeft.
Dit netwerk van sterk met elkaar verweven nanodraden ziet er misschien chaotisch en willekeurig uit, maar de structuur en het gedrag lijken op die van neuronen in de hersenen. Wetenschappers van NanoSystems ontwikkelen het als een hersenapparaat voor leren en computergebruik.
Bovendien tonen voorlopige experimenten aan dat dit neuromorfe (d.w.z. hersenachtige) zilveren gaas een groot functioneel potentieel heeft. Ze kan al eenvoudige educatieve en logische bewerkingen uitvoeren. Het kan ongewenste ruis uit het ontvangen signaal verwijderen, een belangrijke mogelijkheid voor spraakherkenning en soortgelijke taken die problemen veroorzaken op traditionele computers. En het bestaan ervan bewijst het principe dat het op een dag mogelijk zal zijn om apparaten te maken met een energie-efficiëntie die dicht bij die van de hersenen ligt.
Deze voordelen zijn vooral merkwaardig tegen de achtergrond van de naderende limiet van miniaturisatie en efficiëntie van silicium microprocessoren. "De wet van Moore is dood, halfgeleiders kunnen niet langer kleiner worden en mensen beginnen te klagen over wat ze moeten doen", zegt Alex Nugent, CEO van Knowm, een neuromorf computerbedrijf dat niet betrokken is bij het UCLA-project. “Ik hou van dit idee, deze richting. Conventionele computerplatforms zijn een miljard keer minder efficiënt."
Promotie video:
Schakelt als synapsen
Toen Gimrzewski 10 jaar geleden aan zijn zilveren rasterproject begon te werken, was hij helemaal niet geïnteresseerd in energie-efficiëntie. Hij verveelde zich. Na twintig jaar een scanning tunneling microscoop te hebben gebruikt om elektronica op atomaire schaal te bestuderen, zei hij uiteindelijk: "Ik ben moe van perfectie en nauwkeurige controle en een beetje moe van reductionisme."
Reductionisme, zo moet worden aangenomen, ligt ten grondslag aan alle moderne microprocessors, wanneer complexe verschijnselen en schakelingen kunnen worden verklaard met behulp van eenvoudige verschijnselen en elementen.
In 2007 werd hem gevraagd om individuele atoomschakelaars (of schakelaars) te bestuderen die waren ontwikkeld door de Masakazu Aono-groep van het International Center for Materials on Nanoarchitectonics in Tsukuba, Japan. Deze schakelaars bevatten hetzelfde ingrediënt dat een zilveren lepel zwart maakt wanneer deze een ei raakt: ijzersulfide ingeklemd tussen hard metallisch zilver.
Door spanning op de apparaten aan te brengen, worden de positief geladen zilverionen in het zilversulfide naar de zilverkathodelaag geduwd, waar ze worden gereduceerd tot metallisch zilver. De atomaire zilveren filamenten groeien en sluiten uiteindelijk de opening tussen de metallic zilveren zijkanten. De schakelaar staat aan en er kan stroom vloeien. Het omkeren van de stroom heeft het tegenovergestelde effect: de zilveren bruggen worden ingekort en de schakelaar wordt uitgeschakeld.
Kort na het ontwikkelen van de switch begon de groep van Aono echter ongewoon gedrag te observeren. Hoe vaker de schakelaar werd gebruikt, hoe gemakkelijker hij kon worden ingeschakeld. Als het enige tijd niet is gebruikt, is het geleidelijk vanzelf uitgeschakeld. In wezen herinnerde de schakelaar zich zijn geschiedenis. Aono en zijn collega's ontdekten ook dat de schakelaars met elkaar leken te communiceren, zodat het inschakelen van de ene schakelaar soms andere in de buurt blokkeerde of uitschakelde.
De meerderheid in de groep van Aono wilde deze vreemde eigenschappen buiten schakelaars om bouwen. Maar Gimrzewski en Stig (die net waren gepromoveerd in de groep van Gimrzewski) herinnerden zich synapsen, de schakelingen tussen zenuwcellen in het menselijk brein, die ook de relaties met ervaring en interactie veranderden. En zo was het idee geboren. "We dachten: waarom zouden we dit alles niet proberen te vertalen in een structuur die lijkt op de hersenschors van een zoogdier en het bestuderen?", Zegt Stig.
Het bouwen van zo'n complexe structuur was beslist moeilijk, maar Stig en Odrius Avicenis, die net als afgestudeerde student bij de groep waren gekomen, ontwikkelden hiervoor een protocol. Door zilvernitraat op kleine koperen bolletjes te gieten, kunnen ze microscopisch dunne, elkaar kruisende zilverdraadjes doen groeien. Ze konden dan zwavelgas door dit rooster pompen om een laag zilverachtige sulfide tussen de zilveren draden te creëren, zoals in de atoomschakelaar van het oorspronkelijke Aono-team.
Zelfgeorganiseerde kritiek
Toen Gimzewski en Stig anderen vertelden over hun project, geloofde niemand dat het zou werken. Sommigen zeiden dat het apparaat één type statische activiteit zou vertonen en zich daarop zou vestigen, herinnerde Stig zich. Anderen stelden het tegenovergestelde voor: "Ze zeiden dat de schakelaar in cascade zou draaien en dat de hele structuur gewoon zou doorbranden", zegt Gimzewski.
Maar het apparaat smolt niet. Toen Gimzewski en Stig hem daarentegen door een infraroodcamera keken, veranderde de ingangsstroom de paden die het door het apparaat nam, wat bewijst dat de activiteit op het netwerk niet gelokaliseerd was, maar eerder verspreid, zoals in de hersenen.
Op een herfstdag in 2010, toen Avicenis en zijn collega Henry Sillin de ingangsspanning naar het apparaat verhoogden, merkten ze plotseling dat de uitgangsspanning willekeurig begon te oscilleren, alsof het gaas tot leven was gekomen. "We gingen zitten en keken ernaar, we waren geschokt", zegt Sillin.
Ze vermoedden dat ze iets interessants hadden gevonden. Toen Avicenis de monitoringgegevens over meerdere dagen analyseerde, ontdekte hij dat het netwerk vaker korte dan lange periodes op hetzelfde activiteitsniveau bleef. Later ontdekten ze dat kleine activiteitsgebieden vaker voorkwamen dan grote.
"Mijn mond viel open", zegt Avicenis, omdat het de eerste keer is dat ze een machtswet van hun apparaat leerden. Machtswetten beschrijven wiskundige relaties waarin de ene variabele verandert als de macht van een andere. Ze zijn van toepassing op systemen waarin grotere schalen, langere evenementen minder vaak voorkomen dan kleinere en kortere, maar ze zijn wijdverbreid en niet per ongeluk. Per Bac, een Deense natuurkundige die in 2002 stierf, stelde eerst machtswetten voor als het kenmerk van allerlei complexe dynamische systemen die zich over grote schaal en lange afstanden kunnen organiseren. Dit gedrag, zei hij, geeft aan dat een complex systeem balanceert en functioneert op de gulden middenweg tussen orde en chaos, in een staat van "kritiek", en dat al zijn onderdelen op elkaar inwerken en onderling verbonden zijn voor maximale efficiëntie.
Zoals Buck voorspelde, werd machtswetgedrag waargenomen in het menselijk brein: in 2003 merkte Dietmar Plenz, een neurofysioloog bij de National Institutes of Health, op dat groepen zenuwcellen anderen activeerden, die op hun beurt andere activeerden, wat vaak een systemische cascades van activeringen veroorzaakte. Plenz ontdekte dat de omvang van deze cascades een machtswetverdeling volgt, en de hersenen werkten op een manier die de verspreiding van activiteit maximaliseerde zonder het risico te lopen de controle over de verspreiding te verliezen.
Het feit dat het apparaat van de University of California ook de machtswet in actie heeft aangetoond, is erg belangrijk, zegt Plentz. Omdat daaruit volgt dat het, net als in de hersenen, een delicaat evenwicht heeft tussen activering en remming, waardoor de som van zijn delen blijft werken. De activiteit onderdrukt de set niet, maar stopt ook niet.
Gimrzewski en Stig vonden later een andere overeenkomst tussen het zilveren netwerk en de hersenen: net zoals het slapende menselijke brein minder korte cascades van activering vertoont dan het wakende brein, wordt de korte activeringstoestand in het zilveren netwerk minder gebruikelijk bij lagere input-energieën. Op de een of andere manier kan het verminderen van het stroomverbruik van een apparaat een toestand creëren die lijkt op de slapende toestand van het menselijk brein.
Leren en computergebruik
En hier is de vraag: als een netwerk van zilveren draden hersenachtige eigenschappen heeft, kan het dan rekenproblemen oplossen? Voorlopige experimenten hebben aangetoond dat het antwoord ja is, hoewel het apparaat natuurlijk niet eens in de verte te vergelijken is met een gewone computer.
Ten eerste is er geen software. In plaats daarvan maken de onderzoekers gebruik van het feit dat het netwerk het binnenkomende signaal op verschillende manieren kan verstoren, afhankelijk van waar de output wordt gemeten. Dit biedt een mogelijke toepassing voor spraak- of beeldherkenning, aangezien het apparaat een luidruchtig ingangssignaal moet kunnen opruimen.
Hieruit volgt ook dat de inrichting kan worden gebruikt voor zogenaamde reservoirberekeningen. Aangezien een enkele input in principe vele, miljoenen verschillende outputs kan genereren (vandaar het reservoir), kunnen gebruikers outputs selecteren of combineren zodat het resultaat de gewenste inputberekening is. Als u bijvoorbeeld een apparaat op twee verschillende locaties tegelijk stimuleert, bestaat de kans dat een van de miljoenen verschillende uitgangen de som van de twee ingangen vertegenwoordigt.
De uitdaging is om de juiste conclusies te vinden en deze te decoderen, en erachter te komen hoe de informatie het beste kan worden gecodeerd zodat het netwerk deze kan begrijpen. Dit kan worden gedaan door het apparaat te trainen: door de taak honderden of duizenden keren uit te voeren, eerst met het ene type invoer en vervolgens met een ander, en te vergelijken welke uitvoer de taak beter aankan. "We programmeren het apparaat niet, maar we kiezen de beste manier om de informatie te coderen, zodat het gedrag van het netwerk nuttig en interessant is", zegt Gimrzewski.
In een werk dat binnenkort zal worden gepubliceerd, zullen wetenschappers uitleggen hoe ze een netwerk van draden hebben getraind om eenvoudige logische bewerkingen uit te voeren. En in niet-gepubliceerde experimenten trainden ze het netwerk om een eenvoudig geheugenprobleem op te lossen dat gewoonlijk aan ratten wordt gegeven (het T-doolhof). In de T-doolhof-test wordt de rat beloond als hij een juiste bocht maakt in reactie op licht. Met een eigen versie voor training kan het netwerk 94% van de tijd de juiste keuze maken.
Tot nu toe waren deze resultaten niet meer dan een bewijs van principe, zegt Nugent. "De kleine rat die een beslissing neemt in het T-doolhof komt nooit in de buurt van iets in machine learning dat zijn systemen kan evalueren", zegt hij op een traditionele computer. Hij betwijfelt of het apparaat de komende jaren in een bruikbare chip kan worden veranderd.
Maar het potentieel is enorm, benadrukt hij. Omdat het netwerk, net als de hersenen, verwerking en geheugen niet scheidt. Traditionele computers moeten informatie uitwisselen tussen verschillende domeinen die deze twee functies uitvoeren. "Al deze extra communicatie wordt opgebouwd omdat de draden stroom nodig hebben", zegt Nugent. Als je traditionele computers gebruikt, zou je Frankrijk moeten uitschakelen om een compleet menselijk brein met een behoorlijke resolutie te simuleren. Als apparaten zoals het Silver Network problemen kunnen oplossen met de efficiëntie van machine learning-algoritmen die op traditionele computers worden uitgevoerd, kunnen ze een miljard keer minder stroom verbruiken. En dan is de kwestie klein.
De bevindingen van wetenschappers ondersteunen ook het idee dat, onder de juiste omstandigheden, intelligente systemen kunnen worden gevormd door zelforganisatie zonder een sjabloon of proces voor hun ontwikkeling. Het Silver Network "ontstond spontaan", zegt Todd Hilton, een voormalige DARPA-manager die het project al vroeg ondersteunde.
Gimrzewski is van mening dat een netwerk van zilveren draden of soortgelijke apparaten beter kan zijn dan traditionele computers in het voorspellen van complexe processen. Traditionele computers modelleren de wereld met vergelijkingen die complexe verschijnselen vaak slechts bij benadering beschrijven. Neuromorfe netwerken met atoomschakelaar brengen hun eigen intrinsieke structurele complexiteit in lijn met het fenomeen dat ze simuleren. En ze doen het ook snel - de toestand van het netwerk kan fluctueren met snelheden tot tienduizenden veranderingen per seconde. "We gebruiken een complex systeem om complexe verschijnselen te begrijpen", zegt Gimrzewski.
Eerder dit jaar presenteerden Gimzewski, Stig en hun collega's op een bijeenkomst van de American Chemical Society in San Francisco de resultaten van een experiment waarin ze het apparaat de eerste drie jaar van een zesjarige verkeersdataset in Los Angeles voedden in de vorm van een reeks pulsen die de hoeveelheid passerende auto's per uur. Na honderden uren training voorspelde de output eindelijk de statistische trend van de tweede helft van de dataset, en redelijk goed, ook al werd het niet getoond aan het apparaat.
Misschien gebruikt hij ooit, grapt Gimrzewski, het netwerk om de aandelenmarkt te voorspellen.
Ilya Khel
