Kunstmatige intelligentie. Hoeveel is er over hem gezegd, maar we zijn nog niet eens echt begonnen met praten. Vrijwel alles wat je hoort over de voortgang van kunstmatige intelligentie is gebaseerd op een doorbraak die al dertig jaar oud is. Om het momentum van de vooruitgang te behouden, moeten ernstige en grote beperkingen worden omzeild. Volgende, in de eerste persoon - James Somers.
Ik sta waar het centrum van de wereld straks zal zijn, of gewoon in een grote kamer op de zevende verdieping van een glanzende toren in het centrum van Toronto - naar welke kant ik moet kijken. Ik word vergezeld door Jordan Jacobs, mede-oprichter van deze plek: The Vector Institute, dat dit najaar zijn deuren opent en belooft het wereldwijde epicentrum van kunstmatige intelligentie te worden.
We zijn in Toronto omdat Jeffrey Hinton in Toronto is. En Jeffrey Hinton is de vader van 'deep learning', de techniek achter de AI-hype. "Over 30 jaar zullen we terugkijken en zeggen dat Jeff de Einstein is voor AI, deep learning, of wat we ook kunstmatige intelligentie noemen", zegt Jacobs. Van alle onderzoekers van AI wordt Hinton vaker geciteerd dan de drie die hem volgen samen. Zijn niet-gegradueerde en afgestudeerde studenten gaan aan de slag in het AI-lab bij Apple, Facebook en OpenAI; Hinton is zelf de hoofdwetenschapper van het Google Brain AI-team. Bijna elke vooruitgang in AI in de afgelopen tien jaar - in vertaling, spraakherkenning, beeldherkenning en gaming - heeft iets te maken met het werk van Hinton.
Het Vector Institute, een monument voor de opkomst van Hintons ideeën, is een onderzoekscentrum waar bedrijven uit de hele VS en Canada - zoals Google, Uber en NVIDIA - inspanningen steunen om AI-technologieën te commercialiseren. Het geld stroomt sneller binnen dan Jacobs erom kan vragen; twee van de mede-oprichters hebben bedrijven in de omgeving van Toronto ondervraagd en de vraag naar AI-experts was 10 keer groter dan Canada elk jaar levert. Het Vector Institute is in zekere zin een onontgonnen maagdelijk land om te proberen de wereld te mobiliseren rond deep learning: om te investeren in deze techniek, deze te onderwijzen, aan te scherpen en toe te passen. Datacentra worden gebouwd, wolkenkrabbers staan vol met startups en generaties studenten stromen de regio binnen.
Als je op de vloer van de Vector staat, krijg je het gevoel dat je ergens aan begint. Maar deep learning is in wezen heel oud. Hintons doorbraakartikel, geschreven met David Rumelhart en Ronald Williams, werd in 1986 gepubliceerd. Het werk beschrijft in detail de methode van backpropagation van de fout (backpropagation), in het kort. Backprop, volgens John Cohen, is "alles waar deep learning op gebaseerd is - alles."
In de kern is AI tegenwoordig deep learning, en deep learning is backprop. Wat verbazingwekkend is, aangezien de backprop meer dan 30 jaar oud is. Het is eenvoudigweg nodig om te begrijpen hoe dit is gebeurd: hoe kon de technologie zo lang wachten en dan een explosie veroorzaken? Omdat als je eenmaal de geschiedenis van backprop kent, je zult begrijpen wat er nu met AI gebeurt, en ook dat we misschien niet aan het begin van de revolutie staan. Misschien zijn we aan het einde van een.
De wandeling van het Vector Institute naar het Google-kantoor van Hinton, waar hij het grootste deel van zijn tijd doorbrengt (hij is nu emeritus hoogleraar aan de Universiteit van Toronto), is een soort live-advertentie voor de stad, althans in de zomer. Het wordt duidelijk waarom Hinton, die oorspronkelijk uit het VK komt, hier in de jaren tachtig naartoe verhuisde na te hebben gewerkt aan de Carnegie Mellon University in Pittsburgh.
Promotie video:
Misschien staan we nog niet aan het begin van de revolutie
Toronto is de vierde stad van Noord-Amerika (na Mexico City, New York en Los Angeles) en het is zeker diverser: meer dan de helft van de bevolking is buiten Canada geboren. En je kunt het zien als je door de stad loopt. De menigte is multinationaal. Er is gratis gezondheidszorg en goede scholen, de mensen zijn vriendelijk, politici zijn relatief links en stabiel; dit alles trekt mensen aan zoals Hinton, die zegt dat hij de Verenigde Staten heeft verlaten vanwege de Irangate (Iran-Contra is een groot politiek schandaal in de Verenigde Staten in de tweede helft van de jaren tachtig; toen werd bekend dat bepaalde leden van de Amerikaanse regering geheime levering van wapens aan Iran, waardoor het wapenembargo tegen dat land wordt geschonden). Dit is waar ons gesprek voor de lunch begint.
"Velen dachten dat de VS Nicaragua misschien zouden binnenvallen", zegt hij. "Om de een of andere reden dachten ze dat Nicaragua tot de Verenigde Staten behoort." Hij zegt dat hij onlangs een grote doorbraak heeft gemaakt in het project: "Een zeer goede junior ingenieur begon bij mij te werken", een vrouw genaamd Sarah Sabour. Sabur is Iraans en heeft geen visum gekregen om in de Verenigde Staten te werken. Google's kantoor in Toronto heeft het eruit gehaald.
Hinton is 69 jaar oud. Hij heeft een scherp, dun Engels gezicht met een dunne mond, grote oren en een trotse neus. Hij werd geboren in Wimbledon en doet in gesprek de verteller denken aan een kinderboek over wetenschap: nieuwsgierig, aanlokkelijk, alles proberen uit te leggen. Hij is grappig en speelt een beetje voor het publiek. Het doet hem pijn om te zitten vanwege rugklachten, zodat hij niet kan vliegen, en bij de tandarts gaat hij liggen op een apparaat dat op een surfplank lijkt.
In de jaren tachtig was Hinton, zoals hij nu is, een expert op het gebied van neurale netwerken, een sterk vereenvoudigd model van het netwerk van neuronen en synapsen in onze hersenen. Destijds was men het er echter stellig over eens dat neurale netwerken een doodlopende weg waren in AI-onderzoek. Hoewel het allereerste neurale netwerk, Perceptron, werd ontwikkeld in de jaren zestig en werd beschouwd als de eerste stap naar machine-intelligentie op menselijk niveau, hebben Marvin Minsky en Seymour Papert in 1969 wiskundig bewezen dat dergelijke netwerken alleen eenvoudige functies kunnen uitvoeren. Deze netwerken hadden slechts twee lagen neuronen: een invoerlaag en een uitvoerlaag. Netwerken met een groot aantal lagen tussen input- en outputneuronen konden in theorie een grote verscheidenheid aan problemen oplossen, maar niemand wist hoe ze te trainen, dus in de praktijk waren ze nutteloos. Vanwege de Perceptrons heeft bijna iedereen het idee van neurale netwerken verlaten, op een paar uitzonderingen na.inclusief Hinton.
Hintons doorbraak in 1986 was om aan te tonen dat backpropagation een diep neuraal netwerk met meer dan twee of drie lagen kan trainen. Maar het duurde nog 26 jaar voordat de rekenkracht toenam. In een paper uit 2012 toonden Hinton en twee studenten uit Toronto aan dat diepe neurale netwerken, getraind met backprop, beter presteerden dan de allerbeste beeldherkenningssystemen. Deep Learning begint grip te krijgen. De wereld besloot van de ene op de andere dag dat AI het morgenochtend zou overnemen. Voor Hinton was dit een welkome overwinning.
Realiteitsvervormingsveld
Een neuraal netwerk wordt meestal afgebeeld als een sandwich, waarvan de lagen over elkaar heen liggen. Deze lagen bevatten kunstmatige neuronen, die in wezen kleine rekeneenheden zijn die vuren - als een echt neuron - en deze opwinding overbrengen naar de andere neuronen waarmee ze zijn verbonden. De excitatie van een neuron wordt weergegeven door een getal, zeg 0,13 of 32,39, dat de mate van excitatie van het neuron bepaalt. En er is nog een ander belangrijk nummer, op elk van de verbindingen tussen de twee neuronen, dat bepaalt hoeveel excitatie van de ene naar de andere moet worden overgedragen. Dit getal modelleert de sterkte van synapsen tussen neuronen in de hersenen. Hoe hoger het getal, hoe sterker de verbinding, wat betekent dat er meer opwinding van de een naar de ander stroomt.
Een van de meest succesvolle toepassingen van diepe neurale netwerken is beeldherkenning. Tegenwoordig zijn er programma's die kunnen herkennen of er een hotdog op de foto staat. Zo'n tien jaar geleden waren ze onmogelijk. Om ze te laten werken, moet u eerst een foto maken. Laten we voor de eenvoud zeggen dat dit een zwart-witafbeelding van 100 x 100 pixels is. Je voert het naar het neurale netwerk door het afvuren van elk gesimuleerd neuron in de invoerlaag zo in te stellen dat het gelijk is aan de helderheid van elke pixel. Dit is de onderste laag van de sandwich: 10.000 neuronen (100 x 100) die de helderheid van elke pixel in de afbeelding vertegenwoordigen.
Dan verbind je deze grote laag neuronen met een andere grote laag neuronen, die al hoger is, laten we zeggen, enkele duizenden, en zij op hun beurt met een andere laag van enkele duizenden neuronen, maar minder, enzovoort. Ten slotte zal de bovenste laag van de sandwich - de outputlaag - uit twee neuronen bestaan: de ene vertegenwoordigt de hotdog en de andere niet de hotdog. Het idee is om het neurale netwerk te trainen om alleen de eerste van deze neuronen af te vuren als er een hotdog op de foto staat, en de tweede als dat niet het geval is. Backprop, de backpropagation-techniek waarop Hinton zijn carrière heeft gebouwd, doet precies dat.
Backprop is extreem eenvoudig, hoewel het het beste werkt met enorme hoeveelheden gegevens. Dit is waarom big data zo belangrijk is voor AI - waarom Facebook en Google er zo gepassioneerd over zijn, en waarom het Vector Institute besloot om verbinding te maken met de vier grootste ziekenhuizen in Canada en gegevens te delen.
In dit geval nemen de gegevens de vorm aan van miljoenen afbeeldingen, sommige met hotdogs, andere zonder; de truc is om deze afbeeldingen te markeren als hotdogs. Wanneer u voor het eerst een neuraal netwerk maakt, hebben de verbindingen tussen neuronen willekeurige gewichten - willekeurige getallen die aangeven hoeveel excitatie via elke verbinding wordt verzonden. Alsof de synapsen van de hersenen nog niet zijn afgestemd. Het doel van de backprop is om deze gewichten te veranderen zodat het netwerk werkt: zodat wanneer je het hotdog-beeld naar de onderste laag voert, het hotdogneuron in de bovenste laag vuurt.
Stel dat u de eerste foto van de piano-tutorial maakt. Je converteert de pixelintensiteiten van een 100 x 100 afbeelding naar 10.000 getallen, één voor elk neuron in de onderste laag van het netwerk. Terwijl de opwinding zich door het netwerk verspreidt in overeenstemming met de sterkte van de verbinding van neuronen in de aangrenzende lagen, bereikt alles geleidelijk de laatste laag, een van de twee neuronen die bepalen of er een hotdog op de foto staat. Aangezien dit een afbeelding van een piano is, zou het hotdog-neuron nul moeten weergeven en het niet-hotdog-neuron een hoger getal. Laten we zeggen dat dingen zo niet werken. Laten we zeggen dat het netwerk het bij het verkeerde eind had. Backprop is een procedure om de sterkte van elke verbinding in het netwerk te versterken, zodat u de fout in het gegeven trainingsvoorbeeld kunt corrigeren.
Hoe het werkt? Je begint met de laatste twee neuronen en ontdekt hoe fout ze zijn: wat is het verschil tussen hun schietnummers en wat het eigenlijk zou moeten zijn. Vervolgens kijk je naar elke verbinding die naar deze neuronen leidt - door de lagen heen - en bepaal je hun bijdrage aan de fout. Dit blijf je doen totdat je helemaal onderaan het netwerk bij de eerste set verbindingen komt. Op dit punt weet u hoe de individuele verbinding bijdraagt aan de algehele fout. Ten slotte wijzigt u alle gewichten om de algehele kans op fouten te verkleinen. Deze zogenaamde "foutpropagatietechniek" is dat je fouten terugvoert via het netwerk, beginnend aan de achterkant, naar buiten.
Het ongelooflijke begint te gebeuren wanneer je het doet met miljoenen of miljarden afbeeldingen: het netwerk begint goed te begrijpen of een foto een hotdog is of niet. En wat nog opmerkelijker is, is dat de afzonderlijke lagen van deze beeldherkenningsnetwerken beelden beginnen te "zien" op dezelfde manier als ons eigen visuele systeem. Dat wil zeggen, de eerste laag detecteert contouren - neuronen worden afgevuurd als er contouren zijn en worden niet afgevuurd als ze dat niet zijn; de volgende laag definieert reeksen paden, zoals hoeken; de volgende laag begint vormen te onderscheiden; de volgende laag vindt allerlei elementen zoals "open bun" of "closed bun" omdat de corresponderende neuronen geactiveerd worden. Het netwerk organiseert zichzelf in hiërarchische lagen zonder zelfs maar op deze manier te zijn geprogrammeerd.
Ware intelligentie is niet in de war wanneer het probleem enigszins verandert.
Dit is waar iedereen zo van onder de indruk is. Neurale netwerken zijn niet zozeer goed in het classificeren van hotdog-afbeeldingen: ze bouwen representaties van ideeën. Met tekst wordt dit nog duidelijker. Je kunt de tekst van Wikipedia, vele miljarden woorden, naar een eenvoudig neuraal netwerk leiden en het leren om elk woord getallen te geven die overeenkomen met de excitaties van elk neuron in de laag. Als je al deze getallen beschouwt als coördinaten in een complexe ruimte, vind je een punt, in deze context bekend als een vector, voor elk woord in die ruimte. Vervolgens train je het netwerk zodat woorden die naast elkaar op Wikipedia-pagina's verschijnen, dezelfde coördinaten krijgen - en voila, er gebeurt iets vreemds: woorden met vergelijkbare betekenissen zullen in deze ruimte naast elkaar verschijnen. "Mad" en "overstuur" zullen er zijn; "Drie" en "zeven" ook. VerderMet vectorberekeningen kunt u de vector "Frankrijk" aftrekken van "Parijs", deze toevoegen aan "Italië" en "Rome" in de buurt zoeken. Niemand heeft het neurale netwerk verteld dat Rome voor Italië hetzelfde is als Parijs voor Frankrijk.
"Het is verbazingwekkend", zegt Hinton. "Het is schokkend." Neurale netwerken kunnen worden gezien als een poging om dingen - afbeeldingen, woorden, opnames van gesprekken, medische gegevens - te nemen en ze te plaatsen in, zoals wiskundigen zeggen, een multidimensionale vectorruimte waarin de nabijheid of afgelegen ligging van de dingen de belangrijkste aspecten van de echte wereld zal weerspiegelen. Hinton gelooft dat dit is wat de hersenen doen. 'Als je wilt weten wat een gedachte is', zegt hij, 'kan ik die in een reeks woorden op je overbrengen. Ik kan zeggen: "John dacht 'oeps'. Maar als je vraagt: wat wordt er gedacht? Wat betekent het voor John om deze gedachte te hebben? In zijn hoofd zijn er immers geen aanhalingstekens, "oeps", afsluitende aanhalingstekens, in het algemeen bestaat zoiets niet. Er is een zenuwactiviteit in zijn hoofd. " Grote foto's van neurale activiteit, als je een wiskundige bent, kunnen worden vastgelegd in vectorruimte,waar de activiteit van elk neuron zal overeenkomen met een nummer, en elk nummer zal overeenkomen met de coördinaat van een zeer grote vector. Voor Hinton is het denken een dans van vectoren.
Nu is het duidelijk waarom het Vector Instituut zo heette?
Hinton creëert een soort realiteitsvervormingsveld, een gevoel van zelfvertrouwen en enthousiasme wordt op je overgedragen, waardoor je de overtuiging krijgt dat niets onmogelijk is voor vectoren. Ze hebben tenslotte al zelfrijdende auto's, kankerdetecterende computers en instant gesproken taalvertalers gemaakt.
Pas als je de kamer verlaat, herinner je je dat deze deep learning-systemen ondanks hun demonstratieve denkvermogen nog steeds behoorlijk dom zijn. Een computer die een stapel donuts op een tafel ziet en deze automatisch bestempelt als "een stapel donuts op tafel" lijkt de wereld te begrijpen; maar als hetzelfde programma een meisje haar tanden ziet poetsen en zegt dat ze een 'jongen met een honkbalknuppel' is, besef je hoe ongrijpbaar dit begrip is, als dat er al is.
Neurale netwerken zijn gewoon hersenloze en vage patroonherkenners, en hoe nuttig dergelijke patroonherkenners kunnen zijn - omdat ze deze in elke software proberen te integreren - zijn ze op zijn best een beperkt soort intelligentie dat gemakkelijk kan worden misleid. Een diep neuraal netwerk dat afbeeldingen herkent, kan volledig in de war raken als u één pixel verandert of visuele ruis toevoegt die voor mensen onzichtbaar is. Bijna net zo vaak als we nieuwe manieren vinden om deep learning te gebruiken, worden we vaak geconfronteerd met de beperkingen ervan. Zelfrijdende auto's kunnen niet rijden onder omstandigheden die nog niet eerder zijn gezien. Machines kunnen geen zinnen ontleden die gezond verstand en begrip van hoe de wereld werkt, vereisen.
Deep Learning bootst op een bepaalde manier na wat er in het menselijk brein gebeurt, maar oppervlakkig - wat misschien verklaart waarom zijn intelligentie soms zo oppervlakkig is. Backprop werd niet ontdekt tijdens onderdompeling in de hersenen, in een poging de gedachte zelf te ontcijferen; het groeide uit modellen van dierlijk leren met vallen en opstaan in ouderwetse experimenten. En de meeste belangrijke stappen die sinds het begin zijn genomen, bevatten niets nieuws over neurowetenschappen; dit waren technische verbeteringen die verdiend waren door jaren werk van wiskundigen en ingenieurs. Wat we weten over intelligentie is niets vergeleken met wat we er nog niet van weten.
David Duvenaud, een assistent-professor op dezelfde afdeling als Hinton aan de Universiteit van Toronto, zegt dat deep learning vergelijkbaar is met engineering vóór de introductie van natuurkunde. “Iemand schrijft een werk en zegt: 'Ik heb deze brug gemaakt, en het is het waard!' Een ander schrijft: "Ik heb deze brug gemaakt en hij is ingestort, maar ik heb steunen toegevoegd en hij staat." En iedereen wordt gek op de steunen. Iemand voegt een boog toe - en zo is iedereen: bogen zijn cool! Met natuurkunde kun je er echt achter komen wat werkt en waarom. We zijn pas onlangs begonnen om op zijn minst enig begrip van kunstmatige intelligentie te ontwikkelen."
En Hinton zelf zegt: “De meeste conferenties hebben het over het maken van kleine veranderingen in plaats van hard na te denken en vragen te stellen:“Waarom werkt wat we nu doen niet goed? Wat is hiervan de reden? Laten we ons hierop concentreren."
Het is moeilijk om een perspectief van buitenaf te krijgen als je alleen maar vooruitgang na vooruitgang ziet. Maar de nieuwste ontwikkelingen op het gebied van AI waren minder wetenschappelijk en meer technisch. Hoewel we een beter begrip hebben van welke veranderingen deep learning-systemen zullen verbeteren, hebben we nog steeds een vaag idee van hoe deze systemen werken en of ze ooit samen kunnen komen tot iets zo krachtig als de menselijke geest.
Het is belangrijk om te begrijpen of we alles uit de backprop hebben kunnen halen. Als dat zo is, hebben we een plateau in de ontwikkeling van kunstmatige intelligentie.
Geduld
Als je de volgende doorbraak wilt zien, zoiets als een raamwerk voor machines met veel flexibelere intelligentie, zou je in theorie onderzoek moeten doen dat vergelijkbaar is met backprop-onderzoek in de jaren 80: toen slimme mensen het opgaven omdat hun ideeën nog niet werkten. …
Een paar maanden geleden bezocht ik het Center for Minds, Brains and Machines, een multifunctionele instelling gestationeerd aan het MIT, om te zien hoe mijn vriend Eyal Dechter zijn proefschrift verdedigde in de cognitieve wetenschap. Voor aanvang van de voorstelling steunden zijn vrouw Amy, zijn hond Ruby en zijn dochter Suzanne hem en wensten hem veel succes.
Eyal begon zijn toespraak met een fascinerende vraag: hoe kwam het dat Suzanne, die nog maar twee jaar oud is, leerde spreken, spelen, verhalen volgen? Wat is er in het menselijk brein waardoor hij zo goed kan studeren? Zal een computer ooit zo snel en soepel leren leren?
We begrijpen nieuwe verschijnselen in termen van dingen die we al begrijpen. We splitsen het domein op in stukjes en onderzoeken het stukje bij beetje. Eyal is een wiskundige en programmeur, hij beschouwt taken - zoals het maken van een soufflé - als complexe computerprogramma's. Maar je leert niet hoe je een soufflé moet maken door honderden minuten programma-instructies te onthouden, zoals "draai je elleboog 30 graden, kijk dan naar het tafelblad, steek dan je vinger uit en dan …". Als je dit in elk nieuw geval zou moeten doen, zou het leren ondraaglijk worden en zou je stoppen met ontwikkelen. In plaats daarvan zien we stappen op hoog niveau zoals "sla de blanken" in het programma, die zelf zijn samengesteld uit subroutines zoals "de eieren breken" en "het wit van de dooiers scheiden".
Computers doen dit niet en lijken daarom dom. Om een hotdog diep te leren herkennen, moet je hem 40 miljoen hotdog-afbeeldingen voeren. Wat Suzanne de hotdog herkende, laat haar gewoon de hotdog zien. En lang daarvoor zal ze de taal begrijpen, die veel dieper gaat dan de herkenning van het verschijnen van afzonderlijke woorden bij elkaar. In tegenstelling tot een computer heeft haar hoofd een idee van hoe de wereld werkt. "Het verbaast me dat mensen bang zijn dat computers hun baan zullen aannemen", zegt Eyal. “Computers zullen advocaten niet kunnen vervangen omdat advocaten iets moeilijks doen. Maar omdat advocaten luisteren en met mensen praten. In die zin zijn we ver verwijderd van dit alles."
Ware intelligentie zal niet worden verward als u de vereisten voor het oplossen van het probleem enigszins verandert. En de belangrijkste stelling van Eyal was om precies dit, in principe, aan te tonen hoe je een computer op deze manier kunt laten werken: pas alles wat hij al weet levendig toe om nieuwe problemen op te lossen, begrijp het snel en word een expert op een geheel nieuw gebied.
Dit is in wezen wat hij het algoritme voor exploratie-compressie noemt. Het geeft de computer de functie van een programmeur door een bibliotheek met herbruikbare modulaire componenten op te bouwen, zodat complexere programma's kunnen worden gemaakt. Omdat de computer niets weet over het nieuwe domein, probeert hij de kennis erover te structureren door het eenvoudig te bestuderen, te consolideren wat hij heeft ontdekt en het verder te bestuderen, zoals een kind.
Zijn adviseur, Joshua Tenenbaum, is een van de meest geciteerde AI-onderzoekers. De naam van Tenenbaum kwam naar voren in de helft van de gesprekken die ik had met andere wetenschappers. Enkele van de sleutelfiguren bij DeepMind - het ontwikkelingsteam van AlphaGo dat de legendarische wereldkampioen Go in 2016 versloeg - hebben onder hem gewerkt. Hij is betrokken bij een startup die zelfrijdende auto's een intuïtief begrip wil geven van de onderliggende fysica en bedoelingen van andere automobilisten, zodat ze beter kunnen anticiperen op wat er gebeurt in situaties die ze nog niet eerder zijn tegengekomen.
Het proefschrift van Eyal is nog niet in de praktijk toegepast, het is zelfs niet in de opleidingen geïntroduceerd. "De problemen waaraan Eyal werkt, zijn heel, heel moeilijk", zegt Tenenbaum. "Het duurt vele generaties om voorbij te gaan."
Toen we gingen zitten voor een kop koffie, zei Tenenbaum dat hij ter inspiratie de geschiedenis van backprop aan het onderzoeken was. Backprop is al decennia lang een vorm van coole wiskunde, waarvan de meeste nergens toe in staat zijn. Naarmate computers sneller werden en technologie moeilijker werd, veranderden de dingen. Hij hoopt dat er iets soortgelijks zal gebeuren met zijn eigen werk en dat van zijn studenten, maar "het kan nog wel een paar decennia duren".
Voor Hinton is hij ervan overtuigd dat het overwinnen van de beperkingen van AI gaat over het creëren van een "brug tussen informatica en biologie". Backprop was vanuit dit standpunt een triomf van biologisch geïnspireerde computers; het idee kwam oorspronkelijk niet uit de techniek, maar uit de psychologie. Dus nu probeert Hinton deze truc te herhalen.
Tegenwoordig bestaan neurale netwerken uit grote platte lagen, maar in de menselijke neocortex staan echte neuronen niet alleen horizontaal, maar ook verticaal in kolommen. Hinton raadt waar deze kolommen voor zijn - in het zicht stellen ze je bijvoorbeeld in staat om objecten te herkennen, zelfs als je van standpunt verandert. Dus hij maakt een kunstmatige versie - en noemt ze "capsules" - om deze theorie te testen. Tot nu toe komt er niets uit: de capsules hebben de prestaties van zijn netwerken niet veel verbeterd. Maar 30 jaar geleden was het hetzelfde met backprop.
"Het zou moeten werken", zegt hij over de capsuletheorie, lachend om zijn eigen bravoure. "En wat nog niet werkt, is slechts een tijdelijke irritatie."
Gebaseerd op materialen van Medium.com
Ilya Khel