In de afgelopen 10 jaar hebben we dankzij de zogenaamde deep learning-methode de beste kunstmatige intelligentiesystemen mogen ontvangen - bijvoorbeeld spraakherkenners op smartphones of de nieuwste automatische vertaler van Google. Diep leren is in feite een nieuwe trend geworden in de toch al beroemde neurale netwerken die in zwang zijn en al meer dan 70 jaar verschijnen. Neurale netwerken werden voor het eerst voorgesteld door Warren McCullough en Walter Pitts in 1994, twee onderzoekers aan de Universiteit van Chicago. In 1952 gingen ze aan het Massachusetts Institute of Technology werken om de basis te leggen voor het eerste Department of Cognition.
Neurale netwerken waren een van de belangrijkste onderzoekslijnen in zowel de neurowetenschappen als de informatica tot 1969, toen ze volgens de legende werden vermoord door MIT-wiskundigen Marvin Minsky en Seymour Papert, die een jaar later co-hoofden werden van MIT's nieuwe kunstmatige intelligentielab.
Deze methode beleefde een heropleving in de jaren tachtig, vervaagde enigszins in de schaduw in het eerste decennium van de nieuwe eeuw, en keerde terug met fanfare in het tweede, op de top van de ongelooflijke ontwikkeling van grafische chips en hun verwerkingskracht.
"Er is een perceptie dat ideeën in de wetenschap als epidemieën van virussen zijn", zegt Tomaso Poggio, hoogleraar cognitie en hersenwetenschappen aan het MIT. “Er zijn waarschijnlijk vijf of zes belangrijke stammen van influenzavirussen, en een daarvan komt terug met een benijdenswaardig tempo van 25 jaar. Mensen raken besmet, krijgen immuniteit en worden de komende 25 jaar niet ziek. Dan verschijnt er een nieuwe generatie, klaar om geïnfecteerd te worden met dezelfde virusstam. In de wetenschap worden mensen verliefd op een idee, het maakt iedereen gek, dan slaan ze het dood en verwerven ze immuniteit ervoor - ze worden er moe van. Ideeën zouden een vergelijkbare frequentie moeten hebben."
Zware vragen
Neurale netwerken zijn een methode van machine learning waarbij een computer leert bepaalde taken uit te voeren door trainingsvoorbeelden te analyseren. Meestal worden deze voorbeelden vooraf handmatig getagd. Een objectherkenningssysteem kan bijvoorbeeld duizenden getagde afbeeldingen van auto's, huizen, koffiekopjes enzovoort absorberen en vervolgens visuele patronen in die afbeeldingen vinden die consistent correleren met bepaalde tags.
Een neuraal netwerk wordt vaak vergeleken met het menselijk brein, dat ook zulke netwerken heeft, bestaande uit duizenden of miljoenen eenvoudige verwerkingsknooppunten, die nauw met elkaar verbonden zijn. De meeste moderne neurale netwerken zijn georganiseerd in lagen van knooppunten, en gegevens stromen erdoorheen in slechts één richting. Een individueel knooppunt kan worden geassocieerd met verschillende knooppunten in de laag eronder, waarvan het gegevens ontvangt, en verschillende knooppunten in de laag erboven, waarnaar het gegevens verzendt.
Promotie video:
Het knooppunt kent een nummer toe aan elk van deze inkomende links - "gewicht". Als het netwerk actief is, ontvangt het knooppunt verschillende sets gegevens - verschillende nummers - voor elk van deze verbindingen en vermenigvuldigt het met het juiste gewicht. Vervolgens telt hij de resultaten op tot één getal. Als dit aantal onder de drempel ligt, verzendt het knooppunt geen gegevens naar de volgende laag. Als het aantal de drempel overschrijdt, wordt het knooppunt "wakker" door het nummer - de som van de gewogen invoergegevens - naar alle uitgaande verbindingen te sturen.
Wanneer een neuraal netwerk wordt getraind, worden alle gewichten en drempels in eerste instantie in willekeurige volgorde ingesteld. De trainingsgegevens worden ingevoerd in de onderste laag - de invoerlaag - en gaan door opeenvolgende lagen, vermenigvuldigd en toegevoegd op een complexe manier, totdat ze uiteindelijk, al getransformeerd, aankomen in de uitvoerlaag. Tijdens de training worden gewichten en drempels continu aangepast totdat trainingsgegevens met dezelfde labels vergelijkbare conclusies opleveren.
Geest en machines
De neurale netwerken beschreven door McCullough en Pitts in 1944 hadden zowel drempels als gewichten, maar waren niet in lagen georganiseerd en wetenschappers specificeerden geen specifiek leermechanisme. Maar McCullough en Pitts toonden aan dat een neuraal netwerk in principe elke functie kan berekenen, zoals elke digitale computer. Het resultaat was meer afkomstig uit de neurowetenschappen dan uit de informatica: aangenomen moest worden dat het menselijk brein kan worden gezien als een computerapparaat.
Neurale netwerken blijven een waardevol hulpmiddel voor neurobiologisch onderzoek. Individuele lagen van het netwerk of regels voor het aanpassen van gewichten en drempels reproduceerden bijvoorbeeld de waargenomen kenmerken van menselijke neuroanatomie en cognitieve functies, en beïnvloedden daarom hoe de hersenen informatie verwerken.
Het eerste trainbare neurale netwerk, de Perceptron (of Perceptron), werd in 1957 gedemonstreerd door Cornell University psycholoog Frank Rosenblatt. Het ontwerp van Perceptron was vergelijkbaar met een modern neuraal netwerk, behalve dat het een enkele laag had met instelbare gewichten en drempels tussen de invoer- en uitvoerlagen.
"Perceptrons" werden actief onderzocht in de psychologie en informatica tot 1959, toen Minsky en Papert een boek publiceerden genaamd "Perceptrons", waaruit bleek dat het uitvoeren van vrij conventionele berekeningen op perceptrons onpraktisch was in termen van tijd.
"Natuurlijk verdwijnen alle beperkingen als je de machines wat complexer maakt", bijvoorbeeld in twee lagen ", zegt Poggio. Maar in die tijd had het boek een huiveringwekkend effect op neuraal netwerkonderzoek.
"Deze dingen zijn het overwegen waard in een historische context", zegt Poggio. “Het bewijs is gebouwd voor programmeren in talen als Lisp. Niet lang daarvoor gebruikten mensen stilletjes analoge computers. Het was destijds niet helemaal duidelijk waar de programmering toe zou leiden. Ik denk dat ze het een beetje overdreven hebben, maar zoals altijd kun je niet alles in zwart en wit verdelen. Als je het ziet als een wedstrijd tussen analoog en digitaal computergebruik, dan vochten ze voor wat nodig was."
Periodiciteit
Tegen de jaren tachtig hadden wetenschappers echter algoritmen ontwikkeld om neurale netwerkgewichten en -drempels te wijzigen die efficiënt genoeg waren voor netwerken met meer dan één laag, waardoor veel van de door Minsky en Papert geïdentificeerde beperkingen werden opgeheven. Dit gebied heeft een Renaissance meegemaakt.
Maar vanuit een redelijk oogpunt ontbrak er iets in de neurale netwerken. Een trainingssessie die lang genoeg is, kan leiden tot een herziening van de netwerkinstellingen totdat de gegevens op een bruikbare manier worden geclassificeerd, maar wat betekenen deze instellingen? Naar welke kenmerken van de afbeelding kijkt de objectherkenner en hoe worden ze samengevoegd om de visuele handtekeningen van auto's, huizen en kopjes koffie te vormen? Een studie van de gewichten van individuele verbindingen zal deze vraag niet beantwoorden.
In de afgelopen jaren zijn computerwetenschappers begonnen met het bedenken van ingenieuze methoden om de analytische strategieën van neurale netwerken te bepalen. Maar in de jaren tachtig waren de strategieën van deze netwerken onbegrijpelijk. Daarom werden rond de eeuwwisseling neurale netwerken vervangen door vectormachines, een alternatieve benadering van machinaal leren gebaseerd op pure en elegante wiskunde.
De recente stijging van de belangstelling voor neurale netwerken - de deep learning-revolutie - is te danken aan de game-industrie. De complexe graphics en het hoge tempo van moderne videogames vereist hardware die de trend kan bijhouden, wat resulteert in een GPU (grafische verwerkingseenheid) met duizenden relatief eenvoudige verwerkingskernen op een enkele chip. Wetenschappers beseften al snel dat GPU-architectuur perfect was voor neurale netwerken.
Moderne GPU's maakten het mogelijk om netwerken uit de jaren zestig en twee- en drielaagse netwerken uit de jaren tachtig op te bouwen tot bundels van 10-, 15- en zelfs 50-laags netwerken van vandaag. Dit is waar het woord "diep" verantwoordelijk voor is bij "diep leren". Tot in de diepte van het netwerk. Deep learning is momenteel verantwoordelijk voor de meest efficiënte systemen op bijna alle gebieden van onderzoek naar kunstmatige intelligentie.
Onder de motorkap
De ondoorzichtigheid van het netwerk baart theoretici nog steeds zorgen, maar er is vooruitgang op dit gebied. Poggio leidt een onderzoeksprogramma over de theoretische grondslagen van intelligentie. Onlangs hebben Poggio en zijn collega's een theoretische studie van neurale netwerken in drie delen uitgebracht.
Het eerste deel, dat vorige maand werd gepubliceerd in het International Journal of Automation and Computing, behandelt de reeks berekeningen die deep learning-netwerken kunnen uitvoeren en wanneer diepe netwerken profiteren van ondiepe. Deel twee en drie, die zijn uitgebracht als lezingen, gaan over de uitdagingen van globale optimalisatie, dat wil zeggen, ervoor zorgen dat het netwerk de instellingen vindt die het beste passen bij de trainingsgegevens, evenals gevallen waarin het netwerk de specifieke kenmerken van de trainingsgegevens zo goed begrijpt. die andere manifestaties van dezelfde categorieën niet kunnen generaliseren.
Er staan nog veel theoretische vragen te wachten, waarop de antwoorden zullen moeten worden gegeven. Maar er is hoop dat neurale netwerken eindelijk in staat zullen zijn om de cyclus van generaties te doorbreken die hen in hitte en soms kou dompelen.
ILYA KHEL
