Vrijwel alles wat je tegenwoordig over kunstmatige intelligentie hoort, komt van deep learning. Deze categorie algoritmen werkt met statistieken om patronen in gegevens te vinden en heeft bewezen buitengewoon krachtig te zijn in het nabootsen van menselijke vaardigheden, zoals ons vermogen om te zien en te horen. In zeer beperkte mate kan het zelfs ons vermogen om te redeneren nabootsen. Deze algoritmen ondersteunen Google Zoeken, Facebook Newsfeed, Netflix-aanbevelingen en geven vorm aan industrieën zoals de gezondheidszorg en het onderwijs.
Hoe diep leren zich ontwikkelt
Ondanks het feit dat deep learning praktisch in zijn eentje kunstmatige intelligentie aan het publiek heeft gebracht, vertegenwoordigt het slechts een kleine flits in de historische taak van de mensheid om haar eigen intelligentie te reproduceren. Het staat al minder dan een decennium in de voorhoede van deze zoektocht. Als we de hele geschiedenis van dit gebied naast ons neerleggen, is het gemakkelijk te begrijpen dat het binnenkort ook kan verdwijnen.
De plotselinge ups en downs van verschillende methoden hebben AI-onderzoek lang gekenmerkt, zei hij. Elk decennium is er een hevige concurrentie tussen verschillende ideeën. Dan, van tijd tot tijd, wordt de schakelaar omgedraaid en begint de hele gemeenschap één ding te doen.
Onze collega's van MIT Technology Review wilden deze problemen en starts visualiseren. Daartoe wendden ze zich tot een van de grootste databases met open wetenschappelijke artikelen, bekend als arXiv. Ze downloadden fragmenten van in totaal 16.625 artikelen die beschikbaar waren in de AI-sectie tot en met 18 november 2018, en spoorden de woorden op die door de jaren heen werden genoemd om te zien hoe het veld zich heeft ontwikkeld.
Door hun analyse kwamen drie belangrijke trends naar voren: de verschuiving naar machine learning eind jaren 90 en begin 2000, de toename in populariteit van neurale netwerken die begon in het begin van de jaren 2010 en de toename van reinforcement learning in de afgelopen jaren.
Promotie video:
Maar eerst een paar kanttekeningen. Ten eerste dateert het arXiv-gedeelte met AI uit 1993, en de term "kunstmatige intelligentie" dateert uit de jaren 50, dus de database zelf vertegenwoordigt alleen de laatste hoofdstukken van de geschiedenis van het vakgebied. Ten tweede vertegenwoordigen de documenten die elk jaar aan de database worden toegevoegd slechts een fractie van het werk dat momenteel op dit gebied wordt gedaan. ArXiv biedt echter een uitstekende bron om enkele van de belangrijkste onderzoekstrends te identificeren en om het touwtrekken tussen verschillende ideologische kampen te zien.
Het machine learning-paradigma
De grootste verschuiving die de onderzoekers ontdekten, was de verschuiving van op kennis gebaseerde systemen naar het begin van de jaren 2000. Dergelijke computersystemen zijn gebaseerd op het idee dat het mogelijk is om alle menselijke kennis in een systeem van regels te coderen. In plaats daarvan wendden wetenschappers zich tot machine learning, de bovenliggende categorie van algoritmen die diep leren omvat.
Van de 100 genoemde woorden zijn de woorden die verband houden met op kennis gebaseerde systemen - "logica", "beperkingen" en "regel" - het meest afgenomen. En die met betrekking tot machine learning - "data", "netwerk", "performance" - groeiden het meest.
De reden voor deze weersverandering is heel eenvoudig. In de jaren 80 wonnen op kennis gebaseerde systemen aan populariteit onder fans, dankzij de opwinding rond ambitieuze projecten die probeerden gezond verstand in machines te creëren. Maar toen deze projecten zich ontvouwden, stonden de onderzoekers voor een grote uitdaging: er moesten te veel regels worden gecodeerd voordat het systeem iets nuttigs kon doen. Dit leidde tot hogere kosten en een aanzienlijke vertraging van lopende processen.
Het antwoord op dit probleem is machine learning. In plaats van dat mensen handmatig honderdduizenden regels moeten coderen, programmeert deze benadering machines om die regels automatisch uit een stapel gegevens te halen. Evenzo is dit veld afgestapt van op kennis gebaseerde systemen en heeft het zich gericht op het verbeteren van machine learning.
De opkomst van neurale netwerken
Binnen het nieuwe paradigma van machine learning kwam de overgang naar deep learning niet van de ene op de andere dag. In plaats daarvan heeft een analyse van sleuteltermen aangetoond dat wetenschappers naast neurale netwerken, de belangrijkste mechanismen van diep leren, veel methoden hebben getest. Andere populaire methoden waren onder meer Bayesiaanse netwerken, ondersteunende vectormachines en evolutionaire algoritmen, die allemaal verschillende benaderingen gebruiken om patronen in gegevens te vinden.
Tijdens de jaren 1990 en 2000 was er een sterke concurrentie tussen deze methoden. Toen, in 2012, leidde een dramatische doorbraak tot een nieuwe weersverandering. Tijdens de jaarlijkse ImageNet-wedstrijd om de vooruitgang in computervisie te versnellen, behaalde een onderzoeker genaamd Jeffrey Hinton, samen met zijn collega's aan de Universiteit van Toronto, de beste beeldherkenningsnauwkeurigheid met een foutmarge van iets meer dan 10%.
De diepgaande leertechniek die hij gebruikte, heeft een nieuwe golf van onderzoek voortgebracht, eerst in de visualisatiegemeenschap en daarna. Naarmate meer en meer wetenschappers het begonnen te gebruiken om indrukwekkende resultaten te behalen, is de populariteit van deze techniek, samen met de populariteit van neurale netwerken, omhooggeschoten.
De groei van bekrachtigingsleren
De analyse toonde aan dat er een paar jaar na de hoogtijdagen van deep learning een derde en laatste verschuiving in AI-onderzoek heeft plaatsgevonden.
Naast de verschillende machine learning-methoden zijn er drie verschillende typen: begeleid leren, onbewaakt leren en bekrachtigend leren. Begeleid leren, waarbij getagde gegevens naar de machine worden gevoerd, wordt het meest gebruikt en heeft tegenwoordig ook de meest praktische toepassingen. In de afgelopen jaren heeft het leren van bekrachtiging, dat het leerproces van dieren nabootst door middel van wortels en stokken, straffen en beloningen, echter geleid tot een snelle toename van het aantal referenties in de werken.
Het idee zelf is niet nieuw, maar het heeft al tientallen jaren niet gewerkt. "Begeleide leerspecialisten lachten om de specialisten op het gebied van reinforcement learning", zegt Domingos. Maar net als bij diep leren, bracht een keerpunt de methode plotseling naar voren.
Dat moment kwam in oktober 2015, toen AlphaGo van DeepMind, getraind met versterking, de wereldkampioen versloeg in het oude spel go. De impact op de onderzoeksgemeenschap was onmiddellijk.
De komende tien jaar
De MIT Technology Review biedt alleen de laatste momentopname van de concurrentie tussen ideeën die AI-onderzoek kenmerken. Het illustreert echter de inconsistentie van de wens om intelligentie te dupliceren. "Het is belangrijk om te begrijpen dat niemand weet hoe hij dit probleem moet oplossen", zegt Domingos.
Veel van de methoden die al 25 jaar in gebruik zijn, ontstonden rond dezelfde tijd in de jaren vijftig en voldeden niet aan de uitdagingen en successen van elk decennium. Neurale netwerken bereikten bijvoorbeeld een hoogtepunt in de jaren 60 en iets in de jaren 80, maar stierven bijna voordat ze hun populariteit herwonnen dankzij deep learning.
Met andere woorden, elk decennium heeft de dominantie van een andere techniek gezien: neurale netwerken in de late jaren 50 en 60, verschillende symbolische pogingen in de jaren 70, op kennis gebaseerde systemen in de jaren 80, Bayesiaanse netwerken in de jaren 90, referentievectoren in nul en neurale netwerken opnieuw in de jaren 2010.
De jaren 2020 zullen niet anders zijn, zegt Domingos. Dit betekent dat het tijdperk van deep learning wellicht binnenkort voorbij is. Maar wat er daarna zal gebeuren - een oude techniek in een nieuwe glorie of een compleet nieuw paradigma - dit is het onderwerp van felle controverse in de gemeenschap.
Ilya Khel
