Aan de westkust van Amerika proberen 's werelds meest waardevolle bedrijven kunstmatige intelligentie slimmer te maken. Google en Facebook scheppen op over experimenten met miljarden foto's en duizenden krachtige processors. Maar eind vorig jaar overtrof een project in het oosten van Tennessee stilletjes de schaal van elk AI-laboratorium voor bedrijven. En het werd gerund door de Amerikaanse regering.
Supercomputer van de Amerikaanse regering breekt records
Het recordbrekende project betrof 's werelds krachtigste supercomputer, Summit, in het Oak Ridge National Laboratory. Deze auto won afgelopen juni de kroon en gaf de titel vijf jaar later terug aan de Verenigde Staten toen China bovenaan de lijst stond. Als onderdeel van een klimaatonderzoeksproject lanceerde een gigantische computer een machine learning-experiment dat sneller ging dan ooit tevoren.
De Summit, die een oppervlakte beslaat die gelijk is aan twee tennisbanen, gebruikte in dit project meer dan 27.000 krachtige GPU's. Hij gebruikte hun kracht om deep learning-algoritmen te trainen, de technologie die ten grondslag ligt aan geavanceerde kunstmatige intelligentie. Bij deep learning voeren algoritmen oefeningen uit met een miljard miljard bewerkingen per seconde, in supercomputerkringen bekend als een exaflop.
"Diep leren heeft dit prestatieniveau nog nooit bereikt", zegt Prabhat, leider van het onderzoeksteam bij het National Energy Research Center van het Lawrence Berkeley National Laboratory. Zijn team werkte samen met onderzoekers van het hoofdkantoor van Summit, Oak Ridge National Laboratory.
Zoals je wellicht vermoedt, was de AI-training van 's werelds krachtigste computer gericht op een van' s werelds grootste uitdagingen: klimaatverandering. Technologiebedrijven trainen algoritmen om gezichten of verkeersborden te herkennen; regeringswetenschappers hebben hen getraind om weerpatronen zoals cyclonen te herkennen aan de hand van klimaatmodellen die honderdjarige voorspellingen van de atmosfeer van de aarde samenpersen tot drie uur. (Het is echter onduidelijk hoeveel energie het project nodig heeft en hoeveel koolstof daarbij in de lucht is vrijgekomen).
Promotie video:
Het Summit-experiment heeft gevolgen voor de toekomst van kunstmatige intelligentie en klimatologie. Het project toont het wetenschappelijke potentieel aan van het aanpassen van deep learning aan supercomputers die traditioneel fysische en chemische processen simuleren, zoals nucleaire explosies, zwarte gaten of nieuwe materialen. Het laat ook zien dat machine learning kan profiteren van meer rekenkracht - als je die kunt vinden - en voor doorbraken kan zorgen in de toekomst.
"We wisten niet dat het op deze schaal mogelijk was totdat we het deden", zegt Rajat Monga, CTO bij Google. Hij en andere Googlers hielpen het project door de open source TensorFlow-software voor machine learning van het bedrijf aan te passen voor de gigantische omvang van Summit.
Veel van het werk aan deep learning-schaalvergroting is gedaan in de datacentra van internetbedrijven, waar servers samenwerken aan problemen en ze scheiden omdat ze relatief onsamenhangend zijn in plaats van gebundeld in één gigantische computer. Supercomputers zoals Summit hebben een andere architectuur, met gespecialiseerde hogesnelheidsverbindingen die hun duizenden processors verbinden in een enkel systeem dat als geheel kan werken. Tot voor kort was er relatief weinig werk om machine learning aan te passen aan dit soort hardware.
Monga zegt dat het werk om TensorFlow aan te passen aan de Summit-schaal ook de inspanningen van Google zal ondersteunen om zijn interne kunstmatige-intelligentiesystemen uit te breiden. Nvidia-ingenieurs namen ook deel aan dit project en zorgden ervoor dat tienduizenden Nvidia-GPU's in deze machine probleemloos werken.
Het vinden van manieren om meer rekenkracht te benutten in deep learning-algoritmen heeft een grote rol gespeeld in de huidige ontwikkeling van technologie. Dezelfde technologie die Siri gebruikt voor spraakherkenning en Waymo-auto's voor het lezen van verkeersborden werd in 2012 nuttig nadat wetenschappers het hadden aangepast voor gebruik op Nvidia GPU's.
In een analyse die afgelopen mei werd gepubliceerd, schatten wetenschappers van OpenAI, een onderzoeksinstituut in San Francisco opgericht door Elon Musk, dat de hoeveelheid rekenkracht in de grootste openbare experimenten met machine learning sinds 2012 ongeveer elke 3,43 maanden is verdubbeld; dit zou een 11-voudige toename in een jaar betekenen. Deze progressie hielp de Alphabet-bot de kampioenen te verslaan in uitdagende bord- en videogames, en verbeterde ook aanzienlijk de nauwkeurigheid van de vertaler van Google.
Google en andere bedrijven maken momenteel nieuwe soorten AI-compatibele chips om deze trend voort te zetten. Google zegt dat pods met duizenden van hun AI-chips dicht bij elkaar - gedupliceerde tensorprocessors of TPU's - 100 petaflops aan verwerkingskracht kunnen leveren, een tiende van de snelheid die Summit bereikt.
De bijdragen van Summit aan klimaatwetenschap laten zien hoe gigantische AI ons begrip van toekomstige weersomstandigheden kan verbeteren. Wanneer onderzoekers eeuwenoude weersvoorspellingen genereren, wordt het lezen van de resulterende weersvoorspelling een uitdaging. Stel je voor dat je een YouTube-film hebt die al 100 jaar draait. Er is geen manier om alle katten en honden in deze film handmatig te vinden”, zegt Prabhat. Meestal wordt software gebruikt om dit proces te automatiseren, maar het is niet perfect. De resultaten van de Summit toonden aan dat machine learning dit veel beter kan, wat zou moeten helpen bij het voorspellen van stormen zoals overstromingen.
Volgens Michael Pritchard, een professor aan de University of California, Irvine, is het lanceren van deep learning op supercomputers een relatief nieuw idee dat op een geschikt moment kwam voor klimaatonderzoekers. De vertraging in de ontwikkeling van traditionele processors heeft ertoe geleid dat ingenieurs supercomputers hebben uitgerust met een toenemend aantal grafische chips om de prestaties consistenter te verbeteren. "De tijd is gekomen dat je de verwerkingskracht niet meer op de gebruikelijke manier kunt vergroten", zegt Pritchard.
Door deze verschuiving kwam het traditionele modellenwerk tot stilstand en moest daarom worden aangepast. Het opent ook de deur naar het benutten van de kracht van deep learning, dat zich natuurlijk leent voor grafische chips. Misschien krijgen we een duidelijker beeld van de toekomst van ons klimaat.
Ilya Khel