Het gebied van kunstmatige intelligentie wordt vaak vergeleken met de olie-industrie: eenmaal gewonnen en verfijnd, kunnen data, net als olie, een zeer winstgevend product worden. Het wordt nu echter duidelijk dat deze metafoor zich uitbreidt. Net als fossiele brandstoffen heeft deep learning een enorme impact op het milieu. In een nieuwe studie beoordeelden wetenschappers van de Universiteit van Massachusetts Amherst de leerlevenscyclus van verschillende veelvoorkomende grote AI-modellen.
Het ontdekte dat dit proces meer dan 626.000 pond (ongeveer 300.000 kg) kooldioxide-equivalent kan genereren, bijna vijf keer de uitstoot van een normale auto in vijf jaar (inclusief de productie van de auto zelf).
Hoe AI-modellen worden getraind
Dit is een verbluffende kwantificering van wat AI-onderzoekers al lang vermoedden.
CO2-voetafdruk van natuurlijke taalverwerking
Promotie video:
De paper behandelt specifiek het proces van het trainen van een model voor natuurlijke taalverwerking (NLP), een deelgebied van AI dat zich bezighoudt met het trainen van machines om met menselijke taal te werken. In de afgelopen twee jaar heeft de NLP-gemeenschap verschillende belangrijke mijlpalen bereikt op het gebied van automatische vertaling, het invullen van zinnen en andere standaard beoordelingstaken. Het beruchte OpenAI GPT-2-model is er bijvoorbeeld in geslaagd overtuigende nepnieuwsverhalen te schrijven.
Maar voor dergelijke vorderingen moesten steeds grotere modellen worden getraind op uitgebreide datasets van zinnen die van internet zijn gehaald. Deze benadering is rekenkundig duur en zeer energie-intensief.
De onderzoekers keken naar de vier modellen in het gebied die verantwoordelijk zijn voor de grootste prestatiesprongen: Transformer, ELMo, BERT en GPT-2. Ze trainden elk van hen een dag op een enkele GPU om het stroomverbruik te meten.
Vervolgens namen ze het aantal trainingsuren zoals gespecificeerd in de originele modeldocumenten om het totale energieverbruik tijdens het hele trainingsproces te berekenen. Dat bedrag werd omgezet in het equivalent van kilo kooldioxide, wat consistent was met de AWS-energiemix van Amazon, 's werelds grootste cloudprovider.
Het ontdekte dat de reken- en milieukosten van training evenredig met de grootte van het model toenamen, en vervolgens exponentieel toenamen wanneer de uiteindelijke nauwkeurigheid van het model werd aangepast. Een zoektocht naar een neurale architectuur die probeert een model te optimaliseren door de neurale netwerkstructuur geleidelijk te veranderen door middel van vallen en opstaan, brengt extreem hoge kosten met zich mee met weinig prestatiewinst. Zonder dat had het duurste BERT-model een ecologische voetafdruk van 1.400 pond (635 kg) achtergelaten, dicht bij een trans-Amerikaanse rondreis.
Bovendien mogen deze cijfers alleen als uitgangswaarden worden beschouwd.
In totaal schatten de wetenschappers dat het proces van het creëren en testen van het definitieve model dat publicatie waardig is, het trainen van 4.789 modellen in zes maanden vereist. In termen van CO2-equivalent is dit ongeveer 35.000 kg.
De betekenis van deze cijfers is enorm, zeker gezien de huidige trends in AI-onderzoek. Over het algemeen negeert AI-onderzoek de efficiëntie, omdat wordt erkend dat grote neurale netwerken nuttig zijn voor verschillende taken en bedrijven met onbeperkte computerbronnen deze zullen gebruiken om een concurrentievoordeel te behalen.
Ilya Khel
