Cerebras Systems, een jong bedrijf op het gebied van kunstmatige intelligentie, is klaar om de wereld de Cerebras WSE (Cerebras Wafer Scale Engine) te laten zien - de grootste, krachtigste en slimste halfgeleiderchip in de geschiedenis.
Cerebras WSE heeft 1,2 biljoen transistors, eenvoudige elektronische schakelaars, die de bouwstenen zijn van siliciumchips. Ter vergelijking: de eerste 4004-processor van Intel, uitgebracht in 1971, had 2.300 transistors, terwijl de nieuwste Advanced Micro Devices-processor 32 miljard transistors heeft. Het probleem hier is echter helemaal niet over het aantal transistors.
De meeste chips ter wereld zijn eigenlijk een set chips die zijn gemaakt op basis van een 12-inch siliciumwafel - ze worden in grote series in speciale fabrieken geproduceerd. Maar de Cerebras Systems-chip bestaat uit 400.000 kernen die op één plaat zijn aangesloten. De verbindingen zijn ontworpen om met hoge snelheden te werken, daarom werken een biljoen transistors als één geheel samen. Maar dat is niet alles.
Tot op heden is 's werelds grootste chip gemaakt door Samsung - de structuur is gebouwd op 2 biljoen transistors. De Samsung-chip is echter slechts een enorme geheugenkaart en de Cerebras-chip is het meest complexe neurale netwerk dat speciaal is gemaakt voor het trainen van kunstmatige intelligentie. De Cerebras-chip heeft 400.000 kernen in 42.225 vierkante millimeter. Dat is 56,7x groter dan de grootste GPU van Nvidia met slechts 21,1 miljard transistors.
Een ander kenmerk van Cerebras WSE is dat de chip is ontworpen om rond defecte gebieden te worden geleid.
Het is niet mogelijk om de volledige siliciumwafel te perfectioneren tijdens de fabricage van chips, dus het fabricageproces creëert gebieden die onbruikbaar zijn. Nvidia, Intel en andere chipmakers omzeilen het probleem simpelweg: ze snijden de "juiste" chips in de fabricagewafel en gooien de rest weg. Maar dit is niet mogelijk als elke chip van de siliciumwafel deel uitmaakt van een gemeenschappelijk circuit. Daarom moest Cerebras overtollige circuits inbouwen zodat, in het geval van een storing of burn-out van een van hen, de rest zijn functies zou overnemen. Dat is in feite de Cerebras-chip is een miniatuur-internet met eigen servers en werkstations. En al deze stations zijn ontworpen om kunstmatige intelligentie te dienen.
Bedrijven die hun eigen AI ontwikkelen, zijn tegenwoordig de belangrijkste gebruikers van chiptechnologie en kopen onderdelen in enorme hoeveelheden. En de grootte van de gebruikte chips is van cruciaal belang in het AI-trainingsproces.
Promotie video:
Google, Facebook, OpenAI, Tencent, Baidu en vele anderen beweren dat een fundamentele beperking van moderne AI is dat het te lang duurt om modellen te trainen. De supercomputer van Nvidia, bestaande uit tientallen ultramoderne GPU's, besteedt bijvoorbeeld enkele weken aan het aanpassen van de code - dat wil zeggen het leren van het neutronennetwerk.
De oplossing voor het probleem zou zijn om het aantal chips in de computer te vergroten, maar als er meer dan acht chips worden geassembleerd, neemt de prestatie van de computer niet langer toe, maar neemt deze af, aangezien fouten zich opstapelen tijdens de uitwisseling van informatie.
De ontwikkelaars omschrijven hun project zelf als volgt: “Het moeilijkste onderdeel voor AI is het verplaatsen van data. Het trainen van een neuraal netwerk vereist duizenden bewerkingen die op elk moment parallel moeten worden uitgevoerd, en de chips moeten constant communiceren terwijl ze deze parallelle bewerkingen uitvoeren. Maar computers met meerdere IC's gaan kapot bij het proberen gegevens tussen IC's over te dragen via langzame draden die ze met elkaar verbinden op een PCB. U had iets nodig dat gegevens kon verplaatsen met de snelheid van de chip zelf. De oplossing was om de grootste plaat die je kunt vinden te nemen en er de grootste chip uit te snijden."
Geheugen is een belangrijk onderdeel van elke computerarchitectuur. Geheugen dichter bij de rekeneenheden zorgt voor snellere berekeningen, lagere latentie en betere energie-efficiëntie bij het verplaatsen van gegevens. De grootte van de matrijs is echter beperkt en het grootste deel van het geheugen in de computer bevindt zich buiten de matrijs. Cerebras Systems omzeilde dit probleem en gaf elke kern toegang tot 18 gigabyte intern geheugen. Als gevolg hiervan heeft de Cerebras Wafer Scale Engine 3.000 keer meer intern geheugen dan de meest geavanceerde grafische processor, terwijl hij 10.000 keer meer bandbreedte levert.
De eerste exemplaren van de nieuwe chip zullen in september in de verkoop gaan, terwijl Cerebras Systems, die alle bestaande regels van de computerindustrie heeft geschonden, ook het principe heeft geschonden om de productie van rekeneenheden en chips te scheiden. De Cerebras Wafer Scale Engine zal op de markt worden gebracht als een enkel, door het bedrijf ontwikkeld apparaat dat is geïntegreerd in een complex waterkoelingsnetwerk, aangezien de chip extreme hitte genereert en 15 kilowatt verbruikt in zo'n klein gebied.
Cerebras Systems 'oprichter en waarnemend CEO zegt: “Cerebras WSE, van de grond af ontworpen om met AI te werken, bevat fundamentele innovaties die eindelijk de decennia-oude stagnatie van de huidige stand van de techniek doorbreken. Het resultaat is dat Cerebras WSE honderden of duizenden keren prestatieverbeteringen oplevert ten opzichte van moderne modulaire oplossingen. En dit alles met een belachelijk stroomverbruik en weinig ruimte."
Redactionele commentaar
De eerste AI-tests op basis van Cerebras WSE laten zien dat de taken die de top-AI van Nvidia weken en maanden oplost, Cerebras WSE binnen een minuut oplost, wat als het ware reden tot vreugde is. De complottheoretici hebben in dit opzicht echter weinig vreugde.
We herinneren ons allemaal (in ieder geval de oudere generatie van onze lezers) de computerboom van het "onstuimige jaren 90" -model, toen in een paar jaar de kracht van computers met ordes van grootte sprong. Nauwelijks had iemand, stralend van trots, een computer met 16 megabyte geheugen gekocht, of na korte tijd verhuisde dit geheugen naar L2-cache.
Sinds het begin van de jaren 2000 leek de computerindustrie echter te zijn gestopt: als computers van de typen 1990 en 2000 niet vergelijkbaar waren, dan was er geen specifiek verschil tussen computers van de modellen 2000 en 2010 - het vermogen nam aanzienlijk toe, maar niet met ordes van grootte. En nu zijn we getuige van de geboorte van de tweede Intel 8086, en nu zullen de mogelijkheden van de Cerebras WSE-lijn in hetzelfde tempo springen: alle problemen met onzuiverheden en kernverbindingen zijn nu opgelost.
We kennen niet alle mogelijkheden van moderne AI van toonaangevende fabrikanten, maar volgens de algemene mening zijn deze producten nog geen AI en zijn ze nog verre van een volwaardig denkapparaat. Desalniettemin zette Cerebras WSE niet alleen een stap in de goede richting, maar sprong het tien jaar, zo niet meer vooruit, en nu is SkyNet al een behoorlijk voorzienbaar vooruitzicht dat dit jaar in 2025 kan worden gerealiseerd.
Bovendien is in SkyNet, in tegenstelling tot saaie homosapiens, veel tijd nodig voor verdere ontwikkeling: een neuraal netwerk hoeft alleen maar een beetje uit zichzelf te denken - en het past zich in een oogwenk aan, waarna het een nucleaire oorlog begint of zoiets. En het zal nog steeds een heel goede optie zijn.
Wanneer een flashdrive met een biljoen transistors wordt gemaakt door Samsung of Nvidia, kan dit alles nog steeds op de een of andere manier worden verklaard, aangezien de logische geheugencircuits relatief eenvoudig zijn en bijna overal van hetzelfde type. Maar de ontwikkeling van 400.000 kernen die tegelijkertijd ploegen, en er zijn ook enkele duplicaten, en sommige serverstations en de hel weet wat. En hiervoor moet je ook controleprogramma's schrijven die al jaren geschreven zijn. Vervolgens moeten de programma's worden getest. Maar waar werden ze op getest als het apparaat pas nu werd gemaakt?
Met andere woorden, het lijkt erop dat de "marsmannetjes" hun bakken weer hebben geopend voor de lokale inboorlingen. En er zijn grote twijfels of dit is gedaan om gamers te plezieren - hoogstwaarschijnlijk is er hier een andere taak. En het lijkt ons als volgt.
In de afgelopen decennia stellen slimme mensen zich steeds meer de vraag naar de oorsprong van elektronische technologie, de vraag naar universele chipisatie, waarvan niet duidelijk is waarom het nodig is, enzovoort. Om hun hersens op de een of andere manier voor de gek te houden, bedachten ze een sprookje over een "kwantumcomputer", waarvan de principes zelfs niet worden begrepen door mensen die zijn benoemd tot de officiële "ontwikkelaars". En stel je nu de gruwel voor van de gemiddelde Mexicaanse huisvrouw, wiens nieuwe mobiele telefoon niet alleen beter zal denken dan zij, maar ook een soort 'kwantumcomputer' aan boord zal hebben. Dat wil zeggen, zo'n dwaas is onaanvaardbaar voor lokale inboorlingen - ze zullen in drommen gek worden.
Daarom besloten enkele slimme 'marsmannetjes' om de tweevoetige aboriginals van planeet Aarde een eenvoudiger wonder te laten zien - de principes waarvan de oudsten van NASA op zijn minst op de een of andere manier kunnen verklaren. En als de inboorlingen het verhaal accepteren, dan zullen de "Marsbewoners" de mensen andere magische wonderen laten zien. Ze zullen deze Cerebras WSE bijvoorbeeld in een mobiele telefoon stoppen en voor honderd dollar verkopen. Voor kopers van modieuze gadgets wordt dit natuurlijk heel gaaf en goed, maar men denkt meteen wat slimmer: wat staat er dan in de serverruimtes van verschillende serieuze organisaties, zoals de NSA, de FBI en de CIA? Wat zijn de mogelijkheden om het denken en het gedrag van de bevolking te sturen?
