Dit is de grootste AI-chip van de wereld

AI is veeleisende technologie. Large Language Models (grote taalmodellen) hebben veel informatie nodig en veel rekenkracht: geen wonder dus dat er mensen zijn die verwachten dat we chiptekorten krijgen zoals in tijden van corona. Ditmaal niet omdat de fabrieken dicht zijn, maar omdat ze de grote vraag door AI niet aankunnen. Chips zijn essentieel voor AI om goed te werken.

Voer voor supercomputers

Supercomputers verwachten daarbij net even iets meer. Daar is zoveel rekenkracht nodig, dat daar vaak speciale processoren voor worden gebakken. Zo ook de WSE-3 van Cerebras, die als eindbestemming de 8-exaFLOP Condor Galaxy 3-supercomputer heeft. Om je een idee te geven van wat zo’n uit de kluiten gewassen chip kan: denk aan het gigantische taalmodel achter ChatGPT, GPT3: die kan volledig worden geïmplementeerd met slechts 565 regels code. Dat is 97 procent minder code dan voor de komst van Cerebras nodig was. Modellen van wel 70 miljard parameters kunnen in slechts één dag worden verwerkt.

Nvidia, een van de bekendste en grootste bedrijven in chips ter wereld, heeft als beste AI-chip de H200, die 80 miljard transistors heeft. Dat is al gigantisch veel, maar Cerebras’ nieuwe vondst zou 57 keer beter presteren. Het belang daarbij is dat het trainen van AI veel simpeler en sneller kan. Je kunt het externe geheugen van de chip uitbreiden van 1,5 terabyte naar 1,2 petabyte. Zo kunnen modellen die nog eens 10 keer groter zijn dan Google Gemini worden getraind. 

Cerebras WSE-3 AI-chip

WSE-3 gaat dan doen binnen de Argonne National Laboratory en de Mayo Clinic, wat onderzoekslocaties zijn. Argonne is vooral beroemd, want dat ontstond tijdens het Manhattan Project waarbij de kernbom is ontwikkeld. De Mayo Clinic is bekend door zijn bevindingen op het gebied van kanker, cardiologie en diabetes.

Lees meer over kunstmatige intelligentie en blijf op de hoogte met onze nieuwe app.