Cerebras i National Energy Tech Lab estableixen noves fites per al modelatge d’equacions de camp d’alt rendiment i eficient energèticament mitjançant una interfície senzilla de Python

SUNNYVALE, Califòrnia, 10 de novembre de 2022 – Cerebras Systems, pionera en la computació d’intel·ligència artificial (IA) d’alt rendiment, ha anunciat avui un rendiment rècord en la càrrega de treball de càlcul científic de formar i resoldre equacions de camp. En col·laboració amb el Laboratori Nacional de Tecnologia Energètica (NETL) del Departament d’Energia, Cerebras va demostrar que el seu sistema CS-2, impulsat pel Wafer-Scale Engine (WSE), era fins a 470 vegades més ràpid que el Superordinador Joule de NETL en el modelatge d’equacions de camp. oferint velocitats més enllà del que les CPU o les GPU poden assolir actualment.

La càrrega de treball provada va ser el modelatge d’equacions de camp mitjançant una API de Python senzilla que permet el processament a escala de wafer per a gran part de la ciència computacional, aconseguint guanys en rendiment i usabilitat que no es poden obtenir en ordinadors i superordinadors convencionals. Aquest conjunt d’eines de programador d’alt nivell específic del domini s’anomena API d’equació de camp WSE o WFA. El WFA supera OpenFOAM al superordinador Joule 2.0 de NETL en més de dos ordres de magnitud en el temps de solució. Tot i que aquest rendiment és coherent amb els codis de muntatge optimitzats a mà, el WFA proporciona una interfície Python d’alt nivell fàcil d’utilitzar que permet als usuaris formar i resoldre equacions de camp sense esforç. Aquest nou conjunt d’eines WFA té el potencial de canviar la manera com s’utilitzen els ordinadors en enginyeria d’una manera positiva i bàsica.

Aquest treball demostra el temps de solució més ràpid conegut per a les equacions de camp en la història de la computació a escales de fins a diversos milers de milions de cèl·lules. La velocitat es va poder assolir perquè el WSE proporciona amples de banda de memòria i punt a punt prou alts com perquè no hi hagi colls d’ampolla de comunicació per a les instruccions de tensor i el càlcul es produeix a la velocitat del rellotge o més ràpidament. En el passat, les equacions de camp s’han lligat a la memòria i, en els sistemes distribuïts, estan limitades per l’amplada de banda de comunicació de node a node. Aquestes limitacions creen la necessitat de jerarquies de memòria i mètodes de programació complexos per garantir la màxima utilització possible. Tota aquesta complexitat s’elimina a causa dels amples de banda excepcionalment elevats que ofereix el WSE, i les instruccions del tensor poden procedir a velocitats que no són possibles amb les arquitectures Von Neuman distribuïdes convencionals.

“NETL i Cerebras van col·laborar per desenvolupar una nova metodologia de programació amb un equip de tres persones en un maquinari mai vist abans amb un conjunt d’instruccions únic, tot en menys de 18 mesos. Per posar-ho en perspectiva, els esforços de computació distribuïda eficient solen portar anys a dècades de treball amb grups molt grans de desenvolupadors”, va dir el Dr. Brian J. Anderson, director de laboratori de NETL. “Amb l’ús de noves arquitectures d’ordinadors innovadores, com el Cerebras WSE, vam poder accelerar molt la velocitat a la solució, alhora que vam reduir significativament l’energia a la solució en una càrrega de treball clau de modelització d’equacions de camp. Aquest treball que combina el poder de la supercomputació i la intel·ligència artificial aprofundirà la nostra comprensió dels fenòmens científics i accelerarà molt el potencial de la simulació ràpida, en temps real o fins i tot més ràpida que en temps real”.

El superordinador Joule 2.0 és el 139th el superordinador més ràpid del món segons la classificació TOP 500.org, . i conté 84.000 nuclis de CPU i 200 GPU. En reunir un rendiment de memòria excepcional amb una amplada de banda massiva, una comunicació entre processadors de baixa latència i una arquitectura optimitzada per a càlculs d’ample de banda elevat, el temps de solució i el consum d’energia CS-2 va ser superior al superordinador Joule quan s’executava un multidimensional estandarditzat. , problema de prova d’equació de camp variable en el temps.

El CS-2 es va demostrar fins a 470 vegades més ràpid en temps de solució que el clúster més gran de CPU que el superordinador Joule 2.0 de NETL podria assignar al problema d’aquesta mida. També es va trobar que era més de dos ordres de magnitud més eficient energèticament que la informàtica distribuïda.

“Cerebras està orgullós de la nostra col·laboració amb NETL. Junts hem produït resultats extraordinaris en l’avançament de les càrregues de treball fonamentals en la informàtica científica”, va dir Andrew Feldman, cofundador i CEO de Cerebras Systems. “Els superordinadors convencionals consumeixen enormes quantitats d’energia, són complexos d’instal·lar, requereixen temps per programar i, com ho demostra el nostre treball, són més lents a produir respostes que el Cerebras CS-2. A través de la nostra associació amb NETL, el CS-2 demostra que la integració a escala d’hòsties és una solució viable per a molts dels principals problemes científics de la informàtica d’alt rendiment; de fet, vam demostrar que el CS-2 produeix resultats centenars de vegades més ràpids. que els supercomputadors més grans, tot utilitzant centenars de vegades menys energia”.

La investigació va ser dirigida pel Dr. Dirk Van Essendelft, enginyer d’aprenentatge automàtic i ciència de dades de NETL, Robert Schreiber, enginyer distingit de Cerebras Systems i Michael James, cofundador i arquitecte en cap de Tecnologies avançades de Cerebras. Els resultats van arribar després de mesos de treball i continuen l’estreta col·laboració entre els científics del laboratori NETL del Departament d’Energia i Cerebras Systems. El novembre de 2020, Cerebras i NETL van anunciar una nova fita informàtica sobre la càrrega de treball científica clau de la dinàmica de fluids computacional (CFD).

Amb cada component optimitzat per al treball d’IA, el CS-2 ofereix més rendiment informàtic amb menys espai i menys potència que qualsevol altre sistema. Ho fa alhora que redueix radicalment la complexitat de la programació, el temps de càlcul del rellotge de paret i el temps de solució. Depenent de la càrrega de treball, des d’AI fins a HPC, CS-2 ofereix milions o milers de vegades més rendiment que les alternatives heretades. Un únic CS-2 substitueix grups de centenars o milers de GPU que consumeixen desenes de bastidors, utilitzen centenars de quilowatts de potència i triguen mesos a configurar-se i programar-se. Amb només 26 polzades d’alçada, el CS-2 s’adapta a un terç d’un bastidor de centre de dades estàndard.

Els investigadors de NETL i Cerebras presentaran les seves troballes a la Conferència SC22, i es pot trobar un document basat en el treball a arXiv, titulat Canvis disruptius en el modelatge d’equacions de camp: una interfície simple per a motors a escala de wafer.

Sobre Cerebras Systems

Cerebras Systems és un equip d’arquitectes informàtics pioners, informàtics, investigadors d’aprenentatge profund i enginyers de tot tipus. Ens hem reunit per construir una nova classe de sistema informàtic, dissenyat amb el propòsit singular d’accelerar la IA i canviar el futur del treball de la IA per sempre. El nostre producte estrella, el sistema CS-2, està alimentat pel processador més gran del món: el Cerebras WSE-2 de 850.000 nuclis permet als clients accelerar el seu treball d’aprenentatge profund en ordres de magnitud sobre les unitats de processament de gràfics.


Font: Cerebra Systems

Leave a Comment

Your email address will not be published. Required fields are marked *