Hvad er Intel Gaudi 3? Et portræt af AI-ac­ce­le­ra­to­ren

Intel Gaudi 3 er en kraftfuld AI-ac­ce­le­ra­tor, der er specielt designet til krævende AI-ar­bejds­be­last­nin­ger. Gaudi 3 er frem­stil­let ved hjælp af 5-na­no­me­ter­pro­ces­sen, har 64 ten­sor­ker­ner og tilbyder dobbelt så meget FP8-ydeevne og fire gange så stor AI-reg­ne­kraft som sin forgænger. Dette gør Intels Gaudi 3 ideel til in­fe­rens­op­ga­ver og træning af store AI-modeller.

Hvad er yde­ev­ne­e­gen­ska­ber­ne ved Intel Gaudi 3?

Med Gaudi 3 sætter Intel nye stan­dar­der for ydeevne og ener­gi­ef­fek­ti­vi­tet. AI-ac­ce­le­ra­to­ren er baseret på ar­ki­tek­tu­ren i Gaudi 2, men tilbyder be­ty­de­ligt mere reg­ne­kraft, en højere hukom­mel­ses­bånd­bred­de og bedre ener­gi­ef­fek­ti­vi­tet. Følgende oversigt op­sum­me­rer de vigtigste yde­ev­ne­funk­tio­ner i Intel Gaudi 3:

• FP8-reg­ne­kraft: Gaudi 3 opnår en FP8-reg­ne­kraft på 1,835 PFLOPS. Dens forgænger opnåede lidt over 0,8 PFLOPS, hvilket betyder, at ydeevnen for FP8-be­reg­nin­ger er mere end fordoblet.
• BF16-reg­ne­kraft: I BF16-be­reg­nin­ger opnår Intel Gaudi 3 også 1,835 PFLOPS, hvilket svarer til en fi­redob­ling af reg­ne­kraf­ten i forhold til Gaudi 2.
• Net­værks­bånd­bred­de: Den tovejs net­værks­bånd­bred­de er fordoblet til 1200 gigabit per sekund, hvilket muliggør hurtigere kom­mu­ni­ka­tion mellem noder i AI-klyn­ge­sy­ste­mer.
• HBM-kapacitet og bånd­bred­de: Med sin HBM-hukom­mel­se på 128 gigabyte tilbyder Gaudi 3 50 procent mere hukom­mel­ses­bånd­bred­de end den forrige ge­ne­ra­tion. HBM-bånd­bred­den på 3,7 terabyte pr. sekund svarer til en stigning på 33 procent.

Intel Gaudi 3 har to be­reg­nings­chips (specielle be­reg­nings­en­he­der), der in­de­hol­der 64 ten­sor­pro­ces­sor­ker­ner og 8 MME’er (ma­trix­mul­ti­pli­ka­tions­mo­to­rer til pa­ral­lel­be­hand­ling). De 24 RDMA NIC-porte, hver med 200 gigabit pr. sekund, sikrer hurtig kom­mu­ni­ka­tion via stan­dar­di­se­re­de Ethernet-netværk.

Hvad er fordelene og ulemperne ved Intel Gaudi 3?

Brug af en AI-ac­ce­le­ra­tor af Gaudi 3-ge­ne­ra­tio­nen har for­skel­li­ge fordele. De vigtigste af disse omfatter:

• Høj reg­ne­kraft: Med 1.835 PFLOPS FP8- og BF16-ydeevne tilbyder Intels Gaudi 3 en enorm ydeevne, der svarer til niveauet for den langt dyrere NVIDIA H100. Ifølge en pres­se­med­del­el­se fra Intel overgår den interne AI-ac­ce­le­ra­tor endda NVIDIAs flagskib på nogle områder.
• Høj ener­gi­ef­fek­ti­vi­tet: Gaudi 3 AI-ac­ce­le­ra­to­rer­ne er frem­stil­let ved hjælp af 5-na­no­me­ter­pro­ces­sen (af TSMC), hvilket muliggør en højere ef­fekt­tæt­hed. Dette reducerer strøm­for­bru­get og sænker driftsom­kost­nin­ger­ne i da­ta­cen­tre.
• Om­kost­nings­ef­fek­tiv AI-skalér­bar­hed: Med Intel Gaudi 3 kan systemer skaleres flek­si­belt vertikalt og ho­ri­son­talt, hvilket er særligt gavnligt for komplekse im­ple­men­te­rin­ger.
• Un­der­støt­tel­se af åbne stan­dar­der: Da Gaudi 3 un­der­støt­ter åbne stan­dar­der, kan AI-ac­ce­le­ra­to­rer­ne in­te­gre­res flek­si­belt i ek­si­ste­ren­de IT-in­fra­struk­tu­rer. Dette gør virk­som­he­der­ne mere uaf­hæn­gi­ge i deres valg af AI-platforme.

AI-ac­ce­le­ra­to­rer­ne har dog også nogle markante ulemper. Selvom Intel Gaudi 3 har første­klas­ses ydeevne, tilbyder de avan­ce­re­de chips fra NVIDIA generelt endnu bedre ydeevne. Hvorfor er det vigtigt? Fordi virk­som­he­der, der er aktive inden for AI-området, hidtil har haft en tendens til at vælge den mest kraft­ful­de løsning frem for den mest om­kost­nings­ef­fek­ti­ve. Som følge heraf er Intel Gaudi 3 mindre udbredt end AI-ac­ce­le­ra­to­rer fra NVIDIA, hvis økosystem nyder godt af bred støtte fra AI-ud­vik­lings­hold.

Hvilke an­ven­del­ses­om­rå­der er Intel Gaudi 3 bedst egnet til?

Intel Gaudi 3 er udviklet specielt til be­reg­nings­in­ten­si­ve AI-ar­bejds­op­ga­ver og er særligt velegnet til in­fe­rens­op­ga­ver, der kræver høj parallel be­hand­ling og hukom­mel­ses­bånd­bred­de. Typiske ar­bejds­op­ga­ver omfatter tekst­ge­ne­re­ring med store sprog­mo­del­ler (LLM’er), bil­led­ge­ne­re­ring og ta­le­syn­te­se. Takket være sin høje in­fe­rens­ha­stig­hed og op­ti­me­re­de FP8-ar­ki­tek­tur muliggør Gaudi 3 kraftfuld og ener­gi­ef­fek­tiv be­hand­ling af ge­ne­ra­ti­ve AI-modeller. Der findes dog også andre an­ven­del­ses­om­rå­der. Disse omfatter:

• Grund­læg­gen­de træning af store AI-modeller: Gaudi 3 gør det muligt at behandle store datasæt effektivt. AI-ac­ce­le­ra­to­rer­ne er derfor ideelle til at træne AI-modeller – såsom neurale netværk til ma­skin­læ­ring eller trans­for­mer­model­ler som GPT og LLaMA – fra bunden.
• Bil­led­be­hand­ling og com­pu­ter­vi­sion: Takket være sin høje reg­ne­kraft er Intel Gaudi 3 i stand til at behandle komplekse bil­led­da­ta i realtid. Dette gør også AI-ac­ce­le­ra­to­ren velegnet til ap­pli­ka­tio­ner såsom sik­ker­heds­over­våg­ning eller in­du­stri­el au­to­ma­ti­se­ring.
• GPU-servere og AI-klynger i da­ta­cen­tre: Intel Gaudi 3 kan bruges til GPU-servere for at levere den nød­ven­di­ge reg­ne­kraft til AI-træning og in­fe­rens­op­ga­ver.

Hvad er de mulige al­ter­na­ti­ver til Intel Gaudi 3?

Der findes for­skel­li­ge AI-ac­ce­le­ra­to­rer, der kan betragtes som al­ter­na­ti­ver til Intel Gaudi 3. En af de bedst kendte al­ter­na­ti­ve mu­lig­he­der og kon­kur­re­ren­de produkter er NVIDIA H100. Mens Intel-ac­ce­le­ra­to­ren er ideel til in­fe­rens­ap­pli­ka­tio­ner, tilbyder H100 højty­den­de ydeevne til AI- og da­ta­vi­den­skabs­an­ven­del­ser. Et andet ofte valgt al­ter­na­tiv til Gaudi 3 er NVIDIA A30, der kom­bi­ne­rer høj ydeevne med en over­kom­me­lig pris.