Intel Gaudi 3: o ace­le­ra­dor de IA em detalhes

O Intel Gaudi 3 é um ace­le­ra­dor de in­te­li­gên­cia ar­ti­fi­cial (IA) de alto de­sem­pe­nho, projetado es­pe­ci­fi­ca­mente para tarefas exigentes de IA. O Gaudi 3 é fabricado com um processo de 5 na­nó­me­tros, possui 64 núcleos Tensor e oferece o dobro do de­sem­pe­nho em FP8 e quatro vezes mais potência de cálculo em IA do que o seu an­te­ces­sor. Por isso, o Intel Gaudi 3 é ideal para tarefas de in­fe­rên­cia e para o treino de grandes modelos de IA.

Quais são as ca­rac­te­rís­ti­cas de de­sem­pe­nho do Intel Gaudi 3?

Com o Gaudi 3, a Intel es­ta­be­lece novos padrões em termos de de­sem­pe­nho e efi­ci­ên­cia ener­gé­tica. O ace­le­ra­dor de IA baseia-se na ar­qui­te­tura do Gaudi 2, mas oferece um de­sem­pe­nho de pro­ces­sa­mento muito superior, uma largura de banda de memória superior e uma melhor efi­ci­ên­cia ener­gé­tica. Segue-se um resumo das prin­ci­pais ca­rac­te­rís­ti­cas de de­sem­pe­nho do Intel Gaudi 3:

• De­sem­pe­nho em FP8: o Gaudi 3 atinge um de­sem­pe­nho em FP8 de 1,835 PFLOPS. O seu an­te­ces­sor ul­tra­pas­sava li­gei­ra­mente os 0,8 PFLOPS, o que significa que o de­sem­pe­nho para cálculos em FP8 mais do que duplicou.
• De­sem­pe­nho em BF16: em cálculos BF16, o Intel Gaudi 3 também atinge 1,835 PFLOPS, o que re­pre­senta uma qua­dru­pli­ca­ção do de­sem­pe­nho em com­pa­ra­ção com o Gaudi 2.
• Largura de banda da rede: a largura de banda bi­di­re­ci­o­nal da rede duplicou para 1200 gigabits por segundo, per­mi­tindo uma co­mu­ni­ca­ção mais rápida entre os nós em sistemas de clusters de IA.
• Ca­pa­ci­dade e largura de banda HBM: com a sua memória HBM de 128 gigabytes, o Gaudi 3 oferece 50% mais largura de banda de memória do que a geração anterior. A largura de banda HBM de 3,7 terabytes por segundo re­pre­senta um aumento de 33%.

O Intel Gaudi 3 possui dois dies de com­pu­ta­ção (unidades de pro­ces­sa­mento es­pe­ci­a­li­za­das) que incluem 64 núcleos de pro­ces­sa­dor Tensor e 8 MMEs (Matrix Mul­ti­pli­ca­tion Engines para pro­ces­sa­mento paralelo). As 24 portas RDMA-NIC, cada uma com 200 gigabits por segundo, permitem uma co­mu­ni­ca­ção rápida através de redes Ethernet pa­dro­ni­za­das.

Vantagens e des­van­ta­gens do Intel Gaudi 3

A uti­li­za­ção de um ace­le­ra­dor de IA da geração Gaudi 3 oferece várias vantagens. Entre os prin­ci­pais be­ne­fí­cios estão:

• Alto de­sem­pe­nho: com 1.835 PFLOPS de de­sem­pe­nho em FP8 e BF16, o Intel Gaudi 3 oferece uma enorme ca­pa­ci­dade de pro­ces­sa­mento, se­me­lhante ao nível de de­sem­pe­nho do NVIDIA H100, que é con­si­de­ra­vel­mente mais caro. De acordo com um co­mu­ni­cado de imprensa da Intel, o ace­le­ra­dor de IA da empresa supera o carro-chefe da NVIDIA em algumas áreas de de­sem­pe­nho.
• Alta efi­ci­ên­cia ener­gé­tica: os ace­le­ra­do­res de IA Gaudi 3 são fa­bri­ca­dos através de um processo de 5 na­nó­me­tros (pela TSMC), o que permite uma maior densidade de de­sem­pe­nho. Isso reduz o consumo de energia e diminui os custos ope­ra­ci­o­nais nos centros de dados.
• Es­ca­la­bi­li­dade de IA rentável: com o Intel Gaudi 3, os sistemas podem ser escalados vertical e ho­ri­zon­tal­mente de forma flexível, o que é es­pe­ci­al­mente vantajoso em im­ple­men­ta­ções complexas.
• Suporte para padrões abertos: como o Gaudi 3 é com­pa­tí­vel com padrões abertos, os ace­le­ra­do­res de IA podem ser in­te­gra­dos de forma flexível nas in­fra­es­tru­tu­ras de TI exis­ten­tes. Isso torna as empresas mais in­de­pen­den­tes na escolha de suas pla­ta­for­mas de IA.

No entanto, os ace­le­ra­do­res de IA também apre­sen­tam algumas des­van­ta­gens sig­ni­fi­ca­ti­vas. Embora o Intel Gaudi 3 ofereça um de­sem­pe­nho de primeira classe, os chips topo de gama da NVIDIA ge­ral­mente pro­por­ci­o­nam um de­sem­pe­nho ainda maior. E por que isso é relevante? Porque as empresas ativas no campo da IA até agora têm tendido a optar pela solução mais potente e não pela mais rentável. Como resultado, o Intel Gaudi 3 é menos comum do que os ace­le­ra­do­res de IA da NVIDIA, cujo ecos­sis­tema se beneficia do amplo apoio das equipas de de­sen­vol­vi­mento de IA.

Áreas de aplicação: para que é mais adequado o Intel Gaudi 3?

O Intel Gaudi 3 foi projetado es­pe­ci­fi­ca­mente para cargas de trabalho de IA que exigem alto de­sem­pe­nho de pro­ces­sa­mento e é es­pe­ci­al­mente adequado para tarefas de in­fe­rên­cia que exigem alta pa­ra­le­li­za­ção e ampla largura de banda de memória. Entre as cargas de trabalho típicas estão, por exemplo, a geração de texto com grandes modelos de linguagem (LLM), a geração de imagens e a síntese de voz. Graças à sua alta ve­lo­ci­dade de in­fe­rên­cia e à ar­qui­te­tura otimizada para FP8, o Gaudi 3 permite um pro­ces­sa­mento potente e eficiente em termos de energia de modelos de IA ge­ne­ra­tiva. No entanto, também existem outros campos de aplicação. Estes incluem, prin­ci­pal­mente:

• Trei­na­mento básico de grandes modelos de IA: o Gaudi 3 permite processar grandes conjuntos de dados de maneira eficiente. Portanto, os ace­le­ra­do­res de IA são ideais para treinar modelos de IA, como redes neurais para apren­di­za­gem au­to­má­tica ou modelos baseados na ar­qui­te­tura Trans­for­mer, como GPT e LLaMA, a partir do zero.
• Pro­ces­sa­mento de imagens e visão ar­ti­fi­cial: graças ao seu alto de­sem­pe­nho com­pu­ta­ci­o­nal, o Intel Gaudi 3 pode processar dados complexos de imagens em tempo real. Por isso, este ace­le­ra­dor de IA também é adequado para apli­ca­ções como vi­gi­lân­cia de segurança ou automação in­dus­trial.
• Ser­vi­do­res GPU e clusters de IA em centros de dados: o Intel Gaudi 3 pode ser utilizado em ser­vi­do­res GPU para fornecer o poder de pro­ces­sa­mento ne­ces­sá­rio para tarefas de treino e in­fe­rên­cia em IA.

Quais são as al­ter­na­ti­vas possíveis ao Intel Gaudi 3?

Existem vários ace­le­ra­do­res de IA que podem ser con­si­de­ra­dos al­ter­na­ti­vas ao Intel Gaudi 3. Entre as opções mais co­nhe­ci­das e produtos con­cor­ren­tes está o NVIDIA H100. Enquanto o ace­le­ra­dor da Intel é ideal para apli­ca­ções de in­fe­rên­cia, o H100 oferece um de­sem­pe­nho de gama alta para casos de uso em IA e ciência de dados. Outra al­ter­na­tiva frequente ao Gaudi 3 é o NVIDIA A30, que combina um alto nível de de­sem­pe­nho com um preço mais acessível.