O que é Intel Gaudi 3? Tudo sobre o ace­le­ra­dor de IA

O Intel Gaudi 3 é um ace­le­ra­dor de IA de alto de­sem­pe­nho, projetado es­pe­ci­fi­ca­mente para cargas de trabalho de in­te­li­gên­cia ar­ti­fi­cial in­ten­si­vas. Fabricado com tec­no­lo­gia de 5 nanô­me­tros, o Gaudi 3 conta com 64 núcleos es­pe­ci­a­li­za­dos em operações ten­so­ri­ais e oferece o dobro do de­sem­pe­nho em operações FP8 de ponto flutuante, além de qua­dru­pli­car a ca­pa­ci­dade de com­pu­ta­ção de IA em relação ao seu an­te­ces­sor. Essas ca­rac­te­rís­ti­cas tornam o Intel Gaudi 3 ideal para tarefas de in­fe­rên­cia e trei­na­mento de modelos de IA de grande porte.

Como é o de­sem­pe­nho do Intel Gaudi 3?

Com o Intel Gaudi 3, a Intel es­ta­be­lece novos padrões de de­sem­pe­nho e efi­ci­ên­cia ener­gé­tica. Esse ace­le­ra­dor é baseado na ar­qui­te­tura do Gaudi 2, mas entrega de­sem­pe­nho com­pu­ta­ci­o­nal sig­ni­fi­ca­ti­va­mente superior, maior largura de banda de memória e melhor efi­ci­ên­cia ener­gé­tica. Nossa lista resume as prin­ci­pais ca­rac­te­rís­ti­cas do Intel Gaudi 3:

• De­sem­pe­nho em FP8: O Intel Gaudi 3 atinge uma ca­pa­ci­dade de pro­ces­sa­mento FP8 de 1,835 PFLOPS. O Intel Gaudi 2 alcançava pouco mais de 0,8 PFLOPS, o que re­pre­senta mais que o dobro de de­sem­pe­nho em cálculos de precisão FP8.
• De­sem­pe­nho em BF16: Em cálculos com precisão BF16, o Intel Gaudi 3 mantém 1,835 PFLOPS, qua­dru­pli­cando o de­sem­pe­nho em com­pa­ra­ção com o Intel Gaudi 2.
• Largura de banda da rede: A largura de banda de rede bi­di­re­ci­o­nal foi duplicada para 1200 gigabits por segundo, per­mi­tindo uma co­mu­ni­ca­ção sig­ni­fi­ca­ti­va­mente mais rápida entre os nós em sistemas de cluster de IA.
• Ca­pa­ci­dade e largura de banda HBM: Com 128 gigabytes de memória HBM, o Intel Gaudi 3 oferece 50% mais largura de banda de memória em relação à geração anterior. A largura de banda HBM de 3,7 terabytes por segundo re­pre­senta um aumento de 33%.

O Intel Gaudi 3 possui dois compute dies (unidades de pro­ces­sa­mento es­pe­ci­a­li­za­das), que incluem 64 núcleos de pro­ces­sa­do­res tensor e 8 MMEs (me­ca­nis­mos de mul­ti­pli­ca­ção de matrizes para pro­ces­sa­mento paralelo). As 24 portas RDMA-NIC, cada uma com 200 gigabits por segundo, garantem co­mu­ni­ca­ção de alta ve­lo­ci­dade por meio de redes Ethernet pa­dro­ni­za­das.

Quais são as vantagens e des­van­ta­gens do Intel Gaudi 3?

Recorrer a um ace­le­ra­dor de IA da geração Gaudi 3 traz várias vantagens. Entre os prin­ci­pais be­ne­fí­cios estão:

• Alta ca­pa­ci­dade de pro­ces­sa­mento: Com 1,835 PFLOPS de de­sem­pe­nho em FP8 e BF16, o Intel Gaudi 3 oferece uma per­for­mance im­pres­si­o­nante, com­pa­rá­vel ao nível de de­sem­pe­nho da NVIDIA H100, que é con­si­de­ra­vel­mente mais cara. De acordo com este co­mu­ni­cado da Intel, o ace­le­ra­dor de IA da empresa supera o carro-chefe da NVIDIA em termos de de­sem­pe­nho em algumas áreas.
• Alta efi­ci­ên­cia ener­gé­tica: A fa­bri­ca­ção dos ace­le­ra­do­res de IA Gaudi 3 é realizada no processo de 5 nanô­me­tros (pela TSMC), o que permite uma maior densidade de potência. Isso reduz o consumo de energia e diminui os custos ope­ra­ci­o­nais em data centers.
• Es­ca­la­bi­li­dade de IA de bom custo-benefício: Com o Intel Gaudi 3, os sistemas podem ser escalados de forma flexível, tanto vertical quanto ho­ri­zon­tal­mente, o que é uma vantagem sig­ni­fi­ca­tiva es­pe­ci­al­mente em im­ple­men­ta­ções complexas.
• Suporte a padrões abertos: Como o Gaudi 3 suporta padrões abertos, os ace­le­ra­do­res de IA podem ser in­te­gra­dos de forma flexível em in­fra­es­tru­tu­ras de TI exis­ten­tes. Isso torna as empresas mais in­de­pen­den­tes na escolha de suas pla­ta­for­mas de IA.

Os ace­le­ra­do­res de IA também apre­sen­tam des­van­ta­gens notáveis. Embora o Intel Gaudi 3 possua um de­sem­pe­nho de primeira linha, os chips de ponta da NVIDIA ainda lideram m se tratando de de­sem­pe­nho. Por que isso é im­por­tante? Porque as empresas ativas no setor de IA têm, até agora, optado mais pela solução de maior de­sem­pe­nho do que pela mais econômica. Con­se­quen­te­mente, o Intel Gaudi 3 é menos difundido do que os ace­le­ra­do­res de IA da NVIDIA, cujo ecos­sis­tema se beneficia do amplo suporte das equipes de de­sen­vol­vi­mento de IA.

Quais são as áreas de aplicação do Intel Gaudi 3?

O Intel Gaudi 3 foi de­sen­vol­vido es­pe­ci­fi­ca­mente para cargas de trabalho de IA altamente in­ten­si­vas em com­pu­ta­ção e é es­pe­ci­al­mente adequado para tarefas de in­fe­rên­cia que demandam pa­ra­le­li­za­ção intensa e alta largura de banda de memória. Cargas típicas incluem geração de texto com Large Language Models (LLMs), geração de imagens e síntese de voz. Graças à alta ve­lo­ci­dade de in­fe­rên­cia e à ar­qui­te­tura FP8 otimizada, o Gaudi 3 permite um pro­ces­sa­mento de alto de­sem­pe­nho e com efi­ci­ên­cia ener­gé­tica para modelos de IA ge­ne­ra­tiva. Além disso, o Intel Gaudi 3 também é utilizado em outras áreas, prin­ci­pal­mente:

• Trei­na­mento básico de grandes modelos de IA: o Gaudi 3 permite treinar modelos com grandes volumes de dados de maneira eficiente. Por isso, os ace­le­ra­do­res de IA são ideais para treinar modelos de IA do zero, como redes neurais para apren­di­zado de máquina ou modelos Trans­for­mer como GPT e LLaMA.
• Pro­ces­sa­mento de imagens e visão com­pu­ta­ci­o­nal: com seu alto poder de pro­ces­sa­mento, o Intel Gaudi 3 é capaz de processar dados de imagem complexos em tempo real. Isso torna o ace­le­ra­dor de IA adequado também para apli­ca­ções como mo­ni­to­ra­mento de segurança ou automação in­dus­trial.
• Ser­vi­do­res de GPU e clusters de IA em data centers: o Intel Gaudi 3 pode ser utilizado em ser­vi­do­res GPU para fornecer a potência com­pu­ta­ci­o­nal ne­ces­sá­ria para o trei­na­mento de IA e tarefas de in­fe­rên­cia.

Al­ter­na­ti­vas ao Intel Gaudi 3

Existem vários ace­le­ra­do­res de IA que podem ser con­si­de­ra­dos al­ter­na­ti­vas ao Intel Gaudi 3. Entre os produtos con­cor­ren­tes mais co­nhe­ci­dos está a NVIDIA H100. Enquanto o ace­le­ra­dor da Intel é ideal para apli­ca­ções de in­fe­rên­cia, a H100 oferece de­sem­pe­nho de ponta para casos de uso em IA e ciência de dados. Outra al­ter­na­tiva fre­quen­te­mente escolhida no lugar do Gaudi 3 é a NVIDIA A30, que combina um alto nível de de­sem­pe­nho com um preço acessível.