O que é Hopper GPU?
Hopper GPUs são a mais recente geração de GPUs de alto desempenho da NVIDIA, desenvolvidas especificamente para inteligência artificial (IA) e HPC (High Performance Computing), para possibilitar a escalabilidade de diversos workloads. Elas são baseadas em uma arquitetura inovadora, com núcleos Tensor poderosos, e combinam diversas tecnologias avançadas para máxima eficiência. As Hopper GPUs da NVIDIA são adequadas, entre outras coisas, para inferência de IA, treinamento de Deep Learning e IA generativa.
Arquitetura das Hopper GPUs da NVIDIA
O termo “Hopper GPU” vem da arquitetura Hopper, que serve como a microarquitetura base para os processadores gráficos de alto desempenho, otimizados para cargas de trabalho de IA e aplicações de HPC. Hopper GPUs são fabricadas pela TSMC, no processo de 4 nanômetros, e possuem 80 bilhões de transistores, o que as torna uma das placas gráficas mais avançadas disponíveis no mercado.
Na arquitetura Hopper, a NVIDIA combina a mais recente geração de núcleos Tensor com cinco inovações pioneiras: Transformer-Engine, sistemas NVLink/NVSwitch/NVLink-Switch, Computação Confidencial, GPUs de Múltiplas Instâncias (MIGs) de segunda geração e instruções DPX. Graças a essas tecnologias, as Hopper GPUs oferecem até 30 vezes mais desempenho em inferência de IA em comparação com a geração anterior. Esse dado é baseado no Megatron 530B Chatbot da NVIDIA, considerado o maior modelo de linguagem generativa do mundo.
Funções inovadoras das Hopper GPUs
As Hopper GPUs possuem várias funções inovadoras que contribuem para a melhoria do desempenho, da eficiência e da escalabilidade. A seguir, apresentamos as principais novidades:
- Transformer Engine: Com a ajuda da Transformer Engine, as Hopper GPUs tornam-se capazes de treinar modelos de IA até nove vezes mais rápido. Em tarefas de inferência na área de modelos de linguagem, essas GPUs alcançam uma aceleração de até 30 vezes em comparação com a geração anterior.
- NVLink-Switch-System: A quarta geração do NVLink oferece uma largura de banda bidirecional de GPU de 900 GB/s, ao passo que o NVSwitch garante uma melhor escalabilidade dos clusters H200. Isso assegura que modelos de IA com trilhões de parâmetros possam ser processados de forma eficiente.
- Confidential Computing: A arquitetura Hopper garante que seus dados, modelos de IA e algoritmos estejam protegidos mesmo durante o processamento.
- GPU de Múltiplas Instâncias (MIG) 2.0: A segunda geração da tecnologia MIG permite dividir uma única Hopper GPU em até sete instâncias isoladas, o que possibilita que várias pessoas processem diferentes cargas de trabalho simultaneamente, sem interferir umas nas outras.
- Instruções DPX: Com as instruções DPX, é possível calcular algoritmos programados dinamicamente até sete vezes mais rápido do que com GPUs da arquitetura Ampere.
Para que casos de uso Hopper GPUs são adequadas?
As GPUs da NVIDIA baseadas na arquitetura Hopper são projetadas para workloads de alto desempenho dos mais diversos tipos. Os principais campos de aplicação das Hopper GPUs incluem:
- Tarefas de inferência: Processadores gráficos estão entre as soluções líderes do setor para o uso produtivo de inferência de IA. Seja em sistemas de recomendação no e-commerce, diagnóstico médico ou previsões em tempo real para condução autônoma, Hopper GPUs podem processar grandes volumes de dados de forma rápida e eficiente.
- Inteligência artificial generativa: GPUs de alto desempenho fornecem o poder de computação necessário para treinar e executar ferramentas com inteligência artificial generativa. O processamento paralelo permite cálculos mais eficientes em tarefas criativas, como geração de texto, imagem e vídeo.
- Treinamento de Deep Learning: Com um alto poder de processamento, Hopper GPUs são ideais para treinar grandes redes neurais. A arquitetura Hopper proporciona uma redução significativa nos tempos de treinamento de modelos de IA.
- IA de conversação: Devido à sua otimização para o processamento de linguagem natural (PLN), as Hopper GPUs são ideais para sistemas de linguagem assistidos por IA, como assistentes virtuais e chatbots com inteligência artificial. Elas aceleram o processamento de grandes modelos de IA e garantem uma interação responsiva que se integra perfeitamente aos processos empresariais.
- Análise de dados e Big Data: Hopper GPUs lidam com enormes volumes de dados em alta velocidade e aceleram cálculos complexos por meio de processamento paralelo massivo. Isso permite que empresas analisem Big Data mais rapidamente, para fazer previsões e tomar as medidas cabíveis.
- Ciência e pesquisa: Como essas GPUs são projetadas para aplicações de HPC, elas são ideais para simulações e cálculos altamente complexos. Hopper GPUs são utilizadas, por exemplo, na astrofísica, na modelagem climática e na química computacional.
Modelos atuais da NVIDIA
Com a NVIDIA H100 e a NVIDIA H200, a empresa norte-americana já lançou duas Hopper GPUs no mercado. A NVIDIA A30, por outro lado, ainda se baseia na arquitetura Ampere. Na verdade, a H200 não é exatamente um modelo independente, mas uma evolução da H100. As diferenças entre as duas GPUs são ilustradas pela lista a seguir:
- Armazenamento e largura de banda: A NVIDIA H100 é equipada com uma memória HBM3 de 80 GB, já a GPU H200 tem memória HBM3e com capacidade de 141 GB. Em termos de largura de banda de memória, a H200 também está à frente com 4,8 TB/s em comparação com 2 TB/s da H100.
- Desempenho para inferência de IA: Em comparação, a NVIDIA H200 oferece o dobro de desempenho de inferência para modelos como o LLaMA 2-70 B. Isso permite não apenas um processamento mais rápido, mas também uma escalabilidade eficiente.
- Aplicações HPC e cálculos científicos: A H100 já oferece um nível de desempenho de primeira classe para cálculos complexos, que a H200 supera ainda mais. A velocidade de inferência é até duas vezes maior, e o desempenho HPC é cerca de 20% superior.