Wat is een Hopper GPU?
Hopper GPU’s vertegenwoordigen de nieuwste generatie krachtige grafische processors van NVIDIA, speciaal ontworpen voor AI en high-performance computing (HPC). Ze beschikken over een geavanceerde architectuur met geavanceerde Tensor Cores en integreren meerdere innovatieve technologieën voor maximale efficiëntie. Hopper GPU’s zijn ideaal voor een breed scala aan workloads en ondersteunen AI-inferentie, deep learning-training, generatieve AI en meer.
Wat is het architecturale ontwerp van NVIDIA’s Hopper GPU’s?
De naam ‘Hopper GPU’ is afgeleid van de Hopper-architectuur, de GPU-microarchitectuur die de basis vormt voor krachtige grafische processors en is geoptimaliseerd voor AI-workloads en HPC-toepassingen. Hopper GPU’s worden door TSMC geproduceerd met behulp van het 4-nanometerproces en hebben meer dan 80 miljard transistors, waardoor ze tot de meest geavanceerde grafische kaarten op de markt behoren.
Met de Hopper-architectuur combineert NVIDIA de nieuwste generatie Tensor Cores met vijf baanbrekende innovaties: transformer engine, NVLink/NVSwitch/NVLink-schakelaarsystemen, vertrouwelijke computing, tweede generatie multi-instance GPU’s (MIG’s) en DPX-instructies. Dankzij deze technologieën kunnen Hopper GPU’s tot 30 keer snellere AI-inferentie bereiken ten opzichte van de vorige generatie (gebaseerd op NVIDIA’s Megatron 530B-chatbot, ’s werelds meest uitgebreide generatieve taalmodel).
Wat zijn de innovatieve kenmerken van Hopper GPU’s?
Hopper GPU’s hebben verschillende nieuwe functies die de prestaties, efficiëntie en schaalbaarheid helpen verbeteren. Hieronder presenteren we de belangrijkste innovaties:
- Transformer-engine: met behulp van de transformer-engine kunnen Hopper GPU’s AI-modellen tot negen keer sneller trainen. Voor inferentietaken op het gebied van taalmodellen bereiken de GPU’s een versnelling die tot 30 keer hoger ligt dan die van de vorige generatie.
- NVLink-schakelaarsysteem: De vierde generatie NVLink levert een bidirectionele GPU-bandbreedte van 900 GB/s, terwijl NVSwitch zorgt voor een betere schaalbaarheid van H200-clusters. Dit zorgt ervoor dat AI-modellen met triljoenen parameters efficiënt kunnen worden verwerkt.
- Vertrouwelijke computing: de Hopper-architectuur zorgt ervoor dat uw gegevens, AI-modellen en algoritmen ook tijdens de verwerking worden beschermd.
- Multi-instance GPU (MIG) 2.0: De tweede generatie MIG-technologie maakt het mogelijk om een enkele Hopper GPU op te splitsen in maximaal zeven geïsoleerde instanties. Hierdoor kunnen meerdere mensen tegelijkertijd verschillende workloads verwerken zonder elkaar te hinderen.
- DPX-instructies: Met DPX-instructies kunnen dynamisch geprogrammeerde algoritmen tot zeven keer sneller worden berekend dan met GPU’s van de Ampere-architectuur.
Voor welke gebruikssituaties zijn Hopper GPU’s geschikt?
NVIDIA GPU’s op basis van de Hopper-architectuur zijn ontworpen voor een breed scala aan krachtige workloads. De belangrijkste toepassingsgebieden voor Hopper GPU’s zijn: ¬
- Inferentietaken: De GPU’s behoren tot de toonaangevende oplossingen voor het productieve gebruik van AI-inferentie. Of het nu gaat om aanbevelingssystemen in e-commerce, medische diagnostiek of realtime voorspellingen voor autonoom rijden, Hopper GPU’s kunnen enorme hoeveelheden gegevens snel en efficiënt verwerken.
- Generatieve AI: De high-end GPU’s bieden de benodigde rekenkracht om tools met generatieve AI te trainen en uit te voeren. Parallelle verwerking maakt efficiëntere berekeningen mogelijk voor creatieve taken zoals het genereren van tekst, afbeeldingen en video’s.
- Deep learning-training: Met hun hoge rekenkracht zijn Hopper GPU’s ideaal voor het trainen van grote neurale netwerken. De Hopper-architectuur verkort de trainingstijden van AI-modellen aanzienlijk.
- Conversational AI: Hopper GPU’s zijn geoptimaliseerd voor natuurlijke taalverwerking (NLP) en zijn ideaal voor AI-aangedreven taalsystemen, zoals virtuele assistenten en AI-chatbots. Ze versnellen de verwerking van grote AI-modellen en zorgen voor responsieve interactie die naadloos kan worden geïntegreerd in bedrijfsprocessen, zoals ondersteuning.
- Data-analyse en big data: Hopper GPU’s verwerken enorme hoeveelheden data met hoge snelheid en versnellen complexe berekeningen door middel van massale parallelle verwerking. Hierdoor kunnen bedrijven big data sneller evalueren om voorspellingen te doen en de juiste maatregelen te nemen.
- Wetenschap en onderzoek: Omdat de GPU’s zijn ontworpen voor HPC-toepassingen, zijn ze ideaal voor zeer complexe simulaties en berekeningen. Hopper GPU’s worden bijvoorbeeld gebruikt in de astrofysica, klimaatmodellering en computationele chemie.
Huidige modellen van NVIDIA
Met de release van de NVIDIA H100 en de NVIDIA H200 heeft het Amerikaanse bedrijf twee Hopper GPU’s op de markt gebracht. De NVIDIA A30 is daarentegen nog steeds gebaseerd op de vorige Ampere-architectuur. Technisch gezien is de H200 geen volledig nieuw model, maar eerder een verbeterde versie van de H100. Het volgende overzicht belicht de belangrijkste verschillen tussen deze twee GPU’s:
- Geheugen en bandbreedte: Terwijl de NVIDIA H100 is uitgerust met een 80 GB HBM3-geheugen, heeft de H200 GPU een HBM3e-geheugen met een capaciteit van 141 GB. De H200 loopt ook duidelijk voorop wat betreft geheugenbandbreedte met 4,8 TB/s, vergeleken met 2 TB/s voor de H100.
- Prestaties voor AI-inferentie: Ter vergelijking: de NVIDIA H200 biedt twee keer zoveel inferentieprestaties voor modellen zoals LLaMA 2-70 B. Dit maakt niet alleen een snellere verwerking mogelijk, maar ook een efficiënte schaalbaarheid.
- HPC-toepassingen en wetenschappelijk computergebruik: De H100 biedt al eersteklas prestaties voor complexe berekeningen, die de H200 nog overtreft. De inferentiesnelheid is tot twee keer zo hoog, de HPC-prestaties ongeveer 20 procent hoger.