Hopper GPU-er representerer NVIDIAs nyeste generasjon av høytytende grafikkprosessorer, spesialutviklet for AI og høytytende databehandling (HPC). Med en banebrytende arkitektur med avanserte Tensor Cores integrerer de flere innovative teknologier for å levere maksimal effektivitet. Hopper GPU-er er ideelle for en lang rekke arbeidsbelastninger og støtter AI-inferens, deep learning-trening, generativ AI og mer.

Hvordan er den arkitektoniske utformingen av NVIDIAs Hopper-GPUer?

Navnet «Hopper GPU» kommer fra Hopper-arkitekturen, som er GPU-mikroarkitekturen som danner grunnlaget for høytytende grafikkprosessorer og er optimalisert for AI-arbeidsbelastninger og HPC-applikasjoner. Hopper GPU-er produseres av TSMC ved hjelp av 4-nanometerprosessen og har over 80 milliarder transistorer, noe som gjør dem til noen av de mest avanserte grafikkortene på markedet.

Med Hopper-arkitekturen kombinerer NVIDIA den nyeste generasjonen av Tensor Cores med fem banebrytende innovasjoner: transformatormotor, NVLink/NVSwitch/NVLink-brytersystemer, konfidensiell databehandling, andre generasjons multi-instance GPU-er (MIG-er) og DPX-instruksjoner. Disse teknologiene gjør at Hopper-GPU-er kan oppnå opptil 30 ganger raskere AI-inferens sammenlignet med forrige generasjon (basert på NVIDIAs Megatron 530B chatbot – verdens mest omfattende generative språkmodell).

Hva er de innovative funksjonene til Hopper GPU-er?

Hopper GPU-er har flere nye funksjoner som bidrar til å forbedre ytelsen, effektiviteten og skalerbarheten. Nedenfor presenterer vi de viktigste innovasjonene:

  • Transformator-motor: Med hjelp av transformator-motoren kan Hopper-GPU-er trene AI-modeller opptil ni ganger raskere. For inferensoppgaver innen språkmodeller oppnår GPU-ene opptil 30 ganger høyere akselerasjon enn forrige generasjon.
  • NVLink-brytersystem: Fjerde generasjon NVLink leverer en toveis GPU-båndbredde på 900 GB/s, mens NVSwitch sikrer bedre skalerbarhet for H200-klynger. Dette sikrer at AI-modeller med billioner av parametere kan behandles effektivt.
  • Konfidensiell databehandling: Hopper-arkitekturen sikrer at dataene dine, AI-modellene og algoritmene også er beskyttet under behandlingen.
  • Multi-instance GPU (MIG) 2.0: Den andre generasjonen av MIG-teknologi gjør det mulig å dele en enkelt Hopper GPU i opptil syv isolerte instanser. Dette gjør at flere personer kan behandle forskjellige arbeidsbelastninger samtidig uten å forstyrre hverandre.
  • DPX-instruksjoner: DPX-instruksjoner gjør det mulig å beregne dynamisk programmerte algoritmer opptil syv ganger raskere enn med GPU-er med Ampere-arkitektur.

Hvilke bruksområder er Hopper GPU-er egnet for?

NVIDIA-GPUer basert på Hopper-arkitekturen er designet for et bredt spekter av høyytelsesarbeidsbelastninger. De viktigste bruksområdene for Hopper-GPUer er: ¬

  • Inferensoppgaver: GPU-ene er blant bransjeledende løsninger for produktiv bruk av AI-inferens. Enten det gjelder anbefalingssystemer i e-handel, medisinsk diagnostikk eller sanntidsprognoser for autonom kjøring, kan Hopper GPU-er behandle enorme datamengder raskt og effektivt.
  • Generativ AI: De avanserte GPU-ene gir den nødvendige datakraften til å trene og kjøre verktøy med generativ AI. Parallellbehandling muliggjør mer effektive beregninger for kreative oppgaver som tekst-, bilde- og videogenerering.
  • Deep learning-trening: Med sin høye datakraft er Hopper GPU-er ideelle for trening av store nevrale nettverk. Hopper-arkitekturen forkorter treningstiden for AI-modeller betydelig.
  • Konversasjons-AI: Hopper-GPU-er er optimalisert for naturlig språkbehandling (NLP) og er ideelle for AI-drevne språksystemer, som virtuelle assistenter og AI-chatbots. De akselererer behandlingen av store AI-modeller og sikrer responsiv interaksjon som kan integreres sømløst i forretningsprosesser, som for eksempel support.
  • Dataanalyse og big data: Hopper GPU-er håndterer enorme datamengder med høy hastighet og akselererer komplekse beregninger gjennom massiv parallellbehandling. Dette gjør det mulig for bedrifter å evaluere big data raskere for å lage prognoser og iverksette de riktige tiltakene.
  • Vitenskap og forskning: Siden GPU-ene er designet for HPC-applikasjoner, er de ideelle for svært komplekse simuleringer og beregninger. Hopper GPU-er brukes for eksempel i astrofysikk, klimamodellering og beregningskjemi.

Nåværende modeller fra NVIDIA

Med lanseringen av NVIDIA H100 og NVIDIA H200 har det amerikanske selskapet introdusert to Hopper-GPUer på markedet. NVIDIA A30 er derimot fortsatt basert på den tidligere Ampere-arkitekturen. Teknisk sett er H200 ikke en helt ny modell, men snarere en forbedret versjon av H100. Følgende oversikt viser de viktigste forskjellene mellom disse to GPUene:

  • Minne og båndbredde: Mens NVIDIA H100 er utstyrt med et 80 GB HBM3-minne, har H200 GPU et HBM3e-minne med en kapasitet på 141 GB. H200 ligger også klart foran når det gjelder minnebåndbredde med 4,8 TB/s sammenlignet med 2 TB/s for H100.
  • Ytelse for AI-inferens: Til sammenligning gir NVIDIA H200 dobbelt så høy inferensytelse for modeller som LLaMA 2-70 B. Dette gir ikke bare raskere behandling, men også effektiv skalering.
  • HPC-applikasjoner og vitenskapelig databehandling: H100 tilbyr allerede førsteklasses ytelse for komplekse beregninger, som H200 overgår. Inferenshastigheten er opptil dobbelt så høy, og HPC-ytelsen er rundt 20 prosent høyere.
Go to Main Menu