Hvad er en Hopper GPU?

Hopper GPU’er re­præ­sen­te­rer NVIDIAs nyeste ge­ne­ra­tion af højty­den­de gra­fik­pro­ces­so­rer, der er spe­ci­al­byg­get til AI og højty­den­de computing (HPC). Med en ba­ne­bry­den­de ar­ki­tek­tur med avan­ce­re­de Tensor Cores in­te­gre­rer de flere in­nova­ti­ve tek­no­lo­gi­er for at levere maksimal ef­fek­ti­vi­tet. Hopper GPU’er er ideelle til en bred vifte af ar­bejds­op­ga­ver og un­der­støt­ter AI-inferens, deep learning-træning, generativ AI og meget mere.

Hvordan er NVIDIA’s Hopper GPU’er kon­stru­e­ret?

Navnet ‘Hopper GPU’ stammer fra Hopper-ar­ki­tek­tu­ren, som er den GPU-mi­kro­ar­ki­tek­tur, der danner grund­la­get for højty­den­de gra­fik­pro­ces­so­rer og er optimeret til AI-ar­bejds­be­last­nin­ger og HPC-ap­pli­ka­tio­ner. Hopper GPU’er frem­stil­les af TSMC ved hjælp af 4-na­no­me­ter­pro­ces­sen og har over 80 mil­li­ar­der tran­si­sto­rer, hvilket gør dem til nogle af de mest avan­ce­re­de gra­fik­kort på markedet.

Med Hopper-ar­ki­tek­tu­ren kom­bi­ne­rer NVIDIA den nyeste ge­ne­ra­tion af Tensor Cores med fem ba­ne­bry­den­de in­nova­tio­ner: trans­for­mer engine, NVLink/NVSwitch/NVLink switch-systemer, fortrolig computing, anden ge­ne­ra­tion af multi-instance GPU’er (MIG’er) og DPX-in­struk­tio­ner. Disse tek­no­lo­gi­er gør det muligt for Hopper GPU’er at opnå op til 30 gange hurtigere AI-inferens i forhold til den forrige ge­ne­ra­tion (baseret på NVIDIA’s Megatron 530B chatbot – verdens mest om­fat­ten­de ge­ne­ra­ti­ve sprog­mo­del).

Hvad er de in­nova­ti­ve funk­tio­ner ved Hopper GPU’er?

Hopper GPU’er har flere nye funk­tio­ner, der bidrager til at forbedre ydeevne, ef­fek­ti­vi­tet og ska­ler­bar­hed. Nedenfor præ­sen­te­rer vi de vigtigste in­nova­tio­ner:

• Trans­for­mer­motor: Med hjælp fra trans­for­mer­moto­ren kan Hopper GPU’er træne AI-modeller op til ni gange hurtigere. Til in­fe­rens­op­ga­ver inden for sprog­mo­del­ler opnår GPU’erne op til 30 gange hurtigere ac­ce­le­ra­tion end den forrige ge­ne­ra­tion.
• NVLink-swit­che­sy­stem: Fjerde ge­ne­ra­tion af NVLink leverer en tovejs GPU-bånd­bred­de på 900 GB/s, mens NVSwitch sikrer bedre ska­ler­bar­hed af H200-klynger. Dette sikrer, at AI-modeller med billioner af parametre kan behandles effektivt.
• Fortrolig da­ta­be­hand­ling: Hopper-ar­ki­tek­tu­ren sikrer, at dine data, AI-modeller og al­go­rit­mer også er beskyttet under be­hand­lin­gen.
• Multi-instance GPU (MIG) 2.0: Anden ge­ne­ra­tion af MIG-teknologi gør det muligt at opdele en enkelt Hopper GPU i op til syv isolerede instanser. Dette gør det muligt for flere personer at behandle for­skel­li­ge ar­bejds­be­last­nin­ger samtidigt uden at forstyrre hinanden.
• DPX-in­struk­tio­ner: DPX-in­struk­tio­ner gør det muligt at beregne dynamisk pro­gram­me­re­de al­go­rit­mer op til syv gange hurtigere end med GPU’er i Ampere-ar­ki­tek­tu­ren.

Hvilke an­ven­del­ses­til­fæl­de er Hopper GPU’er velegnede til?

NVIDIA GPU’er baseret på Hopper-ar­ki­tek­tu­ren er designet til en bred vifte af højty­den­de ar­bejds­op­ga­ver. De vigtigste an­ven­del­ses­om­rå­der for Hopper GPU’er er: ¬

• In­fe­rens­op­ga­ver: GPU’erne er blandt de bran­che­før­en­de løsninger til produktiv brug af AI-inferens. Uanset om det drejer sig om an­be­fa­lings­sy­ste­mer inden for e-handel, medicinsk di­ag­no­stik eller re­al­tids­for­ud­si­gel­ser til autonom kørsel, kan Hopper GPU’er behandle enorme mængder data hurtigt og effektivt.
• Generativ AI: De avan­ce­re­de GPU’er leverer den nød­ven­di­ge reg­ne­kraft til at træne og udføre værktøjer med generativ AI. Parallel be­hand­ling muliggør mere effektive be­reg­nin­ger til kreative opgaver såsom tekst-, billed- og vi­deo­ge­ne­re­ring.
• Deep learning-træning: Med deres høje reg­ne­kraft er Hopper GPU’er ideelle til træning af store neurale netværk. Hopper-ar­ki­tek­tu­ren forkorter træ­ning­sti­den for AI-modeller be­ty­de­ligt.
• Kon­ver­sa­tions-AI: Hopper GPU’er er optimeret til naturlig sprog­be­hand­ling (NLP) og er ideelle til AI-drevne sprogs­sy­ste­mer, såsom virtuelle as­si­sten­ter og AI-chatbots. De frem­skyn­der be­hand­lin­gen af store AI-modeller og sikrer responsiv in­ter­ak­tion, der kan in­te­gre­res pro­blem­frit i for­ret­nings­pro­ces­ser, såsom support.
• Da­ta­a­na­ly­se og big data: Hopper GPU’er håndterer enorme mængder data med høj hastighed og ac­ce­le­re­rer komplekse be­reg­nin­ger gennem massiv pa­ral­lel­be­hand­ling. Dette gør det muligt for virk­som­he­der at evaluere big data hurtigere for at kunne lave prognoser og iværk­sæt­te de rigtige for­an­stalt­nin­ger.
• Videnskab og forskning: Da GPU’erne er designet til HPC-ap­pli­ka­tio­ner, er de ideelle til meget komplekse si­mu­le­rin­ger og be­reg­nin­ger. Hopper GPU’er bruges for eksempel inden for astro­fy­sik, kli­ma­mo­del­le­ring og be­reg­ning­s­ke­misk.

Nuværende modeller fra NVIDIA

Med lan­ce­rin­gen af NVIDIA H100 og NVIDIA H200 har det ame­ri­kan­ske firma in­tro­du­ce­ret to Hopper-GPU’er på markedet. Derimod er NVIDIA A30 stadig baseret på den tidligere Ampere-ar­ki­tek­tur. Teknisk set er H200 ikke en helt ny model, men snarere en forbedret version af H100. Følgende oversigt fremhæver de vigtigste forskelle mellem disse to GPU’er:

• Hukom­mel­se og bånd­bred­de: Mens NVIDIA H100 er udstyret med en 80 GB HBM3-hukom­mel­se, har H200 GPU en HBM3e-hukom­mel­se med en kapacitet på 141 GB. H200 er også klart foran med hensyn til hukom­mel­ses­bånd­bred­de med 4,8 TB/s sam­men­lig­net med 2 TB/s for H100.
• Ydeevne til AI-inferens: Til sam­men­lig­ning leverer NVIDIA H200 dobbelt så høj in­fe­ren­sy­del­se for modeller som LLaMA 2-70 B. Dette muliggør ikke kun hurtigere be­hand­ling, men også effektiv skalering.
• HPC-ap­pli­ka­tio­ner og vi­den­ska­be­lig da­ta­be­hand­ling: H100 tilbyder allerede en første­klas­ses ydeevne til komplekse be­reg­nin­ger, som H200 overgår. In­fe­rens­ha­stig­he­den er op til dobbelt så høj, og HPC-ydeevnen er omkring 20 procent højere.