Kas ir Hopper GPU?
Hopper GPU ir NVIDIA jaunākās paaudzes augstas veiktspējas grafikas procesori, kas ir īpaši izstrādāti mākslīgā intelekta (AI) un augstas veiktspējas skaitļošanas (HPC) vajadzībām. Tie ir aprīkoti ar modernu arhitektūru un uzlabotiem Tensor Cores kodoliem, kā arī integrē vairākas inovatīvas tehnoloģijas, lai nodrošinātu maksimālu efektivitāti. Hopper GPU ir ideāli piemēroti plašam darba slodžu klāstam un atbalsta AI secinājumus, dziļo mācīšanos, ģeneratīvo AI un daudz ko citu.
Kāda ir NVIDIA Hopper GPU arhitektūras konstrukcija?
Nosaukums „Hopper GPU” ir cēlies no Hopper arhitektūras, kas ir GPU mikroarhitektūra, kas veido augstas veiktspējas grafikas procesoru pamatu un ir optimizēta AI darba slodzēm un HPC lietojumprogrammām. Hopper GPU ražo TSMC, izmantojot 4 nanometru procesu, un tajos ir vairāk nekā 80 miljardi tranzistoru, kas padara tos par vieniem no modernākajiem grafikas kartēm, kas pieejamas tirgū.
Ar Hopper arhitektūru NVIDIA apvieno jaunākās paaudzes Tensor Cores ar piecām revolucionārām inovācijām: transformatoru dzinēju, NVLink/NVSwitch/NVLink komutācijas sistēmām, konfidenciālu aprēķinu, otrās paaudzes daudzinstancu GPU (MIG) un DPX instrukcijām. Šīs tehnoloģijas ļauj Hopper GPU sasniegt līdz pat 30 reizes ātrāku AI secinājumu paātrinājumu salīdzinājumā ar iepriekšējo paaudzi (balstoties uz NVIDIA Megatron 530B čatbotu — pasaulē visaptverošāko ģeneratīvo valodas modeli).
Kādas ir Hopper GPU inovācijas?
Hopper GPU ir vairākas jaunas funkcijas, kas palīdz uzlabot veiktspēju, efektivitāti un mērogojamību. Svarīgākās inovācijas ir aprakstītas zemāk:
- Transformatoru dzinējs: ar transformatoru dzinēja palīdzību Hopper GPU var apmācīt AI modeļus līdz pat deviņas reizes ātrāk. Valodas modeļu jomas secinājumu uzdevumos GPU sasniedz līdz pat 30 reizes lielāku paātrinājumu nekā iepriekšējās paaudzes modeļi.
- NVLink komutācijas sistēma: Ceturtās paaudzes NVLink nodrošina divvirzienu GPU joslas platumu 900 GB/s, bet NVSwitch nodrošina labāku H200 klasteru mērogojamību. Tas nodrošina, ka AI modeļus ar triljoniem parametru var efektīvi apstrādāt.
- Konfidenciāla datu apstrāde: Hopper arhitektūra nodrošina, ka jūsu dati, AI modeļi un algoritmi tiek aizsargāti arī apstrādes laikā.
- Multi-instance GPU (MIG) 2.0: otrās paaudzes MIG tehnoloģija ļauj vienu Hopper GPU sadalīt līdz pat septiņām izolētām instancēm. Tas ļauj vairākiem cilvēkiem vienlaikus apstrādāt dažādas darba slodzes, netraucējot viens otru.
- DPX instrukcijas: DPX instrukcijas ļauj dinamiski programmētus algoritmus aprēķināt līdz septiņas reizes ātrāk nekā ar Ampere arhitektūras GPU.
Kādiem lietojumiem Hopper GPU ir piemēroti?
NVIDIA GPU, kas balstīti uz Hopper arhitektūru, ir paredzēti plašam augstas veiktspējas darba slodžu klāstam. Galvenās Hopper GPU lietošanas jomas ir: ¬
- Secinājumu uzdevumi: GPU ir viens no nozares vadošajiem risinājumiem produktīvai AI secinājumu izmantošanai. Neatkarīgi no tā, vai runa ir par ieteikumu sistēmām e-komercijā, medicīniskajā diagnostikā vai reāllaika prognozēm autonomajai braukšanai, Hopper GPU spēj ātri un efektīvi apstrādāt milzīgus datu apjomus.
- Ģeneratīvā AI: Augstas klases GPU nodrošina nepieciešamo skaitļošanas jaudu, lai apmācītu un izpildītu rīkus ar ģeneratīvo AI. Paralēlā apstrāde ļauj efektīvāk veikt aprēķinus radošiem uzdevumiem, piemēram, teksta, attēlu un video ģenerēšanai.
- Dziļās apmācības apmācība: ar savu augsto skaitļošanas jaudu Hopper GPU ir ideāli piemēroti lielu neironu tīklu apmācībai. Hopper arhitektūra ievērojami saīsina AI modeļu apmācības laiku.
- Sarunu AI: Hopper GPU ir optimizēti dabiskās valodas apstrādei (NLP) un ir ideāli piemēroti AI valodas sistēmām, piemēram, virtuālajiem asistentiem un AI čatbotiem. Tie paātrina lielu AI modeļu apstrādi un nodrošina ātru mijiedarbību, ko var viegli integrēt biznesa procesos, piemēram, atbalsta dienestos.
- Datu analīze un lielie dati: Hopper GPU apstrādā milzīgus datu apjomus ar lielu ātrumu un paātrina sarežģītus aprēķinus, izmantojot masīvu paralēlo apstrādi. Tas ļauj uzņēmumiem ātrāk izvērtēt lielos datus, lai veiktu prognozes un uzsāktu pareizos pasākumus.
- Zinātne un pētniecība: tā kā GPU ir paredzēti HPC lietojumprogrammām, tie ir ideāli piemēroti ļoti sarežģītiem simulācijām un aprēķiniem. Hopper GPU tiek izmantoti, piemēram, astrofizikā, klimata modelēšanā un skaitļošanas ķīmijā.
Pašreizējie NVIDIA modeļi
Ar NVIDIA H100 un NVIDIA H200 izlaišanu ASV bāzētā kompānija ir ieviesusi tirgū divus Hopper GPU. Savukārt NVIDIA A30 joprojām ir veidots uz iepriekšējās Ampere arhitektūras bāzes. Tehniskā ziņā H200 nav pilnīgi jauns modelis, bet drīzāk uzlabota H100 versija. Turpmākajā pārskatā ir izcelti galvenie atšķirības starp šiem diviem GPU:
- Atmiņa un joslas platums: NVIDIA H100 ir aprīkots ar 80 GB HBM3 atmiņu, bet H200 GPU ir HBM3e atmiņa ar 141 GB kapacitāti. H200 ir arī nepārspējams atmiņas joslas platuma ziņā ar 4,8 TB/s salīdzinājumā ar H100 2 TB/s.
- Veiktspēja AI secinājumiem: salīdzinājumā NVIDIA H200 nodrošina divreiz lielāku secinājumu veiktspēju modeļiem, piemēram, LLaMA 2-70 B. Tas ļauj ne tikai ātrāk apstrādāt datus, bet arī efektīvi mainīt mērogu.
- HPC lietojumprogrammas un zinātniskie aprēķini: H100 jau piedāvā pirmklasīgu veiktspēju sarežģītiem aprēķiniem, ko H200 pārspēj. Inferences ātrums ir līdz pat divreiz lielāks, HPC veiktspēja ir apmēram par 20 procentiem augstāka.