Mikä on Hopper GPU?
Hopper-grafiikkaprosessorit edustavat NVIDIA:n uusinta sukupolvea korkean suorituskyvyn grafiikkaprosessoreita, jotka on suunniteltu erityisesti tekoälyä ja suurteholaskentaa (HPC) varten. Niissä on edistyksellinen arkkitehtuuri ja kehittyneet Tensor-ytimet, ja ne integroivat useita innovatiivisia teknologioita maksimaalisen tehokkuuden saavuttamiseksi. Hopper-grafiikkaprosessorit sopivat erinomaisesti monenlaisiin työkuormiin ja tukevat tekoälyn päättelyä, syväoppimisen koulutusta, generatiivista tekoälyä ja paljon muuta.
Mikä on NVIDIA:n Hopper-grafiikkaprosessoreiden arkkitehtuuri?
Nimi ”Hopper GPU” on peräisin Hopper-arkkitehtuurista, joka on GPU-mikroarkkitehtuuri, joka muodostaa perustan korkean suorituskyvyn grafiikkaprosessoreille ja on optimoitu tekoälyn työkuormille ja HPC-sovelluksille. Hopper GPU:t valmistetaan TSMC:n 4 nanometrin prosessilla, ja niissä on yli 80 miljardia transistoria, mikä tekee niistä markkinoiden edistyneimpiä grafiikkakortteja.
Hopper-arkkitehtuurissa NVIDIA yhdistää uusimman sukupolven Tensor-ytimet viiteen uraauurtavaan innovaatioon: muuntaja-moottori, NVLink/NVSwitch/NVLink-kytkinjärjestelmät, luottamuksellinen tietojenkäsittely, toisen sukupolven moni-instanssi-GPU:t (MIG) ja DPX-ohjeet. Näiden teknologioiden ansiosta Hopper-grafiikkaprosessorit saavuttavat jopa 30-kertaisen AI-päätelmien nopeuden edelliseen sukupolveen verrattuna (perustuu NVIDIA:n Megatron 530B -chatbottiin, joka on maailman kattavin generatiivinen kielimalli).
Mitkä ovat Hopper-grafiikkaprosessoreiden innovatiiviset ominaisuudet?
Hopper-grafiikkaprosessoreissa on useita uusia ominaisuuksia, jotka parantavat suorituskykyä, tehokkuutta ja skaalautuvuutta. Esittelemme tärkeimmät uutuudet alla:
- Transformer-moottori: Transformer-moottorin avulla Hopper-GPU:t pystyvät kouluttamaan tekoälymalleja jopa yhdeksän kertaa nopeammin. Kielimallien päättelytehtävissä GPU:t saavuttavat jopa 30-kertaisen nopeuden edelliseen sukupolveen verrattuna.
- NVLink-kytkinjärjestelmä: Neljännen sukupolven NVLink tarjoaa kaksisuuntaisen GPU-kaistanleveyden 900 GB/s, kun taas NVSwitch varmistaa H200-klusterien paremman skaalautuvuuden. Tämä takaa, että tekoälymalleja, joissa on biljoonia parametreja, voidaan käsitellä tehokkaasti.
- Luottamuksellinen tietojenkäsittely: Hopper-arkkitehtuuri varmistaa, että tietosi, tekoälymallisi ja algoritmisi ovat suojattuja myös käsittelyn aikana.
- Multi-instance GPU (MIG) 2.0: Toisen sukupolven MIG-tekniikka mahdollistaa yhden Hopper-GPU:n jakamisen jopa seitsemään erilliseen instanssiin. Tämä mahdollistaa useiden henkilöiden samanaikaisen eri työkuormien käsittelyn ilman keskinäisiä häiriöitä.
- DPX-ohjeet: DPX-ohjeiden avulla dynaamisesti ohjelmoidut algoritmit voidaan laskea jopa seitsemän kertaa nopeammin kuin Ampere-arkkitehtuurin GPU:illa.
Mihin käyttötarkoituksiin Hopper-grafiikkaprosessorit sopivat?
Hopper-arkkitehtuuriin perustuvat NVIDIA-grafiikkaprosessorit on suunniteltu monenlaisiin korkean suorituskyvyn työkuormiin. Hopper-grafiikkaprosessorien pääasialliset käyttöalueet ovat: ¬
- Päätelmätehtävät: GPU:t ovat alan johtavia ratkaisuja tekoälyn päätelmien tuottavaan käyttöön. Olipa kyseessä sitten suositusjärjestelmät verkkokaupassa, lääketieteellinen diagnostiikka tai reaaliaikaiset ennusteet autonomiselle ajamiselle, Hopper-GPU:t pystyvät käsittelemään valtavia määriä dataa nopeasti ja tehokkaasti.
- Generatiivinen tekoäly: Huippuluokan GPU:t tarjoavat tarvittavan laskentatehon generatiivisen tekoälyn työkalujen kouluttamiseen ja suorittamiseen. Rinnakkaisprosessointi mahdollistaa tehokkaammat laskelmat luoville tehtäville, kuten tekstin, kuvien ja videoiden luomiselle.
- Syväoppimisen koulutus: Suurella laskentatehollaan Hopper-GPU:t ovat ihanteellisia suurten neuroverkkojen kouluttamiseen. Hopper-arkkitehtuuri lyhentää merkittävästi tekoälymallien koulutusajoja.
- Keskusteleva tekoäly: Luonnollisen kielen käsittelyyn (NLP) optimoidut Hopper-grafiikkaprosessorit ovat ihanteellisia tekoälypohjaisille kielijärjestelmille, kuten virtuaaliassistentille ja tekoälypohjaisille chatboteille. Ne nopeuttavat suurten tekoälymallien käsittelyä ja varmistavat reagoivan vuorovaikutuksen, joka voidaan integroida saumattomasti liiketoimintaprosesseihin, kuten tukeen.
- Tietojen analysointi ja big data: Hopper-GPU:t käsittelevät valtavia tietomääriä suurella nopeudella ja nopeuttavat monimutkaisia laskelmia massiivisella rinnakkaisprosessoinnilla. Tämä mahdollistaa yrityksille big datan nopeamman arvioinnin ennusteiden tekemiseksi ja oikeiden toimenpiteiden käynnistämiseksi.
- Tiede ja tutkimus: Koska GPU:t on suunniteltu HPC-sovelluksiin, ne ovat ihanteellisia erittäin monimutkaisiin simulaatioihin ja laskelmiin. Hopper-GPU:ita käytetään esimerkiksi astrofysiikassa, ilmastomallinnuksessa ja laskennallisessa kemiassa.
NVIDIA:n nykyiset mallit
NVIDIA H100: n ja NVIDIA H200:n julkaisun myötä yhdysvaltalainen yritys on tuonut markkinoille kaksi Hopper-grafiikkaprosessoria. Sen sijaan NVIDIA A30 perustuu edelleen aiempaan Ampere-arkkitehtuuriin. Teknisesti katsoen H200 ei ole täysin uusi malli, vaan pikemminkin H100:n parannettu versio. Seuraavassa yleiskatsauksessa esitetään näiden kahden grafiikkaprosessorin tärkeimmät erot:
- Muisti ja kaistanleveys: NVIDIA H100 on varustettu 80 Gt:n HBM3-muistilla, kun taas H200-GPU:ssa on 141 Gt:n HBM3e-muisti. H200 on myös selvästi edellä muistin kaistanleveyden suhteen: 4,8 Tt/s verrattuna H100:n 2 Tt/s:iin.
- Suorituskyky tekoälyn päättelyssä: Vertailun vuoksi NVIDIA H200 tarjoaa kaksinkertaisen päättelytehon malleille, kuten LLaMA 2-70 B. Tämä mahdollistaa paitsi nopeamman käsittelyn myös tehokkaan skaalautuvuuden.
- HPC-sovellukset ja tieteellinen laskentateho: H100 tarjoaa jo ensiluokkaisen suorituskyvyn monimutkaisille laskelmille, mutta H200 ylittää sen. Inferenssinopeus on jopa kaksinkertainen ja HPC-suorituskyky noin 20 prosenttia korkeampi.