[Kina, Shenzhen, 14. juli 2023] I dag avduket Huawei sin nye AI-lagringsløsning for æraen med storskalamodeller, og gir optimale lagringsløsninger for grunnleggende modelltrening, bransjespesifikk modelltrening og slutninger i segmenterte scenarier, og dermed slippe løs nye AI-egenskaper.
I utviklingen og implementeringen av storskala modellapplikasjoner står bedrifter overfor fire store utfordringer:
For det første er tiden som kreves for dataforberedelse lang, datakildene er spredte og aggregeringen er treg, og det tar omtrent 10 dager å forhåndsbehandle hundrevis av terabyte med data. For det andre, for multimodale store modeller med massive tekst- og bildedatasett, er gjeldende lastehastighet for store små filer mindre enn 100 MB/s, noe som resulterer i lav effektivitet for lasting av treningssett. For det tredje forårsaker hyppige parameterjusteringer for store modeller, sammen med ustabile treningsplattformer, treningsavbrudd omtrent hver 2. dag, noe som gjør det nødvendig med Checkpoint-mekanismen for å gjenoppta treningen, med restitusjon som tar over en dag. Til slutt, høye implementeringsterskler for store modeller, komplekst systemoppsett, ressursplanleggingsutfordringer og GPU-ressursutnyttelse ofte under 40 %.
Huawei følger trenden med AI-utvikling i en tid med storskalamodeller, og tilbyr løsninger skreddersydd for ulike bransjer og scenarier. Den introduserer OceanStor A310 Deep Learning Data Lake Storage og FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage retter seg mot både grunnleggende og bransjenivå store modelldatascenarier, og oppnår omfattende AI-dataadministrasjon fra dataaggregering, forbehandling til modelltrening og slutningsapplikasjoner. OceanStor A310, i et enkelt 5U-rack, støtter bransjeledende 400 GB/s båndbredde og opptil 12 millioner IOPS, med lineær skalerbarhet opptil 4096 noder, som muliggjør sømløs kommunikasjon på tvers av protokoller. Global File System (GFS) forenkler intelligent dataveving på tvers av regioner, og effektiviserer dataaggregeringsprosesser. Near-lagring databehandling realiserer nær-data-forbehandling, reduserer databevegelse og forbedrer forbehandlingseffektiviteten med 30 %.
FusionCube A3000 Training/Inference Super-Converged Appliance, designet for opplæring/inferensscenarier for store modeller på industrinivå, henvender seg til applikasjoner som involverer modeller med milliarder av parametere. Den integrerer OceanStor A300 høyytelses lagringsnoder, opplærings-/inferensnoder, bytteutstyr, AI-plattformprogramvare og administrasjons- og driftsprogramvare, og gir partnere med store modeller en plug-and-play-implementeringsopplevelse for en one-stop-levering. Klar til bruk, den kan distribueres innen 2 timer. Både trenings-/inferens- og lagringsnoder kan utvides uavhengig og horisontalt for å matche ulike modellskalakrav. I mellomtiden bruker FusionCube A3000 beholdere med høy ytelse for å muliggjøre opplæring av flere modeller og slutningsoppgaver for å dele GPUer, noe som øker ressursutnyttelsen fra 40 % til over 70 %. FusionCube A3000 støtter to fleksible forretningsmodeller: Huawei Ascend One-Stop Solution og tredjeparts partner one-stop-løsning med åpen databehandling, nettverk og AI-plattformprogramvare.
Huaweis president for datalagringsproduktlinjen, Zhou Yuefeng, uttalte: "I en tid med storskalamodeller bestemmer data høyden på AI-intelligens. Som databærer blir datalagring den viktigste grunnleggende infrastrukturen for AI-modeller i stor skala. Huawei Data Storage vil fortsette å innovere, tilby diversifiserte løsninger og produkter for æraen med store AI-modeller, og samarbeide med partnere for å drive AI-bemyndigelse på tvers av et bredt spekter av bransjer."
Innleggstid: Aug-01-2023
