Abstract
Kako umjetna inteligencija (AI) brzo napreduje, tradicionalne mreže podatkovnih centara suočavaju se s velikim izazovima prilikom prenošenja AI prometa. Visoko iskorištenje propusnog opsega i mali broj slonskih tokova mogu učiniti konvencionalno balansiranje opterećenja po-toku neefikasnim, što rezultira zagušenjem i gubitkom paketa koji značajno povećavaju vrijeme obuke za AI model i vrijeme završetka posla. Ova bijela knjiga ispituje dinamičku inteligentnu tehnologiju rutiranja koja kombinuje-svijest u stvarnom vremenu sa inteligentnim-donošenjem odluka. Koristi-mjerenje kvaliteta putanje, BGP proširenu-sinhronizaciju atributa, dinamički ponderisanu-višestruku putanju troškova (WCMP), abnormalno-uklanjanje putanje i
Flowlet{0}}automatsko balansiranje opterećenja (ALB) za poboljšanje rasporeda saobraćaja u AI okruženjima. Dizajn također koristi virtuelizaciju da obezbijedi izolaciju više-zakupaca i nudi scenarije aplikacija i smjernice za planiranje za efikasne, stabilne i inteligentne mreže AI centara podataka.
Uvod: Evolucija mreže u AI Era
Zašto se tradicionalne mreže bore sa AI Saobraćaj
U tradicionalnim mrežama centara podataka, veliki broj malih tokova omogućava balansiranje opterećenja po-toku kako bi se postigla prihvatljiva distribucija i izbjegavanje zagušenja čak i bez-svijesti u stvarnom vremenu o uslovima mreže. AI saobraćaj je veoma različit: iskorištenost propusnog opsega je izuzetno visoka i prometom često dominira samo nekoliko tokova slonova. Haš kolizije stoga mogu postaviti više velikih tokova na istu putanju dok druge staze ostaju nedovoljno korištene. Jednom kada dođe do gubitka paketa, vrijeme završetka cjelokupnog AI radnog opterećenja može se značajno povećati. Iz tog razloga, industrija se sve više fokusira na optimizirane algoritme-balansiranja opterećenja za AI tkanine tako da se promet ravnomjernije raspoređuje na više puteva.
Slika 1. Poređenje saobraćaja AI slonova-protoka i tradicionalnog malog-protoka saobraćaja.
Kombinacija dinamičke svijesti s inteligentnim-donošenjem odluka
Dinamičko inteligentno usmjeravanje je tehnologija-bazirana na ravnoteži opterećenja{1}}na svijesti. Koristi kvalitet putanje koji detektuju prekidači u tkanini da bi prilagodio lokalni izbor putanje i podržava dinamički ponderisano balansiranje opterećenja. Izgrađena na BGP-u, tehnologija definira novi prošireni atribut-zajednice.
Više-dimenzionalna, visoko{1}}mjerna mjerenja se koriste za procjenu kvaliteta putanje, a rezultat se širi kroz BGP za usmjeravanje naknadnog prosljeđivanja saobraćaja. Ovo poboljšava -distribuciju opterećenja širom mreže i smanjuje vrijeme odgovora aplikacije [1].
Slika 2. Dinamički radni tok svijesti, odluka i izvršenja.
Osnovne tehnologije: Inteligentno planiranje saobraćaja
Uobičajeni pristupi{0}}uravnotežavanja opterećenja mreže uključuju:
- ECMP po-toku: Najčešći pristup, zasnovan na hešu od pet-torki. Dobro radi kada ima mnogo tokova i čuva redosled paketa, ali heš kolizije mogu dovesti do lošeg balansiranja kada je broj tokova nizak, kao u AI treningu [1].
- Balansiranje{0}}zasnovano na protoku: Zavisi od ispravne konfiguracije među-razmaka između tokova. Precizna konfiguracija je teška kada je latencija-nivoa globalne putanje nepoznata [1].
- Po{0}} ECMP paketa: Pruža odličnu teoretsku ravnotežu, ali može stvoriti opsežno preuređivanje paketa na prijemniku [1].
Pristup dinamičkog inteligentnog rutiranja koji koriste XingRongyuan CX-N serija RoCE prekidača (bazirani na SONiC-) kombinuje balansiranje po-protoku ECMP i Flowlet-bazirano. Uvodi dinamički WCMP (Weighted Cost Multipath) i Flowlet-bazirani ALB (Auto Load Balancing) [1].
Mjerenje kvaliteta putanje
Sistem procjenjuje kvalitet mrežne staze koristeći faktore koji snažno utiču na AI klaster tkanine, uključujući korištenje propusnog opsega, korištenje reda i kašnjenje prosljeđivanja.
Statistical Counters
Širina pojasa i korištenje reda se mjere preko ASIC hardverskih brojača sa tačnošću na nivou od sto-milisekundi. ASIC bilježi brojače-prosljeđivanja portova i redova{3}}u realnom vremenu. SONiC kontrolna ravan čita brojače kroz SAI interfejs sa preciznošću ispod-druge i pohranjuje ih u Redis. Proces kontrole rutiranja{7}}procjenjuje kvalitet interfejsa koristeći ove brojače i oglašava rezultat kroz BGP. Kako bi se ograničilo kontrolno{9}}opterećenje u ravni, reklame se trenutno šalju u intervalima drugog-nivoa, sa ponderiranim prosjekom koji se primjenjuje na više uzoraka; noviji uzorci dobijaju veću težinu.
U-Telemetrija opsega
Mjerenje kašnjenja{0}}prosljeđivanja se zasniva na INT (In-mrežna telemetrija u opsegu) i može doseći preciznost nanosekundnog-nivoa. HDC (High Delay Capture) hvata pakete koji doživljavaju veliko kašnjenje unutar ASIC-a. Kada paket premaši korisnički-definirani prag kašnjenja, prekidač šalje sakupljaču prvih 150 bajtova originalnog paketa zajedno sa metapodacima, uključujući ulazni port, izlazni port i kašnjenje. U ovom dizajnu, CPU djeluje kao HDC kolektor i analizator, omogućavajući visoku{8}}preciznost prosljeđivanja-mjera kašnjenja i preciznije putanje{10}}ocjenjivanje kvaliteta.
Slika 3. Put{1}}kvalitetna propagacija i WCMP instalacija.
Tehnologija koristi novi atribut BGP proširene-zajednice, Path Bandwidth Extended Community, da ukaže na ukupni kvalitet putanje do odredišta. Bajt visokog{2}}bajta proširenog-polja tipa je 0x00, a bajt niskog{6}}bajta je 0x05. U polju vrijednosti, potpolje Globalni administrator predstavlja AS broj. Kvalitet staze je kodiran u četiri bajta koristeći IEEE format{10}}pokretnog zareza i izražen u GB/s.
Kada NIC1 komunicira sa NIC2, NIC2 prvo oglašava svoju IP adresu Leaf2. Leaf2 reklamira adresu Spine-u zajedno sa-vrijednošću kvaliteta veze prema NIC2 pomnoženom sa težinom Leaf2 downlink-a. Spine dodaje vlastiti ponderirani kvalitet veze i prosljeđuje akumuliranu vrijednost na Leaf1. Leaf1 sumira kvalitet putanje i instalira rute koje usmjeravaju prosljeđivanje. U dva-slojna Leaf-fabrikatura, portovi su klasifikovani kao Leaf uplinks, Leaf downlinks i Spine portovi, sa podesivim koeficijentima izračunavanja za svaku klasu.
Dynamic WCMP
Balansiranje opterećenja distribuira saobraćaj na više veza. U AI okruženjima, ovo je neophodno za izgradnju Ethernet mreže bez gubitaka sa minimalnim gubitkom paketa, kašnjenjem i degradacijom propusnosti. ECMP je konvencionalni mehanizam u podatkovnim centrima. WCMP proširuje ECMP distribucijom
promet proporcionalno preko linkova. U dinamičkom inteligentnom rutiranju, WCMP težine se prilagođavaju u realnom vremenu prema kvalitetu puta. Na primjer, ako postoje dva puta između NIC1 i NIC2, sistem može izračunati omjer 3:7. Kako se promet mijenja, ažurirane informacije o{7}}kvalitetu putanje se propagiraju kroz BGP do svakog Leaf prekidača, gdje se generiraju dinamičke WCMP rute za usmjeravanje prosljeđivanja.
Abnormal Path Removal
Kada zbirni kvalitet putanje padne ispod dogovorenog praga, putanja se smatra neupotrebljivom za AI radno opterećenje i uklanja se iz prosljeđivanja. Preostale staze nastavljaju da prenose saobraćaj kroz dinamički WCMP. Kada se put vrati u normalu, vraća se. Iako ovo može privremeno ostaviti dio kapaciteta neiskorištenim, sprječava ozbiljnije zagušenje i gubitak paketa [1].
Inteligentno balansiranje opterećenja (ALB)
ALB pruža distribuciju opterećenja zasnovanu na Flowlet-obliku. ASIC mjeri opterećenje i kašnjenje na različitim portovima u realnom vremenu i usmjerava svaki Flowlet na vezu s manjim opterećenjem ili manjim kašnjenjem. Ovo dodaje finije-zakazivanje na vrhu tradicionalnog ECMP-a. ALB također podržava prebacivanje porta i automatski redistribuira promet kada izlazna veza ne uspije [1].
Virtuelizacija
Front{0}}mrežama često je potrebna podrška za više-zakupaca tako da se različiti GPU resursi mogu dodijeliti različitim korisnicima. Rješenje koristi VRF (virtuelno usmjeravanje i prosljeđivanje) za izolaciju stanara, pri čemu je svakom korisniku dodijeljen jedan VRF. Podmreže koje se odnose na GPU- se postavljaju u korisnikov VRF, a PRE ACL-ovi u ASIC-u klasifikuju ulazni saobraćaj tako da se saobraćaj svakog korisnika prosleđuje samo unutar odgovarajućeg VRF-a [1].
Scenariji aplikacija
1.Kako Dynamic WCMP apsorbira nagli promet
Za tvornicu sa 256 x 400G GPU portovima, dvo-Clos arhitektura se može dizajnirati sa 1:1 downlinkom-prema-omjerom konvergencije uzlazne veze kako bi se održala visoka propusnost, veliki propusni opseg i simetričan kapacitet. Odgovarajući modeli proizvoda uključuju XingRongyuan CX864E-N ili CX732Q-N [1]. Pod konvencionalnim ECMP-om, mali broj tokova AI slonova može se heširati na istu kičmu, uzrokujući zagušenje uzlazne veze ili gubitak paketa. Dynamic WCMP kontinuirano prilagođava distribuciju saobraćaja u skladu s-kvalitetom puta u stvarnom vremenu, smanjujući nagli promet i izbjegavajući zagušenja [1].
2.Flowlet-Uravnoteženje nivoa opterećenja
U istoj GPU tkanini od 256 x 400G, dinamički WCMP ne može najbolje opsluživati svaki uređaj ili radno opterećenje. Prekidač može dinamički odabrati Flowlet-bazirani ALB. ALB mjeri opterećenje i kašnjenje veza u ECMP grupi i šalje tokove na veze sa manjim korištenjem ili kašnjenjem. Ako se sučelje preoptereti ili se njegovo kašnjenje prosljeđivanja poveća, ASIC automatski izbjegava taj izlaz dok se uvjeti ne vrate u normalu [1].
Planiranje i dizajn AI mreže
Usluge umjetne inteligencije općenito uključuju tri faze: prikupljanje podataka i prethodnu obradu, obuku modela i zaključivanje AI. Svaka faza nameće različite zahtjeve mreži.
1. Prikupljanje podataka i prethodna obrada
Globalna{0}}mreža za prikupljanje i prethodnu obradu podataka za obuku mora obezbijediti-velike, elastične javne IP i resurse propusnog opsega tako da se masivni neobrađeni skupovi podataka mogu efikasno prikupljati sa globalnog interneta. Dizajn mora osigurati siguran i stabilan prijenos uz poboljšanje agregacije podataka i performansi predobrade [2].
1.1 VPC segmentacija
VPC dizajn za prikupljanje podataka u oblaku-trebalo bi slijediti najmanje-privilegije, slojevitu izolaciju, sigurnosnu kontrolu i principe elastične skalabilnosti. Može se koristiti bilo više VPC-ova ili više podmreža unutar jednog VPC-a [2].
- Segmentirajte po fazi usluge: Pripremite prikupljanje podataka, prethodnu obradu, skladištenje, obuku i zaključivanje u odvojenim podmrežama ili VPC-ovima. Postavite ulazne tačke prikupljanja u DMZ VPC ili javnu podmrežu; postaviti predobradu i privremene podatke u namenski VPC za obradu; smjestite osjetljive neobrađene podatke i obuku AI u visoko-sigurnosni VPC bez direktnog javnog pristupa.
- Izolirajte prema nivou sigurnosti: Kreirajte VPC ili podmreže visoke{0}}, srednje{1}} i niske{2}}sigurnosti ili podmreže i koristite sigurnosne grupe, mrežne ACL-ove i privatnu konekciju za kontrolu unakrsnog-VPC-a i unakrsnog-podmrežnog saobraćaja.
- Izolacija po zakupcu ili projektu: Dodijelite zasebne VPC-ove različitim zakupcima ili projektima za izolaciju resursa, mreža i podataka.
1.2 Izlazna mreža za prikupljanje podataka
NAT gateway: Koristite skup EIP-ova i SNAT-a kroz NAT gateway, omogućavajući programima prikupljanja pristup internetu sa nasumično odabranih javnih IP adresa.
Sopstveno-izgrađeni proxy: implementirajte proxy servere koji održavaju mapiranja između procesa prikupljanja i javnih IP adresa i distribuiraju jedan zahtjev za prikupljanje na više proksija.
Pružalac IP usluga: Povežite se sa dobavljačem IP usluga preko privatne mreže u oblaku radi niže cijene, kontrolirane sigurnosti i stabilnog kvaliteta [2].
1.3 Među-Agregacija i prethodna obrada podataka među regijama
Odaberite OSS regiju u skladu s planom klastera za pretprocesiranje-i kreirajte VPC za{1}}agregaciju podataka u istoj regiji. Kreirajte tranzitni ruter (TR) u svakoj regiji, povežite lokalne VPC-ove i međusobno povežite TR-ove tako da regionalni VPC-ovi za prikupljanje mogu direktno pristupiti centralnom OSS-u. Usluge kao što su PAI-iTAG, MaxCompute i Flink tada mogu izvršiti označavanje i prethodnu obradu podataka u OSS regiji [2].
2. Model mreže za obuku
Model{0}}mreža za obuku je usko integrirana sa mrežom za prikupljanje i pretprocesiranje kako bi formirala globalnu strukturu koja povezuje centre podataka u oblaku, rubne čvorove i-lokalne IDC-ove.
-Međusobna veza velike brzine pruža malu-latenciju, visoku-propusnost kretanja podataka, dok propusni opseg, sigurnosna pravila, kontrole pristupa i oporavak od katastrofe moraju biti dizajnirani od kraja do kraja [2].
- U-unakrsnim-regionima skupu računara: Tranzitni ruter povezuje više VPC-ova unutar iste regije. Serverski ENI se povezuju na VPC prekidače i mogu se konfigurisati za potrebnu propusnost i RDMA.
- Cross-cloud compute pool: Namjenska kola povezuju IDC ili drugi oblak na isti-VPC regiona. Alibaba Cloud VBR-ovi se povezuju na sloju 3 sa ravnopravnim uređajem, uz BGP, BFD i brzi prelazak na grešku za brzu konvergenciju.
Globalni skup računara: Među-regionalne veze između TR-a se obezbjeđuju prema vršnom saobraćaju među-regionima, sa opcionim među-regionalnim QoS-om za kreiranje objedinjenog računalnog skupa u regijama [2].
3. Global Inference-Mreža usluga
Globalna mreža zaključivanja bira modele implementacije prema resursima i uslugama u oblaku dostupnim u svakoj regiji i pruža efikasnu distribuciju usluga i pristup [2].
- Implementacija modela ili agenta: Koristite model Studio MaaS implementaciju, PAI-EAS ili Function Compute PaaS implementaciju ili IaaS implementaciju na EGS, ACK, ACS ili Lingjun goloj-metalnoj infrastrukturi unutar korisničkog VPC-a.
- Distribucija usluge: Kreirajte VPC za{0}}distribuciju zaključivanja i povežite privatne mreže koristeći VPC Peering, pridružene VPC-servisne VPC-ove u oblaku ili PrivateLink. Postavite ALB ili poboljšani ALB kao pristupnu tačku i proxy zahtjeve za različite modele ili agente.
- Pristup servisu: Lokalni korisnici interneta mogu direktno pristupiti poboljšanom ALB-u; udaljeni korisnici mogu koristiti Global Accelerator (GA); interni ili eksterni Alibaba Cloud poslovni korisnici mogu se privatno povezati putem PrivateLink-a.
Zaključak i Outlook
Ova bela knjiga objašnjava izazove sa kojima su se suočavale IDC mreže u eri veštačke inteligencije i kako ih dinamičko inteligentno rutiranje može rešiti. Dinamička svijest, inteligentno-donošenje odluka, WCMP, ALB i VRF virtuelizacija poboljšavaju efikasnost-balansiranja opterećenja, smanjuju zagušenje i gubitak paketa, te ubrzavaju AI obuku i zaključivanje. Odjeljak za planiranje naglašava segmentaciju VPC-a,-izlazni dizajn kolekcije,-agregaciju i prethodnu obradu u više regija, obuku modela i isporuku globalnog zaključivanja. Kako AI nastavlja da se razvija, mreže centara podataka će se suočiti sa strožijim zahtjevima. Dinamičko inteligentno usmjeravanje nastavit će se poboljšavati za rubnu umjetnu inteligenciju, udruženo učenje i druge složene scenarije. Buduće IDC mreže će staviti veći naglasak na konvergenciju računarske-mreže, energetsku efikasnost i automatizovane operacije, stvarajući inteligentniju, efikasniju i pouzdaniju osnovu za digitalnu ekonomiju.
Reference
Tehnički izvorni dokument koji{0}}daju korisnici.
Bijela knjiga Alibaba Cloud AI mreže. Pristupljeno 27. maja 2026.
https://help.aliyun.com/zh/cloud-mreža-dobro-arhitektovana-dizajn/alibaba-oblak-ai{8}}mreža-bijeli{10}}papir