NVIDIA Mellanox MQM9790-NS2F Technische referentie: Optimalisatie van onderlinge verbindingen met lage latentie voor RDMA/HPC/AI-clusters

NVIDIA Mellanox MQM9790-NS2F Technische referentie: Optimalisatie van onderlinge verbindingen met lage latentie voor RDMA/HPC/AI-clusters

1. Achtergrond van het project en analyse van de vereisten

Moderne AI-trainingen en HPC-simulatiewerklasten worden gekenmerkt door intense, alles-op-alles-communicatiepatronen die extreme eisen stellen aan het onderliggende netwerkstuk.Als GPU-clusters schalen verder dan 1In de eerste plaats is het belangrijk dat de technologieën die worden gebruikt voor het beheer van overbelastingen worden ontwikkeld op basis van de traditionele methode van Ethernet.

• Deterministische ultra-lage latentie:Sub-microseconde poort-naar-poort latency om MPI werk voltooiing tijden te minimaliseren.
• met een gewicht van niet meer dan 50 g/m2Nul pakketten vallen onder congestie om TCP-incast en prestatiecrash te voorkomen.
• In-netwerk computing offload:Vermindering van de overhead van de host-CPU voor collectieve operaties (bijv. all-reduce, broadcast).
• Scalable topologie:Ondersteuning voor fat-tree- en dragonfly+-topologieën met volledige bisectiebandbreedte tot duizenden eindpunten.

DeNVIDIA Mellanox MQM9790-NS2Fis ontworpen om aan deze eisen te voldoen als een 400Gb/s NDR InfiniBand-switch met 64 OSFP-poorten, die de dichtheid en prestaties biedt die vereist zijn voor ontplooiingen op exaschaal.

2. Algemeen netwerkarchitectuurontwerp

De voorgestelde oplossing maakt gebruik van een tweelaagse leaf-spine-topologie, die een evenwicht biedt tussen schaalbaarheid, controle van overabonnementen en kabelsimpliciteit.Elke rek heeft één of twee rekenmachines.MQM9790-NS2F InfiniBand-switchOp de ruggengraatslaag verbindt een tweede laag van MQM9790-NS2F-switches alle bladeren, waardoor een niet-blokkerende weefsel ontstaat.

Voor grootschalige implementaties met meer dan 2.000 GPU-nodes kan een drie-niveaus-vouwde-clos-architectuur worden aangenomen, met deMQM9790-NS2F 400Gb/s NDR 64-poort OSFPDit ontwerp zorgt ervoor dat elke server met elke andere server kan communiceren met lijnsnelheid,met maximaal drie schakelaars.

De volgende tabel geeft een samenvatting van de typische schaalparameters voor een tweelaags blad-ruggengraat dat is gebouwd rond de MQM9790-NS2F:

3. Rol en belangrijkste kenmerken van de NVIDIA Mellanox MQM9790-NS2F

Binnen deze architectuurNVIDIA Mellanox MQM9790-NS2Fdient als fundamentele bouwsteen en biedt verschillende kritieke mogelijkheden:

• NDR van 400 Gb/s per poort:Elk van de 64 OSFP-poorten ondersteunt bidirectionele 400Gb/s, met forward error correction (FEC) voor betrouwbare langeafstandsconnectiviteit.
• Geïntegreerde SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol):Verlaadt collectieve communicatie-operaties van de host-CPU's, waardoor de MPI all-reduce latency met maximaal 40% wordt verminderd bij grootschalige taken.
• Adaptieve routing en congestiebeheer:Dynamisch omleiden van het verkeer om hotspots te vermijden, waardoor voorspelbare prestaties worden gewaarborgd, zelfs onder tegenstrijdige verkeerspatronen.
• Geavanceerde telemetrie:Per-flow en per-port tellers, samen met bufferbezette monitoring, bieden een diep zicht op de gezondheid van weefsels.

Volgens deGegevensblad MQM9790-NS2F, de switch biedt een doorlooplatentie van minder dan 100 ns en ondersteunt tot 51,2 Tb/s aan totale schakelcapaciteit.Deze specificaties maken het een ideale keuze voor zowel greenfield-implementaties als geleidelijke upgrades van HDR-infrastructuur (200Gb/s).

4. Aanbevelingen voor implementatie en schaalbaarheid

Voor organisaties die deMQM9790-NS2F InfiniBand switch oplossing, worden de volgende inzetrichtlijnen aanbevolen:

• Kabelstrategie:Gebruik OSFP-to-OSFP koperkabels met directe aansluiting (DAC) voor aansluitingen binnen het rack (tot 3 m) en actieve optische kabels (AOC) of optische transceivers voor aansluitingen tussen het rack en de ruggengraat (tot 100 m).
• Overbodigheid:Gebruik dubbele voedingsbronnen en warmwisselbare ventilatormodules.
• Consistentie van de firmware:Zorg ervoor dat alle switches dezelfde NVIDIA firmwareversie gebruiken om verschillen in functies te voorkomen.
• Scalabiliteit:Voor clusters van meer dan 4000 knooppunten, overweeg een drie-niveaus gevouwen-Clos topologie of libelle + met adaptieve routing ingeschakeld.MQM9790-NS2F compatibelHet ecosysteem omvat een breed scala aan optica en kabels om deze topologieën te ondersteunen.

Bij de berekening van de totale eigendomskosten moet rekening worden gehouden met het verminderde aantal schakelniveaus en de vereenvoudigde bekabeling in vergelijking met alternatieven met een lagere radix.MQM9790-NS2F prijsde kosten per eenheid zijn hoger dan die van switches van de vorige generatie, de kosten per poort en de netwerkkosten per GPU zijn aanzienlijk lager bij grootschalige implementaties,Het maakt het een kosteneffectieve keuze voor Exascale-projecten.

5. Operaties, monitoring en probleemoplossing

Een effectief beheer van een NDR-stof vereist een uitgebreid monitorings- en probleemoplossingsraamwerk.NVIDIA Mellanox MQM9790-NS2F- op basis van weefsel, met:

• Visualisatie van topologie:Automatische ontdekking en grafische weergave van alle schakelaars, koppelingen en eindpunten.
• Performance-dashboards:Realtime weergaven van havenbenutting, foutencijfers en congestie-indicatoren.
• Proactieve waarschuwing:Alarmen op basis van drempelwaarden voor afbraak van de verbinding, temperatuur anomalieën en stroomstoring.
• Foutisolatie:Begeleide probleemoplossingsworkflows die defecte kabels, transceivers of schakelpoorten identificeren.

Voor geavanceerde probleemoplossing is deSpecificaties MQM9790-NS2Fbevatten gedetailleerde bufferbewakings- en stroomniveau-statistieken die via de REST-API kunnen worden geëxporteerd voor integratie met aangepaste monitoringstacks.Netwerkingenieurs moeten ook gebruik maken van de ingebouwde diagnostische tools van de schakelaar, zoals loopback-tests en BER-analyse (bit error rate), om de integriteit van de koppeling te valideren voordat productieloads worden ingezet.

Veel voorkomende problemen tijdens vroege implementaties zijn onder meer suboptimale routing veroorzaakt door ongelijke verbindingssnelheden of ongelijke kabeltypen.Het mogelijk maken van adaptieve routing en het verifiëren dat alle koppelingen met 400Gb/s werken (met FEC ingeschakeld) lost de meeste prestatie-anomalieën op. deMQM9790-NS2F InfiniBand switch oplossingbevat ook ondersteuning voor redundantie van subnetbeheerders, zodat de fabric reconfiguratie kan plaatsvinden zonder handmatige interventie in geval van een storing van een beheersknooppunt.

6Samenvatting en waardebeoordeling

DeMQM9790-NS2Feen significante vooruitgang in high-performance netwerken, waarbij 400 Gb/s NDR-bandbreedte, 64-poortdichtheid en in-network computation acceleration worden geleverd in een enkel, beheersbaar 1U-platform.Voor architecten en ingenieurs die AI- en HPC-clusters ontwerpenDeze schakelaar biedt een bewezen weg naar exaschaalprestaties, waardoor:

• Tot 30% verminderingin de voltooiingstijden voor opleidingswerkzaamheden op grote schaal door SHARPv3-offloading.
• Lagere TCOIn vergelijking met alternatieve oplossingen wordt dit veroorzaakt door een hogere radix en een verminderd aantal schakellagen.
• Vereenvoudigde verrichtingenvia UFM-integratie en uitgebreide telemetrie voor proactief storingsbeheer.
• Toekomstbestendige schaalbaarheidom GPU- en acceleratorinterconnecties van de volgende generatie te ondersteunen.

Voor organisaties die deMQM9790-NS2F te koopvia NVIDIA's partner netwerk, raden we aan om de gedetailleerdeGegevensblad MQM9790-NS2FHet is belangrijk dat u de implementatie aanpast aan uw specifieke werkdruk en schaalvereisten.NVIDIA Mellanox MQM9790-NS2Fis nu klaar om te dienen als de high-performance interconnect ruggengraat voor het volgende decennium van wetenschappelijke ontdekkingen en AI-innovatie.