NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Technische oplossing

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Technical Solution∙ Low-Latency Interconnect Optimization voor RDMA/HPC/AI Clusters

1. Achtergrond van het project en analyse van de vereisten

Als kunstmatige intelligentie (AI) training clusters schaal naar duizenden GPU's en high-performance computing (HPC) systemen duwen naar exascale prestaties,Het netwerk dat de computerknooppunten verbindt, is een cruciale prestatiedeterminant geworden.In deze omgevingen is latency niet alleen een maatstaf ∙ het heeft rechtstreeks invloed op de applicatieprestaties, de tijd tot oplossing en de algehele cluster-efficiëntie.Voor werkbelastingen die sterk afhankelijk zijn van MPI (Message Passing Interface) collectieve operaties en alles-op-alle-communicatiepatronen zoals training van grote taalmodellenHet gebruik van een netwerk met een micro-secondaire latentieverhoging kan resulteren in uren extra runtime.zelfs met RDMA over Converged Ethernet (RoCE), hebben vaak moeite om de deterministische lage latentie en congestievrije werking te leveren die door deze veeleisende toepassingen wordt vereist.

Deze uitdaging wordt versterkt door drie gelijktijdige trends: ten eerste, de groeiende schaal van AI-modellen (die nu biljoenen parameters overschrijden) vereist massale parallelisme tussen duizenden GPU's,een stof vereist die een hoge doorvoer met een minimale latentievariantie kan ondersteunenTen tweede betekent de convergentie van HPC- en AI-workloads dat één fabric zowel op MPI gebaseerde communicatiepatronen als op NCCL gebaseerde GPU-collectieve operaties efficiënt moet ondersteunen.de operationele efficiëntie vereist dat de stof op schaal beheersbaar is, met uitgebreide monitoring en geautomatiseerde optimalisatie mogelijkheden.Een gestructureerde technische oplossing is vereist een die gebruikmaakt van een high-performance InfiniBand switch met lage latency forwarding, geavanceerd congestiebeheer en in-netwerk computation acceleration om voorspelbare prestaties op schaal te leveren.

2. Algehele netwerk / systeemarchitectuurontwerp

De voorgestelde architectuur heeft een topologie van de ruggengraat metNVIDIA Mellanox MQM8790-HS2Fschakelaars als bladlaag, verbonden met spine-schakelaars met een hogere poortdichtheid (zoals de QM9700-serie met 64 poorten van 400Gb/s NDR) voor grootschalige stoffen.De architectuur is ontworpen om niet-blokkerende communicatie te ondersteunen met volledige bisectiebandbreedte, zodat elk rekenknooppunt zonder problemen met elk ander knooppunt kan communiceren met draadsnelheid.

In een typische implementatie voor een cluster van 2000 nodes bestaat de architectuur uit:

• Leaf Tier:20MQM8790-HS2F InfiniBand-switcheenheden, elk met 40 QSFP56-poorten die werken bij 200 Gb/s HDR.Elke bladschakelaar verbindt zich met 50 rekenknooppunten (gebruikend een mix van 200Gb/s directe verbindingen en 100Gb/s HDR100 breakout via QSFP56 naar 2×QSFP56 kabels).
• Wervelkolom:4 QM9700-switches (of gelijkwaardige high-density-switches), elk met 64 poorten van 400 Gb/s NDR, die inter-leaf connectiviteit bieden.
• Berekeningsnodes:Elke knooppunt is uitgerust met één of meer ConnectX-6 HDR- of ConnectX-7 NDR-adapters, verbonden met bladschakelaars via passieve koperen of actieve optische kabels.
• Beheersnetwerk:Een apart out-of-band Ethernet-netwerk voor het beheer van switches, geïntegreerd met het NVIDIA Unified Fabric Manager (UFM) -platform voor gecentraliseerde monitoring en optimalisatie van stoffen.

De architectuur maakt gebruik vanMQM8790-HS2F 200Gb/s HDR 40-poort QSFP56de configuratie om een totale bladschakelcapaciteit van 8Tb/s per schakelaar te leveren.Elke 200Gb/s-poort kan een enkel 200Gb/s-eindpunt of twee 100Gb/s-eindpunten ondersteunen., die heterogene rekenknooppunten met verschillende interfacesnelheden kan bedienen.

3. Rol en belangrijkste kenmerken van de NVIDIA Mellanox MQM8790-HS2F in de oplossing

Binnen deze architectuurMQM8790-HS2Fdient als de fundamentele bladschakelaar en biedt connectiviteit met lage latentie en hoge bandbreedte aan rekenknooppunten, terwijl het geavanceerde functies ondersteunt die essentieel zijn voor HPC- en AI-werkbelastingen.De belangrijkste technische kenmerken zijn van cruciaal belang voor het succes van de totale oplossing:

• Sub-100 nanoseconde port-to-port latentie:Levert deterministische lage latentie die essentieel is voor latentiegevoelige MPI-collectieven en all-reduce-operaties.
• 40 poorten van 200 Gb/s HDR InfiniBand:Biedt 8Tb/s totale schakelcapaciteit in een compacte 1U-vormfactor, waardoor de poortdichtheid wordt gemaksimaliseerd en het rackruimteverbruik wordt verminderd.
• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) ondersteunen:Mogelijk maakt in-netwerk computation versnelling voor MPI collectieve operaties, offloading tot 20% van de communicatie workload van de CPU / GPU.
• Adaptieve routing:Verdeelt het verkeer dynamisch over beschikbare weefselpaden op basis van realtime congestiemetrics, waardoor de doorvoer wordt geoptimaliseerd en de latentievariantie wordt geminimaliseerd.
• Congestiebeheersing:Implementeert geavanceerde congestiebeheermechanismen (inclusief stroomcontrole op pakketniveau en congestie-melding) om te voorkomen dat netwerkhotspots de prestaties verlagen.
• HDR100 breakout ondersteuning:Hiermee kan elke 200 Gb/s-poort worden geconfigureerd als twee onafhankelijke 100 Gb/s-poorten, waardoor flexibiliteit wordt geboden bij de implementatie in gemengde snelheidsomgevingen.
• Uitgebreide beheersinterfaces:Ondersteunt IBTA-compliant Subnet Management (SM), SNMP, CLI, Web UI en integratie met UFM voor gecentraliseerd fabric management.
• Energie-efficiëntie:Typisch stroomverbruik onder 230 W, wat bijdraagt tot lagere koelkosten en een verbeterde PUE.

Deze kenmerken zijn uitvoerig gedocumenteerd in deGegevensblad MQM8790-HS2F, die gedetailleerde prestatiecurven, thermische specificaties en mechanische tekeningen bevat voor integratie in rack-uitlegtools.

4. Aanbevelingen voor implementatie en schaalbaarheid (met typische topologische beschrijving)

Voor de eerste implementatie, raden we een modulaire uitbreidingsstrategie aan gebaseerd op de architectuur op pod-niveau.ondersteunt ongeveer 400 rekenknooppunten met volledige bisectiebandbreedte. deMQM8790-HS2F InfiniBand switch oplossingHet programma maakt een incrementele schaalbaarheid mogelijk door pods toe te voegen naarmate de rekenkapaciteit toeneemt, waarbij de ruggengraatlaag connectiviteit biedt tussen pods voor een verenigde stof.

Typische topologie voor een enkele pod (400 rekenknooppunten):

• Leaf Switches:4 × MQM8790-HS2F, elk met 40 poorten met 200 Gb/s. 36 poorten per blad worden gebruikt voor de verbinding van de rekenknoop (ondersteunt maximaal 72 nodes per blad met behulp van HDR100 breakout),terwijl 4 poorten per blad worden gebruikt voor de ruggengraat uplinks.
• Wervelkolomschakelaars:2 × QM9700 (of gelijkwaardige NDR-switches met 64 poorten), die elk verbinding maken met alle 4 leaf-switches via 400 Gb/s uplinks (gebruikend 4 × 200 Gb/s QSFP56-QSFP-DD-kabels).
• Berekeningsnodes:400 knooppunten, elk verbonden met een leaf switch via een enkele 200Gb/s of dubbele 100Gb/s HDR100-verbinding.

Skalieren buiten een enkele pod:

• Voeg aanvullende pods toe (elk met 4 blad MQM8790-HS2F-switches) naargelang de rekenkapaciteit vereist.
• Verbind pods via een hogere wervelkolomlaag (superspin) met behulp van extra QM9700- of NDR-switches.
• Houd de consistentie van het weefsel in stand door deMQM8790-HS2FDe verwerking van het materiaal moet worden uitgevoerd op basis van de gegevens die in de verwerkingsprocedure zijn verzameld.

Bij het inzetten van deMQM8790-HS2Fin de HDR100-breakoutmodus gelden de volgende bedradingsrichtlijnen:

Voor grootschalige stoffen met meer dan 2.000 knooppunten raden we aan UFM's fabric simulatie mogelijkheden te gebruiken om het topologieontwerp en het congestiegedrag te valideren voordat ze worden ingezet.

5Operaties en onderhoud: toezicht, probleemoplossing en optimalisatie

De operationele levenscyclus van de op MQM8790-HS2F gebaseerde InfiniBand-fabriek vereist een systematische aanpak voor monitoring, probleemoplossing en optimalisatie.We raden aan om het NVIDIA UFM-platform in te zetten als de centrale beheers- en bewakingstool, die realtime zichtbaarheid biedt op de prestaties van weefsels, latentie-metrics en congestiepatronen.

Belangrijkste monitoringsmetrics om te volgen:

• Latentie op poortniveau:End-to-end latency over het weefsel, met waarschuwingen voor poorten die de latencydrempels overschrijden.
• Doorvoer en benutting:Aggregatie en doorvoer per poort, waarbij onder- of overgebruikte verbindingen worden geïdentificeerd.
• Indicatoren voor congestie:Pakketdruppels, pauze frames en congestie meldingen.
• Gezondheid van de weefsels:Linkstatus, fouttellers en temperatuur/vermogen telemetrie.

Probleemoplossingsprotocol voor gemeenschappelijke problemen:

1. Latentievermindering:Gebruik UFM's latency-analyse-tools om het specifieke pad of de poort met verhoogde latentie te identificeren; controleer op congestie of verkeerde configuratie van adaptieve routing.
2. Linkfouten of wegvallen:Controleer de fysieke verbinding (kabels, optica) en de portfouttellers; controleer of deMQM8790-HS2F compatibelIn de eerste plaats is het gebruik van kabel- en optische apparatuur in deSpecificaties MQM8790-HS2F.
3. Problemen met het beheer van het subnetwerk:Controleer of de Subnet Manager (SM) wordt uitgevoerd en of de fabric topologie correct wordt ontdekt; controleer op SM failover-gebeurtenissen.

Aanbevelingen voor optimalisatie:

• Adaptieve routing tuning:Aanpassen van routing-algoritmeparameters op basis van waargenomen verkeerspatronen
• Configuratie voor congestiebeheersing:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• Firmware- en software-updates:Regelmatig de firmware en UFM-software van de schakelaar bijwerken om toegang te krijgen tot prestatieverbeteringen en nieuwe functies.
• Periodieke audits van weefsels:Reguliere audits van de bekabeling, stroomvoorziening en koeling uitvoeren om de betrouwbaarheid van de werking op grote schaal te waarborgen.

6Samenvatting en waardebeoordeling

DeNVIDIA Mellanox MQM8790-HS2F-gebaseerde technische oplossing biedt een uitgebreide, veldgevalideerde methodologie voor het optimaliseren van interconnecties met lage latentie in RDMA/HPC/AI-clusters.Door gebruik te maken van de 40 poorten van de switch van 200Gb/s HDR InfiniBand, sub-100 nanosecond latency, SHARP in-netwerk computing, en adaptieve routing mogelijkheden,organisaties kunnen stoffen bouwen die voorspelbare prestaties op schaal leveren, terwijl ze het beheer vereenvoudigen en operationele overhead verminderen.

Belangrijkste waarde-metrics van vergelijkbare inzetingen zijn:

• Latentievermindering:De port-to-port-latentie van minder dan 100 nanoseconden vermindert de collectieve voltooiingstijden van MPI met maximaal 35% in vergelijking met stoffen van de vorige generatie.
• Versnelling van de toepassing:SHARP in-network computing offload vermindert CPU/GPU communicatie overhead met maximaal 20%, versnelt AI training epoch tijden met 25-30%.
• Efficiëntie van de stof:Adaptieve routing en congestiebeheersing zorgen voor een consistente prestatie onder variërende belasting, waardoor de prestatievariabiliteit met maximaal 60% wordt verminderd.
• Operationeel vereenvoudigen:De integratie van UFM biedt een uitgebreide zichtbaarheid en automatisering, waardoor de MTTR voor stofincidenten met maximaal 50% wordt verminderd.
• Kostenefficiëntie:DeMQM8790-HS2F prijsIn combinatie met de hoge poortdichtheid levert het een lagere kosten per poort in vergelijking met alternatieve InfiniBand-oplossingen, terwijl de rackruimte en de energiebehoefte worden verminderd.

Voor netwerkarchitecten en engineeringleiders biedt de MQM8790-HS2F een schaalbare, hoogwaardige basis voor HPC- en AI-clusters van de volgende generatie.De oplossing wordt met name aanbevolen voor organisaties die grootschalige GPU-versnelde omgevingen inzetten, evenals traditionele HPC-centra die van 100Gb/s naar 200Gb/s-fabrieken upgraden.de ondersteuning van de MQM8790-HS2F voor HDR100 breakout zorgt voor compatibiliteit met de bestaande infrastructuur en biedt een duidelijk migratiepad naar toekomstige snelheden.

Voor gedetailleerde weefselontwerp sjablonen, prestatietuning gidsen, en implementatie checklists, raadpleeg deGegevensblad MQM8790-HS2Fen de NVIDIA Mellanox InfiniBand architectuur documentatie.