NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Technische oplossing

Deze technische whitepaper is ontworpen voor netwerkarchitecten, pre-sales engineers en operationele leiders.MQM9790-NS2F een 400 Gb/s NDR InfiniBand-switch  en bevat gedetailleerde richtsnoeren voor architectuurontwerp, sleuteltechnologieën, implementatie en schaalbaarheid, alsmede exploitatie en monitoring,specifiek voor RDMA/HPC/AI cluster low-latency interconnect optimalisatie.

1. Achtergrond van het project en analyse van de vereisten

Moderne AI-training en HPC-workloads stimuleren clusters van duizenden tot tienduizenden GPU's. In dergelijke omgevingen is netwerkinterconnectie een primaire knelpunt geworden.Traditionele Ethernet-fabrieken worstelen met latentie en CPU-overheadDe belangrijkste vereisten zijn onder meer sub-microseconde switching latency, full line-rate forwarding zonder pakketverlies,efficiënte RDMA-ondersteuning, en naadloze schaalbaarheid tot honderden schakelaars.NVIDIA Mellanox MQM9790-NS2FDe NDR-systeemverbindingen zijn gebaseerd op de NDR-systeemverbindingen.

2. Algehele netwerk- en systeemarchitectuurontwerp

De aanbevolen architectuur gebruikt een tweelaagse Fat-Tree (ook bekend als gevouwen Clos) -topologie, die een evenwicht vormt tussen de bandbreedte, kosten en schaalbaarheid.GPU-servers die zijn uitgerust met ConnectX-7 NDR-adapters verbinden zich met bladschakelaarsBij de wervelkolomlaag,MQM9790-NS2F InfiniBand-switchDeze opzet zorgt voor een volledige splitsingsbandbreedte: elke bladschakelaar kan met elk ander blad communiceren met de draadsnelheid.een topologie met drie lagen (blad-ruggengraat-super-ruggengraat) kan worden ingezet, ondersteunt tot tienduizenden GPU-nodes.

• Verwijderingsborden:OSFP-modellen met 64 poorten, elk verbonden met 32 servers (dual-port) plus uplinks naar spines.
• Wervelkolomlaag: MQM9790-NS2F 400Gb/s NDR 64-poort OSFPEen volledig niet-blokkerend ontwerp vereist ruggengraatpoorten gelijk aan het aantal bladschakelaars.
• Beheer van het subnetwerk:Een toegewijde of redundante subnetbeheerder behandelt padberekening, adaptieve routing en failover.

3. Rol en belangrijkste kenmerken van de NVIDIA Mellanox MQM9790-NS2F in de oplossing

Als de kern ruggengraat en eventueel blad apparaat, deMQM9790-NS2Flevert verschillende kritieke mogelijkheden:

• 400Gb/s NDR-lijnsnelheid:Elk van de 64 OSFP-poorten werkt met een volledige duplex 400Gb/s, met een totale schakelcapaciteit van 51.2Tb/s.
• Ultra-lage latentie en adaptieve routing:Door middel van cut-through-switching wordt de port-to-port latency onder 130ns gehouden.
• In-network computing (SHARPv3):Ondersteunt schaalbare hiërarchische aggregatie en reductie, die collectieve bewerkingen van de CPU/GPU afladen en het gegevensverkeer met maximaal 10x verminderen.
• RDMA-native ontwerp:Hardware-versnelde RDMA maakt directe toegang tot GPU-geheugen mogelijk, waardoor CPU-betrokkenheid wordt geëlimineerd en de communicatie-overhead drastisch wordt verlaagd.
• Uitgebreide telemetrie & QoS:Fijne congestiebeheersing, bufferbewaking en stroomclassificatie zorgen voor deterministische prestaties voor gemengde werkbelastingen.

Volgens deGegevensblad MQM9790-NS2F, ondersteunt de schakelaar ook warm-uitwisselbare voedingsbronnen en ventilatoren, redundante beheerpoorten en een volledige reeks diagnoses, waardoor deze geschikt is voor 7×24 productieomgevingen.

4. Aanbevelingen voor implementatie en schaalbaarheid (met typische topologie)

Een typische 2.048-GPU cluster kan worden gebouwd met behulp van 64 leaf switches en 32 spine switches.MQM9790-NS2F compatibelVoor uitbreiding naar 8.192 GPU's wordt een super-spine-laag toegevoegd, die meerdere pods met elkaar verbindt.

Denk bij het opschalen aan de volgende factoren:

• Kabels en optica:Gebruik OSFP-to-OSFP DAC's voor korte intra-rackverbindingen en OSFP-to-4xOSFP breakoutkabels of optische modules voor grotere afstanden.Specificaties MQM9790-NS2Fde omvang en het energiebudget.
• Grootte van het subnetwerk:Een enkele subnetbeheerder kan tot 2.000 knooppunten verwerken; daarnaast kunnen meerdere subnetten worden ingezet of een gedistribueerd subnetbeheerderontwerp worden gebruikt.
• Overbodigheid:Dual-homed servers en redundante back-switches elimineren enkelvoudige storingpunten.MQM9790-NS2F InfiniBand switch oplossingondersteunt hitless failover met de juiste SM-configuratie.

5Operaties, monitoring, probleemoplossing en optimalisatie

Effectieve activiteiten vereisen zichtbaarheid en automatisering.

• Bewaking:Gebruik NVIDIA's Fabric Manager en telemetrie-API's om poortfouten, temperatuur, stroomverbruik en gebruik van koppelingen te volgen.
• Probleemoplossing:DeMQM9790-NS2FIn geval van afname van de prestaties, controleer de adaptieve routingconfiguratie, zorg ervoor dat alle weefselverbindingen symmetrisch zijn,en te controleren of SHARP-aggregatie is ingeschakeld voor ondersteunde collectieven.
• Optimalisatie:Stelt adaptieve routingparameters af op basis van de werkdruk (bijv. latency-gevoelig versus doorvoergevoelig).Regelmatig deMQM9790-NS2F prijsversus prestatie-compensaties bij het plannen van capaciteitsvergroting ¥ vaak levert het upgraden van spines een betere ROI dan het toevoegen van meer bladeren.

Voor organisaties die evaluerenMQM9790-NS2F te koop, zorg ervoor dat uw software-stack (bijv. NCCL, OpenMPI) NDR-functies zoals SHARPv3 en hardware-gebaseerde reductie ondersteunt.

6Samenvatting en waardebeoordeling

DeMQM9790-NS2F InfiniBand switch oplossingHet biedt een duidelijke weg naar het bouwen van lage latentie, high-bandwidth fabrics voor veeleisende RDMA/HPC/AI clusters.en in-netwerk computing mogelijkheden direct aan de schaalbaarheid en prestatie uitdagingen van moderne workloadsDoor de hierboven beschreven architectuur aan te nemen: Fat-Tree-topologie, NDR-kernswitches en RDMA-native werking: organisaties kunnen lineaire GPU-scaling bereiken, de voltooiingstijd van taken met meer dan 30% verminderen,Voor een gedetailleerde planning raadpleegt u de officiële website van deGegevensblad MQM9790-NS2FOm een aangepast ontwerp te bespreken of omMQM9790-NS2F prijsen beschikbaarheid, neem dan contact op met een geautoriseerde NVIDIA-partner.