NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Technische referentie

Deze technische whitepaper is bedoeld voor netwerkarchitecten, pre-sales engineers en operationele leads. Gecentreerd op deNVIDIA Mellanox MQM8790-HS2FInfiniBand-switch biedt het een gedetailleerde referentie voor het ontwerpen, implementeren en bedienen van hoogwaardige fabrics die grootschalige AI-training en HPC-simulaties ondersteunen – met een focus op RDMA-versnelling en deterministische communicatie met lage latentie.

Moderne AI- en HPC-workloads drijven GPU-clusters naar tienduizenden knooppunten. Traditionele Ethernet-fabrics vertonen, zelfs met RoCE, prestatie-inconsistenties onder ingebouwde patronen en lijden onder hogere CPU-overhead. De belangrijkste vereisten voor clusterinterconnecties van de volgende generatie zijn onder meer:

• Point-to-point latentie van minder dan een microseconde voor gesynchroniseerde collectieve bewerkingen
• Verliesvrij, congestievrij transport om vertragingen in de file te voorkomen
• Volledige offload van communicatieverwerking van CPU/GPU-kernen
• Schaalbare fattree- of dragonfly+-topologieën met niet-blokkerende bandbreedte
• Kosteneffectief migratiepad van bestaande 100G/200G-optiek

Om aan deze eisen tegemoet te komen, heeft deMQM8790-HS2F InfiniBand-schakelaarlevert 200 Gb/s HDR per poort, 40 QSFP56-poorten per eenheid en native ondersteuning voor RDMA en computergebruik in het netwerk. Deze oplossing is speciaal ontwikkeld voor omgevingen waar de interconnectie-efficiëntie zich rechtstreeks vertaalt in de voltooiingstijd van opdrachten en de TCO.

De aanbevolen fysieke topologie voor AI/HPC-clusters die gebruik maken van deNVIDIA Mellanox MQM8790-HS2Fis een vetboom met twee of drie lagen (ook bekend als bladruggengraat). Elke leaf-switch maakt verbinding met GPU-servers via HDR- of HDR100-links, terwijl Spine-switches volledige mesh-connectiviteit tussen de bladeren bieden. Een typische 800-GPU-configuratie maakt gebruik van:

• 20 bladschakelaars: elkMQM8790-HS2F 200Gb/s HDR 40-poorts QSFP56bedient maximaal 20 servers (dualrail-verbindingen)
• 4 ruggengraatschakelaars: volledig onderling verbonden met bladeren via uplinks van 200 Gb/s
• Niet-blokkerende verhouding van 1:1 op elke laag

Voor grotere clusters (meer dan 2.000 GPU's) voegt een architectuur met drie lagen een superspine-laag toe. Al het fabric-beheer wordt afgehandeld door de Subnet Manager (SM) – ofwel draaiend op een speciale controller of ingebed in de switchfirmware voor kleinere fabrics.

Binnen deze architectuur is deMQM8790-HS2Fdient als zowel blad- als ruggengraatelement. De belangrijkste onderscheidende factoren zijn onder meer:

• 200Gb/s HDR per poort:Volledige bidirectionele doorvoer met een totale niet-blokkerende schakelcapaciteit van 16 Tb/s
• Adaptieve routering (AR):Verdeelt het verkeer dynamisch over meerdere paden om hotspots te vermijden, wat van cruciaal belang is voor de efficiëntie van fat-trees
• SHARPv2 (schaalbaar hiërarchisch aggregatie- en reductieprotocol):Verplaatst collectieve activiteiten (All-Reduce, Reduce-Scatter) rechtstreeks naar het switchnetwerk, waardoor de inactieve tijd van de GPU wordt verminderd
• Congestiebeheersing:Fijnkorrelige stroomregeling met FECN/BECN-mechanismen zorgt voor verliesvrij materiaal
• Hoge havendichtheid:40 QSFP56-poorten per 1U-chassis, waardoor de rackindeling wordt vereenvoudigd en de complexiteit van de bekabeling tussen racks wordt verminderd

Ingenieurs kunnen verwijzen naar deMQM8790-HS2F gegevensbladEnMQM8790-HS2F-specificatiesvoor gedetailleerde vermogens-, thermische en latentiecijfers. Het platform is dat ookMQM8790-HS2F-compatibelmet een breed scala aan HDR-, HDR100- en zelfs EDR-optiek, waardoor geleidelijke upgrades mogelijk zijn.

Voor een gebalanceerd AI-cluster van 1000 GPU wordt de volgende implementatievolgorde aanbevolen:

• Stap 1 – Bladlaag:25x installerenMQM8790-HS2Feenheden als vleugelschakelaars. Sluit elke GPU-server (8 GPU's per server) via twee HDR-poorten aan op twee verschillende bladeren voor redundantie en bandbreedte.
• Stap 2 – Ruglaag:Implementeer 8xNVIDIA Mellanox MQM8790-HS2Fals wervelkolomschakelaars. Verbind elk leaf met elke ruggengraat met behulp van 200Gb/s-verbindingen (40 uplinks per leaf, maar doorgaans een subset die voldoende is om de blokkeringsverhouding ≤1:1 te behouden).
• Stap 3 – Subnet Manager plaatsing:Voer redundante SM-instanties uit op twee lichtgewicht servers of gebruik de ingebouwde SM voor clusters onder de 2.000 poorten.
• Stap 4 – Partitioneren:Gebruik InfiniBand-partities om productie-, ontwikkelings- en opslagverkeersstromen over dezelfde fysieke infrastructuur te isoleren.

Voor uitbreiding naar meer dan 2.500 GPU's voegt u een super-spine-laag toe met behulp van extra MQM8790-HS2F-eenheden en verhoogt u de uplink-dichtheid van leaf-to-spine. DeMQM8790-HS2F InfiniBand-schakelaaroplossingschaalt lineair zonder de kern opnieuw te ontwerpen.

Dagelijkse werking van een weefsel waarop is gebouwdMQM8790-HS2Fswitches worden beheerd via NVIDIA's Fabric Manager en MLNX-OS. Belangrijke praktijken zijn onder meer:

• Toezicht:Gebruik `ibdiagnet` voor topologievalidatie, `perfquery` voor poorttellers en Grafana-dashboards met Prometheus-exporteurs voor realtime telemetrie (linkgebruik, symboolfouten, congestiemarkeringen).
• Firmware en software:Zorg voor consistente firmware voor alle switches. Raadpleeg de meest recente release-opmerkingen in deMQM8790-HS2F gegevensbladvoor versiecompatibiliteit.
• Problemen oplossen:Veelvoorkomende problemen (flapperen van links, niet-overeenkomende MTU of onjuiste partitieconfiguratie) worden snel geïsoleerd met behulp van `ibstatus`, `smpquery` en switch syslog. Adaptieve routeringslogboeken kunnen congestiebronnen opsporen.
• Optimalisatie:Stem adaptieve routeringsdrempels en congestiecontroleparameters af op basis van werklastprofilering. Voor grootschalige AI-training schakelt u SHARP in op toepasselijke MPI-bibliotheken (bijvoorbeeld NCCL met SHARP-plug-in).

Vraag ernaar bij het plannen van budget of uitbreidingMQM8790-HS2F prijsoffertes van geautoriseerde partners en verifiërenMQM8790-HS2F te koopbeschikbaarheid. De compatibiliteit van het platform met bestaande QSFP56-bekabeling vermindert het aanschafrisico.

DeMQM8790-HS2Fis niet zomaar een schakelaar: het is een fundamentele bouwsteen voor deterministische HPC- en AI-fabrics met lage latentie. De combinatie van 200Gb/s HDR, 40-poortsdichtheid, adaptieve routing en SHARP in-netwerk computing pakt direct de belangrijkste pijnpunten van moderne clusterverbindingen aan. Vergeleken met alternatieve 200G Ethernet-oplossingen biedt het InfiniBand-ecosysteem:

• Lagere CPU-overhead (echte RDMA met offload van hardwaretransport)
• Deterministische latentie op microsecondenschaal onder echte belasting
• Vereenvoudigd fabric-beheer met gecentraliseerde Subnet Manager
• Bewezen schaalbaarheid naar tienduizenden eindpunten

Voor organisaties die GPU-clusters bouwen of uitbreiden, is het gebruik van deNVIDIA Mellanox MQM8790-HS2Fbetekent het bereiken van hogere effectieve FLOPS per dollar, het verkorten van de voltooiingstijd van taken en het toekomstbestendig maken van de interconnect voor de volgende generatie HDR200 (400Gb/s)-upgrades. Gedetailleerde referentieontwerpen, inclusief compleetMQM8790-HS2F-specificatiesen bekabelingsmatrices zijn beschikbaar via het NVIDIA-partnerportaal.