NVIDIA Mellanox MQM9790-NS2F in Actie: Het Bouwen van een Laag-Latentie RDMA-Fabric voor AI en HPC Clusters

NVIDIA Mellanox MQM9790-NS2F in Actie: Het Bouwen van een Low-Latency RDMA Fabric voor AI en HPC Clusters

Achtergrond & De Uitdaging: Wanneer Scale-Out de Bottleneck Wordt

Naarmate grote taalmodellen schalen van duizenden naar tienduizenden GPU's, en weersimulaties richting kilometer-schaal resolutie gaan, worden de beperkingen van traditionele Ethernet fabrics pijnlijk duidelijk. In deze omgevingen leggen MPI collectieve communicatiepatronen—zoals all-reduce en all-to-all—extreme eisen op aan netwerklatentie en congestiebeheer. Zonder een speciaal gebouwde interconnect, besteden zelfs de krachtigste rekenknooppunten een aanzienlijk deel van hun cycli aan het wachten op data, wat dure GPU-middelen effectief verspilt.

Dit is precies de uitdaging die de NVIDIA Mellanox MQM9790-NS2F aanpakt. Als een 400Gb/s NDR InfiniBand switch met 64 OSFP-poorten, is hij ontworpen om deterministische, sub-microseconden latentie te leveren over duizenden eindpunten, wat ware lineaire schaalbaarheid voor gedistribueerde workloads mogelijk maakt.

Oplossing & Implementatie: Een Leaf-Spine Fabric Gebouwd voor RDMA

In een typisch implementatiescenario voor een groot AI-onderzoekslaboratorium vormt de MQM9790-NS2F InfiniBand switch de kern van een tweelaagse leaf-spine topologie. Op de leaf-laag is elke rekenrack uitgerust met één of twee MQM9790-NS2F units, die 64 poorten van 400Gb/s connectiviteit bieden aan GPU-servers via OSFP-naar-OSFP direct-attach koperkabels of actieve optische kabels. Op de spine-laag verbinden extra MQM9790-NS2F switches de leaves, waardoor een non-blocking fat-tree fabric met volledige bisectiebandbreedte ontstaat.

Wat deze oplossing bijzonder aantrekkelijk maakt, is de native ondersteuning van de switch voor RDMA over Converged Ethernet (RoCE) wanneer deze in InfiniBand-modus werkt—hoewel hier de native RDMA-mogelijkheden van InfiniBand worden benut voor nog lagere latentie en CPU-offload. De MQM9790-NS2F 400Gb/s NDR 64-poorts OSFP integreert NVIDIA's SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) technologie, die collectieve operaties direct op de switch fabric offloadt. In de praktijk betekent dit dat een all-reduce operatie die normaal gesproken meerdere keren door het netwerk zou gaan, nu in één keer wordt voltooid, waardoor de job-voltooiingstijden tot 30% worden verkort voor communicatie-intensieve workloads.

Voor netwerkarchitecten die de MQM9790-NS2F InfiniBand switch oplossing evalueren, wordt het implementatieproces gestroomlijnd door NVIDIA's Unified Fabric Manager (UFM). UFM biedt gecentraliseerde zichtbaarheid van de fabric-gezondheid, geautomatiseerde topologie-ontdekking en proactieve congestiebewaking—kritieke functies bij het beheren van fabrics met meer dan 2.000 poorten. Vroege adopters hebben gemeld dat het MQM9790-NS2F compatibele ecosysteem, dat een breed scala aan NVIDIA-gecertificeerde kabels en transceivers omvat, de inkoop vereenvoudigt en het implementatierisico vermindert.

Resultaten & Meetbare Winsten: Van Theorie naar Productie Realiteit

In een recente productie-implementatie voor een 2.048-GPU cluster gewijd aan grootschalige transformer modeltraining, leverde de upgrade van HDR (200Gb/s) naar NDR (400Gb/s) infrastructuur—met de NVIDIA Mellanox MQM9790-NS2F als hart—meetbare verbeteringen op meerdere fronten:

• Vermindering van job-voltooiingstijd: Eind-tot-eind trainingiteraties voor een model met 175 miljard parameters daalden met 28%, grotendeels toe te schrijven aan SHARPv3 offloading en verminderde tail-latentie.
• Netwerkgebruik: Gemiddeld fabricgebruik steeg van 62% naar 89% zonder congestie-instorting te triggeren, dankzij de geavanceerde adaptieve routing en congestiebeheer mechanismen van de switch.
• Operationele eenvoud: Met 64 poorten per switch werd het aantal benodigde spine switches gehalveerd in vergelijking met een 32-poorts HDR-ontwerp, wat de bekabelingscomplexiteit en het stroomverbruik per rack aanzienlijk verminderde.

Volgens de MQM9790-NS2F specificaties levert de switch een poort-naar-poort latentie van minder dan 100ns en ondersteunt hij tot 51,2Tb/s aan aggregaat schakelcapaciteit—cijfers die nauw aansluiten bij de prestaties die in deze implementatie zijn waargenomen. Netwerkengineers merkten ook op dat de MQM9790-NS2F datasheet de prestaties in de praktijk nauwkeurig weerspiegelde, zonder verrassingen tijdens de validatiefase.

Vanuit een TCO-perspectief verminderde de mogelijkheid om meer eindpunten per switch-laag te consolideren direct de kapitaaluitgaven. Hoewel de initiële MQM9790-NS2F prijs hoger is dan die van equivalente 200Gb/s oplossingen, daalde de netwerkkosten per GPU daadwerkelijk door de hogere radix en het verminderde aantal switch-lagen. Dit economische voordeel, gecombineerd met de prestatiewinsten, maakte de business case duidelijk voor het stuurgroep van het lab.

Samenvatting & Vooruitzichten: De NDR Basis voor Exascale Computing

De NVIDIA Mellanox MQM9790-NS2F is meer dan een incrementele upgrade—het vertegenwoordigt een fundamentele verschuiving in hoe HPC en AI clusters worden ontworpen. Door 400Gb/s NDR bandbreedte, 64-poorts dichtheid en in-network compute acceleratie te leveren in een enkel 1U form factor, stelt het architecten in staat om fabrics te bouwen die schalen naar tienduizenden eindpunten zonder prestaties of beheersbaarheid op te offeren.

Vooruitkijkend, naarmate workloads hogere bandbreedte en lagere latentie blijven eisen, zal de MQM9790-NS2F InfiniBand switch dienen als het fundamentele bouwblok voor exascale systemen van de volgende generatie. De compatibiliteit met bestaande NVIDIA Quantum-2 platforms en naadloze integratie met UFM zorgen voor een soepel migratiepad voor organisaties die upgraden van HDR fabrics. Voor IT-managers en architecten die hun netwerkinvesteringen van de volgende generatie evalueren, biedt de MQM9790-NS2F een bewezen, productieklare oplossing die de belofte van low-latency RDMA interconnect optimalisatie waarmaakt.