NVIDIA Mellanox MQM8790-HS2F InfiniBand-switch in productie | Optimalisatie van lage latentie-interconnect voor RDMA/HPC/AI

Terwijl grootschalige taalmodeltraining en exascale HPC-simulaties GPU-clusters naar tienduizenden knooppunten drijven, worstelen traditionele Ethernet-fabrics met staartlatentie en incast-congestie. Een nationaal AI-rekencentrum heeft deze uitdaging onlangs aangepakt door de inzet van deNVIDIA Mellanox MQM8790-HS2FInfiniBand-switches vormen de ruggengraat van hun GPU-uitbreiding met 800 knooppunten. Dit artikel beschrijft hun reis in de echte wereld – van knelpunten naar meetbare winsten – met behulp van RDMA en in-netwerk computing om de prestaties van clusterinterconnecties te optimaliseren.

Achtergrond en uitdaging: wanneer netwerk het AI-knelpunt wordt

Het oude cluster met 400 knooppunten van het centrum draaide op 100 Gb/s RoCEv2 Ethernet. Naarmate de werklast verschoof van CNN-modellen naar LLM's met biljoen parameters, schoot de latentie van de communicatie tussen knooppunten omhoog. Tijdens All-Reduce-bewerkingen nam de netwerkwachttijd meer dan 40% van de totale iteratietijd in beslag. Architecten hadden een platform nodig dat latentie van minder dan een microseconde, verliesvrije stroomcontrole en native RDMA-ondersteuning biedt, en dat allemaal met hergebruik van bestaande QSFP56-optiek. Na het evalueren van meerdere alternatieven, heeft deMQM8790-HS2F InfiniBand-schakelaarviel op door zijn HDR-bandbreedte van 200 Gb/s en het ontwerp met hoge dichtheid met 40 poorten.

Oplossing en implementatie: HDR Fat-Tree Gebouwd op MQM8790-HS2F

De nieuwe verbinding maakt gebruik van een tweelaagse fat-tree-topologie, waarbij 24 eenheden van deNVIDIA Mellanox MQM8790-HS2Fover kern- en bladlagen. Elke switch biedt 40 QSFP56-poorten met een snelheid van 200 Gb/s per richting, wat een niet-blokkerende schakelcapaciteit van 16 Tb/s oplevert. Ingenieurs volgden deMQM8790-HS2F gegevensbladEnMQM8790-HS2F-specificatiesom adaptieve routering en geavanceerde congestiecontrole mogelijk te maken. Elk GPU-knooppunt maakt verbinding via HDR ConnectX-6-adapters, waarbij gebruik wordt gemaakt van native InfiniBand RDMA voor gegevensoverdracht zonder kopieën, waardoor meer dan 95% van de CPU-betrokkenheid bij communicatie wordt ontlast.

Het centrum reserveerde er ook een aantalMQM8790-HS2F 200Gb/s HDR 40-poorts QSFP56eenheden voor een in-situ rekenzone. Met SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) worden collectieve bewerkingen zoals All-Reduce rechtstreeks van servers naar het switchnetwerk overgebracht. Bij 128-GPU-training verminderde dit de communicatietijd met 32% zonder enige codewijziging in het AI-framework.

Resultaten en winst: lagere latentie, hogere doorvoer, gecontroleerde TCO

Statistieken na de implementatie lieten dramatische verbeteringen zien:

• Point-to-point latentie:MPI-pingpongtests maten ~0,9μs op 200Gb/s HDR-verbindingen – 65% lager dan bij de oudere RoCE-opstelling.
• Collectieve communicatie-efficiëntie:Op 512-GPU-schaal werd All-Reduce voltooid in slechts 18,3 ms, een reductie van 52% vergeleken met de vorige basislijn.
• Netwerkgebruik:Dankzij adaptieve routering bleef de load-balancing van de link boven de 92%, met vrijwel geen congestie-hotspots.
• Inkoop & operaties:DeMQM8790-HS2F prijsper poort was ongeveer 12% lager dan concurrerende 200G-oplossingen. Bovendien,MQM8790-HS2F-compatibeloptica zijn standaard QSFP56-modules, waardoor volledig hergebruik van bestaande bekabeling mogelijk is.

“Na de verhuizing naar deMQM8790-HS2F InfiniBand-schakelaaroplossinghebben we eindelijk een bijna lineaire schaalbaarheid (0,9 efficiëntie) bereikt voor modeltraining met biljoen parameters", aldus de hoofdarchitect van het centrum. "Netwerk is niet langer het knelpunt - we kunnen ons concentreren op modelarchitectuurinnovatie in plaats van op communicatieplanning."

Conclusie en vooruitzichten: kernbouwsteen voor Exascale interconnects

Dit praktijkvoorbeeld laat zien dat deMQM8790-HS2Fis veel meer dan een hogere havendichtheid. Met 200Gb/s HDR, native RDMA, SHARP in-netwerk computing en adaptieve routering worden de pijnpunten met lage latentie in de huidige AI/HPC-clusters direct aangepakt. Of u nu een universitair supercomputercentrum plant of een AI-cloud voor ondernemingen upgradet, deNVIDIA Mellanox MQM8790-HS2Fbiedt een uitgebalanceerd pad dat prestaties, compatibiliteit en kostenvoorspelbaarheid combineert. De schakelaar is nu in serieproductie. Voor gedetailleerde ontwerpreferenties kunt u contact opnemen met de ambtenaarMQM8790-HS2F gegevensbladvia het partnerportaal van NVIDIA. Voor realtime inventarisatie ofMQM8790-HS2F te koopNeem bij vragen contact op met geautoriseerde leveranciers van oplossingen voor prijzen en technische ondersteuning.