NVIDIA Mellanox MQM8790-HS2F in actie: Optimalisatie van onderlinge verbindingen met lage vertraging voor RDMA/HPC/AI-clusters

Een snelgroeiende AI-onderzoeksorganisatie kampte met een bekend pijnpunt: hun 200+ GPU-cluster, gebruikt voor het trainen van grote taalmodellen en moleculaire dynamische simulaties, ondervond onvoorspelbare job-voltooiingstijden. Ondanks krachtige compute-nodes, leed het bestaande 100Gb/s Ethernet-netwerk aan pieken in staartlatentie, pakketverlies onder incast-patronen en hoge CPU-overhead door traditionele TCP/IP-stackverwerking. Het team had een oplossing nodig die consistente sub-microseconden latentie kon leveren, RDMA voor GPU Direct volledig ondersteunde en schaalbaar was zonder ingrijpende upgrades. Na evaluatie van beschikbare opties, kozen ze voor de 迈络思(NVIDIA Mellanox) MQM8790-HS2F als het kernonderdeel voor hun next-generation cluster-netwerk.

De organisatie implementeerde de MQM8790-HS2F InfiniBand switch in een tweelaagse fat-tree topologie, die 128 compute-nodes (elk uitgerust met NVIDIA ConnectX-6 HDR adapters) en 4 storage-nodes verbond. Met zijn 40 QSFP56-poorten die op 200Gb/s HDR draaien, bood een enkele NVIDIA Mellanox MQM8790-HS2F 16Tb/s aan niet-blokkerende schakelcapaciteit – genoeg om twee oudere Ethernet-switches te vervangen en tegelijkertijd de bekabelingscomplexiteit te verminderen. De implementatie maakte gebruik van de MQM8790-HS2F 200Gb/s HDR 40-poorts QSFP56 native ondersteuning voor RDMA en GPUDirect, waardoor directe geheugentoegang tussen GPU's op verschillende servers mogelijk werd zonder CPU-interventie.

Belangrijke implementatiedetails waren onder meer:

• Adaptieve routing om automatisch verkeer over meerdere paden te balanceren, waardoor knelpunten werden geëlimineerd.
• SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) voor in-network reductie, waardoor All-Reduce operaties tot 2,5x werden versneld.
• Congestiebeheer op switch-niveau, waardoor head-of-line blocking, gebruikelijk in lossy Ethernet-omgevingen, werd voorkomen.

Vóór aankoop beoordeelde het engineeringteam het MQM8790-HS2F datasheet en MQM8790-HS2F specificaties om de compatibiliteit met hun bestaande Mellanox-kabels en transceivers te bevestigen. Het MQM8790-HS2F compatibele ecosysteem – inclusief HDR optische en koperkabels – stelde hen in staat om 40% van hun eerdere interconnect-investeringen te hergebruiken, wat de drempel voor upgrades aanzienlijk verlaagde.

Na de migratie naar het op de MQM8790-HS2F gebaseerde netwerk, documenteerde de organisatie drie categorieën van verbeteringen:

• Latentievermindering: Gemiddelde MPI ping-pong latentie daalde van 2,1 µs (Ethernet RoCE) naar 0,82 µs, met vrijwel geëlimineerde staartlatentie.
• Job-doorvoer: Gedistribueerde trainingsjobs (NCCL-gebaseerd) werden 37% sneller voltooid dankzij verminderde communicatie-overhead en SHARPv3-versnelling.
• CPU-offload: RDMA over InfiniBand verminderde het CPU-gebruik voor netwerken van ~15% naar minder dan 2%, waardoor cores vrijkwamen voor berekeningen.

In een 128-GPU all-to-all communicatiebenchmark, hield de MQM8790-HS2F InfiniBand switch-oplossing 198Gb/s per poort aan met nul pakketverlies, vergeleken met 112Gb/s met 1,2% verlies op het vorige Ethernet-netwerk. Voor financiële simulaties uitgevoerd door hetzelfde team, werd de job-variabiliteit met 78% verminderd, wat strakkere SLA's en voorspelbare looptijden mogelijk maakte.

Deze praktijkimplementatie toont aan dat de MQM8790-HS2F meer is dan een held op papier – het levert tastbare voordelen voor productie HPC- en AI-workloads. De combinatie van 200Gb/s HDR-doorvoer, 40 high-density poorten en geavanceerde in-network computing transformeert cluster-economie door zowel de job-voltooiingstijd als de operationele overhead te verminderen. Voor IT-leiders die de MQM8790-HS2F prijs afwegen tegen prestatiewinsten, suggereert deze casestudy een ROI van minder dan 12 maanden, alleen al gebaseerd op verbeteringen in rekenefficiëntie.

Nu de organisatie van plan is om het aantal GPU's te verdubbelen tot 400+ nodes, hebben ze al budget gereserveerd voor extra MQM8790-HS2F te koop eenheden om een niet-blokkerende fat-tree architectuur te behouden. Het vermogen van de switch om HDR- en EDR-snelheden te mixen, zorgt voor een soepel migratiepad naarmate oudere adapters geleidelijk worden vervangen. Voor architecten die next-generation RDMA-centrische clusters ontwerpen, biedt de NVIDIA Mellanox MQM8790-HS2F een bewezen, productierijpe ruggengraat die schaalt van afdelings-AI-onderzoek tot exascale supercomputing.