NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch in Actie: Optimaliseren van Low-Latency Interconnect voor RDMA/HPC/AI Clusters

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch in Actie: Optimalisatie van Low-Latency Interconnect voor RDMA/HPC/AI Clusters

Op het gebied van grootschalige AI-modeltraining en high-performance computing (HPC) wordt netwerklatentie vaak de kritieke bottleneck die de schaalbaarheid en efficiëntie van clusters beperkt. Een nationaal supercomputingcentrum heeft onlangs een grote infrastructuurupgrade voltooid, waarbij is overgestapt van een 100 Gb/s EDR InfiniBand-netwerk naar een 200 Gb/s HDR-oplossing gebouwd rond de NVIDIA Mellanox MQM8790-HS2F InfiniBand-switch. Deze casestudy onderzoekt de uitdagingen waarmee ze werden geconfronteerd, de implementatiestrategie en de meetbare prestatieverbeteringen die zijn behaald met deze next-generation interconnect.

Achtergrond en Uitdagingen: Wanneer Latentie het Prestatieplafond Wordt

Het supercomputingcentrum beheert een heterogeen cluster met meer dan 2.000 GPU-nodes, ter ondersteuning van een diverse mix van workloads, waaronder weersimulatie, genoomonderzoek en training van grote taalmodellen. Met het vorige 100 Gb/s EDR-netwerk observeerde het operationele team dat collectieve communicatiebewerkingen — zoals all-reduce en all-gather — een steeds groter deel van de totale jobruntime in beslag namen naarmate het aantal nodes toenam. In sommige gedistribueerde trainingsjobs was de netwerkgerelateerde overhead goed voor bijna 40% van de end-to-end uitvoeringstijd, wat de GPU-benutting ernstig beperkte en de convergentiecycli van modellen verlengde.

Aanvullende uitdagingen waren onder meer:

• Congestie-hotspots: Verkeerspatronen in AI-training zijn vaak grillig en onvoorspelbaar, wat leidt tot head-of-line blocking en tail-latencypieken die de planning van jobs verstoorden.
• Onvoldoende in-netwerkversnelling: Het legacy-netwerk miste ondersteuning voor geavanceerde collectieve offload-mogelijkheden, waardoor alle reductiebewerkingen via de host-CPU en geheugenhiërarchie moesten lopen.
• Complexiteit van beheer: Het oplossen van prestatieproblemen vereiste handmatige analyse van meerdere monitoringtools, waardoor het moeilijk was om de hoofdoorzaken te achterhalen in grootschalige implementaties.

Na evaluatie van meerdere interconnect-opties selecteerde het centrum de MQM8790-HS2F als basis voor zijn nieuwe netwerk. Volgens het MQM8790-HS2F datasheet levert deze switch 40 poorten van 200 Gb/s HDR non-blocking doorvoer, een cut-through latentie van minder dan 130 ns en ondersteuning voor SHARP v3.0 collectieve offload — mogelijkheden die direct hun kernproblemen aanpakten.

Oplossing en Implementatie: Bouwen aan een Low-Latency Netwerk voor AI/HPC

De implementatie maakte gebruik van een tweelaagse fat-tree topologie, met 24 MQM8790-HS2F 200 Gb/s HDR 40-poorts QSFP56 switches ingezet als leaf-nodes en 8 units als spine-switches. Deze configuratie bood een 2:1 oversubscriptie over het gehele cluster — voldoende voor hun huidige workload, terwijl er ruimte was voor toekomstige uitbreiding.

Elke leaf-switch maakt verbinding met compute-nodes via NVIDIA ConnectX-6 HDR host channel adapters. Het MQM8790-HS2F compatibele optische en kabel-ecosysteem stelde het team in staat om bestaande QSFP56-kabels te hergebruiken, wat de implementatie versnelde en de inkoopkosten verlaagde. De gehele fysieke installatie werd binnen twee weken voltooid, waarbij het control plane gebruik maakte van NVIDIA's Unified Fabric Manager (UFM) voor geautomatiseerde topologiedetectie en provisioning.

De ondersteuning van de switch voor adaptieve routing en congestiebeheer bleek cruciaal voor het verwerken van het grillige verkeer dat kenmerkend is voor AI-workloads. Door flows dynamisch te herverdelen over beschikbare paden, minimaliseerde de MQM8790-HS2F InfiniBand-switch de vorming van hotspots en handhaafde consistente prestaties, zelfs tijdens piekperiodes van jobplanning.

Resultaten en Winsten: Meetbare Verbeteringen in Job Doorvoer en GPU-benutting

Na drie maanden productieve werking rapporteerde het supercomputingcentrum aanzienlijke prestatieverbeteringen op meerdere fronten:

• Latentievermindering: Gemiddelde MPI ping-pong latentie daalde van 680 ns op het vorige EDR-netwerk naar minder dan 130 ns met de NVIDIA Mellanox MQM8790-HS2F, wat een 5x verbetering in berichtuitwisselingsefficiëntie vertegenwoordigt.
• Versnelling van collectieve bewerkingen: All-reduce latentie voor 1024-node jobs daalde met 62%, dankzij SHARP v3.0 offload die reductiebewerkingen direct binnen het switch-netwerk uitvoert.
• GPU-benutting: Het gecombineerde effect van lagere latentie en hogere bandbreedte verhoogde de gemiddelde GPU-benutting van 72% naar 91%, wat resulteerde in een 26% reductie in de tijd-tot-oplossing voor trainingen van grote taalmodellen.
• Efficiëntie van jobplanning: Verminderde variatie in tail-latency maakte het mogelijk voor de SLURM-scheduler om meer jobs op dezelfde set nodes te plaatsen zonder prestatie-interferentie, waardoor de algehele clusterdoorvoer met ongeveer 18% toenam.

Toen het team later de MQM8790-HS2F prijs vergeleek met alternatieve switches van andere leveranciers, ontdekte het dat de totale kosten per geleverde Gb/s zeer concurrerend waren — vooral wanneer rekening werd gehouden met de verminderde beheerslast en het vermogen van de switch om zowel HDR- als HDR100-link snelheden te ondersteunen, wat investeringen in gemengde snelheidsomgevingen beschermt.

Vanuit operationeel oogpunt bood het geïntegreerde UFM-platform een enkel venster voor het monitoren van de netwerkgezondheid, verkeerspatronen en linkfouten. Deze zichtbaarheid stelde het team in staat om achteruitgaande kabels proactief te identificeren en deze te vervangen tijdens gepland onderhoud, waardoor ongeplande downtime werd voorkomen.

Samenvatting en Vooruitzichten: Een Blauwdruk voor Next-Generation Low-Latency Netwerken

Deze casestudy toont aan dat de MQM8790-HS2F InfiniBand-switchoplossing meer is dan een simpele snelheidsupgrade — het is een transformerend onderdeel voor organisaties die het volledige prestatiepotentieel van hun AI- en HPC-infrastructuur willen ontsluiten. Door hoge poortdichtheid, ultra-lage latentie en in-network computeringsmogelijkheden te combineren, pakt de switch direct de communicatieknelpunten aan die historisch gezien de schaalbaarheid van clusters hebben beperkt.

Vooruitkijkend is het supercomputingcentrum van plan om zijn netwerk in het volgende fiscale jaar uit te breiden naar 2.400 nodes, gebruikmakend van dezelfde MQM8790-HS2F architectuur met extra spine-switches. Het team onderzoekt ook de ondersteuning van de switch voor de verbeterde reductie-algoritmen van SHARP v3.0, die beloven opkomende workloads zoals grafische neurale netwerken en reinforcement learning verder te versnellen.

Voor IT-managers, netwerkarchitecten en ingenieurs die interconnect-opties evalueren voor hun eigen clusterbouw, biedt de NVIDIA Mellanox MQM8790-HS2F een bewezen, in de praktijk gevalideerd pad naar sub-microseconde latentie, gemaximaliseerde GPU-benutting en vereenvoudigd netwerkbeheer. Gedetailleerde MQM8790-HS2F specificaties en referentieontwerpen zijn beschikbaar via het technische documentatieportaal van NVIDIA, en de switch is nu breed verkrijgbaar — zoek naar MQM8790-HS2F te koop om een regionale partner te vinden.