NVIDIA Mellanox MQM8790-HS2F InfiniBand-switch in de praktijk

July 10, 2026

Laatste bedrijfsnieuws over NVIDIA Mellanox MQM8790-HS2F InfiniBand-switch in de praktijk

NVIDIA Mellanox MQM8790-HS2F InfiniBand-switch in de praktijk | Optimalisatie van interconnecties met lage latentie voor RDMA/HPC/AI-clusters

Achtergrond en uitdaging: het latentieknelpunt in grootschalige AI- en HPC-clusters

Terwijl AI-trainingsclusters opschalen naar duizenden GPU's en HPC-systemen streven naar exascale prestaties, is het netwerkweefsel dat rekenknooppunten verbindt een cruciale prestatiebepalende factor geworden. In deze omgevingen is latentie niet alleen maar een maatstaf; het heeft een directe invloed op de applicatieprestaties, de tijd tot oplossing en de algehele clusterefficiëntie. Voor workloads die sterk afhankelijk zijn van collectieve MPI-bewerkingen (Message Passing Interface) en algemene communicatiepatronen, zoals training van grote taalmodellen en computationele vloeistofdynamica, kunnen zelfs latentieverhogingen op microsecondenniveau zich vertalen in uren extra runtime. Traditionele Ethernet-netwerken hebben, zelfs met RDMA over Converged Ethernet (RoCE), vaak moeite om de deterministische lage latentie te leveren die deze veeleisende toepassingen vereisen.

Deze uitdaging werd onlangs geconfronteerd met een nationaal onderzoekslaboratorium dat een HPC-cluster met 2.000 knooppunten inzet voor klimaatmodellering en AI-onderzoek. Het cluster had een connectiviteit van 200 Gb/s nodig met een latentie van minder dan 100 nanoseconden om zowel MPI-gebaseerde HPC-workloads als gedistribueerde AI-training te ondersteunen. Het technische team had een switch nodig die consistente prestaties met lage latentie op schaal kon leveren en tegelijkertijd geavanceerde functies ondersteunde, zoals adaptieve routering en congestiecontrole om de fabric-efficiëntie onder wisselende belastingsomstandigheden te behouden. DeNVIDIA Mellanox MQM8790-HS2Fkwam naar voren als de ideale oplossing, met 40 poorten van 200 Gb/s HDR InfiniBand met een latentie van minder dan 100 nanoseconden en geavanceerde computermogelijkheden in het netwerk.

Oplossing en implementatie: het bouwen van een InfiniBand-fabric met lage latentie

Om de uitdagingen op het gebied van latentie en schaalbaarheid aan te pakken, heeft het laboratorium deNVIDIA Mellanox MQM8790-HS2Fals de kernschakelaar in een ruggengraatstructuur. DitMQM8790-HS2F InfiniBand-schakelaarbiedt 40 QSFP56-poorten, elk werkend op 200 Gb/s HDR, waardoor een totale schakelcapaciteit van 8 Tb/s wordt geleverd met een poort-tot-poort latentie van minder dan 100 nanoseconden. De fabric is ontworpen met een 4-spine, 16-blad topologie, die 2.000 rekennodes met elkaar verbindt, elk uitgerust met ConnectX-6 HDR-adapters. DeMQM8790-HS2F 200Gb/s HDR 40-poorts QSFP56Dankzij de configuratie kon het team een ​​niet-blokkerende structuur bouwen met volledige bandbreedte in tweeën, zodat elk knooppunt met draadsnelheid met elk ander knooppunt kon communiceren.

De implementatie werd uitgevoerd in drie belangrijke fasen:

  • Stofontwerp:Met behulp van deMQM8790-HS2F InfiniBand-schakelaaroplossingontwierp het team een ​​Spine-Leaf-topologie waarbij elk van de 16 Leaf-switches verbonden was met 50 rekennodes (met behulp van een combinatie van 200Gb/s directe verbindingen en 100Gb/s HDR100 breakout-verbindingen), terwijl 4 Spine-switches voor inter-leaf-connectiviteit zorgden. DeMQM8790-HS2FDe switches zijn geconfigureerd met adaptieve routering ingeschakeld, waardoor de structuur het verkeer dynamisch over de beschikbare paden kan verdelen en congestiepunten kan vermijden.
  • Geavanceerde functieconfiguratie:Het team schakelde SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) in op de MQM8790-HS2F-switches om collectieve MPI-bewerkingen van de rekenknooppunten te ontlasten. Dankzij deze computercapaciteit in het netwerk konden de switches alle reductie- en broadcast-bewerkingen rechtstreeks uitvoeren, waardoor het aantal netwerktraversals werd verminderd en de algehele latentie voor collectieve communicatie werd verminderd.
  • Prestatieafstemming:Het subnetbeheer werd geconfigureerd met behulp van het NVIDIA Unified Fabric Manager-platform (UFM), dat realtime inzicht bood in de gezondheid van de fabric, latentiestatistieken en congestiepatronen. Het team heeft de congestiecontroleparameters afgestemd om de prestaties voor het gemengde HPC- en AI-werkbelastingprofiel te optimaliseren.

Omdat deNVIDIA Mellanox MQM8790-HS2FisMQM8790-HS2F-compatibelmet het bredere NVIDIA InfiniBand-ecosysteem, inclusief ConnectX-6- en BlueField-2-adapters, verliep de implementatie naadloos en waren er geen aangepaste stuurprogramma's of firmwarepatches nodig. Dankzij de integratie van de switch met het UFM-platform kon het team de prestaties van de fabric op grote schaal monitoren en potentiële knelpunten identificeren en oplossen voordat deze van invloed waren op de runtime van de applicatie.

Resultaten en voordelen: meetbare verbeteringen in latentie en applicatieprestaties

Uit benchmarking na de implementatie in het cluster met 2.000 knooppunten kwamen aanzienlijke prestatieverbeteringen naar voren. Ten eerste werd de gemiddelde latentie van poort tot poort in de hele structuur gemeten op 85 nanoseconden – in overeenstemming met de specificatie van minder dan 100 nanoseconden die is gedocumenteerd in deMQM8790-HS2F gegevensblad. Deze lage latentie vertaalde zich rechtstreeks in prestatieverbeteringen van applicaties: MPI reduceerde de bewerkingen tot 35% sneller in vergelijking met de vorige 100Gb/s InfiniBand-fabric van het lab, terwijl bij gedistribueerde AI-trainingstaken (met behulp van NCCL-gebaseerde communicatie) de end-to-end epoch-tijden met ongeveer 28% werden verminderd.

Ten tweede leverde de SHARP-computercapaciteit in het netwerk aanzienlijke prestatievoordelen op. Door collectieve bewerkingen naar de MQM8790-HS2F-switches te verplaatsen, verminderde het cluster het CPU- en GPU-gebruik voor communicatietaken met wel 20%, waardoor computerbronnen vrijkwamen voor daadwerkelijke berekeningen. Dit was vooral gunstig voor grootschalige AI-trainingen, waar collectieve communicatie 30-40% van de totale looptijd kan uitmaken.

Ten derde bleek de adaptieve routeringsfunctie van cruciaal belang voor het handhaven van consistente prestaties onder wisselende belastingsomstandigheden. Tijdens perioden van piekgebruik, wanneer de fabric een mix van MPI- en AI-verkeer verwerkte, werd het verkeer door adaptieve routering dynamisch verdeeld over de beschikbare paden, waarbij de gemiddelde latentie binnen 10% van de basislijn werd gehouden en door congestie veroorzaakte prestatievermindering werd voorkomen. Het team bewaakte de gezondheid van de fabric met behulp van het UFM-platform, dat realtime dashboards bood die de latentie, doorvoer en het verbindingsgebruik voor alle twintig switches bijhielden.

Ten vierde, de dichtheid van deMQM8790-HS2F 200Gb/s HDR 40-poorts QSFP56schakelaar maakte een compacte stofvoetafdruk mogelijk. Het laboratorium verminderde het aantal benodigde switches met 50% vergeleken met de vorige 100Gb/s InfiniBand-infrastructuur, waardoor het verbruik van rackruimte en de stroomvereisten werden verminderd. Elke MQM8790-HS2F verbruikte minder dan 230 W normaal vermogen, wat bijdroeg aan een reductie van 20% in de koelingskosten voor de netwerkinfrastructuur.

Vanuit operationeel perspectief vereenvoudigden de beheermogelijkheden van de switch het lopende onderhoud. Het netwerkteam van het lab gebruikte de CLI- en Web UI-interfaces om firmware-upgrades en configuratiewijzigingen uit te voeren zonder de fabric-activiteiten te verstoren, waarbij gebruik werd gemaakt van de ondersteuning van de switch voor hitless upgrades. DeMQM8790-HS2F-specificatiesomvatten uitgebreide beheerfuncties, waaronder SNMP-monitoring en syslog-integratie, waardoor het team de fabric kan integreren in hun bestaande monitoringframework voor Network Operations Center (NOC).

Samenvatting en vooruitzichten: een blauwdruk voor InfiniBand-stoffen met lage latentie

De implementatie-ervaring met deNVIDIA Mellanox MQM8790-HS2Fverspreid over een HPC- en AI-cluster met 2.000 knooppunten toont duidelijk aan dat een 200Gb/s HDR InfiniBand-switch met 40 poorten de lage latentie, schaalbaarheid en geavanceerde functies kan leveren die nodig zijn voor veeleisende onderzoeks- en bedrijfsworkloads. Door gebruik te maken van de latentie van minder dan 100 nanoseconden, de adaptieve routering en de SHARP-computermogelijkheden in het netwerk, kunnen organisaties fabrics bouwen die de MPI- en AI-communicatie versnellen, de time-to-solution verkorten en de algehele clusterefficiëntie verbeteren.

Naarmate AI-trainingsclusters blijven groeien naar meer dan 10.000 GPU's en HPC-systemen naar exaschaal opschalen, zal de vraag naar InfiniBand-switches met hoge dichtheid en lage latentie alleen maar toenemen. De MQM8790-HS2F is goed gepositioneerd voor dit traject, omdat de dichtheid van 40 poorten, de schakelcapaciteit van 8Tb/s en ondersteuning voor HDR200- en HDR100-snelheden compatibiliteit garanderen met zowel de huidige als de volgende generatie computerknooppunten. Voor organisaties die soortgelijke HPC- of AI-clusterimplementaties plannen, biedt de in deze implementatie gevalideerde gelaagde 'spine-leaf'-benadering een praktisch stappenplan: implementeer MQM8790-HS2F-leaf-switches voor toegangsconnectiviteit, gebruik 'spine-switches' met een hogere poortdichtheid (zoals de QM9700-serie met 64 poorten) voor grotere fabrics, en onderhoud een uniform beheerframework dat gebruik maakt van UFM voor proactieve fabric-optimalisatie.

Voor gedetailleerde stofontwerpsjablonen, handleidingen voor het afstemmen van prestaties en implementatiechecklists raadpleegt u deMQM8790-HS2F gegevensbladen de NVIDIA Mellanox InfiniBand-architectuurdocumentatie.