Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch in praktijk
October 13, 2026
Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch in de praktijk.
Achtergrond en uitdagingen: wanneer RDMA-clusters de netwerkbuitelok raken
In een typische gemengde HPC- en AI-werklastomgeving voeren computerclusters vaak CFD-simulaties, moleculaire dynamica en gedistribueerde training van grote modellen naast elkaar uit.Deze workloads zijn sterk afhankelijk van RDMA voor inter-node communicatie en zijn zeer gevoelig voor bandbreedteWanneer een cluster groeit van tientallen tot honderden knooppunten, kan de oorspronkelijke verbinding snel de beperkende factor worden.
Veel voorkomende symptomen zijn lange latentie tijdens AllReduce, ongelijkmatig gebruik van de link in de fabriek en verminderde voltooiingstijden zodra meerdere huurders het netwerk delen.Voor netwerkingenieurs en architecten, de uitdaging is niet simpelweg het toevoegen van bandbreedte, maar het bouwen van een structuur die latentie voorspelbaar onder congestie houdt.
Oplossing en implementatie: het bouwen van het weefsel rond de MQM8790-HS2F
Om deze problemen op te lossen, werd het clusterfabriek opnieuw ontworpen rond de Mellanox (NVIDIA Mellanox) MQM8790-HS2F, een 200Gb/s HDR InfiniBand-switch ontworpen voor omgevingen met hoge dichtheid en lage latentie.De MQM8790-HS2F 200Gb/s HDR 40-poort QSFP56 vormfactor maakt 40 poorten in 1U mogelijk, die van nature past in een topologie met twee lagen vetbomen.
De inzet volgde een gelaagde aanpak:
- Wervelkolomlaag:NVIDIA Mellanox MQM8790-HS2F-switches werden ingezet als back-up-apparaten, die 200Gb / s uplinks en niet-blokkerend oost-west verkeer tussen bladgroepen leverden.
- Bladlaag:Leaf-switches verbinden rekenknooppunten die zijn uitgerust met ConnectX-6- of ConnectX-7-adapters, waardoor een end-to-end HDR-pad wordt gevormd dat compatibel is met MQM8790-HS2F.
- Netwerkcomputing:SHARP-technologie op de MQM8790-HS2F verlaagt collectieve operaties zoals AllReduce aan de switch, waardoor de GPU- en CPU-overhead wordt verminderd.
- Beheer en telemetrie:MLNX-OS, UFM en NetQ werden gebruikt voor stofvoorziening, monitoring en congestie zichtbaarheid.
Tijdens de planning heeft het team het MQM8790-HS2F-datasheet en de MQM8790-HS2F-specificaties herzien om het stroombudget, de koelvereisten en de opties voor het splitsen van poorten zoals 2×100Gb/s breakout te valideren.Kabels en optica werden gestandaardiseerd naar QSFP56 om besparing en toekomstige uitbreiding te vereenvoudigen.
Resultaten en voordelen: Wat veranderde na de uitzending
Na de migratie naar de MQM8790-HS2F InfiniBand-switchoplossing vertoonde de cluster meetbare verbeteringen in communicatie-efficiëntie en baanstabiliteit.
| Afmeting | Vóór | Na MQM8790-HS2F |
|---|---|---|
| Bandbreedte tussen knooppunten | 100 Gb/s EDR | 200 Gb/s HDR |
| Overhead van collectieve exploitatie | Gastheer aangedreven | SHARP-afladen |
| Zichtbaarheid van de congestie | Beperkt | NetQ telemetrie |
| Scalabiliteit | Beperkt | 40 × 200 Gb/s per schakelaar |
Het team kreeg een betere controle over het gedrag van de stoffen.Terwijl telemetrie het gemakkelijker maakte om trage knooppunten en verkeerd geconfigureerde verbindingen te identificerenVoor architecten die de prijs van MQM8790-HS2F of MQM8790-HS2F voor verkoopopties evalueren, is de belangrijkste takeaway dat de schakelaar zich terugbetaalt door een hoger clustergebruik in plaats van alleen het aantal ruwe poorten.
Conclusies en vooruitzichten
De MQM8790-HS2F toont aan hoe een speciaal ontworpen InfiniBand-switch onderlinge knelpunten in RDMA-, HPC- en AI-clusters kan verwijderen.en een volwassen managementstapel, de NVIDIA Mellanox MQM8790-HS2F levert voorspelbare lage latentie op schaal.de weefsels gebouwd op de MQM8790-HS2F InfiniBand switch zijn goed gepositioneerd om de volgende golf van uitbreiding te ondersteunen.