NVIDIA Mellanox MQM8790-HS2F Technische oplossing: Optimalisatie van onderlinge verbindingen met lage vertraging voor RDMA/HPC/AI-clusters

Deze technische oplossing is ontworpen voor netwerkarchitecten, pre-sales engineers en operationele leidinggevenden.In de eerste plaats is het mogelijk om de banden van de InfiniBand-banden te vergroten.NVIDIA Mellanox MQM8790-HS2F, gericht op RDMA-intensieve HPC- en AI-opleidingsclusters.

Moderne AI-opleidingen en wetenschappelijke computing clusters worden steeds vaker geconfronteerd met netwerkinterconnectie als de primaire prestatie knelpunt.latentie van de staart, en CPU-aflaadcapaciteiten, die niet voldoen aan de eisen van gedistribueerde trainingscommunicatiepatronen zoals All-Reduce en All-to-All.submicroseconde eind-tot-eind latentie,verliesloos, druppelvrij vervoer,Ondersteuning van GPU Direct RDMA, en het vermogen omschaal lineair tot duizenden knooppuntenEen speciale InfiniBand-schakelingsarchitectuur is vereist om deze efficiëntieproblemen van de interconnectie fundamenteel op te lossen.

Deze oplossing beveelt een tweelaagse Fat-Tree-topologie aan om een niet-blokkerende, volledige bisektionele bandbreedte te bereiken.MQM8790-HS2F InfiniBand-switch, die 40 poorten van 200Gb/s HDR QSFP56 biedt.

• Bladlaag: Elke MQM8790-HS2F verbindt 20 rekenknooppunten (dual-uplink) en 8 uplinks met de ruggengraatschaal.
• Wervelkolom: 8 MQM8790-HS2F-schakelaars vormen het wervelvlak, met een volledige verbinding tussen elk blad en elke wervelschakelaar.
• Netwerk voor opslag en beheer: Een apart InfiniBand-subnetwerk of out-of-band Ethernet om storingen in het computingverkeer te voorkomen.

Deze architectuur garandeert 200 Gb/s bandbreedte tussen twee nodes, met meerdere redundante paden die ervoor zorgen dat een enkel foutpunt de wereldwijde connectiviteit niet beïnvloedt.De hoge dichtheid van de havens van deMQM8790-HS2F 200Gb/s HDR 40-poort QSFP56Vermindert het aantal vereiste schakelaars met 50% in vergelijking met EDR-oplossingen van de vorige generatie, terwijl de weefselcomplexiteit ook wordt verlaagd.

DeNVIDIA Mellanox MQM8790-HS2Ffungeert als de kernschakelingsunit in deze oplossing en vervult de volgende essentiële functies:

• Verliesloze schakelmotor: InfiniBand link-layer flow control elimineert pakketverlies, waardoor RDMA-transport efficiënt wordt.
• Adaptieve routing: Dynamisch balanceren van het verkeer over meerdere paden, vermijden van congestie hotspots en verbeteren van de effectieve doorvoer.
• SHARPv3 in-network computing: Verlaadt de reductieoperaties naar de schakelaar en versnelt de All-Reduce met 2°3*.
• Hoge dichtheid en laag vermogen: 40 poorten met een snelheid van 200 Gb/s met het toonaangevende energieverbruik per poort, waardoor de totale kosten van het gebruik worden verlaagd.

Volgens deGegevensblad MQM8790-HS2FenSpecificaties MQM8790-HS2F, de switch levert 16Tb/s totale schakelcapaciteit, sub-130ns port-to-port latency, en ondersteunt hot-swappable voedingsbronnen en ventilatoren voor 24/7 productieomgevingen.het apparaat is volledig compatibel met NVIDIA ConnectX-6/7 HDR-adapters en een breed scala aan HDR-optische/koperkabels, waarbij de looptijd van deMQM8790-HS2F compatibelHet ecosysteem.

Volg deze stappen bij het inzetten van de oplossing:

• Beheer van het subnetwerk: Inzetten van active-standby Subnet Managers (SM); het NVIDIA UFM-platform wordt aanbevolen voor gecentraliseerd beheer en telemetrie.
• Partities en serviceniveaus: Gebruik partitieknoppen (P_Key) om huurders of werkbelastingen te isoleren; configureer SL2VL-mapping om het AI-trainingsverkeer te prioriteren.
• Keuze van kabels: Gebruik passieve koperkabels voor korte afstanden (≤ 3 m) en actieve optische kabels of transceivers voor langere afstanden om de signaalintegrititeit te behouden.

Voor grotere clusters van meer dan 2.000 knooppunten kan een drie-niveaus Fat-Tree of Dragonfly+ topologie worden aangenomen, waarbij de kernlaag deMQM8790-HS2FBij de aankoop van extra eenheden, controleerMQM8790-HS2F prijsen beschikbaarheid via geautoriseerde distributeurs; geverifieerdMQM8790-HS2F te koopDe lijst bevat meestal de nieuwste firmware en garantie.MQM8790-HS2F InfiniBand switch oplossingHet gaat om de ontwikkeling van de technologieën voor het opstellen van een computer.

Een effectieve werking van de InfiniBand-fabriek vereist proactieve monitoring en gedisciplineerde probleemoplossing:

• MonitoringGebruik:Ibnetdiscovervoor topologische verificatie,Perfeksievoor haventellers en UFM-telemetrie voor real-time zichtbaarheid van congestie.
• Gemeenschappelijke vraagstukken en oplossingen:
  • Link flapperen: Verifiëren van de kabelverbinding en uitvoeren van diagnostische tests van de kabel; vervangen van de defecte optica.
  • Failover van subnetbeheerder: Zorg ervoor dat de SM-prioriteiten correct zijn geconfigureerd en dat de secundaire SM over een geldige database beschikt.
  • Ongelijke adaptieve routing: Aanpassen van routingalgoritmeparameters (bijv.routing_engine=ftree) en de verdeling van de lading mogelijk maken.
• Optimalisatie tips: SHARP-aggregatie mogelijk maken voor collectieve operaties; MTU afstemmen op 4096 bytes voor grote berichtoverdrachten; gebruik Quality of Service om controle-, gegevens- en beheerverkeer te scheiden.

Regelmatige firmware-upgrades via het NVIDIA-ondersteuningsportaal zorgen voor beveiligingspatches en prestatieverbeteringen.Gegevensblad MQM8790-HS2Fvoor gedetailleerde prestatiebasiswaarden en verwachte tegenwaarden onder gezonde omstandigheden.

DeNVIDIA Mellanox MQM8790-HS2Fbiedt een toekomstbestendig InfiniBand-switchingplatform dat de belangrijkste uitdagingen van RDMA/HPC/AI-clusterinterconnect aanpakt: latency, verlies, CPU-overhead en schaalbaarheid.Door de hierboven beschreven tweelaagse Fat-Tree architectuur te implementeren, kunnen organisaties lineaire schaalbaarheid van de prestaties, voorspelbare voltooiingstijden en aanzienlijk verlaagde TCO behalen in vergelijking met legacy Ethernet-oplossingen.De combinatie van 200 Gb/s HDR-snelheid, 40-poortdichtheid, en in-netwerk computing mogelijkheden maakt het een ideale keuze voor greenfield implementaties of stapsgewijze upgrades van EDR / HDR stoffen.Voor architectuurteams die clusters van de volgende generatie evalueren, deMQM8790-HS2F InfiniBand switch oplossingeen beproefd, productiegericht referentiedesign biedt.