NVIDIA Mellanox 920-9B110-00FH-0D0 Technisch Referentie: Geoptimaliseerde Low-Latency Interconnect voor RDMA/HPC/AI

NVIDIA Mellanox 920-9B110-00FH-0D0 Technische referentie: Geoptimaliseerde interconnectie met lage latentie voor RDMA/HPC/AI-clusters bij 200 Gb/s HDR

1. Achtergrond van het project en analyse van de vereisten

Als HPC- en AI-clusters blijven schalen, vereisen gedistribueerde trainings- en wetenschappelijke simulatiewerklasten steeds strengere netwerkbandbreedte, latentie en schaalbaarheid. not every cluster requires 400Gb/s NDR infrastructure—a significant number of production environments are already standardized on 200Gb/s HDR and seek performance improvements within a controlled budgetTypische vereisten zijn:

• Deterministische lage latentie:MPI-collectieve communicatie moet een port-to-port-vertraging van minder dan een microseconde behouden, zodat de achterstand de convergentie van de training niet beïnvloedt.
• met een gewicht van niet meer dan 50 g/m2Zero-pakketten vallen onder congestie om de RDMA-efficiëntie te garanderen en prestatiecrash te voorkomen.
• In-netwerk computing offload:Het afladen van collectieve operaties zoals All-Reduce naar het netwerkstuk om host-CPU/GPU-bronnen vrij te maken.
• Vloeibare schaalbaarheid:Ondersteuning voor niet-blokkerende uitbreiding van honderden tot duizenden nodes, met compatibiliteit voor bestaande HDR-kabels en optische transceivers.

Om aan deze vereisten te voldoen, wordt met deze oplossing deNVIDIA Mellanox 920-9B110-00FH-0D0als de kernbouwsteen van een 200Gb/s HDR InfiniBand-switch die prestaties, dichtheid en kosteneffectiviteit in evenwicht brengt voor middelgrote tot grootschalige implementaties.

2. Algemeen netwerkarchitectuurontwerp

De voorgestelde oplossing maakt gebruik van een tweelaagse topologie van de blad-ruggengraat, die een schaalbare, niet-blokkerende stof met voorspelbare latentie en vereenvoudigde bekabeling biedt.elk rek is uitgerust met een920-9B110-00FH-0D0 InfiniBand-schakelaar OPN(Ordering Part Number), die 40 poorten van 200 Gb/s HDR-connectiviteit aan GPU-servers biedt via OSFP-to-OSFP direct-attach koper (DAC) of actieve optische kabels (AOC).een tweede laag van MQM8790-HS2F-schakelaars920-9B110-00FH-0D0 MQM8790-HS2F verbindt alle bladschakelaars met elkaar en creëert zo een fat-tree-weefsel met volledige bandbreedte.

Voor grotere clusters van meer dan 1500 knooppunten kan een drie-niveaus gevouwen-gesloten architectuur worden geïmplementeerd,met de 920-9B110-00FH-0D0 die zowel als blad als ruggengraat dient om een consistente prestatie op alle niveaus te behoudenDe volgende tabel geeft een samenvatting van de belangrijkste schaalparameters voor een HDR-stof met twee niveaus die rond deze schakelaar is gebouwd:

3. Rol en belangrijkste kenmerken van de NVIDIA Mellanox 920-9B110-00FH-0D0

Binnen deze architectuurNVIDIA Mellanox 920-9B110-00FH-0D0dient als fundamenteel schakelend element en biedt verschillende kritieke mogelijkheden:

• 40 poorten van 200 Gb/s HDR:Elke OSFP-poort ondersteunt bidirectionele 200Gb/s met forward error correction (FEC) voor betrouwbare extended-reach connectiviteit.
• Integreerde SHARPv2 (Scalable Hierarchical Aggregation and Reduction Protocol):Verlaadt collectieve communicatie-operaties, waardoor de MPI All-Reduce-latentie met maximaal 30% wordt verminderd bij typische HPC-werkbelastingen.
• Adaptieve routing en congestiebeheer:Dynamisch verkeer omleiden om hotspots te vermijden, waardoor voorspelbare prestaties worden gewaarborgd onder tegenstrijdige verkeerspatronen.
• Geavanceerde telemetrie:Per-flow en per-port tellers, samen met bufferbezette monitoring, bieden een diep zicht op de gezondheid van weefsels.

Volgens de920-9B110-00FH-0D0 gegevensblad, de switch biedt een doorlooplatentie van minder dan 200 ns en ondersteunt tot 8,0 Tb/s aan totale schakelcapaciteit.920-9B110-00FH-0D0 specificatiesde twee redundante voedingsbronnen en de warmwisselbare ventilatormodules moeten worden benadrukt, zodat 99,999% beschikbaar is voor opdrachtkritieke werkbelastingen.

4. Aanbevelingen voor implementatie en schaalbaarheid

Voor organisaties die de920-9B110-00FH-0D0 InfiniBand switch OPN oplossing, worden de volgende inzetrichtlijnen aanbevolen:

• Kabelstrategie:Gebruik OSFP-naar-OSFP DAC-kabels voor intra-rackverbindingen (tot 3 m) en AOC- of optische transceivers voor inter-rack- en spine-leaf-verbindingen (tot 100 m).920-9B110-00FH-0D0 compatibelde NVIDIA compatibiliteitsmatrix.
• Overbodigheid:Gebruik ten minste twee schakelaars per blad om afwijkingspunten te elimineren.
• Beheer van de firmware:Zorg ervoor dat alle switches dezelfde NVIDIA firmware-versies gebruiken.
• ScalabiliteitspadVoor clusters van meer dan 1600 knooppunten, overstap naar een topologie met drie niveaus of gebruik Dragonfly+ met adaptieve routing.De 920-9B110-00FH-0D0 ondersteunt tot 64 schakelaars in een enkele stof onder een enkele subnetbeheerder.

Bij de berekening van de totale eigendomskosten moet rekening worden gehouden met het verminderde aantal schakelniveaus en de vereenvoudigde bekabeling in vergelijking met alternatieven met een lagere radix.920-9B110-00FH-0D0 prijsde kosten per poort zijn aanzienlijk lager dan die per NDR, waardoor het een optimale keuze is voor kosteneffectieve HDR-implementaties.

5. Operaties, monitoring en probleemoplossing

Een effectief beheer van een HDR-fabriek vereist een uitgebreid monitorings- en probleemoplossingsraamwerk.NVIDIA Mellanox 920-9B110-00FH-0D0- op basis van weefsel, met:

• Visualisatie van topologie:Automatische ontdekking en grafische weergave van alle schakelaars, koppelingen en eindpunten.
• Performance-dashboards:Realtime weergaven van havenbenutting, foutencijfers en congestie-indicatoren.
• Proactieve waarschuwing:Alarmen op basis van drempelwaarden voor afbraak van de verbinding, temperatuur anomalieën en stroomstoring.
• Foutisolatie:Begeleide probleemoplossingsworkflows die defecte kabels, transceivers of schakelpoorten identificeren.

Voor geavanceerde probleemoplossing gebruik maken van de ingebouwde diagnostische hulpmiddelen van de schakelaar, waaronder loopback-tests en BER-analyse (bitfoutpercentage),om de integriteit van de koppeling te valideren voordat productiewerklasten worden ingezetVeel voorkomende problemen bij vroege implementaties zijn onder meer suboptimale routing veroorzaakt door ongelijke koppelingssnelheden of ongepaste kabelsoorten.Het mogelijk maken van adaptieve routing en het verifiëren dat alle koppelingen met 200Gb/s werken (met FEC ingeschakeld) lost de meeste prestatie-anomalieën op. de920-9B110-00FH-0D0 InfiniBand-schakelaar OPNondersteunt ook redundante subnetmanager-configuraties, zodat de fabric reconfiguratie plaatsvindt zonder handmatige interventie in het geval van een storing van het beheersknooppunt.

6Samenvatting en waardebeoordeling

De920-9B110-00FH-0D0biedt een aantrekkelijke waardepropositie voor organisaties die HDR-gebaseerde HPC- en AI-clusters bouwen of uitbreiden. Het biedt 40 poorten van 200Gb/s HDR met latentie onder de 200ns, SHARPv2 offload,Het is de bedoeling dat de Europese Unie de mogelijkheid biedt om de interne markt te verbeteren en de bedrijfsniveaubeheerbaarheid te verbeteren in een kosteneffectief 1U-platformBelangrijkste waardepunten zijn:

• Prestaties:Tot 35% vermindering van de voltooiingstijden voor communicatie-intensieve werkbelastingen door SHARPv2-offloading en adaptieve routing.
• Kostenefficiëntie:Een lagere TCO in vergelijking met NDR-alternatieven, waarbij de kosten per poort geoptimaliseerd zijn voor HDR-uitbreidingen.
• Eenvoud van de werking:Diepe integratie met UFM voor unified management, proactieve monitoring en geautomatiseerde failover.
• Bescherming van investeringen:Volledige compatibiliteit met bestaande HDR-kabels, optica en software-stacks, waardoor geleidelijke upgrades mogelijk zijn zonder de productie te verstoren.

Voor organisaties die de920-9B110-00FH-0D0 te koopvia NVIDIA's kanaal partners, raden we aan om de gedetailleerde920-9B110-00FH-0D0 gegevensbladHet is belangrijk dat u de mogelijkheid heeft om uw ontwerp te valideren voor uw specifieke werkdruk en schaalvereisten.NVIDIA Mellanox 920-9B110-00FH-0D0is vandaag de dag productiegericht en biedt een evenwichtige, hoogwaardige onderlinge verbindingsbasis voor de volgende generatie HPC- en AI-innovatie.