NVIDIA Mellanox 920-9B210-00FN-0D0 Technische Referentie: 400Gb/s NDR Low-Latency Interconnect Optimalisatie

NVIDIA Mellanox 920-9B210-00FN-0D0 Technische referentie: 400Gb/s NDR Low-Latency Interconnect Optimization voor RDMA/HPC/AI Clusters

1. Achtergrond van het project en analyse van de vereisten

Als AI-trainingsclusters verder gaan dan 4.000 GPU's en HPC-simulaties de prestaties op exaschaal benaderen, worden netwerkfabrieken geconfronteerd met ongekende eisen aan bandbreedte, latentie en determinisme.De overgang van 200Gb/s HDR naar 400Gb/s NDR is niet langer optioneel voor organisaties die zich richten op triljoenparametermodellen of kilometerschaalweersimulaties.De belangrijkste vereisten die zijn geïdentificeerd in toonaangevende onderzoeks- en bedrijfsimplementaties zijn onder meer:

• Ultraloze deterministische latentie:Sub-100ns poort-naar-poort latency om MPI en all-to-all communicatie te minimaliseren.
• met een gewicht van niet meer dan 50 g/m2Zero-pakketten vallen onder congestie over duizenden eindpunten, waardoor RDMA-prestaties voorspelbaar blijven.
• In-netwerk computing offload:Het afladen van collectieve operaties (all-reduce, all-to-all, broadcast) naar het netwerk om het GPU-gebruik te maximaliseren.
• Grote schaalbaarheid:Ondersteuning voor grootschalige fat-tree- en libelzuigel+ topologieën met volledige bisectie bandbreedte tot 8000+ knooppunten.
• Bescherming van investeringen:Naadloze compatibiliteit met bestaande HDR-kabels, optica en beheertools om geleidelijke upgrade mogelijk te maken.

Om aan deze vereisten te voldoen, wordt met deze oplossing deNVIDIA Mellanox 920-9B210-00FN-0D0als de kernbouwsteen van een 400Gb/s NDR InfiniBand-switch die de dichtheid, prestaties en intelligentie levert die vereist zijn voor uitrustingen op exaschaal.

2. Algemeen netwerkarchitectuurontwerp

De voorgestelde oplossing maakt gebruik van een tweelaagse topologie van blad-ruggengraat, die een schaalbare, niet-blokkerende stof met deterministische latentie en vereenvoudigde bekabeling biedt.elk rek is uitgerust met één of twee920-9B210-00FN-0D0 InfiniBand-schakelaar OPNIn de kernlaag is een tweede laag van de koperen kopersystemen (OSFP-to-OSFP direct-attach copper) en de kopersystemen (OSFP-to-OSFP direct-attach copper, DAC) voorzien van 64 poorten met 400 Gb/s NDR-connectiviteit.920-9B210-00FN-0D0 MQM9790-NS2FAlle bladschakelaars worden met elkaar verbonden, waardoor er een full-bisection-bandbreedte vetboomstof ontstaat.

Voor clusters met meer dan 5000 knooppunten kan een drie-niveaus-gevouwen-gesloten architectuur worden geïmplementeerd,met de 920-9B210-00FN-0D0 die zowel als blad als ruggengraat dient om een consistente prestatie op alle niveaus te behoudenDe switch ondersteunt maximaal 64 switches in één fabric onder één subnetmanager, waardoor een uniforme besturing van grootschalige topologieën mogelijk is.

De volgende tabel geeft een samenvatting van de belangrijkste schaalparameters voor een tweelaags NDR-stof dat is gebouwd rond de 920-9B210-00FN-0D0:

3. Rol en belangrijkste kenmerken van de NVIDIA Mellanox 920-9B210-00FN-0D0

Binnen deze architectuurNVIDIA Mellanox 920-9B210-00FN-0D0dient als fundamenteel schakelend element en biedt verschillende kritieke mogelijkheden die rechtstreeks aansluiten bij de in afdeling 1 genoemde eisen:

• 64 poorten van 400 Gb/s NDR:Elke OSFP-poort ondersteunt bidirectionele 400Gb / s met forward error correction (FEC) voor betrouwbare extended-reach connectiviteit.2 Tb/s biedt voldoende ruimte voor zelfs de meest communicatie-intensieve werklasten.
• Ultra-lage latentie:Sub-100ns port-to-port latency, zoals gedocumenteerd in de920-9B210-00FN-0D0 gegevensblad, zorgt voor minimale overhead voor MPI- en RDMA-operaties.
• Geïntegreerde SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol):Verlaadt collectieve operaties van de host-CPU's, waardoor de all-reduced latency met maximaal 40% en all-to-all met maximaal 35% wordt verminderd bij grootschalige taken.
• Adaptieve routing en congestiebeheer:Dynamisch verkeer omleiden om hotspots te vermijden, waardoor voorspelbare prestaties worden gewaarborgd onder tegenstrijdige verkeerspatronen.Geavanceerde telemetrie biedt zichtbaarheid per stroom en per haven voor proactief beheer.
• Alomvattende beheersbaarheid:Volledige integratie met NVIDIA's Unified Fabric Manager (UFM) voor zero-touch provisioning, gezondheidmonitoring en geautomatiseerde failover.

De920-9B210-00FN-0D0 specificatiesHet programma bevat ook dubbel redundante voedingsbronnen, warmwisselbare ventilatormodules en ondersteuning voor redundante subnetmanagerconfiguraties, waardoor 99,999% beschikbaarheid wordt gewaarborgd voor opdrachtkritieke werkbelastingen.

4. Aanbevelingen voor implementatie en schaalbaarheid

Voor organisaties die de920-9B210-00FN-0D0 InfiniBand switch OPN oplossing, worden de volgende inzetrichtlijnen aanbevolen:

• Kabelstrategie:Gebruik OSFP-naar-OSFP DAC-kabels voor intra-rackverbindingen (tot 3 m) en AOC- of optische transceivers voor inter-rack- en spine-leaf-verbindingen (tot 100 m).920-9B210-00FN-0D0 compatibelDe NVIDIA-compatibiliteit matrix om problemen met de signaalintegrititeit te voorkomen.
• Overbodigheid:Gebruik ten minste twee schakelaars per blad om enkele storingspunten te elimineren.rekening houden met N+1 redundantie op de ruggengraatlaag.
• Beheer van de firmware:Zorg ervoor dat alle switches dezelfde NVIDIA firmware-versies gebruiken.Bevestig de firmware-compatibiliteit met hostadapters en kabels voor implementatie.
• ScalabiliteitspadVoor clusters die verder gaan dan 4.096 knooppunten, overstap naar een drie-niveaus gevouwen-gesloten topologie of leverage dragonfly+ met adaptieve routing.met meerdere stoffen die via gateways met elkaar verbonden zijn voor grotere inzet.
• Prestatievalidatie:Voordat de productie wordt ingezet, moet u uitgebreide stresstests uitvoeren met behulp van tools zoals de OpenFabrics Enterprise Distribution (OFED) prestatie benchmarks om de prestaties van de stof te valideren tegen de920-9B210-00FN-0D0 gegevensbladspecificaties.

Bij de berekening van de totale eigendomskosten moet rekening worden gehouden met het verminderde aantal schakelniveaus en de vereenvoudigde bekabeling in vergelijking met alternatieven met een lagere radix.920-9B210-00FN-0D0 prijsde kosten per poort en per GPU-netwerkkosten zijn aanzienlijk lager in grootschalige implementaties, waardoor het een kosteneffectieve keuze is voor exascale-projecten.

5. Operaties, monitoring en probleemoplossing

Een effectief beheer van een NDR-stof vereist een uitgebreid monitorings- en probleemoplossingsraamwerk.NVIDIA Mellanox 920-9B210-00FN-0D0- op basis van weefsel, met:

• Visualisatie van topologie:Automatische ontdekking en grafische weergave van alle schakelaars, koppelingen en eindpunten, met realtime statusupdates.
• Performance-dashboards:Real-time weergaven van havenbenutting, foutenpercentages, congestie-indicatoren en bufferbezette oppervlakte over het gehele weefsel.
• Proactieve waarschuwing:Alarmen op basis van drempelwaarden voor afbraak van de verbinding, temperatuur anomalieën, stroomstoring en kabel slijtage.
• Foutisolatie:Begeleide probleemoplossingsworkflows die defecte kabels, transceivers of schakelpoorten identificeren, waardoor de gemiddelde tijd tot oplossing (MTTR) wordt verkort.
• Historische analyse:Trendanalyse en capaciteitsplanning op basis van historische prestatiegegevens, waardoor proactieve schaalbeslissingen mogelijk zijn.

Voor geavanceerde probleemoplossing, gebruik maken van de ingebouwde diagnostische tools van de switch, waaronder loopback tests, BER (bit error rate) analyse en optische module diagnostische monitoring (DOM).Veel voorkomende problemen in vroege NDR-implementaties zijn onder meer suboptimale routing veroorzaakt door ongelijke koppelingssnelhedenHet mogelijk maken van adaptieve routing, waarbij wordt gecontroleerd of alle koppelingen werken met 400 Gb/s met FEC ingeschakeld,En door ervoor te zorgen dat de firmware consistent is op alle schakelaars, worden de meeste prestatie-anomalieën opgelost..

Netwerkingenieurs moeten ook een basislijn van920-9B210-00FN-0D0 specificatiesIn de eerste fase van de validatiefase kunnen de resultaten van de evaluatie, inclusief de verwachte latentie, doorvoer en foutenpercentages, worden gebruikt als vroege indicatoren van mogelijke problemen.920-9B210-00FN-0D0 InfiniBand-schakelaar OPNondersteunt ook uitgebreid event loggen via syslog en SNMP, waardoor integratie met bestaande datacenter monitoring stacks mogelijk is.

6Samenvatting en waardebeoordeling

De920-9B210-00FN-0D0biedt een aantrekkelijke waardepropositie voor organisaties die op basis van NDR HPC- en AI-clusters bouwen of uitbreiden.beheersbaarheid op ondernemingsniveau, en volledige compatibiliteit met het bestaande HDR-ecosysteem in een compact 1U-platform.

• Prestaties:Tot 75% vermindering van de all-to-all-communicatielatentie en tot 40% vermindering van de all-reduce-latentie door SHARPv3-offloading en NDR-bandbreedte.
• Kostenefficiëntie:Lagere netwerkkosten per GPU in vergelijking met HDR-alternatieven in grootschalige implementaties, veroorzaakt door een hogere radix en een verminderd aantal schakellagen.
• Eenvoud van de werking:Diepe integratie met UFM voor verenigd beheer, geautomatiseerde provisioning, proactieve monitoring en snelle foutoplossing.
• Bescherming van investeringen:Volledige compatibiliteit met bestaande HDR-kabels, optica en software-stacks, waardoor geleidelijke upgrades mogelijk zijn zonder productiebelastingen te verstoren.
• Toekomstige schaalbaarheid:Ondersteuning voor drie-niveaus gevouwen-Clos en libelle + topologieën, waardoor de stof kan worden schaald tot 8.000+ knooppunten naarmate de rekenaandeisen groeien.

Voor organisaties die de920-9B210-00FN-0D0 te koopvia NVIDIA's kanaal partners, raden we aan om de gedetailleerde920-9B210-00FN-0D0 gegevensbladHet is belangrijk dat u de mogelijkheid heeft om uw ontwerp te valideren voor uw specifieke werkdruk en schaalvereisten.NVIDIA Mellanox 920-9B210-00FN-0D0is vandaag de dag productie-klaar en biedt een hoogwaardige, schaalbare onderlinge verbindingsbasis voor de volgende generatie AI- en HPC-innovatie.