NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Technische oplossing

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Technical Solution voor Low-Latency Interconnect Optimization voor RDMA, HPC en AI Clusters

Projectaanalyse van de achtergrond en de vereisten

Moderne datacenters die AI-grootmodelopleiding, HPC-simulatie en gedistribueerde opslag ondersteunen, migreren snel van 200Gb/s HDR naar 400Gb/s NDR.De kernspanning voor netwerkarchitecten is dat de GPU-knoopdichtheid blijft stijgen, terwijl inter-nodecommunicatielatentie en jitter de beperkende factor worden voor cluster-efficiëntie.Een enkele overvolle hop of een verkeerd geconfigureerde stoflaag kan het effectieve GPU-gebruik in honderden knooppunten verminderen.

Typische vereisten voor een dergelijk project zijn deterministische lage latentie voor collectieve activiteiten, verliesloos transport voor RDMA en NVMe over Fabrics, hoge radix om de stof plat te houden,en een duidelijk upgradepad dat bestaande investeringen beschermtDe NVIDIA Mellanox MQM9790-NS2F is gepositioneerd om aan deze eisen te voldoen als een 400Gb/s NDR InfiniBand-switch binnen de Quantum-2-familie.

Algehele ontwerp van netwerk- en systeemarchitectuur

De aanbevolen architectuur is een tweelaagse InfiniBand-structuur die volledig is gebouwd op NDR-links.Terwijl ruggengraatschakelaars connectiviteit tussen bladeren en padverscheidenheid biedenDit ontwerp houdt het hopgetal laag en zorgt voor een niet-blokkerende bandbreedte voor oost-westverkeer, dat de AI- en HPC-werklasten domineert.

Op de eindpuntlaag werken host-kanaaladapters in RDMA-modus, waardoor geheugen-naar-geheugenoverdrachten mogelijk zijn zonder tussenkomst van de CPU.en collectieve versnellingHet beheer en het telemetrieverkeer delen dezelfde fysieke infrastructuur, maar zijn geïsoleerd door QoS-beleid, zodat monitoring de productiebelastingen niet beïnvloedt.

Belangrijkste ontwerpprincipes zijn:

• Vlakke topologie om latentie te minimaliseren en het oplossen van problemen te vereenvoudigen
• Niet-blokkerende of laag-overabonnementverbindingen tussen niveaus
• Consistente end-to-end NDR om knelpunten bij gemengde productie te voorkomen
• Redundante paden voor hoge beschikbaarheid en load balancing
• Standaard InfiniBand-beheer voor operationele consistentie

Rol en belangrijkste kenmerken van de NVIDIA Mellanox MQM9790-NS2F

De NVIDIA Mellanox MQM9790-NS2F dient als bouwsteen van deze stof.architecten in staat stellen een platter netwerk met minder lagen te ontwerpenElke OSFP-poort kan op NDR-snelheid werken en de 64-poortconfiguratie ondersteunt bladeren en ruggengraatrolletjes met een hoge radix.

Voor teams die de specificaties van MQM9790-NS2F herzien, ondersteunt het platform NVIDIA SHARPv3 voor collectieve versnelling, geavanceerde congestiebeheersing en adaptieve routing.Deze functies richten zich rechtstreeks op de problemen met de achterstand en incastproblemen die vaak voorkomen bij AI-training en MPI-werklastenDe MQM9790-NS2F InfiniBand-switch kan ook worden geïntegreerd met standaard InfiniBand-beheertools, waardoor de operationele leercurve wordt verminderd.

Bij het plannen van een MQM9790-NS2F InfiniBand-switchoplossing moeten architecten MQM9790-NS2F-compatibele componenten, waaronder OSFP-kabels, hostkanaaladapters en firmware-versies, bevestigen.Het beoordelen van het MQM9790-NS2F-datasheet vroeg in de ontwerpfase helpt bij het valideren van het vermogen, koeling en rekruimtebehoeften vóór aankoop.

Aanbevelingen voor inzet en uitbreiding

Een typische implementatie begint met een pilot pod van 32 tot 64 GPU-nodes verbonden aan een paar MQM9790-NS2F-leaf switches.het gebruik van extra MQM9790-NS2F-eenheden om de niet-blokkerende bandbreedte te behoudenDeze inkrementele aanpak maakt het mogelijk om latentie en doorvoer te valideren voordat de volledige uitrol plaatsvindt.

Voor schaalvergroting wordt aanbevolen de stof symmetrisch te houden: de blad- en ruggengraatcapaciteit in gelijke stappen toe te voegen, zodat de overabonnementen voorspelbaar blijven.Het beheer van kabels en de etikettering van havens moeten vanaf het begin gestandaardiseerd worden, omdat OSFP-implementaties met een hoge dichtheid moeilijk te onderhouden kunnen zijn als de fysieke lay-out inconsistent is.

In de onderstaande tabel wordt een representatieve ontwerpoverweging op twee niveaus samengevat:

Operaties, monitoring, probleemoplossing en optimalisatie

InfiniBand-fabrieken bieden tellers voor linkfouten, congestie-gebeurtenissen en buffergebruik.Deze moeten continu worden verzameld en gecorreleerd met de gegevens van de werkplanner, zodat prestatie regressie kan worden herleid tot specifieke weefsel segmenten in plaats van te raden.

Een gestructureerde checklist controleer de snelheid van de koppeling, controleer de fouttellers,Bevestig het routingbeleid, kan de gemiddelde tijd tot resolutie worden verkort. Optimalisatie-inspanningen moeten zich richten op de latentie in de staart in plaats van op de gemiddelde doorvoer.omdat AI en HPC-werklasten gevoelig zijn voor het ergste gedrag.

Voor inkoop en levenscyclusplanning vergelijken teams vaak de MQM9790-NS2F-prijs en de MQM9790-NS2F-verkoopopties over geautoriseerde kanalen.en regio, dus een vroegtijdige betrokkenheid bij distributeurs en NVIDIA-bedrijfsvertegenwoordigers wordt aanbevolen.

De NVIDIA Mellanox MQM9790-NS2F biedt een high-radix, 400Gb/s NDR basis voor RDMA, HPC en AI cluster interconnect.en verliesloos vervoer met lage latentie mogelijk maken, het gaat in op de prestatie knelpunten die de cluster-efficiëntie in de echte wereld beperken.Het is een praktische en schaalbare bouwsteen voor de volgende generatie InfiniBand-stoffen..