NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch in Actie: Optimalisatie van Interconnect met Lage Latentie

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch in actie: Optimalisatie van onderlinge verbindingen met lage latentie voor RDMA/HPC/AI-clusters

Bij AI-training, simulaties van high-performance computing (HPC) en grootschalige gedistribueerde opslag bepalen netwerklatentie en bandbreedte vaak de bovengrens van cluster-efficiëntie.Om organisaties te helpen deze knelpunt te doorbreken, deMQM9790-NS2FDe InfiniBand-switch van NVIDIA Mellanox wordt een kerncomponent in veel AI- en HPC-implementaties.een illustratie van hoe deze schakelaar op RDMA-netwerken met een lage latentie en meetbare prestatiewinst levert.

Achtergrond en uitdaging: van duizend-GPU naar tienduizend-GPU netwerkdruk

Een vooraanstaande onderzoeksinstelling exploiteerde eerder een cluster van duizend GPU's voor training van grote taalmodellen en weersimulatie.Naarmate de modelparameters groeiden van tienduizenden naar honderden miljarden, het bestaande 200Gb/s HDR InfiniBand-netwerk begon congestie en toenemende communicatie overhead te ervaren.en GPU's vaak in stilstand terwijl ze wachten op netwerkoverdrachtenDe architecten hadden dringend behoefte aan een oplossing die een hogere havendichtheid, een fijnere belastingbalans en volledige compatibiliteit met de bestaande RDMA-infrastructuur biedt.

Na grondige evaluatie heeft het team een NDR-klasse InfiniBand-stof geselecteerd op basis van deNVIDIA Mellanox MQM9790-NS2FMet 64 OSFP-poorten, die elk werken met een lijnsnelheid van 400 Gb/s, voldoet de switch perfect aan de doorvoerbehoeften van GPU-servers van de volgende generatie.

Oplossing en implementatie: NDR-fabriek + verliesloos RDMA-netwerk

In het nieuwe ontwerp is elke GPU-server uitgerust met een ConnectX‐7-adapter met twee poorten, verbonden met twee blaadschakelaars.MQM9790-NS2F 400Gb/s NDR 64-poort OSFPde switches vormen een tweelaagse Fat-Tree-topologie met behulp van een niet-blokkerende Clos-architectuur; adaptieve routing en congestiebeheersing zijn ingeschakeld,gebruikmakend van native InfiniBand RDMA om gegevens rechtstreeks van GPU-geheugen naar GPU-geheugen op afstand over te dragen, waarbij CPU en software stack overhead worden omzeild.

• Portgebruik en compatibiliteit:Bestaande HDR-adapters kunnen op verlaagde snelheden werken, waardoor voorafgaande investeringen worden beschermd.MQM9790-NS2F compatibelde lijst omvat mainstream GPU-servers en opslagsystemen, waarvoor tijdens de implementatie geen modificaties van de stuurprogramma's vereist zijn.
• Intelligente operaties:Ingebouwde telemetrie-monitoren koppelen fouten en congestie in realtime aan, waardoor teams snel problemen met optische modules of kabels kunnen isoleren en de gemiddelde reparatietijd drastisch kunnen verkorten.

Resultaten en voordelen: Training Iteratietijd verminderd met 38%, Netwerk Overhead daalt tot 8%

Na de opwaardering heeft de instelling vergelijkende tests uitgevoerd van de productieloads.MQM9790-NS2F InfiniBand-switchHet is een verbetering van 38% van de totale latentie van de netwerkcommunicatie, die daalde van 22% naar 8%.Dat betekent dat GPU's aanzienlijk meer tijd besteedden aan nuttige berekeningen.Dankzij SHARPv3 in-network computing in de NDR-switch is de bandbreedte van All-Reduce bijna verdubbeld.

Aan de opslagzijde verhoogde NVMe met lage latentie over InfiniBand de totale lees-/schrijfbandbreedte van het parallelle bestandssysteem met 2,3 keer.De opslag- en hersteltijden van checkpoints zijn verkleind van 12 minuten naar minder dan 5 minutenDeze cijfers zijn opgenomen in interne testrapporten en zijn in overeenstemming met deSpecificaties MQM9790-NS2Fbasislijn.

Samenvatting en vooruitzichten: NDR Interconnect als standaardkeuze voor de volgende generatie AI-infrastructuur

Dit geval toont duidelijk aan dat voor grootschalige RDMA/HPC/AI-clusters de toepassing van deMQM9790-NS2F InfiniBand switch oplossingHet is een zeer effectief systeem voor het oplossen van netwerkcongestie, het verhogen van de GPU-uitbuiting en het vereenvoudigen van de operaties.Gegevensblad MQM9790-NS2FHet model is nu in volksproductie; voorMQM9790-NS2F prijsofMQM9790-NS2F te koopAls u vragen heeft, neem dan contact op met de geautoriseerde NVIDIA partners.Het NDR-switchingplatform zal een cruciale rol blijven spelen bij het ontgrendelen van het computerpotentieel..