Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand-switch in actie – optimalisatie van interconnectie met lage latentie

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch in actie ¢ Optimalisatie van interconnecten met lage latentie voor RDMA/HPC/AI-clusters

Een regionaal supercomputingcentrum heeft onlangs een grote upgrade ondernomen van zijn AI computing infrastructuur,uitbreiding van 64 naar 256 NVIDIA A100 GPU's om grootschalige taalmodeltrainingen en genomische sequentie-workloads te ondersteunenHet bestaande 100GbE RoCEv2-netwerk werd echter een aanhoudende knelpunt: frequente PFC-stormen, onvoorspelbare achterstand,Het is duidelijk dat de uitbreiding van het ECN-systeem tot een zeer complexe ECN-afstemming een aanzienlijke technische inspanning en een verlenging van de voltooiingstijden van de werkzaamheden met meer dan 40% heeft vereist.In deze case study wordt onderzocht hoe het centrum deMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0InfiniBand-schakelaar om zijn weefsel te transformeren, waardoor deterministische interconnectie met lage latentie wordt geleverd voor RDMA-intensieve toepassingen.

Achtergrond en uitdagingen

De oorspronkelijke architectuur van het centrum gebruikte twee 100GbE leaf switches met RoCEv2, die GPU-servers en een parallel bestandssysteem verbonden.Eerst., PFC (Priority Flow Control) deadlocks vonden dagelijks plaats, waardoor handmatige resets moesten plaatsvinden; ten tweede ervoeren collectieve all-reducer-operaties latenties van meer dan 200 μs, waardoor het GPU-gebruik rechtstreeks wordt vertraagd;derdeHet operationele team realiseerde zich dat Ethernet, zelfs met RDMA-uitbreidingen, niet in staat was om de data van de gebruiker te verwerken.Hij kon niet voorzien in de onverschuld., deterministische structuur die nodig is voor de volgende generatie AI-workloads.

Oplossing en implementatie 920-9B110-00FH-0D0 InfiniBand Switch OPNals de Nieuwe ruggengraat

Na het evalueren van meerdere opties heeft het centrum deNVIDIA Mellanox 920-9B110-00FH-0D0De overstap is gebaseerd op de920-9B110-00FH-0D0 MQM8790-HS2FDe implementatie gebruikte een tweelaagse fat-tree-topologie: vier920-9B110-00FH-0D0switches als blaadjes (elk verbindt 64 GPU-nodes via 200G-links) en twee extra eenheden als spines, die volledige bisectiebandbreedte bieden.,Het leveren van de920-9B110-00FH-0D0 compatibelDe belangrijkste beslissingen voor de inzet omvatten:

• Kabels:200G HDR-optische modules voor spine-leaf-afstanden tot 100 meter, met passieve DAC's voor intra-rackverbindingen.
• Beheer:NVIDIA UFM (Unified Fabric Manager) voor geautomatiseerde topologie-ontdekking, adaptieve routingbeleid en real-time telemetrie.
• Collectieve lossen:SHARPv2 maakte het mogelijk om all‐reductie-operaties te versnellen, werk van de host-CPU's af te laden en netwerkchatter te verminderen.

Het team verwees naar de920-9B110-00FH-0D0 gegevensbladen920-9B110-00FH-0D0 specificatiesOm de vereisten voor vermogen en koeling te valideren, past de schakelaar met een vormfactor van 1 U en een dichtheid van 200 G per poort netjes in de bestaande racks, zonder aanvullende infrastructuurveranderingen.920-9B110-00FH-0D0 InfiniBand switch OPN oplossingOok de aanbestedingen zijn vereenvoudigd, waarbij de exacte OPN (orderonderdeelnummer) zorgt voor een correcte configuratie.

Gemeten resultaten en voordelen ¢ kwantificeerbare prestatiewinsten

Na twee weken van implementatie en validatie heeft het centrum aanzienlijke verbeteringen in belangrijke prestatie-indicatoren gedocumenteerd.De volgende tabel geeft een samenvatting van de metrics voor en na een representatieve 256-GPU-trainingsbaan (BERT-grote pre-training):

Naast de cijfers meldde het team dat deNVIDIA Mellanox 920-9B110-00FH-0D0De ingebouwde telemetrie die door de920-9B110-00FH-0D0 InfiniBand-schakelaar OPNHet is de bedoeling dat de Commissie in het kader van haar werkprogramma's voor de ontwikkeling van de infrastructuur en de infrastructuurvoorziening de mogelijkheid biedt om de capaciteit van de infrastructuur te verbeteren.920-9B110-00FH-0D0 prijsHet is een ideale oplossing voor het middellange budget van het centrum.

Samenvatting & Perspectief A Proven Path to Low-Latency Interconnect

De ervaring van het supercomputingcentrum toont aan dat deMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0Het biedt een pragmatisch, high-performance alternatief voor zowel moeilijk werkende Ethernet-fabrieken als dure high-end-oplossingen.en verliesloos RDMA-vervoer, stelt de schakelaar organisaties in staat om het volledige potentieel van hun GPU-investeringen te ontgrendelen, waardoor de time-to-insight voor AI- en HPC-workloads wordt versneld.

Het centrum is van plan zijn netwerk uit te breiden naar 512 GPU's.920-9B110-00FH-0D0 InfiniBand switch OPN oplossing, schaalbaar door het toevoegen van extra bladschakelaars met behoud van de bestaande ruggengraatinfrastructuur.De compatibiliteit van de switch met toekomstige NVIDIA-adapters (inclusief ConnectX‐7) zorgt voor een soepel upgradepadVoor organisaties die vergelijkbare opwaarderingen evalueren, is de920-9B110-00FH-0D0 specificatiesen920-9B110-00FH-0D0 gegevensbladde nodige ontwerpparameters te bieden en de eenheden gemakkelijk beschikbaar te stellen (920-9B110-00FH-0D0 te koopvia geautoriseerde kanalen).

Deze realistische implementatie bevestigt dat de920-9B110-00FH-0D0is meer dan alleen een product ­ het is een bewezen mogelijkheid voor clusternetwerken met een lage latentie en een hoge efficiëntie, klaar om te voldoen aan de eisen van het volgende decennium van AI en wetenschappelijke informatica.