Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand-switch in productie

Een toonaangevend Oost-Aziatisch AI-onderzoeksinstituut kampte met een veelvoorkomende maar kritieke knelpunt. Hun 512-GPU-cluster, gebruikt voor het trainen van grote taalmodellen en moleculaire dynamische simulaties, leed onder ernstige prestatievermindering naarmate de taken schaalden. De hoofdoorzaak was het verouderde 100 Gb/s Ethernet-netwerk, waar TCP/IP-overhead en pakketverlies tijdens incast-gebeurtenissen leidden tot GPU-inactiviteitstijden van wel 35%. Het team had behoefte aan een verliesvrij, ultralage latentie netwerk dat RDMA kon ondersteunen en kon schalen naar duizenden knooppunten zonder compromissen te sluiten op deterministische prestaties. Na evaluatie van verschillende oplossingen kozen ze voor de Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand-switch als de kern van hun nieuwe spine-leaf architectuur.

De implementatie was gecentreerd rond de 920-9B210-00FN-0D0 als de spine-laag, met 32 leaf-switches die 512 NVIDIA A100 GPU's verbonden via ConnectX-7 adapters. Elke 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR switch biedt 400 Gb/s per poort, wat de bandbreedte van eerdere HDR-oplossingen verdubbelt met behoud van sub-microseconden schakellatentie. De officiële 920-9B210-00FN-0D0 InfiniBand switch OPN vereenvoudigde de inkoop en zorgde voor firmwareconsistentie over alle eenheden. Netwerkengineers gebruikten het gedetailleerde 920-9B210-00FN-0D0 datasheet en 920-9B210-00FN-0D0 specificaties om de stroom- en thermische vereisten te valideren, waardoor een naadloze integratie in bestaande 19" racks mogelijk werd. Cruciaal is dat de switch volledig 920-9B210-00FN-0D0 compatibel is met zowel de bestaande HDR-infrastructuur als nieuwere NDR-endpoints, wat een gefaseerde migratie mogelijk maakt.

• RDMA Efficiëntiewinsten: Met de NVIDIA Mellanox 920-9B210-00FN-0D0 die hardwarematige congestiecontrole mogelijk maakt, daalde de RDMA write-latentie van 12 µs naar 1,2 µs. GPU direct RDMA (GDR) werd volledig effectief, waardoor CPU-geheugenknelpunten werden geëlimineerd.
• HPC Applicatiesnelheid: Een belangrijke weersvoorspellingscode (MPI-gebaseerd) zag een 2,7x prestatieverbetering dankzij de adaptieve routering en SHARP v2 collectieve offloads van de switch.
• AI Training Doorvoer: Voor een 175 miljard parameter LLM-trainingsjob verminderde het nieuwe netwerk de all-reduce tijd met 68%, waardoor de algehele GPU-benutting van 62% naar 91% verbeterde.
• Operationele Eenvoud: De 920-9B210-00FN-0D0 InfiniBand switch OPN-oplossing integreerde met NVIDIA's UFM-platform, wat realtime telemetrie en voorspellende storingsmeldingen bood. IT-managers rapporteerden een 50% reductie in netwerkgerelateerde probleemoplossingstijd.

Bij het evalueren van het project vergeleek het onderzoeksinstituut de 920-9B210-00FN-0D0 prijs met concurrerende Ethernet-oplossingen. Ondanks hogere initiële kosten, gaf de totale eigendomskosten (TCO) de voorkeur aan InfiniBand vanwege hogere GPU-benutting en lager vermogen per Gb/s. Eenheden zijn direct beschikbaar als 920-9B210-00FN-0D0 te koop via de distributiekanalen van NVIDIA, met aanzienlijk kortere levertijden dan andere NDR-switches. De gedetailleerde 920-9B210-00FN-0D0 specificaties bevestigden ook de ondersteuning voor redundante voedingen en hot-swappable ventilatoren, wat voldeed aan de betrouwbaarheidsvereisten van het instituut voor 24/7 AI-onderzoeksactiviteiten.

Het AI-onderzoeksinstituut heeft nu de 920-9B210-00FN-0D0 gestandaardiseerd voor alle toekomstige clusteruitbreidingen, inclusief een gepland 2.048-GPU NDR200-netwerk. Dit praktijkvoorbeeld toont aan dat de NVIDIA Mellanox 920-9B210-00FN-0D0 niet zomaar een switch is - het is een fundamenteel onderdeel voor het bereiken van lineaire prestatieschaalbaarheid in AI- en HPC-omgevingen. Voor architecten en IT-managers die netwerkknelpunten willen elimineren, biedt de 920-9B210-00FN-0D0 InfiniBand switch OPN-oplossing een bewezen, productieklare weg vooruit.