Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand-switch in productie

Bedrijven en onderzoeksinstellingen die AI-trainingen en HPC-simulaties opschalen, worden vaak geconfronteerd met een gemeenschappelijk knelpunt: netwerkgeïnduceerde latentie en congestie die GPU-rekencycli verspillen. Deze implementatiecasestudy onderzoekt hoe een middelgroot AI-onderzoekslaboratorium zijn clusterprestaties transformeerde met behulp van deMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0InfiniBand-switch, waarmee een deterministische stof met lage latentie wordt bereikt voor veeleisende parallelle werkbelastingen.

Achtergrond en uitdaging: wanneer Ethernet het knelpunt wordt

De bestaande 100Gb Ethernet-infrastructuur van het laboratorium vertoonde consistent pieken in de latentie tijdens volledig gereduceerde bewerkingen, waardoor GPU-inactieve tijden tot 25% konden oplopen bij grootschalige trainingstaken. Hun oudere switches misten RDMA-bewuste congestiecontrole en computermogelijkheden in het netwerk. Architecten hadden een oplossing nodig die latentie van minder dan een microseconde, verliesvrij transport en naadloze schaalbaarheid kon bieden voor een groeiende 400Gb/s NDR-backbone. Na het evalueren van meerdere opties, selecteerde het team de920-9B210-00FN-0D0als de belangrijkste bouwsteen voor hun nieuwe InfiniBand-stof.

Oplossing en implementatie: een AI-fabric met lage latentie bouwen

De inzet concentreerde zich rond de920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRswitch, die dient als ruggengraat voor 32 GPU-servers. De belangrijkste implementatiebeslissingen waren onder meer:

• Volledige RDMA-ondersteuning:Het elimineren van kernel-bypass-overhead met behulp van NVIDIA's eigen transportlaag.
• Adaptieve routering:Het verkeer dynamisch verdelen over meerdere paden om hotspots te vermijden.
• SHARPv3-aggregatie in het netwerk:Het overbrengen van collectieve bewerkingen van host-CPU's naar het switchdatavlak.

Ingenieurs verwezen naar de920-9B210-00FN-0D0 gegevensbladEn920-9B210-00FN-0D0-specificatiesom de compatibiliteit met bestaande ConnectX-7-adapters te valideren. De920-9B210-00FN-0D0 compatibelecosysteem maakte een drop-in vervanging mogelijk voor de vorige ruggengraatschakelaars zonder wijzigingen in de bekabeling. Bovendien is de920-9B210-00FN-0D0 InfiniBand-schakelaar OPN(onderdeelnummer bestellen) vereenvoudigde inkoop- en RMA-workflows.

Resultaten en voordelen: meetbare winst voor HPC en AI

Na de migratie naar deNVIDIA Mellanox 920-9B210-00FN-0D0-gebaseerde stof registreerde het laboratorium de volgende verbeteringen gedurende een evaluatieperiode van 30 dagen:

Voor IT-managers die de totale eigendomskosten evalueren, is de920-9B210-00FN-0D0 prijswerd gecompenseerd door een vermindering van 40% in het inactieve vermogen van het cluster en een snellere doorvoer van taken. De920-9B210-00FN-0D0 te koopkanaal via geautoriseerde distributeurs bood ook levenscyclusondersteuning van vijf jaar – cruciaal voor de langetermijnplanning van de HPC-infrastructuur.

Samenvatting en vooruitzichten: een blauwdruk voor AI-clusters van de volgende generatie

Het onderzoekslaboratorium is nu gestandaardiseerd op de920-9B210-00FN-0D0 InfiniBand switch OPN-oplossingvoor alle nieuwe GPU-uitbreidingen. Vooruitkijkend is het team van plan om op te schalen van 32 naar 256 NDR-poorten met behulp van hetzelfde schakelplatform, waarbij gebruik wordt gemaakt van de niet-blokkerende architectuur en congestiecontrole. Voor architecten die RDMA-fabrics met lage latentie ontwerpen, is deNVIDIA Mellanox 920-9B210-00FN-0D0biedt een bewezen, productieklare basis die de onvoorspelbaarheid van het netwerk elimineert – van kleine AI-prototypingclusters tot exascale HPC-implementaties.