Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand-switch in actie: optimalisering van verbindingen met lage latentie
May 29, 2026
In de echte AI-training en high-performance computing-implementaties worden netwerklatentie en CPU-overhead vaak stille moordenaars van schaalbaarheid.In deze sollicitatiebrief wordt onderzocht hoe een middelgrote onderzoeksorganisatie deze exacte uitdagingen heeft aangepakt door deMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0De InfiniBand-switch is de kern van hun GPU-gebaseerde onderzoekscluster.
De legacy 100Gb/s Ethernet RoCE-fabriek van de organisatie leed aan onvoorspelbare achterstand door PFC (Priority Flow Control) stormen en inefficiënte congestiebeheer.Als hun AI-modelgrootte groeide van 10 miljard tot meer dan 50 miljard parametersIn het kader van het project werden de volgende onderwerpen behandeld: de ontwikkeling van een systeem voor het opstellen van een databank, het opstellen van een databank en het opstellen van een databank.een laag latentie materiaal dat volledig gebruik kan maken van RDMA en tegelijkertijd een lineaire schaalbaarheid van de prestaties behoudt;De zoektocht leidde snel naar de920-9B110-00FH-0D0als de meest veelbelovende bouwsteen.
Het team koos de920-9B110-00FH-0D0 MQM8790-HS2FHet is de basis voor de ontwikkeling van de GPU-systeem.920-9B110-00FH-0D0 InfiniBand-schakelaar OPNIn het kader van het bestelstelsel hebben zij twee redundante back-switches met elk 40 HDR-poorten ingezet, waardoor een niet-blokkerende 1:1 overabonnementsverhouding is bereikt.De implementatie leverde gebruik van Adaptive Routing en SHARPv2 (Scalable Hierarchical Aggregation and Reduction Protocol)920-9B110-00FH-0D0 gegevensblad het verzamelen van gegevens en het opnemen van gegevens in de databank.920-9B110-00FH-0D0 compatibelHet ecosysteem omvatte hun bestaande ConnectX-6 HDR-adapters en standaard QSFP56-optica.
Na implementatie bleek dat de telemetrie dramatische verbeteringen vertoonde. De end-to-end latency tussen twee GPU-nodes daalde van 3,2 μs (RoCE) tot minder dan 1,1 μs, met een vermindering van de jitter met 80%.NVIDIA Mellanox 920-9B110-00FH-0D0Verminderde All-Reduce voltooiingstijd met 57% voor 512-GPU-werkzaamheden.
| Metrische | Vorige (RoCE) | met 920-9B110-00FH-0D0 |
|---|---|---|
| Gemiddelde P2P-latentie (MPI pingpong) | 3.2 μs | 10,08 μs |
| All-Reduce (512 GPU's, 1 GB bericht) | 17.3 ms | 7.4 ms |
| Effectief gebruik van de bandbreedte | 62% | 94% |
| CPU-overhead (per 10 Gb/s) | ~ 8% | < 1% |
Naast ruwe cijfers920-9B110-00FH-0D0 InfiniBand switch OPN oplossingMet behulp van NVIDIA UFM (Unified Fabric Manager) kreeg het team real-time fabric visibiliteit, geautomatiseerde padoptimalisatie,en proactieve congestiealarms ¢ mogelijkheden die niet beschikbaar waren in hun vorige Ethernet-implementatie. de920-9B110-00FH-0D0 specificatiesHet 1U-chassis verbruikt bij volle belasting slechts 180 W, waardoor de PUE-bijdrage wordt verlaagd.
Voor organisaties die vergelijkbare upgrades evalueren, is de920-9B110-00FH-0D0 prijsDe distributeurs van de NIC-switches zijn in de eerste plaats in staat om de kwaliteit van de NIC-switches te verbeteren en het gebruik van de NIC-switches te verbeteren.920-9B110-00FH-0D0 te koopDe ROI-analyse van het team toonde een terugverdientijd van 9 maanden aan, puur door GPU-gebruiksverbeteringen.
De inzet bevestigde dat deNVIDIA Mellanox 920-9B110-00FH-0D0Het programma levert zijn belofte van latentie van minder dan een microseconde, volledige bi-sectionele bandbreedte en RDMA-native efficiëntie.Deze schakelaar vertegenwoordigt een bewezenAls de werkdrukken blijven schalen naar exascale, worden oplossingen gebouwd rond de920-9B110-00FH-0D0De Commissie heeft de Commissie verzocht om een verslag uit te brengen over de resultaten van de evaluatie van het project.