Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand-switch in actie – Interconnect-optimalisatie met lage latentie voor RDMA/HPC

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand-switch in actie ¢ Optimalisatie van lage-latentie-interconnecten voor RDMA/HPC/AI-clusters

Als AI-trainingsclusters van duizenden tot tienduizenden GPU's schalen, worden netwerklatentie en congestiebeheersing de beslissende factoren in effectief gebruik van computing.Een toonaangevende wereldwijde AI-onderzoeksorganisatie heeft onlangs deMellanox (NVIDIA Mellanox) MQM9790-NS2FDe Commissie heeft de Commissie verzocht om een voorstel in te dienen voor een nieuwe richtlijn betreffende de toepassing van de richtlijnen van de Raad betreffende de bescherming van de gezondheid van personen met een hersenbeschadiging.Dit artikel onderzoekt de real­world­implementatie, waarin gedetailleerd wordt beschreven hoe deze InfiniBand-switch RDMA-transport, HPC-communicatie en AI-gegevensparalleltrainingsfabrieken transformeert.

Achtergrond en uitdagingen: van Ethernet-compromis tot verliesloze interconnectie

De organisatie vertrouwde aanvankelijk op een 100GbE Ethernet fabric met RoCEv2.ze hebben aanhoudende PFC-deadslocks ondervonden, complexe ECN-tuning, en af en toe pakketdruppels die trainingstallingen veroorzaakten.Deze problemen verlengden de gemiddelde voltooiingstermijnen met meer dan 35% en verbruikten aanzienlijke technische inspanningen bij het oplossen van netwerkproblemenDe bestaande infrastructuur kon niet langer de deterministische microsecondeniveau-latentie en congestievrije doorvoer leveren die vereist zijn voor massale all-reduce- en all-to-all-collectieve operaties.

Oplossing en inzet: DeMQM9790-NS2F InfiniBand Switchals de stof ruggengraat

Na het evalueren van meerdere alternatieven heeft het team deNVIDIA Mellanox MQM9790-NS2FHet is de kern van een nieuwe tweelaagse blad-ruggengraatarchitectuur.MQM9790-NS2F 400Gb/s NDR 64-poort OSFPswitches, die 64 OSFP-poorten per unit en een totale schakelcapaciteit van 25,6 Tb/s bieden. De 400 Gb/s NDR-snelheid per poort, gecombineerd met doorschakeling en adaptieve routing,de port-to-port latency van minder dan 600 ns mogelijk maakt, een cruciale vereiste voor hun GPU-intensieve werklastenDe inzet leverde deMQM9790-NS2F InfiniBand switch oplossinggeïntegreerd met NVIDIA Quantum‐2-firmware, waardoor naadlozeMQM9790-NS2F compatibelde werking met bestaande ConnectX‐7-adapters en BlueField‐3 DPU's.

Belangrijkste inzetkeuzes zijn onder meer:

• Topologie:Niet-blokkerende fat-tree met 64-poort OSFP tot 400G optische transceivers, die volledige bisectiebandbreedte voor alle GPU-nodes mogelijk maken.
• Beheer:NVIDIA UFM (Unified Fabric Manager) voor real-time telemetrie, congestie-detectie en proactieve routeherleiding.
• Collectieve lossen:SHARPv3 maakte het mogelijk om all‐reductie-operaties te versnellen, waardoor de communicatie van de host-CPU's werd afgevoerd.

Om een soepele overgang te garanderen, heeft het teamGegevensblad MQM9790-NS2FenSpecificaties MQM9790-NS2FDe 1U-vormfactor en redundante voedingsbronnen passen netjes in hun bestaande rackdichtheid en de OSFP-poorten ondersteunen zowel DAC-kabels als optische modules,De Commissie heeft in het kader van haar onderzoeksprocedure de volgende voorstellen ingediend:

Gemeten resultaten en voordelen ¢ kwantificeerbare winst in prestaties en efficiëntie

Na volledige implementatie en optimalisatie heeft de organisatie aanzienlijke verbeteringen in meerdere dimensies gedocumenteerd:

Naast de ruwe cijfers rapporteerde het team bijna-nul congestie-gerelateerde onderbrekingen, waardoor de netwerkoperaties aanzienlijk werden vereenvoudigd.NVIDIA Mellanox MQM9790-NS2FHet gebruik van de OSFP-systeem is in de eerste plaats gebaseerd op het gebruik van de OSFP-systeem en het gebruik van de OSFP-systeem.MQM9790-NS2F InfiniBand-switchHet heeft een deterministische prestatie geleverd, zelfs onder 95% gebruik van de verbinding, een prestatie die onmogelijk was met hun vorige Ethernet-opstelling.

De organisatie merkte ook op dat deMQM9790-NS2F prijs, werd gecompenseerd door een lager stroomverbruik per poort (≈1,5 W per 400G-poort) en lagere bekabelingskosten als gevolg van een hogere dichtheid van de poorten.Algemeen beschikbaar, nu rijpZe bevestigden datMQM9790-NS2F te koopDe Commissie heeft in het kader van haar onderzoek naar de mogelijkheden voor de aanbesteding van goederen en diensten in het kader van deGegevensblad MQM9790-NS2Falle nodige installatie- en nalevingsgegevens verstrekt.

Samenvatting & Perspectieven A Blueprint for Next‐Gen AI Infrastructures

De goedkeuring van deMellanox (NVIDIA Mellanox) MQM9790-NS2FIn dit grootschalige HPC/AI cluster wordt aangetoond dat een speciaal ontworpen InfiniBand-fabriek niet langer een luxe is, maar een noodzaak voor organisaties die de grenzen van AI en wetenschappelijke computing verleggen.Door een consistente sub-microseconde latentie te leveren, verliesloos RDMA-transport, en in-netwerk-computing versnelling,MQM9790-NS2F 400Gb/s NDR 64-poort OSFPde switch stelt datacenters in staat bijna lineaire schaalbaarheid te bereiken tot tienduizenden GPU's.

Het team is van plan de fabriek verder uit te breiden metMQM9790-NS2F InfiniBand-switchHet is de bedoeling dat de Europese Unie in het kader van de nieuwe programma's een aantal van de volgende onderwerpen zal bespreken:MQM9790-NS2F compatibelVoor architecten en IT-managers die vergelijkbare upgrades evalueren, bevestigt dit echte geval dat deMQM9790-NS2F InfiniBand switch oplossingbiedt een bewezen, kosteneffectieve weg naar clusternetwerken met hoge prestaties en lage latentie – een cruciale factor voor het volgende decennium van AI-innovatie.