NVIDIA Mellanox MCX653105A-HDAT Server Adapter in actie.
September 10, 2026
NVIDIA Mellanox MCX653105A-HDAT Server Adapter in actie.
Achtergrond en uitdaging: de knelpunt van AI-opleiding
Een toonaangevend financieel technologiebedrijf dat gespecialiseerd is in algoritmische handel en realtime risicoanalyse, stond voor een kritieke infrastructuuruitdaging.Hun machine learning team had een gedistribueerde training cluster met 32 GPU-versnelde servers.Maar toen de complexiteit van het model groeide van miljoenen naar miljarden parameters, werd de netwerklatentie de dominante knelpunt.De bestaande 25GbE-adapters, die werkt met traditionele TCP/IP, introduceerde onvoorspelbare latentie die de gradiënt synchronisatie over de cluster aanzienlijk vertraagde.
De infrastructuurarchitecten van het bedrijf identificeerden twee belangrijke problemen.de TCP/IP-stack verbruikte aanzienlijke CPU-bronnen op elke server ¥ tot 30% van de beschikbare kernen ¥ waardoor de beschikbare capaciteit voor daadwerkelijke modeltraining werd verminderdTen tweede betekende het gebrek aan hardware-afladen voor RDMA dat gegevensoverdrachten tussen het GPU-geheugen en het netwerk meerdere geheugenkopieën vereisten.het toevoegen van vertragingen op microsecondeniveau die zich hebben opgehoopt in duizenden parameteruitwisselingen per trainingsstapHet team had een oplossing nodig die een deterministische communicatie met lage latentie kon leveren zonder de doorvoer van de server op te offeren of een volledige netwerkorganisatie te vereisen.
Oplossing en implementatie: implementatie van RoCE met de MCX653105A-HDAT
Na het evalueren van meerdere opties heeft de onderneming deNVIDIA Mellanox MCX653105A-HDATDeze PCIe-netwerkkaart werd ingezet in elk van de 32 trainingsservers en verving de adapters van de vorige generatie.MCX653105A-HDAT ConnectX adapter PCIe-netwerkkaartDe voorgestelde combinatie van hoge bandbreedte en hardware-versnelde RoCEv2-ondersteuning maakt echte RDMA-communicatie over de bestaande Ethernet-fabriek mogelijk.
De inzet volgde een gestructureerde aanpak:
- Fysieke installatie:Elke server ontving deMCX653105A-HDAT Ethernet-adapterkaart, verbonden via dual-port 25GbE SFP28-links met redundante top-of-rack-switches.
- RoCEv2-configuratie:De netwerkswitches werden geconfigureerd met Priority Flow Control (PFC) en Explicit Congestion Notification (ECN) om verliesloos Ethernet-transport te garanderen, een voorwaarde voor optimale RDMA-prestaties.
- GPUDirect integratie:Het team maakte gebruik van de GPUDirect-mogelijkheden van de adapter, waardoor directe gegevensbeweging tussen GPU-geheugen en de netwerkinterface mogelijk was zonder betrokkenheid van de host-CPU.
- Software Stack:De NVIDIA-netwerkstuurprogramma-stack werd geïnstalleerd en het trainingsframework (PyTorch met gedistribueerde gegevensparallelle) werd geconfigureerd om de RDMA-transportlaag te gebruiken.
Volgens deMCX653105A-HDAT-gegevensblad, de adapter ondersteunt PCIe Gen 4.0 x16,het leveren van maximaal 256 GB/s hostbandbreedte voldoende om de dubbele 25GbE-poorten volledig te verzadigen, terwijl voldoende ruimte overblijft voor toekomstige upgrades naar 50GbE of 100GbEHet team merkte op dat de flexibiliteit van de adapter het volledigMCX653105A-HDAT-compatibelHet is een zeer belangrijk onderdeel van de ontwikkeling van de PCIe-server.0.
DeMCX653105A-HDAT-specificatiesZe hebben de interrupt coalescing parameters aangepast om de latentie te balanceren tegenover het CPU-gebruik.en geconfigureerde prioriteitsinstellingen per wachtrij om ervoor te zorgen dat het gradiënt synchronisatieverkeer de hoogste QoS behandeling kreeg.
Resultaten en meetbare voordelen
De prestatieverbeteringen waren aanzienlijk en direct meetbaar in meerdere dimensies:
| Metrische | Voorheen (25GbE/TCP) | Na (MCX653105A-HDAT/RoCE) | Verbetering |
|---|---|---|---|
| All-Reduce Synchronisatietijd (per 1000 stappen) | 4.8 seconden | 1.2 seconden | Vier keer sneller. |
| Gemiddelde trainingsstappentijd | 320 ms | 95 ms | 3.4x vermindering |
| CPU-gebruik (netwerkgerelateerd) | 28% (4 kernen) | 6% (1 kern) | 78% vermindering |
| End-to-end RDMA-latentie (P99) | 18 μs (TCP) | 2.1 μs | 8.6x lager |
Naast de kwantitatieve verbeteringen is deNVIDIA Mellanox MCX653105A-HDATHet team had niet verwacht dat het operationele voordelen leverde.De deterministische latentie zorgde ervoor dat opleidingsconvergentie consistent binnen voorspelbare tijdslimieten werd bereikt, een cruciale vereiste voor de tijdgevoelige modelontwikkelingcycli van het bedrijf.De vrijgekomen CPU-kernen werden omgeleid naar de werkelijke berekeningen, waardoor de effectieve berekeningscapaciteit van de cluster effectief werd verhoogd zonder nieuwe hardware toe te voegen.
Het team gebruikte ook de ingebouwde telemetrie van de adapter om zicht te krijgen op stoffenconcentratiepatronen.Deze gegevens hebben hen geholpen om de configuratie van de netwerkbuffer te optimaliseren en proactief potentiële prestatievermindering te identificeren. deMCX653105A-HDAT Ethernet adapter kaart oplossingDe Commissie is van mening dat de in het kader van het programma voor de ontwikkeling van de interne markt te ontwikkelen technologieën zowel een prestatieversneller als een instrument voor operationele inlichtingen zijn.
Samenvatting en vooruitzichten
Deze inzet bevestigde dat deNVIDIA Mellanox MCX653105A-HDATHet is een strategische investering in de prestaties van gedistribueerde computing.de adapter verminderde de trainingstijd met meer dan 70%, versnelde time-to-market voor nieuwe modellen en aanzienlijk verbeterde efficiëntie van de infrastructuur.
Het bedrijf is nu van plan om deze architectuur uit te breiden naar extra clusters, inclusief hun real-time risico analyse platform,wanneer het verplaatsen van gegevens met een lage latentie tussen in-memory-databases en rekenknooppunten essentieel is. deMCX653105A-HDAT prijs, wanneer deze wordt beoordeeld tegen de operationele besparingen en prestatiewinsten,De Commissie merkt op dat de Commissie in haar beoordeling van het besluit van de Commissie in het kader van de beoordelingsprocedure heeft vastgesteld dat de in het kader van de beoordelingsprocedure opgestelde maatregelen in overeenstemming zijn met het beginsel van gelijke behandeling..
Voor organisaties die actief evaluerenMCX653105A-HDAT te koopOpties, deze casestudy toont aan dat de adapter voldoet aan zijn belofte van lage latentie, high-throughput netwerken in de echte productie omgevingen.De combinatie van hardwareversnelling, uitgebreide telemetrie en naadloze compatibiliteit met de bestaande Ethernet-infrastructuur maken deNVIDIA Mellanox MCX653105A-HDATeen fundamenteel onderdeel voor moderne datacenterarchitecturen.