NVIDIA Mellanox MCX653105A-HDAT serveradapter in actie: RDMA/RoCE transport en server met lage latentie
June 15, 2026
In moderne datacenters worden gedistribueerde opslag, high-performance computing (HPC) en AI-trainingsclusters geconfronteerd met een gemeenschappelijke knelpunt: het netwerk.Traditionele TCP/IP stacks introduceren aanzienlijke latentie en CPU overheadDeze case study onderzoekt hoe een middelgrote cloudprovider deze exacte uitdagingen heeft aangepakt door deNVIDIA Mellanox MCX653105A-HDATEen serveradapter om RDMA/RoCE-gebaseerd low-latency transport mogelijk te maken en de doorvoer van de server drastisch te verhogen.
Achtergrond en uitdagingen: Wanneer elke microseconde telt
De bestaande 25GbE-infrastructuur van de provider, met standaard TCP/IP, had moeite om hun nieuwe NVMe-over-Fabrics-opslagbackend te ondersteunen.CPU-uitbuiting op opslagknooppunten overschreed regelmatig 70% alleen door netwerprocessing, en inter-node latency zweefde rond 50 μs onaanvaardbaar voor hun latency-gevoelige database workloads.Netwerkcongestie veroorzaakt staart latency pieken die van invloed zijn applicatie SLA'sZe hadden behoefte aan een oplossing die de netwerkopdrachten kon verlichten, sub-microseconde latentie kon bieden en een consistente prestatie onder belasting kon behouden.
Oplossing en implementatie: Introductie van de MCX653105A-HDAT ConnectX Adapter PCIe Network Card
Na het evalueren van verschillende opties heeft het team deMCX653105A-HDAT Ethernet-adapterkaartHet programma is vooral bekend om zijn dual-port 100GbE-capaciteit en de native ondersteuning voor RoCE (RDMA over Converged Ethernet).NVIDIA Mellanox MCX653105A-HDATwerd ingezet op 120 opslag- en rekenknooppunten, met de volgende configuratie:
- RoCE ingeschakeldmet ECN (Explicit Congestion Notification) en DCQCN voor congestiebeheersing
- NVMe-oF-doelontladingaan hardware, waarbij de host-CPU wordt omzeild voor opslag-I/O
- Partitioneringin verliesloze prioriteitsstromen voor opslagverkeer
- Telemetriebewakingmet behulp van de ingebouwde prestatietellers van de adapter
Volgens deMCX653105A-HDAT-gegevensbladDe kaart ondersteunt zowel InfiniBand als Ethernet-protocollen, maar het team koos voor RoCEv2 om naadloos te integreren met hun bestaande Ethernet-switches.Alle grote servermodellen warenMCX653105A-HDAT-compatibelDe implementatie werd over twee weekenden met nul downtime voltooid, met behulp van de live migratiefuncties van de adapter.
Resultaten en voordelen: meetbare prestatiewinsten
De volgende tabel geeft een samenvatting van de belangrijkste indicatoren voor en na de inzet van deMCX653105A-HDAT Ethernet adapter kaart oplossing:
| Metrische | Voor (TCP/IP) | Na (RoCE + MCX653105A-HDAT) | Verbetering |
|---|---|---|---|
| Gemiddelde latentie (knooppunt-tot-knooppunt) | 52 μs | 1.8 μs | 960,5% vermindering |
| CPU-gebruik (opslagknooppunt, netwerkstack) | 72% | 8% | Vermindering met 89% |
| Effectieve doorvoer per knooppunt (NVMe-oF) | 18 Gbps | 96 Gbps | 5.3x toename |
| Laatentie van de staart (99,9e percentiel) | 380 μs | 12 μs | 960,8% vermindering |
Naast deze cijfers merkte het team ook extra operationele voordelen op.MCX653105A-HDAT-specificatiesIn het kader van het programma voor de ontwikkeling van de interne markt werd een aantal belangrijke ontwikkelingen ondernomen, waaronder hardware-gebaseerde verbindingsopsporing en ASAP2 flow offload, die de East-West-verkeersspanning verminderde en een soepelere schaalbaarheid mogelijk maakte.MCX653105A-HDAT prijsDe aanpassing van de adapter is nu op grote schaal beschikbaar in de Verenigde Staten, de Verenigde Staten en de Verenigde Staten.MCX653105A-HDAT te koopDe Commissie heeft de Commissie verzocht om een verslag uit te brengen over de resultaten van de evaluatie.
Samenvatting en vooruitzichten: Een basis voor de volgende generatie infrastructuur
Deze zaak toont aan dat deMCX653105A-HDAT ConnectX adapter PCIe-netwerkkaartHet is niet alleen een snellere NIC, het is een platform voor echte data-centric computing.NVIDIA Mellanox MCX653105A-HDATTransformeert de manier waarop servers communiceren, waardoor de overhead van legacy-protocollen wordt geëlimineerd en het volledige potentieel van NVMe-opslag en gedistribueerde geheugenstoffen wordt ontgrendeld.
Voor de toekomst is de aanbieder van plan hun implementatie uit te breiden tot GPUDirect RDMA voor AI-trainingswerklasten,en de programmabiliteitsfuncties van de adapter voor aangepaste pakketverwerking verkennenVoor IT-architecten en netwerkingenieurs die geconfronteerd worden met vergelijkbare schaalbaarheidsuitdagingen, is deMCX653105A-HDAT Ethernet-adapterkaartHet biedt een beproefde, toekomstgerichte weg naar netwerken met lage latentie en hoge doorvoer van datacenters.