NVIDIA Mellanox MCX623106AN-CDAT serveradapter in actie
June 10, 2026
Een middelgrote cloudprovider stond onlangs voor een bekende uitdaging: hun oude 25GbE NIC's konden de explosieve groei van NVMe-oF-opslag en gedistribueerde AI-trainingsworkloads niet bijhouden. Het CPU-gebruik overschreed vaak de 70% op opslagknooppunten als gevolg van traditionele TCP/IP-stack-overhead, terwijl staartlatentie tijdens piekuren de applicatieprestaties schaadde. Deze praktijkcasus laat zien hoe deNVIDIA Mellanox MCX623106AN-CDATtransformeerden hun infrastructuur via RDMA en RoCE.
Het opslagcluster van de provider bestond uit vijftig Ceph-nodes, die elk zowel client-I/O als intern replicatieverkeer afhandelden. Met meer dan 3.000 NVMe-schijven in de backend werden drie problemen acuut: hoge CPU-onderbrekingen door netwerkverwerking, inconsistente latentie onder gemengde werkbelastingen en oost-west bandbreedteverzadiging. Bij de oudere adapters ontbrak het aan hardware-offloads voor RoCE, waardoor elk pakket door de kernelstack moest gaan. Na evaluatieMCX623106AN-CDAT-specificatiesen deMCX623106AN-CDAT-gegevensblad, selecteerde het team deMCX623106AN-CDAT ConnectX-adapter PCIe-netwerkkaartvoor een pilot-inzet.
De nieuwe architectuur verving oudere adapters door deNVIDIA Mellanox MCX623106AN-CDATin acht opslagknooppunten en vier rekenknooppunten. DeMCX623106AN-CDAT Ethernet-adapterkaartbeschikt over dual-port 100Gb/s, PCIe 4.0/5.0 en native RoCE-ondersteuning. Belangrijke implementatiestappen omvatten:
- DCQCN (Data Center Quantized Congestion Notification) inschakelen voor RoCE-congestiecontrole
- Partitionering van PFC-domeinen (Priority Flow Control) om opslag- en AI-trainingsverkeer te isoleren
- Het upgraden van de fabric naar een lossless Ethernet-spine-leaf-topologie (bufferdrempel van 25 ms)
- Implementatie van NVMe-oF met RDMA voor toegang tot blokopslag
De ASAP² offload-engine van de adapter verwerkte meer dan 90 miljoen pakketten per seconde op de opslagknooppunten, waarbij de host-CPU volledig werd omzeild voor het verplaatsen van gegevens. DeMCX623106AN-CDAT Ethernet-adapterkaartoplossingmaakte ook in-line encryptie mogelijk zonder prestatieverlies – een vereiste voor de huurders van de financiële diensten van de provider.
Na drie maanden productiegebruik documenteerde de leverancier aanzienlijke verbeteringen:
| Metrisch | Oudere 25GbE (TCP) | MCX623106AN-CDAT(RoCE) | Verbetering |
|---|---|---|---|
| Gem. latentie (4 KB willekeurig lezen) | 42 µs | 8 µs | -81% |
| CPU-gebruik (opslagknooppunt) | 71% | 19% | -73% |
| Maximale doorvoer per knooppunt | 21 Gb/s | 98 Gb/sec | +367% |
| Staartlatentie (99,9e percentiel) | 218 µs | 34 µs | -84% |
DeMCX623106AN-CDAT Ethernet-adapterkaartbleek ook ten volleMCX623106AN-CDAT-compatibelmet de bestaande Cumulus Linux-switches en Ceph BlueStore-backend van de provider. Tijdens de gefaseerde implementatie zijn er geen driver- of firmwareconflicten opgetreden.
Deze inzet bevestigt dat deNVIDIA Mellanox MCX623106AN-CDATis niet alleen een upgrade van de bandbreedte; het verandert fundamenteel de serverefficiëntie via RDMA/RoCE. Door de netwerkverwerking te ontlasten en verliesvrij Ethernet mogelijk te maken, verminderde de adapter de opslaglatentie met 5x, terwijl CPU-kernen vrijkwamen voor applicatiewerklasten. Voor IT-managers die evaluerenMCX623106AN-CDAT-prijsen ROI heeft de provider de hardware binnen zeven maanden terugverdiend dankzij een lager aantal servers en lagere licentiekosten.
Naarmate meer organisaties NVMe-oF, GPU direct RDMA en microservices adopteren, wordt deMCX623106AN-CDAT ConnectX-adapter PCIe-netwerkkaartbiedt een bewezen pad naar datacenters met lage latentie en hoge doorvoer. Zij die zoekenMCX623106AN-CDAT te koopkunt u contact opnemen met geautoriseerde NVIDIA Mellanox-distributeurs. VolMCX623106AN-CDAT-specificatiesen implementatiegidsen zijn beschikbaar in de officiële versieMCX623106AN-CDAT-gegevensblad.