Mellanox MCX623106AN-CDAT Server Adapter in actie

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter in Actie | RDMA/RoCE Lage Latentie Transport & Server Doorvoer Optimalisatie

In een grootschalig internetbedrijf met een hybride implementatie van elastische bare-metal en AI-inferentie, waren netwerklatentie en CPU-overhead kritieke belemmeringen geworden voor het schalen van GPU-gebruik en opslagprestaties. Het infrastructuurteam had een oplossing nodig die sub-microseconden latentie kon leveren voor gedistribueerde trainingsjobs, terwijl tegelijkertijd NVMe-oF opslagverkeer met hoge doorvoer werd ondersteund — allemaal zonder dure upgrades van de bestaande bekabelingsinfrastructuur te forceren. Deze casestudy onderzoekt hoe de MCX623106AN-CDAT van Mellanox (NVIDIA Mellanox) deze uitdagingen aanpakte en het netwerkfabric transformeerde tot een ware compute accelerator.

Achtergrond & Uitdagingen: Wanneer 25G NIC's hun Grenzen Bereiken

De productieomgeving bestond uit meer dan 1.200 compute nodes verdeeld over twee beschikbaarheidszones, waarop een mix van online inferentiediensten, offline AI-training en gedistribueerde objectopslag draaide. De bestaande 25G Ethernet-adapters, hoewel adequaat voor basisconnectiviteit, hadden moeite met gelijktijdige workloads. Belangrijke pijnpunten waren:

• Hoge CPU-gebruik: Softwarematige TCP/IP-stackverwerking verbruikte tot 35% van de CPU-kernen op opslagknooppunten tijdens piek I/O-bursts.
• Inconsistente latentie: Tail latency (p99) voor gedistribueerde all-reduce operaties overschreed vaak 50µs, wat leidde tot onderbenutting van GPU's tijdens parameter synchronisatie.
• Opslag bottleneck: NVMe-oF verkeer over lossy Ethernet leed onder pakketverlies, wat hertransmissies activeerde die de effectieve doorvoer met bijna 40% degradeerden.

Na het evalueren van meerdere alternatieven — waaronder propriëtaire InfiniBand en concurrerende 25G NIC's — selecteerde het team de NVIDIA Mellanox MCX623106AN-CDAT vanwege de unieke combinatie van hardwarematige RoCEv2-acceleratie, programmeerbaar datapfad en brede platformcompatibiliteit.

Oplossing & Implementatieaanpak

De implementatiestrategie was gericht op drie pijlers: RDMA/RoCE-activering, slimme offload-activering, en geleidelijke migratie van de vloot. Elke compute node ontving één MCX623106AN-CDAT Ethernet-adapterkaart, ter vervanging van de vorige generatie NIC's zonder de onderliggende 25G koper/glasvezel-infrastructuur te wijzigen.

Wat de configuratie betreft, maakte het team gebruik van het MCX623106AN-CDAT datasheet om de volgende parameters te finetunen:

• RoCEv2 PFC (Priority Flow Control) instelling: Dedicated lossless verkeersklassen werden gedefinieerd voor opslag (NVMe-oF) en AI collectieve communicatie, terwijl best-effort verkeer op aparte lossy queues bleef.
• Hardware offloads geactiveerd: VXLAN/NVGRE tunnel offload, checksum segmentatie en LRO (Large Receive Offload) werden geactiveerd om per-pakket CPU-interventie te verminderen.
• DPU-ready programmeerbaarheid: Met behulp van ASAP² implementeerde het team lichtgewicht flowregels om opslagverkeer rechtstreeks naar de NVMe-oF doel-eindpunten te sturen, waarbij de kernel netwerkstack volledig werd omzeild.

Compatibiliteitsvalidatie was eenvoudig — de MCX623106AN-CDAT compatibel lijst dekte alle servermodellen in de vloot (Dell PowerEdge R750 en Supermicro Ultra series), en de bestaande Red Hat OpenShift en Ubuntu-gebaseerde nodes adopteerden de nieuwe drivers zonder problemen.

Resultaten & Meetbare Voordelen

Na drie weken productie-implementatie over 40% van de compute vloot, waren de prestatieverbeteringen direct zichtbaar. De volgende tabel vat de belangrijkste voor-en-na-statistieken samen:

Naast de kwantitatieve verbeteringen meldde het engineeringteam een kwalitatieve verschuiving in operationele stabiliteit. De hardwarematige PFC- en ECN-mechanismen (Explicit Congestion Notification) zorgden ervoor dat opslagverkeer vrijwel lossless bleef, waardoor de cascade van hertransmissiestormen die voorheen SLA's van applicaties beïnvloedden, werd geëlimineerd. Bovendien verwerkte de MCX623106AN-CDAT ConnectX adapter PCIe netwerkkaart lijn-snelheid IPSec-encryptie voor cross-zone replicatieverkeer, waardoor het beveiligingsteam zero-trust beleid kon afdwingen zonder speciale encryptie-apparaten te implementeren.

Samenvatting & Toekomstperspectief

Deze implementatie onderstreept dat de MCX623106AN-CDAT Ethernet-adapterkaartoplossing niet slechts een incrementele NIC-upgrade is — het is een strategische facilitator voor moderne datacenterarchitecturen. Door hardware-geaccelereerde RoCEv2, flexibele programmeerbaarheid en uitgebreide offload-mogelijkheden te combineren, transformeert de adapter effectief een standaard Ethernet-fabric in een infrastructuurlaag met lage latentie en hoge efficiëntie. De IT-organisatie plant nu de uitbreiding van de implementatie naar alle resterende knooppunten en evalueert actief de MCX623106AN-CDAT specificaties voor de volgende generatie 50G Spine-Leaf ontwerpen.

Voor infrastructuurchitecten en IT-managers die met vergelijkbare prestatieplafonds worden geconfronteerd, biedt de MCX623106AN-CDAT een overtuigend, bewezen pad. Zoals een senior architect opmerkte: "We bereikten betere latentie dan met onze vorige 25G NIC's tegen de helft van de CPU-kosten, en we hoefden geen enkele rack opnieuw te bekabelen." Met zijn brede MCX623106AN-CDAT compatibel ecosysteem en concurrerende MCX623106AN-CDAT prijs positionering, is deze adapter goed gepositioneerd om de standaardkeuze te worden voor 25G RoCE-implementaties — of de workload nu AI-training, gedistribueerde opslag of real-time analyse betreft.