Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Serveradapter in Actie | RDMA/RoCE Lage Latentie Transport & Server

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter in actie.

In een grootschalig internetbedrijf's elastische bare-metal en AI inferentie hybride implementatiescenario,Netwerklatentie en CPU overhead waren kritieke belemmeringen geworden voor het schaalbaar maken van GPU-gebruik en opslagprestaties.. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureDeze casestudy onderzoekt hoe deMCX623106AN-CDATNVIDIA Mellanox (NVIDIA Mellanox) heeft deze uitdagingen aangepakt en het netwerkstuk omgevormd tot een echte computerversneller.

Achtergrond en uitdagingen: Wanneer 25G NIC's hun grenzen bereiken

De productieomgeving bestond uit meer dan 1.200 rekenknooppunten verdeeld over twee beschikbaarheidszones, met een mix van online inferentiediensten, offline AI-training en gedistribueerde objectopslag.De bestaande 25G Ethernet-adaptersDe belangrijkste pijnpunten waren onder meer:

• Hoge CPU-uitbuiting: Softwaregebaseerde TCP/IP-stackverwerking verbruikt tot 35% van de CPU-kernen op opslagknooppunten tijdens piek-I/O-bursts.
• Incoherente latentie: de latentie (p99) voor gedistribueerde all-reduce-operaties overschreed vaak 50 μs, waardoor de GPU tijdens parametersynchronisatie onderbenut werd.
• Afsluiting van opslag: NVMe-oF-verkeer over verliezend Ethernet leed aan pakketdruppels, wat leidt tot retransmissies die de effectieve doorvoer met bijna 40% verminderen.

Na het evalueren van meerdere alternatieven, waaronder de eigen InfiniBand en concurrerende 25G NIC's, koos het team deNVIDIA Mellanox MCX623106AN-CDATvoor zijn unieke combinatie van hardware-gebaseerde RoCEv2-versnelling, programmeerbaar datapad en brede platformcompatibiliteit.

Oplossing en implementatie aanpak

De inzetstrategie was gericht op drie pijlers:RDMA/RoCE-activering,Smart offload activatie, engeleidelijke migratie van vloot. Elk rekenknooppunt ontving er één.MCX623106AN-CDAT Ethernet adapterkaart, waarbij de NIC's van de vorige generatie worden vervangen zonder de onderliggende 25G-koper/vezelinfrastructuur te veranderen.

Vanuit het oogpunt van de configuratie heeft het team gebruik gemaakt van deMCX623106AN-CDAT-gegevensbladom de volgende parameters te verfijnen:

• Inrichting van RoCEv2 PFC (Priority Flow Control): Voor opslag (NVMe-oF) en AI-collectieve communicatie werden speciale klassen voor verliesloos verkeer gedefinieerd, terwijl het best-effort-verkeer in afzonderlijke wachtrijen met verlies bleef.
• Hardware-afladen toegestaan: VXLAN/NVGRE tunnel offload, checksum segmentatie en LRO (Large Receive Offload) werden geactiveerd om de CPU-interventie per pakket te verminderen.
• DPU-klaar programmeerbaarheid: Met behulp van ASAP2 gebruikte het team lichtgewicht flow-regels om het opslagverkeer rechtstreeks naar de NVMe-oF-doelpunten te sturen, waarbij de kernel-netwerkstack volledig werd omzeild.

De validatie van de verenigbaarheid was eenvoudig.MCX623106AN-CDAT-compatibelDe lijst bestond uit alle servermodellen in de vloot (Dell PowerEdge R750 en Supermicro Ultra-serie), en de bestaande Red Hat OpenShift- en Ubuntu-gebaseerde knooppunten namen de nieuwe stuurprogramma's zonder problemen over.

Resultaten en meetbare voordelen

Na drie weken productie-implementatie in 40% van de computingvloot waren de prestatiewinsten onmiddellijk zichtbaar.

Naast de kwantitatieve verbeteringen meldde het engineeringteam een kwalitatieve verschuiving in de operationele stabiliteit.De op hardware gebaseerde PFC- en ECN-mechanismen (Explicit Congestion Notification) zorgden ervoor dat het opslagverkeer vrijwel verliesloos bleef., waardoor de cascadende retransmissies stormen die eerder van invloed waren op de applicatie SLA's worden geëlimineerd.MCX623106AN-CDAT ConnectX adapter PCIe-netwerkkaartde IPSec-versleuteling met een lijnsnelheid voor het replicatietraffic tussen zones beheerd, waardoor het beveiligingsteam zero-trust-beleid kan afdwingen zonder speciale versleutelingstoestellen in te zetten.

Samenvatting en vooruitziende vooruitzichten

Deze inzet onderstreept dat deMCX623106AN-CDAT Ethernet adapter kaart oplossingHet is niet alleen een incrementele NIC-upgrade, het is een strategische enabler voor moderne datacenterarchitecturen.en uitgebreide afladingsmogelijkheden, transformeert de adapter een standaard Ethernet-fabriek effectief in een infrastructuurlaag met lage latentie en hoge efficiëntie.De IT-organisatie is nu van plan de implementatie uit te breiden naar alle resterende knooppunten en evalueert actief de mogelijkheden van de nieuwe technologieën.MCX623106AN-CDAT-specificatiesvoor de volgende generatie 50G Spine-Leaf-ontwerpen.

Voor infrastructuurarchitecten en IT-managers die gelijkaardige prestatieloften ondervinden,MCX623106AN-CDATEen senior architect merkte op:"We bereikten een betere latentie dan onze vorige 25G NIC's tegen de helft van de CPU-kosten, en we hoefden geen enkel rack opnieuw te kabelen".Met zijn groteMCX623106AN-CDAT-compatibelDe Europese UnieMCX623106AN-CDAT prijsDeze adapter is goed voorbereid om de standaardkeuze te worden voor 25G RoCE-implementaties, ongeacht of de werklast bestaat uit AI-training, gedistribueerde opslag of realtime-analyse.

Tags:MCX623106AN-CDATNVIDIA Mellanox ConnectX-6 Dx RDMA/RoCE implementatie Low-Latency Netwerken Server doorvoer optimalisatie