NVIDIA Mellanox MCX653106A-HDAT in actie: het bereiken van doorbraken in RDMA/RoCE-transport en serverdoorvoer met lage latentie

In moderne datacenteromgevingen – die gedistribueerde opslag, hoogfrequente handel en AI-trainingsclusters omvatten – blijven er twee hardnekkige uitdagingen bestaan: het verminderen van netwerkgeïnduceerde latentie en het maximaliseren van de serverdoorvoer zonder de CPU te belasten. Deze diepgaande toepassing onderzoekt hoe een toonaangevende aanbieder van cloudinfrastructuur deze exacte problemen heeft aangepakt door de implementatie van deNVIDIA Mellanox MCX653106A-HDATserveradapter over hun reken- en opslagknooppunten.

Achtergrond en uitdaging

De bestaande 25GbE-infrastructuur van de provider, gebaseerd op standaard Ethernet-adapters met op software gebaseerde TCP/IP-stacks, vertoonde duidelijke beperkingen. Opslagworkloads waarbij gebruik werd gemaakt van NVMe via Fabrics ondervonden onvoorspelbare latentiepieken (vaak boven de 50 µs), terwijl databaseclusters te lijden hadden onder een hoog CPU-gebruik: tot 35% van de cores werd verbruikt door alleen netwerkverwerking. Het technische team had een oplossing nodig die een latentie van minder dan 10 µs kon leveren voor RDMA-transacties en een doorvoer van 200 GbE kon ondersteunen zonder dat een volledige architectonische revisie nodig was.

Nadat ze meerdere opties hadden geëvalueerd, wendden ze zich tot deMCX653106A-HDAT Ethernet-adapterkaart, dat hardware-offloaded RoCE (RDMA over Converged Ethernet) en naadloze integratie met hun bestaande Cumulus Linux-gebaseerde leaf-spine-topologie beloofde.

Oplossings- en implementatiebenadering

De inzet concentreerde zich rond deMCX653106A-HDAT ConnectX-adapter PCIe-netwerkkaart, waarbij gebruik wordt gemaakt van de 100GbE-configuratie met twee poorten om een ​​niet-blokkerende structuur te creëren. Elk rekenknooppunt ontving één adapter, terwijl opslagknooppunten werden uitgerust met twee voor redundantie. De belangrijkste implementatiestappen waren onder meer:

• RoCEv2 inschakelen met PFC (Priority Flow Control) en ECN (Explicit Congestion Notification) om verliesvrij transport te garanderen
• SR-IOV configureren om virtuele functies toe te wijzen aan database- en opslagworkloads met hoge prioriteit
• Implementatie van de nieuwsteMCX653106A-HDAT-compatibeldriverstack (NVIDIA DOCA 2.5) over Ubuntu 22.04 LTS-knooppunten
• Implementatie van op hardware gebaseerde DPDK-versnelling voor pakketverwerkingspaden

Gebaseerd op deMCX653106A-HDAT-gegevensbladen validatie voorafgaand aan de implementatie voorspelde het team een ​​hardwarelatentie van minder dan 1 µs en tot 215 miljoen pakketten per seconde (MPPS) voor transacties met kleine pakketten; gegevens die hun capaciteitsplanning vormden.

Resultaten en meetbare voordelen

Na een pilot van vier weken op 50 productieknooppunten documenteerde het infrastructuurteam bij het vergelijken de volgende verbeteringenNVIDIA Mellanox MCX653106A-HDATtegen hun oudere adapters:

Naast de ruwe cijfers merkte het technische team op dat deMCX653106A-HDAT Ethernet-adapterkaartoplossingelimineerde voorheen vereiste afstemmingsoplossingen, zoals interrupt-coalescerende hacks en te grote ontvangstbuffers. De hardware-offloads van de adapter voor VXLAN en Geneve vereenvoudigden ook hun containernetwerkstack, waardoor de latentie tussen pods en pods in Kubernetes-omgevingen met 40% werd verminderd.

Voor IT-managers die de kosten evalueren,MCX653106A-HDAT-prijsvergelijkingen met vergelijkbare 200GbE-oplossingen lieten 15-20% lagere totale eigendomskosten zien als rekening wordt gehouden met CPU-kernbesparingen en verminderd switchpoortgebruik. In de tussentijd,MCX653106A-HDAT te koopVragen van aangrenzende teams, waaronder HPC en realtime analyses, zijn al ingediend voor de volgende inkoopcyclus.

Samenvatting & Vooruitzichten

De inzet bevestigt datNVIDIA Mellanox MCX653106A-HDATis niet slechts een specificatie-upgrade, maar een functionele sprong voorwaarts voor latentiegevoelige en doorvoergebonden omgevingen. Door de netwerkverwerking te verschuiven van software naar hardware (via RoCE-offloads, SR-IOV en GPUDirect-ready architectuur) kunnen organisaties een deterministische latentie op microsecondenschaal realiseren terwijl ze CPU-cycli terugwinnen voor applicatielogica.

Terwijl het infrastructuurteam de uitrol uitbreidt naar meer dan 500 knooppunten, onderzoeken ze ook de ingebouwde inline-encryptie (IPsec/TLS) van de adapter voor multi-tenant beveiliging en PTP (IEEE 1588v2) voor workloads in de financiële dienstverlening. Voor ingenieurs die op zoek zijn naar gevalideerde configuraties, is deMCX653106A-HDAT-specificatiesen referentieontwerpen zijn beschikbaar via NVIDIA's DOCA-ontwikkelaarsportal. Deze casus uit de praktijk maakt één ding duidelijk: deMCX653106A-HDAT ConnectX-adapter PCIe-netwerkkaartmaakt de belofte waar van Ethernet met lage latentie en hoge doorvoer voor datacenters van de volgende generatie.

Raadpleeg de functionaris voor een dieper technisch onderzoekMCX653106A-HDAT-gegevensbladof neem contact op met uw regionale NVIDIA-oplossingsarchitect.