NVIDIA Mellanox MCX653106A-HDAT Server Adapter in actie: RDMA/RoCE Low-Latency Transport & Server

In moderne datacenteromgevingen, variërend van gedistribueerde opslag en highfrequency trading tot grootschalige AI-trainingsclusters, zijn traditionele TCP/IP-protocolstacks een belangrijke knelpunt geworden.De overhead van kernel netwerken, gegevenskopieeren en contextwisselen verbruikt aanzienlijke CPU-bronnen terwijl onvoorspelbare latentie wordt geïntroduceerd.Deze casestudy onderzoekt hoe een toonaangevende aanbieder van cloudinfrastructuur deze uitdagingen heeft overwonnen door deNVIDIA Mellanox MCX653106A-HDATDe NIC van de server, met dramatische verbeteringen in latentie en doorvoer.

De bestaande 25GbE-infrastructuur van de provider, met standaard TCP, had moeite om bij te blijven met NVMe-oF-opslagverkeer en real-time analytics-werkbelastingen.De CPU-uitbuiting op opslagknooppunten overschreed vaak 70% alleen voor netwerkverwerking, waardoor er onvoldoende ruimte overblijft voor applicatielogica.het veroorzaken van latentiepieken die van invloed zijn op service-level-overeenkomstenHet engineeringteam erkende dat er een fundamentele verschuiving in de netwerkarchitectuur nodig was, een die de kernel omzeilt en directe geheugentoegang tussen eindpunten mogelijk maakt.

Na het evalueren van meerdere opties heeft het team deMCX653106A-HDAT Ethernet-adapterkaartGebouwd op de ConnectX-6-architectuur, is ditMCX653106A-HDAT ConnectX adapter PCIe-netwerkkaartHet programma biedt dual-port 100GbE-connectiviteit met native hardware-ondersteuning voor RoCE (RDMA over Converged Ethernet).

• Fase 1:Vervang oude NIC's in opslagnodes (10 nodes met Ceph) door de nieuwe adapter.
• Fase 2:Configureer verliesloos Ethernet met behulp van DCB (Priority Flow Control en ETS) op zowel NIC's als top-of-rack-switches.
• Fase 3:Migreren van toepassingsverkeer van TCP-sockets naar RDMA-gebaseerde werkwoorden en NVMe-oF via RoCE.
• Fase 4:Uitbreiding van de implementatie naar rekenknooppunten die real-time analyses verwerken.

Ingenieurs die deMCX653106A-HDAT-gegevensbladenMCX653106A-HDAT-specificatiesHet programma is volledig compatibel met de bestaande Mellanox switch fabric en de ingezette Linuxdistributie (Ubuntu 22.04 met MLNX_OFED-drivers).MCX653106A-HDAT-compatibelHet ecosysteem bleek omvattend te zijn en vereiste geen hardwarewijzigingen buiten de vervanging van de NIC zelf.

De volgende tabel geeft een samenvatting van de vergelijking tussen voor en na de inzet:

Naast deze kwantitatieve winst merkte het team verschillende kwalitatieve voordelen.MCX653106A-HDAT Ethernet adapter kaart oplossingHet systeem maakt het mogelijk om data zonder kopieën te verplaatsen tussen het applicatiegeheugen en de externe opslag, waardoor bufferproblemen worden weggenomen die voorheen intermitterende storingen veroorzaakten tijdens verkeersstoringen.Voor de analytische werklastDe overstap naar RDMA verminderde de voltooiingstermijnen met 62%, waardoor de bedrijfsresultaten rechtstreeks werden verbeterd.MCX653106A-HDAT prijsIn het kader van het onderzoek werd vastgesteld dat de 30% -vermindering van het aantal opslagnodes (vanwege een hogere efficiëntie per node) binnen negen maanden terugverdiende resultaten oplevert.MCX653106A-HDAT te koopvia NVIDIA-partners ook toegang tot het DOCA-framework, waardoor toekomstige programmeerbaarheid voor aangepaste netwerkfuncties wordt vrijgemaakt.

De inzet vanNVIDIA Mellanox MCX653106A-HDATDe combinatie van hardware-offloaded RoCE en RoCE-technologie is een van de belangrijkste factoren voor de transformatie van de infrastructuur van de provider van een TCP-beperkte omgeving in een high-performance, low-latency fabric die moderne werklasten kan ondersteunen.,PCIe 4.0-interface en uitgebreid software-ecosysteem beantwoorden aan de drie kritieke eisen van de datacenters van vandaag: verminderde latentie, verhoogde doorvoer en verbeterde CPU-efficiëntie.

Voor architecten die vergelijkbare opwaarderingen evalueren, begint de reis met het verifiëren vanMCX653106A-HDAT-compatibelDe gedetailleerde informatie over de onderdelen van het systeem, met inbegrip van schakelaars, kabels en besturingssystemen.MCX653106A-HDAT-gegevensbladHet is de bedoeling dat de technologieën die worden gebruikt voor het opstellen van de programma's voor de integratie van de technologieën van de geavanceerde technologieën worden gebruikt om de ontwikkeling van nieuwe technologieën te bevorderen.MCX653106A-HDAT Ethernet-adapterkaartDe leverancier breidt de implementatie nu uit met GPU direct RDMA voor AI inferentie workloads,Dit is de basis van de moderne datacenterarchitectuur..