Toepassingspraktijk: NVIDIA Mellanox MCX631102AN-ADAT ¢ RDMA/RoCE Low-Latency Transport & Server Throughput Enhancement
April 27, 2026
In gedistribueerde opslag, high-performance computing en AI training clusters zijn netwerklatentie en CPU overhead de belangrijkste knelpunten geworden die de prestaties van servers beperken.Een cloudserviceprovider heeft onlangs zijn NVMe-oF-opslagbackend bijgewerkt door deNVIDIA Mellanox MCX631102AN-ADATDoor RDMA over Converged Ethernet (RoCEv2) in te zetten, bereikten ze end-to-end transport met lage latentie en aanzienlijke serverdoorvoerwinsten.Deze casestudy onderzoekt hoe de adapter in een productieomgeving presteert.
Achtergrond en uitdaging: de knelpunt van het TCP/IP-protocol
De bestaande 25GbE-infrastructuur van de provider verwerkte opslagverkeer met behulp van de traditionele TCP/IP-softwarestack.CPU-uitgaven voor pakketincapsulatie en -ontkapsulatie hoger dan 40%, wat resulteert in opslaglatenties hoger dan 200 μs en een sterk verminderde rekenkapaciteit op applicatie servers.CPU-interferentie verminderenNa het evalueren van meerdere opties kozen zij voor deMCX631102AN-ADAT ConnectX-6 Lx met twee poorten 25GbE SFP28als kernhardware voor de renovatie van hun opslagfabriek.
Oplossing en implementatie: RDMA/RoCEv2 met hardware-offloads
De implementatie vervangt alle opslaggerichte servers door deMCX631102AN-ADAT Ethernet-adapterkaartDe belangrijkste implementatiestappen waren onder meer:
- Het mogelijk maken van SR-IOV en het toewijzen van virtuele functies (VF's) aan virtuele machines voor opslag, waarbij de hypervisor-netwerkstapel wordt omzeild
- Configuratie van NVMe over Fabrics (NVMe-oF) met RDMA-transport, waarbij TCP-overhead volledig wordt geëlimineerd
- Tuning switch bufferdrempels voor verliesloos 25GbE RoCE-verkeer over de leaf-spine-topologie
DeMCX631102AN-ADAT specificaties inclusief hardware-tijdstempels, dynamisch verbindingsvervoer (DCT) en vectoriseerde ontvangmotor werden volledig gebruikt om voorspelbare submicroseconde latentie te garanderen, zelfs onder een totale belasting van 50 Gbps.
Gemeten prestatiewinsten en operationele voordelen
Na de migratie naar deNVIDIA Mellanox MCX631102AN-ADAT- op basis van weefsel, werden de volgende statistieken vastgelegd:
| Metrische | Voor (TCP/IP 25GbE) | Na (RoCEv2 met MCX631102AN-ADAT) |
|---|---|---|
| NVMe-oF leeslatentie (P99) | 215 μs | 18 μs |
| CPU-gebruik (opslag I/O-pad) | 41% (verzadigd met één kern) | 7% (verdeeld over de kern) |
| Aggregate Server Throughput (RX+TX) | 42 Gbps (software beperkt) | 49.8 Gbps (lijnsnelheid) |
| Small Packet (64B) Doorvoer | 8.1 Mpps | 37.5 Mpps (hardwarestroomsturing) |
Ingenieurs merkten op dat deMCX631102AN-ADAT Ethernet adapter kaart oplossingDe resultaten van het onderzoek toonden aan dat de CPU-kernen die vrij waren, opnieuw werden toegewezen aan applicatiewerklasten.het verhogen van de totale huurdersdichtheid met ongeveer 24% op dezelfde fysieke servers.
Compatibiliteit en ecosysteemintegratie
Bij de uitbreiding van de inzet heeft het operatieteam gecontroleerd of de adapterMCX631102AN-ADAT-compatibelVoor de aankoopplanning verwezen zij naar de ToR-switches van Arista en Cisco met DCBX-configuratie.MCX631102AN-ADAT-gegevensbladDe eerste grote enquêtes bevestigden dat de capaciteit van de installatie in de Gemeenschap met ongeveer 12 W was gestegen.MCX631102AN-ADAT prijsDe markt voor smartNIC's in de VS blijft concurrerend in vergelijking met SmartNIC's van vergelijkbare klasse, met meerdere distributeurs dieMCX631102AN-ADAT te koopin het kader van standaardvolumeovereenkomsten.
Samenvatting en vooruitzichten
De productieprocedure toont duidelijk aan dat deMCX631102AN-ADATHet is de bedoeling van de nieuwe technologie om een fundamentele verschuiving van TCP-gebonden opslagnetwerken naar RDMA-versnelde fabrics mogelijk te maken zonder een volledige 100GbE-infrastructuuroverziening te vereisen.MCX631102AN-ADAT ConnectX-6 Lx met twee poorten 25GbE SFP28Het is de bedoeling dat de organisaties de effectieve doorvoer voor latency-gevoelige workloads kunnen verdubbelen en tegelijkertijd aanzienlijke CPU-bronnen kunnen terugvorderen.Hetzelfde inzetpatroon zal zich uitstrekken tot gedistribueerde machine learning frameworks (NCCL over RoCE) en op microservices gebaseerde stateful applicaties.Voor architecten die 25GbE-upgrades evalueren, is deNVIDIA Mellanox MCX631102AN-ADATstaat als een beproefde, productie-geharde bouwsteen voor high-performance, low-latency datacenter netwerken.