NVIDIA Mellanox MCX653106A-HDAT Technische oplossing: RDMA/RoCE-gebaseerd transport en server met lage latentie
June 16, 2026
Deze technische whitepaper is ontworpen voor netwerkarchitecten, pre-sales engineers en operationele managers.NVIDIA Mellanox MCX653106A-HDATDe datacenters zijn in de eerste plaats gebaseerd op een serveradapter en beschrijft hoe een datacenternetwerkinfrastructuur kan worden opgebouwd die in staat is om microseconde-schaal RDMA/RoCE-transport en ultra-hoge doorvoerprestaties uit te voeren.
Moderne datacenters worden geconfronteerd met drie kernuitdagingen: onvoorspelbare latentie in gedistribueerde opslag, bandbreedte hongersnood in AI training clusters,en overmatig CPU-verbruik door traditionele netwerkprotocolstacks.Conventionele TCP/IP-oplossingen kunnen niet langer voldoen aan de microseconde latentie-eisen van NVMe-oF, highfrequency trading en realtime analytics.MCX653106A-HDAT Ethernet adapter kaart oplossingdie hardware-offloaded RDMA-transport levert via standaard Ethernet-infrastructuur, terwijl de doorvoer van de server wordt vergroot tot 200 Gbps.
Deze oplossing gebruikt een tweelaagse Leaf-Spine CLOS-architectuur.NVIDIA Mellanox MCX653106A-HDATDe belangrijkste ontwerpprincipes zijn onder meer:
- End-to-end verliesloos netwerk met PFC (Priority Flow Control) en ECN (Explicit Congestion Notification)
- RDMA-transportroutes voor opslag en HPC-werklasten
- Afscheiding van het besturingsvlak (standaard TCP/IP) en het gegevensvlak (RoCEv2)
- Hardwaregebaseerde virtualisatie-afladen (SR-IOV, VXLAN/NVGRE/Geneva)
Op basis van deMCX653106A-HDAT-gegevensbladDe adapter biedt een port-to-port latency van minder dan 600 ns en ondersteunt maximaal 215 miljoen pakketten per seconde, waardoor het ideaal is voor zowel Oost-West-opslagverkeer als Noord-Zuid-toepassingsstromen.
DeMCX653106A-HDAT ConnectX adapter PCIe-netwerkkaartdient als de fundamentele data plane engine.
- RDMA/RoCE versnelling:Volledige hardware-afladen van RoCEv2, inclusief congestiebeheer, out-of-order pakketverwerking en onmiddellijke dataplaatsing in applicatiebuffers.
- opslagprotocol afladen:Native ondersteuning voor NVMe-oF (zowel TCP- als RoCE-varianten), iSER en SRP, waarbij software-gebaseerde doelverwerking wordt geëlimineerd.
- Virtualisatie & Multi-tenancy:Tot 1.000 virtuele functies (VF's) per poort, met overlappende tunnel-aflaad die lijnsnelheid inkapseling/dekapseling garandeert.
- Beveiliging en telemetrie:Inline IPsec/TLS-encryptie met 200 Gbps, plus hardwaregebaseerde stroomtracking (bijv. verbindingstracking, histogrammen).
VolgensMCX653106A-HDAT-specificaties, ondersteunt de adapter PCIe 4.0/5.0 x16-interfaces, waardoor er zelfs bij volledige lijnsnelheid van 200GbE geen knelpunt aan de gastheerzijde ontstaat.
Een gevalideerde referentietopologie bestaat uit:
- Berekeningslaag:48 servers met twee stopcontacten, elk voorzien van éénMCX653106A-HDAT(dual-port 100GbE-configuratie).
- Bewaarlaag:12 NVMe-oF-doelservers, elk met tweeMCX653106A-HDAT Ethernet-adapterkaartEenheden één voor front-end computing toegang, één voor back-end replicatie.
- Netwerklaag:Vier 100GbE Spine-switches en acht Leaf-switches, geconfigureerd met DCBX, PFC (klasse 3 voor RoCE) en ECN-drempels.
Voor schaalbaarheid verder dan 200 knooppunten ondersteunt de architectuur multi-pod ontwerpen met behulp van EVPN-VXLAN met hardware offload (volledigMCX653106A-HDAT-compatibelIn het kader van de capaciteitsbeoordeling wordt de capaciteit van de producenten in de sectorenMCX653106A-HDAT prijsDe capaciteit van de nieuwe technologieën is ongeveer 40% lager dan die van de vergeleken Fibre Channel of InfiniBand-oplossingen.
Een doeltreffende werking van RDMA/RoCE-implementaties vereist gespecialiseerde hulpmiddelen.
| Gezien | Aanbevolen acties en instrumenten |
|---|---|
| Telemetrie en zichtbaarheid | Hardwaretellers activeren viamlx5cmden Prometheus-exporteur; monitor PFC-pauzes, ECN-gemarkeerde pakketten en RoCE-herzendingen. |
| Congestie detectie | Gebruikethtool -SVoor de statistieken per wachtrij: gebruik de op Docker gebaseerde congestie telemetrie kit van NVIDIA. |
| Firmware & Driver Mgmt | BehoudMCX653106A-HDAT-compatibelfirmwareversies (≥ 26.35.x) naast de DOCA 2.5+-driverstapel. |
| Optimalisatierichtlijnen | Stel MTU=9000 in voor jumbo frames; pas roce_rx_qos_policy aan; activeer dynamische onderbrekingsmoderatie voor gemengde werkbelastingen. |
Voor het oplossen van problemen, vangen RoCEv2-specifieke metagegevens op met behulp vanRdmatoolenDe Commissie heeft de Commissie verzocht de volgende maatregelen te treffen:. Veel voorkomende valkuilen zijn verkeerd geconfigureerde PFC prioriteiten (zekerstellen van consistentie over alle netwerkapparaten) en onevenwichtige PCIe-linksnelheden (valideren met- Spci -vvv)).
DeNVIDIA Mellanox MCX653106A-HDATHet programma biedt een bewezen, productie-klaar platform voor het transformeren van standaard Ethernet-fabrieken in hoogwaardige, verliesloze netwerken.
- Latentie:De definitieve NVMe-oF-leeslatentie (P99) is sub-10μs, waardoor realtime analyse en HPC-convergentie mogelijk zijn.
- Doorvoer:Bij-lijnsnelheid 200GbE met nul pakketverlies, gevalideerd tegenMCX653106A-HDAT-specificaties.
- CPU efficiëntie:Bevrijdt tot 30% van de CPU-kernen die eerder door netwerk- en opslagstaps werden verbruikt.
- TCO:In vergelijking met eigen interconnecties,MCX653106A-HDAT te koopde prijzen, gecombineerd met de standaard Ethernet-switching, verminderen de operationele kosten over drie jaar met naar schatting 35-50%.
Architecten en operationele leiders kunnen deze oplossing met vertrouwen inzetten voor AI-fabrieken, gedesaggregeerde opslag en ultra-lage latency financiële systemen.verwijst naar de ambtenaarMCX653106A-HDAT-gegevensbladen NVIDIA's DOCA documentatiebibliotheek.