NVIDIA Mellanox MCX653106A-HDAT Server Adapter Technisch Whitepaper

Deze technische whitepaper is bedoeld voor netwerkarchitecten, pre-sales engineers en operations managers.de gegevenscentrumnetwerken met een lage latentie die deNVIDIA Mellanox MCX653106A-HDATserver NIC, met de nadruk op RDMA/RoCE-transport en meetbare serverdoorvoerwinsten.

Moderne datacenter-werklasten, waaronder NVMe-oF-opslagfabrieken, gedistribueerde AI-training, high-frequency trading en real-time analytics, stellen extreme eisen aan netwerkinfrastructuur.Traditionele TCP/IP-stackverwerking introduceert drie fundamentele knelpunten: hoge CPU-overhead (vaak meer dan 50% van de kerncycli), variabele latentie als gevolg van kernel-bypassbeperkingen en verminderde effectieve doorvoer van protocolverwerking overhead.Organisaties hebben een oplossing nodig die lijnbandbreedte levert met een latentie van minder dan een microseconde en tegelijkertijd CPU-bronnen vrijmaakt voor applicatielogicaDe belangrijkste vereisten zijn onder meer RDMA zonder hardware, verliesloos RoCE-transport, naadloze integratie met bestaande Ethernet-fabrieken,en uitgebreide operationele hulpmiddelen voor monitoring en probleemoplossing.

De voorgestelde architectuur gebruikt een tweelaagse Clos-topologie (spine-leaf) die is geoptimaliseerd voor RoCE-transport.Verbeterde transmissie selectie) geconfigureerd om verliesloos gedrag voor RDMA-verkeer te garanderen. Spine-switches maken niet-blokkeren van communicatie over het weefsel.MCX653106A-HDAT Ethernet-adapterkaart, die verbinding maakt met bladschakelaars via dubbele 100GbE-poorten die zijn geconfigureerd in actieve-actieve binding.De architectuur scheidt RDMA-verkeer (toegewijde prioriteitsrij met PFC ingeschakeld) van normaal TCP/IP-verkeer (best-effort-rij)VLAN-segmentatie isoleert RDMA-domeinen terwijl routing de communicatie tussen subnetten verwerkt waar nodig.

DeMCX653106A-HDAT ConnectX adapter PCIe-netwerkkaartGebouwd op de ConnectX-6 architectuur met PCIe 4.0 x16 host interface,het biedt een doorvoer van 100 GbE op twee poorten (of 200 GbE op één poort) met een latentie van minder dan 600 ns onder RDMA-werkbelastingenDe belangrijkste kenmerken die in dit ontwerp worden gebruikt, zijn:

• Hardware RDMA & RoCE Offload:Volledige aflading van RDMA-werkwoorden, waardoor de host-CPU niet meer betrokken is bij gegevensbewegingen.
• NVMe-oF versneller:Hardwarelogica die NVMe-opdrachten versnelt, waardoor de opslagtoegangslatentie met meer dan 80% wordt verminderd in vergelijking met software-doelen.
• Programmeerbaar gegevenspad (ASAP2):Flexible pakketverwerking en offload van overlappende netwerken (VXLAN, GENEVE) mogelijk maken.
• Multi-host en GPU Direct RDMA:Directe peer-to-peercommunicatie tussen GPU's tussen knooppunten zonder ingreep van de CPU is cruciaal voor AI-clusters.
• Telemetrie en congestiebeheer:Hardwaregebaseerde stroombewaking, ECN-markering en dynamische snelheidsbeperking.

Ingenieurs onderzoeken deMCX653106A-HDAT-gegevensbladHet programma biedt ondersteuning voor zowel standaard als OCP 3.0 form factoren, uitgebreide dekking van het besturingssysteem (Linux distributies met MLNX_OFED, Windows, ESXi) en brede servercompatibiliteit.MCX653106A-HDAT-specificatiesde maximale energieverbruik van 75 W en de bedrijfstemperatuur van 0 °C tot 55 °C, geschikt voor uitrustingen met een hoge dichtheid, te bevestigen.

Een typische twee-rack pilot topologie wordt hieronder geïllustreerd:

Inzetstappen:

1. Stap 1 Validering:Bevestig.MCX653106A-HDAT-compatibelHet gebruik van de compatibiliteitsmatrix van deMCX653106A-HDAT-gegevensblad.
2. Stap 2 Installatie van de stuurprogramma:Implementeer MLNX_OFED-stuurprogramma (minimum versie 5.8) op alle nodes.
3. Stap 3 Configuratie van de stof:Inzetten van PFC (prioriteit 3 voor RDMA) en ETS op bladschakelaars.
4. Stap 4 RoCE-opstelling:Configureer elkMCX653106A-HDAT Ethernet-adapterkaartmet RoCE v2 (routeerbaar) of v1 (niet-routeerbaar). Stel GID-modus in op RoCE v2 met IPv4-adrestering.
5. Stap 5 Verificatie:Run ib_write_bw en ib_send_lat tests tussen knooppunten om bandbreedte en latency te valideren.PerfeksieenMlx_perf.

Voor schaalbaarheid verder dan 16 knooppunten, overstap naar een spine-leaf topologie met redundante spine switches die maximaal 128 knooppunten ondersteunen.MCX653106A-HDAT Ethernet adapter kaart oplossingDe in het programma opgenomen functies worden in het kader van het programma uitgevoerd.

Een doeltreffende werking van RDMA/RoCE-omgevingen vereist gespecialiseerde gereedschappen.

• Congestie detectie:Monitor PFC pauze frames per poort met behulp van switch telemetrie (bijv. Mellanox SHARP).
• Prestatiebaseline:Gebruikmlx5cmdenethtool -SOm RDMA-tellers per rij te verzamelen.
• ECN & DCQCN Tuning:Het gebruik van een van de volgende functies is mogelijk:MCX653106A-HDATbestuurder (bijv.dcqcn_r_ai=40,dcqcn_r_hai=10)).
• Loganalyse:Herziening/var/log/berichtenVoor RDMA-verbindingsfouten (bijv. mlx5_core: niet gelukt om QP te maken).
• Firmware-updates:Regelmatig updaten van NIC firmware viaMlxfwmanager. deMCX653106A-HDAT-specificatieseen firmware-basislijn van xx aanbevelen.36.1010 of hoger voor optimale RoCE-prestaties.
• Capaciteitsplanning:Voor organisaties die een schattingMCX653106A-HDAT prijsenMCX653106A-HDAT te koopVolumenkortingen, projectgroeicijfers voor RDMA-verkeer en overschrijvingsratio's voor plan-leaf switches (meestal 3:1 voor opslagstoffen).

Een veel voorkomend probleemoplossingsscenario: eenrichtingsverloop met een hoge latentie met nul pakketverlies geeft vaak verkeerde ECN-drempels of asymmetrische PFC-instellingen aan.Mlx_qosde verificatie van de toezeggingsmodus en de mapping van de DSCP naar de prioriteit van alle netwerkelementen.

DeNVIDIA Mellanox MCX653106A-HDATServer NIC biedt een productie-klaar basis voor het inzetten van high-performance RDMA/RoCE-netwerken.

• Prestaties:Tot 200 Gb/s doorvoer per adapter met latentie van minder dan een microseconde, waardoor grootschalige opslag en gedistribueerde computing-werklasten mogelijk zijn die voorheen beperkt waren door TCP-overhead.
• Efficiëntie:Hardware-offloads verminderen het netwerkgerelateerde CPU-verbruik van > 50% tot minder dan 15%, waardoor kernen vrijkomen voor applicatieverwerking.
• TCO:DeMCX653106A-HDAT Ethernet adapter kaart oplossingHet aantal nodes dat nodig is voor een bepaald doorvoerdoel vermindert, waardoor kapitaal- en exploitatiekosten dalen.MCX653106A-HDAT prijs, beschouwt men de terugverdientijd van 9-12 maanden alleen voor efficiëntiewinsten.
• Toekomstbereidheid:Ondersteuning voor PCIe 5.0 (achterwaarts compatibel) en programmeerbaarheid via DOCA zorgt voor beleggingsbescherming wanneer de snelheden van datacenters migreren naar 200/400GbE.

Voor architecten die op zoek zijn naar een in de productie getest ontwerppatroon, kan deze oplossing naadloos worden geïntegreerd in bestaande Ethernet-operaties en tegelijkertijd het volledige potentieel van RDMA's ontgrendelen.MCX653106A-HDAT-gegevensbladVoor aanbestedingsrichtlijnen, met inbegrip van de huidigeMCX653106A-HDAT prijsenMCX653106A-HDAT te koopDe levertijden, contact geautoriseerde NVIDIA Mellanox distributiepartners.