NVIDIA Mellanox MCX631432AN-ADAB Server Adapter Technisch Whitepaper

NVIDIA Mellanox MCX631432AN-ADAB Server Adapter Technical White Paper ♪ RDMA/RoCE Low-Latency Transport & Server Throughput Optimalisatie

1. Achtergrond van het project en analyse van de vereisten

Moderne datacenterarchitecturen worden steeds meer gedefinieerd door de convergentie van high-performance computing, kunstmatige intelligentie-workloads en gedistribueerde opslagsystemen.Deze toepassingen hebben een gemeenschappelijke reeks netwerkvereistenHet gebruik van een TCP/IP-gebaseerde netwerkstack is niet altijd eenvoudig.de invoering van aanzienlijke latentie- en CPU-verwerkingskosten die op schaal onbetaalbaar worden.

Voor organisaties die NVMe over Fabrics (NVMe-oF), gedistribueerde machine learning training clusters of latency-gevoelige financiële handelsplatformen implementeren,de netwerkinterface kaart (NIC) is geëvolueerd van een eenvoudig I/O-apparaat tot een strategische prestatieversnellerDe belangrijkste vereisten die bij moderne inzet worden geïdentificeerd zijn:

• latentie op applicatieniveau van minder dan 5 microseconden door middel van hardware-afgeladen transport
• Geaggregeerde doorvoer van meer dan 40 Gb/s per server om opslagproblemen weg te nemen
• deterministische prestaties met minimale variatie van de staartlatentie onder belasting
• Naadloze integratie met bestaande Ethernet-infrastructuur zonder eigen schakeling
• Uitgebreide telemetrie- en diagnostische mogelijkheden voor proactieve operaties

DeNVIDIA Mellanox MCX631432AN-ADABdeze eisen rechtstreeks aanpakt via de ConnectX-6 Lx-architectuur,het leveren van hardware-versnelde RoCEv2 (RDMA over Converged Ethernet) met geavanceerde congestiebeheersing en programmeerbare gegevenspadmogelijkheden.

2. Algehele netwerk- en systeemarchitectuurontwerp

De voorgestelde oplossingsarchitectuur gebruikt een leaf-spine-netwerktopologie met 25GbE-connectiviteit op de servertoegangslaag.MCX631432AN-ADAB ConnectX-6 Lx met twee poorten 25GbE SFP28De architectuur bestaat uit:

• Serverrand:DeMCX631432AN-ADAB Ethernet-adapterkaartverbindt via PCIe Gen 4.0 x8 met de host-CPU en levert tot 64 GB/s bidirectionele hostbandbreedte, volledig voldoende om beide 25GbE-poorten tegelijkertijd te verzadigen.
• Netwerkstof:Dual 25GbE SFP28-poorten zorgen voor actieve-actieve load balancing of actieve standby failover.
• Storage-integratie:Voor NVMe-oF-implementaties dient de adapter als RDMA-endpoint, waardoor directe geheugen-naar-geheugen-gegevensoverdrachten met submicroseconde latentie mogelijk zijn.
• Beheersplan:Out-of-band beheer via de veilige beheerinterface van de adapter, met volledige ondersteuning voor Redfish en SNMP monitoring.

Het ontwerp legt de nadruk op verliesloos Ethernet via RoCEv2 met Priority Flow Control (PFC) en Explicite Congestion Notification (ECN)MCX631432AN-ADAB Ethernet adapter kaart oplossingfunctioneert binnen een convergerend, multi-protocol fabric zonder speciale InfiniBand-infrastructuur.

3. Rol en belangrijkste kenmerken van de NVIDIA Mellanox MCX631432AN-ADAB

DeNVIDIA Mellanox MCX631432AN-ADABde fundamentele bouwstenen van deze oplossing vormen, waarbij drie verschillende niveaus van waarde worden gecreëerd:

A. Hardwareversnellingsmotor
De adapter integreert een zeer programmeerbare pakketverwerkingspijplijn die transportprotocol-operaties aflaadt, inclusief RoCE-segmentatie, herassemblage,en congestiebeheersing van de host-CPU. Volgens deMCX631432AN-ADAB-gegevensblad, de hardware ondersteunt tot 200 miljoen berichten per seconde (Mpps), waardoor zelfs de kleinste pakketgroottes een draad-rate-prestatie bereiken.

B. Implementatie van RDMA en RoCEv2
DeMCX631432AN-ADAB ConnectX-6 Lx met twee poorten 25GbE SFP28implementeert RoCEv2 met volledig hardware-afgeladen transport.

• Dataoverdrachten zonder kopieën rechtstreeks tussen applicatiebuffers en remote memory
• Sub-2 microseconde eenrichtingsvertraging voor peer-to-peercommunicatie
• Volledige compatibiliteit met standaard Ethernet-switches, waarbij alleen PFC- en ECN-ondersteuning vereist is

C. Geavanceerde telemetrie en programmeerbaarheid
De adapter bevat een reeks telemetrie-tellers die latentie per stroom, wachtrijdiepte en congestiemetrics bieden die cruciaal zijn voor proactief prestatiemanagement.MCX631432AN-ADAB-specificatiesde volledige reeks programmeerbare functies, met inbegrip van flexibele match-action-verwerking en ondersteuning voor in-band-netwerk telemetrie (INT).

Voor organisaties die overwegen de implementatie, de adapter is volledigMCX631432AN-ADAB-compatibelmet alle belangrijke Linux-distributies (RHEL, Ubuntu, SLES), VMware ESXi en Windows Server, waardoor naadloze integratie in heterogene omgevingen wordt gewaarborgd.

4. Aanbevelingen voor implementatie en schaalbaarheid

Typische implementatietopologie

De aanbevolen implementatie volgt een "spine-leaf" topologie met de volgende configuratie:

• Leaf Switches:25GbE ToR-switches met ondersteuning voor RoCEv2, geconfigureerd met PFC op speciale prioriteitsrijen en ECN voor congestiesignaleringen
• Servernodes:Elk knooppunt is uitgerust metMCX631432AN-ADAB, verbonden met een primair en secundair blad voor ontslag
• Wervelkolomlaag:100 GbE- of 400 GbE-spine-switches die een niet-blokkerende inter-rack-connectiviteit bieden
• opslagdoel:NVMe-oF-doelknopen die hetzelfde adaptertype gebruiken voor consistente RDMA-mogelijkheden

Overwegingen inzake schaalbaarheid

De oplossing schaalt lineair van een enkel rack naar meerdere duizenden knooppunten.

• Bufferbeheer:Gebruik de gedeelde bufferarchitectuur van de adapter (configureerbaar tot 4 MB per poort) om voorbijgaande uitbarstingen te absorberen zonder pakketdruppels
• Congestie domeinen:Verdeel het weefsel in meerdere congestiebeheerszones om de verspreiding van PFC's te beperken, met behulp van de adapter per poort
• Cloud-scale orkestratie:De adapter wordt volledig ondersteund door Kubernetes (via de NVIDIA-netwerkoperator) en OpenStack, waardoor geautomatiseerde provisioning en lifecycle management mogelijk zijn.

Bij de beoordeling van deMCX631432AN-ADAB prijstegen de totale eigendomskosten, organizations should factor in the elimination of separate InfiniBand infrastructure and the significant reduction in CPU core allocation for networking tasks — typically recovering 2-4 CPU cores per server.

5Operaties, monitoring, probleemoplossing en optimalisatie

Monitoringsraamwerk

De oplossing bevat een drievoudige waarneembaarheidsbenadering:

• Telemetrie op adapterniveau:DeMCX631432AN-ADAB Ethernet-adapterkaartDe belangrijkste statistieken omvatten: doorvoer per poort, pakketdruppels, PFC-pauzeframes, ECN-gemerkte pakketten,en RoCEv2-congestie-gebeurtenissen
• Zichtbaarheid op stofniveau:Integratie met het unified management platform van NVIDIA zorgt voor topologie visualisatie en flow path analyse
• Monitoring van de prestaties van toepassingen:De adapter biedt statistieken per wachtrij en per RDMA-voltooidings wachtrij, waardoor de correlatie van netwerkprestaties met de latentie van transacties op applicatieniveau mogelijk is

Veel voorkomende oplossingen

Op basis van de operationele ervaring worden de volgende patronen geïdentificeerd.MCX631432AN-ADAB-specificatiesen telemetrische gegevens:

• PFC-stormdetectie:Monitor PFC-pauze-frame-tellers per prioriteit ️ aanhoudende pauze > 5% van de lijnsnelheid geeft congestie of verkeerde configuratie aan
• RoCEv2-pakketdruppels:Controleer de daling tellers van de adapter (bijvoorbeeld, rx_discard_* tellers) om te isoleren of dalingen optreden bij de adapter, schakelaar, of als gevolg van ECN-throttling
• Prestatie Tuning:Adjust interrupt coalescing parameters (interrupt moderation rate) to trade off CPU utilization against latency — typically setting moderate coalescing for storage workloads and minimal coalescing for trading applications

Optimalisatierichtlijnen

Om maximale doorvoer en minimale latentie te bereiken, worden de volgende optimalisaties aanbevolen op basis van deMCX631432AN-ADAB-gegevensblad:

• Hardware CRC en header/data split offloads mogelijk maken om het bandbreedteverbruik van het geheugen van de host te verminderen
• De PFC-drempelwaarden per prioriteit dynamisch configureren op basis van werklastprofielen met behulp van de leverancierspecifieke bufferconfiguratie-instrumenten van de adapter
• Het aansturen van de geavanceerde QoS-functies van de adapter, met inbegrip van tariefbeperking per verkeersklasse en strikte prioriteit of gewogen eerlijke wachtrij
• Voor grootschalige implementaties, gebruik de ondersteuning van de adapter voor 802.1Qaz Data Center Bridging Exchange (DCBX) om PFC en ECN-onderhandelingen met switches te automatiseren

6Samenvatting en waardebeoordeling

De technische oplossing was gericht op deNVIDIA Mellanox MCX631432AN-ADABbiedt een duidelijk pad naar het bereiken van een RDMA-latentie van minder dan 10 microseconden en verhoogt tegelijkertijd de doorvoer van de server met maximaal 5-6x ten opzichte van traditionele 10GbE TCP/IP-implementaties.Belangrijkste waardeproposities zijn::

• Vergemakkelijking van de infrastructuur:Vermijdt de noodzaak van afzonderlijke opslag- en rekennetwerken door verliesloze Ethernet voor alle verkeerssoorten mogelijk te maken
• Prestatievoorspelbaarheid:Hardware-offloaded RoCEv2 zorgt voor deterministische latentie, zelfs onder 90%+ lijnverbrenging
• Operationeel rendement:Uitgebreide telemetrie en zelfherstellend congestiebeheer verkleinen de gemiddelde tijd tot oplossing (MTTR) voor netwerkproblemen
• Bescherming van investeringen:De PCIe Gen 4.0-interface en de programmeerbaarheid van de adapter zorgen voor compatibiliteit met toekomstige CPU- en switchgeneraties

Voor organisaties die actief evaluerenMCX631432AN-ADAB te koopDeze oplossing biedt een bewezen referentiearchitectuur die is gevalideerd in productieomgevingen voor financiële diensten, cloudproviders en enterprise storage-implementaties.De combinatie van prestaties, schaalbaarheid en operationele volwassenheid maakt deMCX631432AN-ADAB Ethernet-adapterkaarteen strategische investering voor de transformatie van een modern datacenter.