NVIDIA Mellanox MCX556A-ECAT Technische oplossing: RDMA/RoCE voor laag-latentie transport en server doorvoer optimalisatie

Deze technische whitepaper is bedoeld voor netwerkarchitecten, pre-sales engineers en operationele managers.NVIDIA Mellanox MCX556A-ECATHet programma biedt een systematisch kader voor het bouwen van high-performance, low-latency datacenternetwerken met behulp van RDMA en RoCE-technologie.

Moderne datacenter-werklasten, waaronder gedistribueerde opslag (Ceph, Lustre), in-memory databases (Redis, Aerospike) en AI-trainingsframeworks, vereisen zowel een hoge doorvoer als een latentie van minder dan een milliseconde.Traditionele TCP/IP-stacks introduceren aanzienlijke CPU-overhead, contextschakeling en kopie van gegevens, die knelpunten worden wanneer de netwerksnelheden 100 Gb/s en hoger bereiken.CPU-aflasting (vermindering van het gebruik van de hostprocessor)Het programma is gebaseerd op de volgende methoden:MCX556A-ECATDe Commissie heeft in haar advies over het voorstel voor een richtlijn van de Raad tot vaststelling van de voorschriften voor de toepassing van de richtlijnen inzake de bescherming van de gezondheid en het milieu (COM (2002) 0156 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0524/2003 - C4-0512/2003 - C4-0524/2003 - C4-0512/2003 - C4-0512/2003 - C4-0512/2003 - C4-0512/2003 - C4-0512/2003 - C

De aanbevolen architectuur gebruikt een tweelaagse topologie met verliesloze Ethernet die is geconfigureerd voor RoCE (RDMA over Converged Ethernet) transport.Alle berekenings- en opslagnodes zijn uitgerust met deMCX556A-ECAT Ethernet-adapterkaart, verbonden met leaf switches via 100GbE QSFP28-links.

• Afscheid van besturings- en gegevensvlakken:RoCEv2 capsuleert RDMA in UDP/IP, waardoor routing over de grenzen van Layer 3 mogelijk is.
• Prioriteitsstroomcontrole (PFC):Vermogen voor verliesloos gedrag voor RDMA verkeersklassen.
• Verbeterde transmissie-selectie (ETS):Dat garandeert bandbreedte voor latency-gevoelige stromen.
• Kennisgeving van congestie:Het gebruik van DCQCN (Data Center Quantized Congestion Notification) voor end-to-end stroomcontrole.

De architectuur ondersteunt zowel bare-metal als gevirtualiseerde omgevingen, waarbij SR-IOV directe doorvoer van virtuele functies naar virtuele machines biedt.

Als eenMCX556A-ECAT ConnectX adapter PCIe-netwerkkaartDeze adapter dient als de hoeksteen van de oplossing. De hardware-gebaseerde offload engine omzeilt de kernel, waardoor directe geheugen-naar-geheugen gegevensoverdracht mogelijk is.

Voor teams die deMCX556A-ECAT-gegevensbladenMCX556A-ECAT-specificaties, merkt u op dat de adapter zowel PCIe 3.0 als 4.0 (x16) ondersteunt, waardoor achterwaartse compatibiliteit met bestaande servers wordt gewaarborgd en tegelijkertijd een migratiepad naar platforms van de volgende generatie wordt aangeboden.

Een referentieimplementatie voor een middelgrote cluster (tot 200 knooppunten) wordt hieronder beschreven.MCX556A-ECATis geïnstalleerd in de PCIe-slot van elke server, met dual-port-connectiviteit voor redundantie en bandbreedteaggregatie.

• Fysieke topologie:Elke blad verbindt zich met alle spines (full mesh). Elke server verbindt zich met twee bladeren (active-active bonding).
• RoCE-configuratie:Dedicated VLAN voor RoCE-verkeer. DSCP-gebaseerde QoS-markering (bijv. DSCP 46 voor RDMA). PFC ingeschakeld bij prioriteit 3.
• Bufferbeheer:Configureer verliesloze hoofdruimtebuffers per poort op basis van de heen- en terugreistijd en de verbindingsafstand.
• Adres:Gebruik statische IP-toewijzingen of DHCP-reserveringen voor RDMA-interfaces.

Scaling verder dan 200 knooppunten: invoeren van een super-spine laag en implementeren van BGP-EVPN voor laag 2 uitbreiding over meerdere pods.MCX556A-ECAT-compatibelIn het kader van de evaluatie van de kwaliteit van de optica en kabels van gekwalificeerde leveranciers (bv. Mellanox, FS.com).MCX556A-ECAT-prijsvoor grootschalige aanbestedingen, een gebundelde prijs met switches en optica in overweging nemen.

Een doeltreffende werking van een op RoCE gebaseerde stof vereist proactieve monitoring en gespecialiseerde hulpmiddelen:

• Monitoring van de prestaties:GebruikmlxlinkenettoolDe NVIDIA-technologieën zijn gebaseerd op het gebruik van de NVIDIA-technologie.MCX556A-ECAT Ethernet adapter kaart oplossingomvat telemetrie via PCM (Performance Counters Monitor).
• Congestie-detectie:Monitor ECN-gemarkeerde pakketten en PFC-pauzeframes met behulp van switch telemetrie (bijv. Mellanox SNMP MIB's).
• Beheer van firmware en stuurprogramma:Regelmatig updaten naar de nieuwste versies van NVIDIA OFED.mstflintvoor firmware-validatie.
• Gewone probleemoplossing:Voor RDMA-verbindingsfouten, controleer de consistentie van de MTU, het lidmaatschap van het VLAN en de mapping van DSCP naar CoS.ibdev2netdevenrdma link showom de toestand van het apparaat te controleren.
• Optimalisatie tips:Tune DCQCN parameters (alfa, bèta, snelheidsverhoging timer) op basis van de werkdruk. Voor opslag werklasten, verhogen voltooiing wachtrij diepte. Voor AI training, GPUDirect RDMA en pin geheugen in te schakelen.

Voor de capaciteitsplanning wordt verwezen naarMCX556A-ECAT-gegevensbladDe adapter is breed beschikbaar in de vorm van eenMCX556A-ECAT te koopvia geautoriseerde distributeurs, met inbegrip van programma's voor reservebezit.

DeMCX556A-ECATlevert meetbare waarden in drie dimensies:prestaties(tot 90% vermindering van de latentie van de applicatie, 4x doorvoerwinst),efficiëntie(70% CPU-aflasting, lager vermogen per Gb/s) entotale eigendomskostenIn het kader van de nieuwe technologieën moet de infrastructuur van het netwerk worden verbeterd (geconsolideerde infrastructuur, minder servers, lagere koelkosten).NVIDIA Mellanox MCX556A-ECATAls onderdeel van een op RoCE gebaseerde oplossing kan ROI worden verwacht binnen 6~12 maanden, afhankelijk van de werklastintensiteit.Deze adapter is een beproefdeHet is de bedoeling van de Commissie om deMCX556A-ECAT-gegevensbladen validerenMCX556A-ECAT-compatibelconfiguratie met uw switch leverancier.