Technische oplossingsgids: NVIDIA Mellanox MCX623106AN-CDAT voor RDMA/RoCE Low-Latency en Throughput Optimization

Moderne datacenterarchitecturen staan onder constante druk om lagere latentie en hogere doorvoer te leveren terwijl de CPU-efficiëntie voor applicatiewerklasten wordt gehandhaafd.met zijn inherente protocol overhead, kan vaak niet voldoen aan de eisen van high-performance computing (HPC), kunstmatige intelligentie (AI) en financiële diensten.Deze technische whitepaper presenteert een alomvattende oplossing die is gebaseerd op deMCX623106AN-CDATServer adapter, gericht op de implementatie van RDMA over Converged Ethernet (RoCE) om de latentie drastisch te verminderen en de doorvoer van de server te verhogen.en operationele managers, beschrijft dit document de architectuur, implementatiestrategieën en operationele best practices voor het benutten van deze geavanceerde technologie.

1. Achtergrond van het project en analyse van de vereisten

De belangrijkste uitdaging waarmee deze oplossing wordt geconfronteerd, is de "gegevensbelasting" die wordt opgelegd door kernelgebaseerde netwerkstacks.machine learning-opleidingDe kernvereisten voor een gemoderniseerde infrastructuur zijn onder meer:

• Ultra-Low Latency:End-to-end applicatie latency moet worden geminimaliseerd, idealiter in het sub-10 microseconde bereik voor communicatie tussen servers.
• CPU-afladen:Het netwerk moet gegevensverkeer verwerken, waardoor processorkernen vrijkomen voor computing-intensieve taken.
• Scalabiliteit:De architectuur moet een vlakke, hoge bandbreedte stof ondersteunen die kan schalen van tientallen tot duizenden knooppunten zonder afname van de prestaties.
• Op normen gebaseerd:De oplossing moet gebruikmaken van de bestaande Ethernet-infrastructuur om de investering te beschermen en tegelijkertijd geavanceerde mogelijkheden te introduceren.

DeNVIDIA Mellanox MCX623106AN-CDATHet is de fundamentele component om aan deze strenge eisen te voldoen.MCX623106AN-CDAT Ethernet adapterkaart, is het speciaal ontworpen om RDMA via standaard Ethernet-netwerken mogelijk te maken.

2. Algemeen netwerkarchitectuurontwerp

De voorgestelde architectuur is een blad-ruggengraatstof ontworpen voor een verliesloze RoCE-omgeving. The key principles include a non-blocking core with sufficient oversubscription ratios and the enablement of Priority Flow Control (PFC) and Explicit Congestion Notification (ECN) across all network devicesHet ontwerp integreert het reken-, opslag- en beheerverkeer op een verenigde, high-speed Ethernet-fabriek.

De kern van dit ontwerp zijn de servernodes, elk uitgerust met deMCX623106AN-CDAT ConnectX adapter PCIe-netwerkkaartDeze adapter verbindt zich met bladschakelaars via 25GbE- of 100GbE-links, afhankelijk van de werkdrukdichtheid.het garanderen van alle-tot-alle-paden met lage latentieStorage-doelen, zoals NVMe-oF-arrays, zijn ook verbonden met dezelfde stof met behulp van compatibele adapters, waardoor directe toegang tot het geheugen vanaf rekenknooppunten mogelijk is.

3. De rol van de NVIDIA Mellanox MCX623106AN-CDAT in de oplossing

DeMCX623106AN-CDATHet is niet alleen een netwerkinterface, het is een geavanceerde data processing unit (DPU) voorloper die alle aspecten van RDMA-communicatie afhandelt.

• RDMA/RoCE-motor:De adapter-hardware implementeert het RoCEv2-protocol, waarmee RDMA-transacties via UDP/IP worden ingekapseld.
• Vervoer:Het beheert verbindingsoprichting, pakketsequencering en betrouwbaar transport en biedt een eenvoudige geheugen-op-geheugen-interface voor applicaties.
• PCIe Gen4 Interface:Met zijn hoge bandbreedte PCIe 4.0 host interface zorgt de adapter ervoor dat netwerkgegevens met lijnsnelheid naar en van het systeemgeheugen kunnen worden verplaatst, waardoor interne knelpunten worden voorkomen.MCX623106AN-CDAT-specificatiesde capaciteit om hoge snelheidsverbindingen volledig te vullen, te bevestigen.

4. Aanbevelingen voor inzet en uitbreiding

Een succesvolle implementatie vereist een zorgvuldige configuratie van zowel het netwerkstuk als de eindhosts.

• Voorbereiding van weefsels:Voordat servers worden ingezet, moeten alle schakelaars in het pad worden geconfigureerd voor verliesloos RoCE.1Qau) voor congestiebeheer.
• Installatie van stuurprogramma en firmware:Installeer de nieuwste NVIDIA WinOF-2 of MLNX_OFED stuurprogramma's om volledige ondersteuning voor de functionaliteit te garanderenMCX623106AN-CDAT. Controleer of de firmware overeenkomt met de versie die in deMCX623106AN-CDAT-gegevensblad.
• Configuratie van de kwaliteit van de dienst (QoS):Implementeer QoS-beleid om het RoCE-verkeer (bijv. DSCP-waarden) te prioriteren en ervoor te zorgen dat het niet worstelt met normaal TCP-verkeer.Een typische topologie omvat het groeperen van opslag- en rekenknooppunten in hetzelfde RoCE-domein voor optimale prestaties.
• Overwegingen inzake schaalbaarheid:Naarmate de stof groeit, gebruik de geavanceerde functies van de adapter zoals "RoCE Adaptive Routing" om een lage latentie te behouden over meerdere paden.MCX623106AN-CDAT-compatibelmet de bestaande schakelinfrastructuur.

5. Operationeel toezicht, probleemoplossing en optimalisatie

Het onderhoud van een RDMA-fabriek vereist specifieke tools en praktijken.MCX623106AN-CDAT.

• Monitoringtools:Gebruik Mellanox NEO van NVIDIA of standaardtools zoals'mlxlink' en'mlxconfig' om de integriteit, temperatuur en fouttellers van de link te controleren.SNMP-polling kan interface-statistieken specificeren voor RoCE-verkeer.
• Belangrijkste indicatoren:Monitor voor PFC-pauzeframes, die de bufferdruk in de stof aangeven.
• Firmware en stuurprogramma updates:De adapter wordt regelmatig gecontroleerd op updates van de firmware. Prestatieoptimalisaties en nieuwe functies worden vaak toegevoegd, waardoor de mogelijkheden van deze adapter worden verbeterd.MCX623106AN-CDAT Ethernet adapter kaart oplossing.
• Prestatie Tuning:Aanpassen van parameters zoals onderbrekingsmoderatie en coalescing-instellingen om de latentie en het CPU-gebruik te balanceren op basis van specifieke applicatieprofielen.

6Samenvatting en waardebeoordeling

De technische oplossing was gecentreerd op deNVIDIA Mellanox MCX623106AN-CDATHet programma biedt een duidelijk en uitvoerbaar pad naar het bereiken van RDMA/RoCE-gebaseerde communicatie met lage latentie en aanzienlijke serverdoorvoerwinsten.Door de netwerkverwerking af te laden op toegewijde hardware en directe toegang tot geheugen mogelijk te makenIn het kader van de nieuwe technologieën kunnen organisaties het volledige potentieel van hun toepassingen benutten.MCX623106AN-CDAT prijsVoor bedrijven die op zoek zijnMCX623106AN-CDAT te koopDeze adapter is een essentiële bouwsteen voor de volgende generatie, efficiënte datacenters.