Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter in actie: RDMA/RoCE Low-Latency Transport en Server

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter in actie: RDMA/RoCE Low-Latency Transport en Server Throughput Optimalisatie

Achtergrond en uitdaging: netwerkknelpunten in gedistribueerde opslag en AI-opleiding

In een real-world productieomgeving bij een middelgrote cloudserviceprovider omvat het core businessportfolio gedistribueerde blokopslag (Ceph) en op GPU gebaseerde AI-modeltrainingsplatformen.Aangezien het volume van de klantgegevens met een jaarlijkse snelheid van meer dan 200% groeide, is hetIn de eerste plaats bereikte de latentie van de data synchronisatie tussen opslagnodes 2,5 ms.het verhinderen dat de NVMe-opslagpool haar volledige prestatiepotentieel kan benuttenTen tweede, tijdens gradiënt synchronisatie in GPU training clusters, netwerk doorvoer kon slechts 60% van de theoretische bandbreedte te bereiken,met een aanzienlijk deel van de CPU-bronnen verbruikt door de netwerkprotocolstapel, waardoor de efficiëntie van de trainingsiteratie ernstig wordt belemmerd.Het architectuurteam had dringend een netwerkinterface-oplossing nodig die zowel de verzendlatentie kon verminderen als de effectieve serverdoorvoer aanzienlijk kon verbeteren..

Oplossing en implementatie: RoCE-herziening met de MCX631102AN-ADAT ConnectX-6 Lx

Na het evalueren van meerdere alternatieven heeft het team deMellanox (NVIDIA Mellanox) MCX631102AN-ADATDe Commissie heeft in de loop van de afgelopen vijf jaar een aantal voorstellen ingediend voor de modernisering van het netwerk.MCX631102AN-ADAT Ethernet-adapterkaartwerd ingezet op 120 opslagnodes en 64 GPU-computatie-nodes, ter vervanging van bestaande 10GbE-adapters. Elke server was uitgerust met de dual-port 25GbE SFP28-configuratie,met één poort die verbinding maakt met de productie RoCE stof en de tweede poort die is gereserveerd voor beheer en back-up verkeerDe inzet leverde deMCX631102AN-ADAT ConnectX-6 Lx met twee poorten 25GbE SFP28de native RoCE v2-ondersteuning van de adapter, waardoor de noodzaak van extra gateway-apparaten of protocolvertalingslagen wordt geëlimineerd.

In de eerste fase heeft het team deMCX631102AN-ADAT Ethernet adapter kaart oplossingIn de tweede fase werden de GPU-computatie-nodes geüpgraded, en in de tweede fase werden de GPU-nodes geüpgraded.met de GPUDirect Storage-capaciteit van de adapter, waardoor GPU-geheugen rechtstreeks kan communiceren met NVMe-opslag op afstand via het RoCE-netwerk, zonder dat de CPU betrokken isDe volledige implementatie werd binnen twee weken voltooid, waarbij de bestaande 25GbE-switch-infrastructuur werd behouden.MCX631102AN-ADAT-compatibelde natuur met standaard netwerkapparatuur voor datacenters.

Gemeten resultaten en prestatiewinst

De prestatieverbeteringen na deNVIDIA Mellanox MCX631102AN-ADATDe volgende tabel geeft een samenvatting van de belangrijkste voor- en na-metrics die in de productieomgeving zijn waargenomen:

Naast de kwantitatieve indicatoren merkte het team kwalitatieve verbeteringen in de bedrijfsstabiliteit.MCX631102AN-ADATDe resultaten van de studie toonden aan dat de resultaten van het onderzoek, dat in het verleden werd uitgevoerd door de Commissie, in het bijzonder de resultaten van het onderzoek van de Commissie over de ontwikkeling van de interne markt en de ontwikkeling van de interne markt, een belangrijke bijdrage leverden aan de ontwikkeling van de interne markt.MCX631102AN-ADAT specificaties, de geavanceerde stuurinrichting en de RDMA-mogelijkheden van de adapter zorgden ervoor dat zelfs met 128 gelijktijdige NVMe-oF-verbindingen per poort, de lijnsnelheidsprestaties consistent werden gehandhaafd.

Het architectenteam berekende vanuit het oogpunt van de totale kosten dat deMCX631102AN-ADAT prijsDe effectieve doorvoer per gigabit was aanzienlijk lager dan bij een upgrade naar 40GbE of 100GbE.De mogelijkheid om de bestaande SFP28-kabels en -schakelaars te hergebruiken, heeft de kapitaaluitgaven verder verminderd., waardoor deMCX631102AN-ADAT te koopevaluatie een dwingende business case voor de leiding van de aanbieder.

Samenvatting & Perspectieven: Opbouwen van een voor de toekomst geschikt netwerk

De productie-inzet van deMellanox (NVIDIA Mellanox) MCX631102AN-ADATHet is een duidelijke weg naar voren voor organisaties die het volledige potentieel van hun gedistribueerde infrastructuur willen benutten.Door het combineren van RDMA/RoCE-transport met lage latentie met hardware-versnelde aflasten, de adapter elimineert het netwerk effectief als een prestatie knelpunt, of het nu gaat om AI-training, software-defined storage of high-frequency transaction processing.De ervaring van het team bevestigt dat deMCX631102AN-ADAT Ethernet-adapterkaartHet programma levert niet alleen benchmarkverbeteringen, maar ook tastbare productiviteitswinsten: de voltooiingstijden van GPU-trainingsopdrachten zijn gemiddeld met 34% verminderd,de SLA's voor de responstijd van opslagclusters werden zelfs tijdens piekbelastingperiodes consequent nageleefd.

In de toekomst is de aanbieder van plan deMCX631102AN-ADAT ConnectX-6 Lx met twee poorten 25GbE SFP28In het kader van het project werd een nieuw systeem ontwikkeld voor de integratie van de adapter in de NVIDIA BlueField DPU's voor verdere netwerkprogrammabiliteit.Voor technische teams die vergelijkbare upgrades evalueren, de gedetailleerdeMCX631102AN-ADAT-gegevensbladHet onderzoek van de nieuwe technologieën voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opstellen van een programma voor het opHardware-afgeladen 25GbE adapters zoals de MCX631102AN-ADAT worden snel de nieuwe basislijn voor prestatiebewuste datacenter ontwerpen.