Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand-switch in de praktijk

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch in de praktijk.

Achtergrond en uitdagingen: wanneer de clusteromvang onderling verbindende knelpunten ondervindt

De AI-onderzoeksdivisie van een toonaangevend internetbedrijf bevond zich op een bekend kruispunt.Hun groeiende vloot van GPU-servers, die zich over meerdere racks uitstrekt en steeds vaker wordt gebruikt voor grote taalmodelopleidingen, leed aan onvoorspelbare voltooiingstijden.De bestaande Ethernet-gebaseerde structuur, die weliswaar geschikt was voor algemene werkbelastingen, kon niet omgaan met de synchroniseerde, overvolle verkeerspatronen van gedistribueerde training.All-reduce-operaties zouden regelmatig stilstaan als gevolg van pakketdruppels en congestie.Het infrastructuurteam had een fundamentele verandering nodig in de manier waarop hun backend netwerk RDMA-verkeer behandelde.En ze hadden het nodig zonder hun hele datacenter architectuur te herzien..

Oplossingsontwerp: Inzetten van de 920-9B210-00FN-0D0 InfiniBand Switch OPN

Na het evalueren van meerdere interconnectieopties heeft het team deMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0De implementatie was gecentreerd rond een tweelaagse topologie met een leaf-spine, waarbij elke leaf-switch tot 40 GPU-nodes via 400Gb/s-links verbindt.920-9B210-00FN-0D0 MQM9790-NS2FDeze variant werd specifiek gekozen voor zijn niet-blokkerende architectuur en geïntegreerde SHARPv3 in-netwerk computing mogelijkheden.Dit stelde het team in staat om collectieve communicatie-operaties rechtstreeks op de schakelaar te verladen., waardoor de CPU-overhead wordt verminderd en GPU-cycli vrijkomen voor de werkelijke berekeningen.

In termen van fysieke inzet werden de schakelaars geïnstalleerd met front-to-back luchtstroom om te voldoen aan de bestaande configuratie van warm-gang/koude gang.920-9B210-00FN-0D0 gegevensbladDe installatie van de QSFP-DD-transceivers is in de eerste plaats gebaseerd op de opstelling van de QSFP-DD-transceiver.920-9B210-00FN-0D0 compatibelOpties gevalideerd over het gehele verbindingsbudget, met inbegrip van de verbindingen van ruggengraat tot blad tot 100 meter.

Inzetbenadering: stapsgewijze integratie

• Fase 1 Lab Validering:Een kleinschalig testbed met 8 GPU-nodes en twee switches werd gebruikt om de latentie en doorvoer te vergelijken.NVIDIA Mellanox 920-9B210-00FN-0D0de latentie van de schakelaar is onder de 600 ns, een verbetering van 60% ten opzichte van de vorige HDR-generatie.
• Fase 2  Infase van de uitrol:Het team migreerde één trainingspod tegelijkertijd, met behulp van NVIDIA's Unified Fabric Manager om de linkgezondheid en congestie-metrics in realtime te controleren.Dit verminderde de verstoring van de lopende productieload.
• Fase 3: Volledige integratie:Alle 18 switches werden verspreid over drie racks, waardoor een volledig niet-blokkerende ruggengraat met 400Gb/s uplinks werd gevormd.Adaptieve routing werd toegestaan om het verkeer dynamisch in evenwicht te brengen en te voorkomen dat er tijdens piekwerkzaamheden teveel wordt ingeschreven.

Tijdens de inzet heeft het engineeringteam verwezen naar de uitgebreide920-9B210-00FN-0D0 specificatiesDe geavanceerde telemetrie van de schakelaar leverde granulaire zichtbaarheid op het aantal fouten per poort en het gebruik van de verbinding,proactief onderhoud en capaciteitsplanning mogelijk maken.

Meetbare resultaten en operationele voordelen

Binnen twee weken na de volledige implementatie waren de verbeteringen tastbaar.een vermindering van de communicatie-overhead met 37%De werktijd voor een typisch GPT-model is met bijna 30% verbeterd, waardoor het onderzoeksteam sneller kan itereren en meer experimenten per week kan uitvoeren.De ingebouwde SHARPv3-engine heeft gemiddeld 18% van de collectieve operaties afgeladen., wat rechtstreeks resulteert in een hoger gebruik van de GPU en een lager energieverbruik per trainingsrit.

Het IT-team rapporteerde operationeel minder netwerkgerelateerde mislukkingen en aanzienlijk minder tijd besteed aan het diagnosticeren van problemen op verbindingsniveau.920-9B210-00FN-0D0 InfiniBand switch OPN oplossingDe unified management interface verminderde de leercurve voor het netwerkbeheerteam,die nu de hele stof kon beheren door een enkel glaspaneel.

Kosten en aanbestedingen

Terwijl de initiële920-9B210-00FN-0D0 prijsDe totale eigendomskosten analyse vertelde een ander verhaal. Door het verminderen van de werktijd en het verbeteren van het gebruik van de GPU,de organisatie heeft een vermindering van 22% van de kosten van cloudinstanties voor gelijkwaardige rekenkapaciteit bereiktBovendien heeft de920-9B210-00FN-0D0 te koopDe NVIDIA Mellanox-ondersteuningsverbintenis op lange termijn leverde vertrouwen op de investering.

Samenvatting en vooruitzichten: een blauwdruk voor de volgende generatie AI-infrastructuur

De inzet van deMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0De combinatie van 400Gb/s NDR-snelheden, die in het kader van de nieuwe technologieën worden gebruikt, is een van de belangrijkste factoren voor de ontwikkeling van de nieuwe technologie.latentie van minder dan een microsecondeHet is de bedoeling van de nieuwe technologieën om de mogelijkheden van de HPC- en AI-clusters op basis van RDMA te verbeteren.920-9B210-00FN-0D0 InfiniBand-schakelaar OPNIn de eerste plaats is het belangrijk dat de IT-managers zich kunnen baseren op de robuuste managementtools en een uitgebreide920-9B210-00FN-0D0 gegevensbladvoor capaciteitsplanning.

De organisatie is al van plan om het netwerk uit te breiden om grotere GPU clusters te ondersteunen.met inbegrip van de integratie van BlueField-3 DPU's voor extra opslag en beveiligingsisolatie. de920-9B210-00FN-0D0 compatibelHet ecosysteem zorgt ervoor dat toekomstige upgrades, of het nu gaat om nieuwere NIC's of optische technologieën, naadloos worden ondersteund.Deze schakelaar vertegenwoordigt niet alleen een incrementele upgrade, maar een fundamentele mogelijkheid voor prestaties op schaal..