NVIDIA Mellanox MMA4Z00-NS datacenter optische transceiver in de praktijk

NVIDIA Mellanox MMA4Z00-NS Data Center Optical Transceiver in de praktijk.

Achtergrond en uitdaging: het 800G-bandbreedte-afstandsdilemma in AI-gedreven datacenters

Aangezien AI-trainingsclusters variëren van honderden tot duizenden GPU's, moet de onderliggende netwerkstuk bandbreedte op terabit-schaal leveren en acceptabele verbindingsafstanden binnen de datahal behouden.Voor 800G Ethernet en 400G InfiniBand-implementaties, is de uitdaging van de fysieke laag bijzonder acuut: traditionele 850nm VCSEL-gebaseerde multimode transceivers bieden een uitstekende kosteneffectiviteit voor kort bereik (minder dan 30 meter),maar hun bereik daalt doorgaans tot 50~70 meter bij 800G PAM4-snelheden, een afstand die mogelijk onvoldoende is voor cross-aisle-verbindingen of topologieën tussen rijenOmgekeerd verlengen single-mode-oplossingen zoals DR8 of FR8 transceivers het bereik tot honderden meters, maar hebben aanzienlijk hogere kosten en energieverbruik.de toepassing van de nieuwe technologieën op de toegangslaag met een hoge dichtheid;.

Deze uitdaging werd onlangs geconfronteerd door een grootschalige cloudprovider die een AI-trainingscluster met 8.000 GPU's in 12 datacenterhalles installeerde.De cluster vereiste 800G-connectiviteit tussen leaf switches en GPU-computatie-nodes verdeeld over aangrenzende en niet-aanhangende racks, met afstanden variërend van 5 meter (intra-rack) tot 65 meter (cross-aisle).Het technische team had een enkele transceiver SKU nodig die de meerderheid van deze verbindingen kon dekken zonder de signaalintegriteit op te offerenHet is een zeer belangrijk onderdeel van de ontwikkeling van de nieuwe technologieën voor het opslaan van data, omdat het materiaal zowel Ethernet voor opslag als InfiniBand voor GPU-to-GPU-communicatie bevatte.NVIDIA Mellanox MMA4Z00-NSHet is de optimale kandidaat en biedt 800G OSFP SR8-prestaties met 2×400G breakout-mogelijkheden over beide protocollen.

Oplossing en implementatie: een uniforme optische 800G-strategie

Om de bandbreedte-afstandsbalans aan te pakken, heeft de provider gestandaardiseerdeNVIDIA Mellanox MMA4Z00-NSDit is de enige 800G optische transceiver voor alle multimode vezelverbindingen tot 60 meter.MMA4Z00-NS 800G OSFP SR8-transceivermet een vermogen van niet meer dan 50 Whet ondersteunen van een bereik van 70 meter bij 800G ¢ het bieden van een ruime marge voor cross-aisle-connectiviteit, met behoud van compatibiliteit met de bestaande OM4-infrastructuur voor kortere verbindingenVoor verbindingen van meer dan 60 meter heeft het team een kleine inventaris van single-mode transceivers (DR8/FR8) gereserveerd om de weinige verbindingen tussen de hal te dekken.

De inzet werd uitgevoerd in drie verschillende zones, elk met specifieke kabels en verbindingsvereisten:

• Intra-rack (2 ̊5 meter):Directe MPO-12-patchcords van de OSFP-switchpoorten naar GPU-berekeningsnodes, met MMA4Z00-NS-transceivers aan beide uiteinden.een robuuste werking garanderen, zelfs bij matige afbraak van de connectoren.
• Naast elkaar gelegen rekken (820 meter):Structured OM5 cabling via overhead trays met tussenliggende patch panels.de optische begroting van de module, zoals in deMMA4Z00-NS-gegevensblad.
• Doorgang/tussenrij (25 55 meter):Om de minimale marge van 3,0 dB te behouden, moeten de OM5 trunks onder de verhoogde vloeren worden geleid.het team heeft alle aansluitingen vóór de installatie aan het eind gereinigd en tijdens de ingebruikname met behulp van een optische vermogensmeter het inbrengverlies geverifieerd;.

Voor het InfiniBand-gedeelte van de stof MMA4Z00-NS 2x400G InfiniBand/EthernetIn deze configuratie voedt een enkele MMA4Z00-NS-transceiver aan de switchzijde twee 400G-eindpunten via een breakout MPO-12 naar 2×MPO-8-kabelassemblage.Deze native breakout mogelijkheid elimineerde de noodzaak van externe fan-out modules, waardoor het rackruimteverbruik met ongeveer 20% wordt verlaagd ten opzichte van de vorige 400G-gebaseerde architectuur.NVIDIA Mellanox MMA4Z00-NSisMMA4Z00-NS-compatibelMet zowel Ethernet- als InfiniBand-protocollen heeft het team een enkele transceiver-SKU over het hele weefsel gehandhaafd, waardoor de aankoop en het beheer van reserveonderdelen werden vereenvoudigd.

Resultaten en voordelen: meetbare winst in kosten, dichtheid en operationele eenvoud

De analyse na de inzet van de 2400 optische verbindingen toonde verschillende kwantificeerbare voordelen aan.MMA4Z00-NS 800G OSFP SR8-transceiveroplossingDe organisatie heeft de noodzaak van afzonderlijke SKU's voor korte- en middellange afstand geëlimineerd, waardoor de voorraad van zenders met 60% is verminderd en de bestelprocessen zijn vereenvoudigd.MMA4Z00-NS prijsBij vergelijking met vergelijkbare extended-reach-module-modules levert het een kostenbesparing van 45% per verbinding voor afstanden van minder dan 60 meter.omdat er geen premie werd betaald voor mogelijkheden die niet nodig waren.

Ten tweede was het bedrijfsfalenpercentage in de eerste zes maanden uitzonderlijk laag: slechts twee transceiververver vervangingen waren vereist van 2.400 eenheden, een foutpercentage van 0.08% significant lager dan het gemiddelde van de industrie van 0Deze betrouwbaarheid is toe te schrijven aan de door de fabriek geoptimaliseerde optische uitlijning en de strenge kwaliteitscontrole van de MMA4Z00-NS,Het team moet zich houden aan de in de richtlijn vermelde reinigingsprocedures.MMA4Z00-NS specificaties.

Ten derde is de energie-efficiëntie van deNVIDIA Mellanox MMA4Z00-NS¥ het verbruik van minder dan 10,5 W per module bij 800G en ongeveer 8,2 W bij 2×400G breakoutmodus ¥ heeft bijgedragen tot meetbare koelsparen.400 zenders verbruikt ongeveer 24.6 kW in totaal in 2×400G-modus en 25,2 kW in 800G-modus, vergeleken met een geschatte 35 kW als alternatieve enkelmodusmodules met een hoger vermogen (typisch 12 ∼ 14 W) waren geselecteerd.Deze energievermindering van 28-30% verbeterde rechtstreeks de energieverbruikseffectiviteit (PUE) van de installatie met een geschatte.03 punten.

Uit ingenieursperspectief bleek de digitale diagnostische bewakingsinterface (DDM) van de module van onschatbare waarde te zijn bij het oplossen van problemen.een geleidelijke afname van het ontvangen optische vermogen werd gedetecteerd via proactieve monitoring, waardoor het operatieteam tijdens een onderhoudsruimte een verbindingsreiniging kan plannen in plaats van te reageren op een onverwachte linkdrop.Deze preventieve aanpak verminderde de gemiddelde hersteltijd (MTTR) voor incidenten op de optische laag met naar schatting 55%., omdat het team afgebroken verbindingen kon vinden voordat ze serviceonderbrekingen veroorzaakten.

Samenvatting en vooruitzichten: een blauwdruk voor schaalbare 800G-optische architectuur

De ervaring van de inzet met deNVIDIA Mellanox MMA4Z00-NSover meerdere afstandszones duidelijk aantoont dat een enkele, well-chosen 800G OSFP SR8 transceiver can effectively address the bandwidth-distance trade-off in modern AI data centers — provided its specifications are carefully matched to the installed fiber plant and distance requirementsDoor gebruik te maken van de 70 meter bereik van deMMA4Z00-NS 800G OSFP SR8-transceivervia OM5-vezel kunnen architecten de kosten en complexiteit van meerdere optische SKU's vermijden en tegelijkertijd de signaalintegriteit en operationele eenvoud behouden binnen het rack, tussen de racks,en kruisgangverbindingen.

Als we vooruit kijken, terwijl 800G Ethernet en 400G InfiniBand steeds meer aandacht krijgen in AI-opleidingen, HPC en bedrijfsopslagomgevingen, zal de vraag naar betrouwbare,kosteneffectieve 800G-optische transceivers zullen alleen maar groeienDe MMA4Z00-NS is goed gepositioneerd voor deze baan.omdat de dual-protocol-capaciteit en de native 2×400G breakout-ondersteuning compatibiliteit garanderen met zowel de huidige 400G-infrastructuur als toekomstige 800G-native eindpuntenVoor organisaties die soortgelijke 800G-migraties plannen, biedt de in deze implementatie gevalideerde niveauprocedure een praktische routekaart: standaardisatie op de MMA4Z00-NS voor alle koppelingen tot 60 meter over OM5,reserveringstransceivers met één modus voor langere verbindingen tussen hallen,en onderhouden van een uniek monitoringsraamwerk dat DDM-gegevens gebruikt om proactief optische gezondheid te beheren over zowel Ethernet- als InfiniBand-fabrieken.

Voor gedetailleerde budget sjablonen, installatie checklists en reiniging protocollen, zie deMMA4Z00-NS-gegevensbladen de NVIDIA Mellanox optische toepassingsnotities.