NVIDIA Mellanox MMA4Z00-NS datacenter optische transceiver in de praktijk

NVIDIA Mellanox MMA4Z00-NS Data Center Optical Transceiver in de praktijk.

Achtergrond en uitdaging: het afstandsdilemma onder de bandbreedte overstroming

Een toonaangevende internetprovider werd geconfronteerd met een klassieke uitdaging voor de infrastructuur van datacenters tijdens het upgraden van zijn AI-trainingscluster in een beschikbaarheidszone in het noorden van China.De rekenknooppunten, bestaande uit NVIDIA H200 GPU's, waren verdeeld over aangrenzende racks in dezelfde hal en over twee fysieke machinezalen op verschillende verdiepingen.De vereiste was duidelijk: volledige 800G lijnbandbreedte leveren terwijl verbindingsafstanden van maximaal 80 meter worden gedekt.Traditionele 800G SR8-transceivers maximaal 50 meter over OM4-multimodevezel, terwijl 800G DR8/FR8-oplossingen, hoewel ze een langer bereik bieden, aanzienlijk hogere kosten- en energieverbruiksprofielen hebben die niet geschikt zijn voor uitrustingen binnen clusters met een hoge dichtheid.

Om de uitdaging te verergeren, eiste de architectuur van de cluster gelijktijdige ondersteuning voor zowel InfiniBand (voor GPU-naar-GPU-communicatie) als Ethernet (voor opslag- en beheerfabrieken),tot afschaffing van de mogelijkheid om protocolspecifieke optica te gebruikenHet engineeringteam had behoefte aan een enkel, verenigd transceiverplatform dat de kloof tussen prestaties en bereik kon overbruggen zonder afbreuk te doen aan de dichtheid van de poorten of de operationele eenvoud.Dit is waar deNVIDIA Mellanox MMA4Z00-NSde evaluatiepijplijn is binnengekomen.

Oplossing en implementatie: de MMA4Z00-NS als een uniforme optische strategie

Na de herziening van deMMA4Z00-NS-gegevensbladHet netwerkarchitectuurteam van de aanbieder selecteerde na het uitvoeren van rigoureuze kwalificatietests deNVIDIA Mellanox MMA4Z00-NSDe modules worden gebruikt voor de optische transceiver en de optische transceiver.MMA4Z00-NS 2x400G InfiniBand/EthernetHet systeem was bijzonder aantrekkelijk, omdat een enkele SKU dubbele protocoldomeinen kon bedienen.

De inzet werd in twee verschillende fasen gestructureerd:

• Fase 1 Intra-Rack (≤15m):Binnen elk rek, deMMA4Z00-NSwerd gecombineerd met hoogwaardige OM4-patchkabels om 800G-connectiviteit te bieden tussen leaf switches en GPU-computatie-nodes.De 8×100G PAM4-architectuur leverde een consistente signaalintegrititeit met een marge die ver boven de IEEE/IBTA-specificaties lag, zoals bevestigd door bit-error-rate (BER) testen ter plaatse.
• Fase 2 Inter-Room (tot 80 m):Voor de langere verbindingen tussen de ruimtes heeft het engineeringteam gebruikgemaakt van de verbeterde evenwichtings- en zend/ontvang optische energiebegrotingen van de module.MMA4Z00-NS 800G OSFP SR8-transceiverDe module heeft een foutloze transmissie op 80 meter OM4-vezel gehandhaafd, waardoor de typische specificatie van 50 meter werd overtroffen.MMA4Z00-NS specificaties.

De aanbieder gebruikte een hybride bekabelingsaanpak: MPO-12-stamkabels voor gestructureerde horizontale runs in de datahal en eindigde met MPO-cassettepanelen voor verbindingen tussen kamers.Dit ontwerp minimaliseerde het verlies van invoeging en zorgde ervoor dat deMMA4Z00-NS-compatibelHet ecosysteem, dat een breed scala aan MPO-breakoutkabels en DAC's omvat, kan volledig worden benut, zonder dat er een aangepaste bekabeling nodig is.

Resultaten en operationele voordelen

Na de volledige inzet van deNVIDIA Mellanox MMA4Z00-NSDe aanbieder meldde verschillende kwantificeerbare verbeteringen op 144 verbindingen:

• Gecombineerde inventaris:Een enkele transceiver SKU verving drie eerder overwogen alternatieven (800G SR8, 400G × 2 en FR4-varianten), waardoor de voorraad reserveonderdelen met 67% werd verminderd en de complexiteit van de aanbestedingen werd verminderd.Het team verwijst nu naar deze aanpak als hunMMA4Z00-NS 800G OSFP SR8-transceiveroplossingvoor clusters met gemengde afstand.
• Uitgebreid bereik zonder extra kosten:Door gebruik te maken van standaard multimode vezels en de geoptimaliseerde DSP-afstemmingsmogelijkheden die in deMMA4Z00-NS-gegevensbladHet team bereikte een bereik van 80 meter tegen een fractie van de kosten van alternatieven voor één modus.
• Protocol Flexibiliteit:The ability to switch between InfiniBand and Ethernet modes via firmware configuration meant that the same physical infrastructure could support GPU compute traffic and storage management traffic—a feature no other transceiver in the evaluation offered.
• Energie- en warmte-efficiëntie:Bij minder dan 12 W per poort is deMMA4Z00-NSDit heeft bijgedragen tot een totale energiebesparing van de cluster van ongeveer 2,8 kW in vergelijking met het alternatieve DR8-gebaseerde ontwerp, waardoor de koelbehoeften in de racks met een hoge dichtheid aanzienlijk zijn verminderd.

Metingen van de netwerklatentie toonden aan dat de transceiverbijdrage onder de 100 ns consistent bleef, goed binnen de tolerantie die vereist is voor gedistribueerde AI-trainingswerklasten.MMA4Z00-NS te koopDe aanbestedingstijden werden vergemakkelijkt door de beschikbaarheid via hun bestaande distributiekanaal, waardoor de doorlooptijd van acht weken werd verkort tot slechts drie.

Samenvatting en vooruitzichten

De inzet van deMMA4Z00-NSIn het kader van de nieuwe technologieën, die in het kader van de nieuwe technologieën zullen worden ontwikkeld, zal de ontwikkeling van een groot aantal nieuwe technologieën in het kader van de nieuwe technologieën een belangrijke rol spelen in de ontwikkeling van de nieuwe technologie.NVIDIA Mellanox MMA4Z00-NSde scheiding tussen de afstand binnen het rack en de afstand tussen de ruimtes met succes overbrugt,Bewijst dat een goed afgestemde 800G SR8-transceiver een foutloze werking kan leveren buiten zijn typische specificatiebereik wanneer deze wordt gecombineerd met een juiste bekabeling en DSP-optimalisatie.

De aanbieder evalueert deMMA4Z00-NS prijsIn de eerste plaats heeft de Commissie in haar verslag over de verwezenlijking van de doelstellingen van het programma voor de ontwikkeling van de Europese infrastructuur in de havengebieden van de Europese Gemeenschappen (EER-programma) een aantal aanbevelingen gedaan voor de verwezenlijking van de doelstellingen van het programma.,Als de industrie zich richt op 1.6T en verder, is het mogelijk om de modules te gebruiken voor de standaardisering van hun wereldwijde datacentervloot.de praktische lessen die zijn getrokken uit deze inzet, afstand en kosten blijven van groot belang, en deMMA4Z00-NSHet is een referentiemodel voor het ontwerpen en inzetten van optica van de volgende generatie.