Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch Technische Oplossing

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch Technische Oplossing | Latentiearme Interconnect Optimalisatie voor RDMA/HPC/AI Clusters

Project Achtergrond en Vereistenanalyse

Naarmate AI grootschalige modellen training en HPC wetenschappelijke berekeningen naar grotere footprints schalen, is de kernuitdaging voor compute clusters verschoven van rekenkracht op één knooppunt naar efficiëntie van communicatie tussen knooppunten. RDMA-netwerken dienen als de transportbackbone voor collectieve operaties, opslagtoegang en checkpoint-verkeer, en hun gedrag bepaalt direct de algehele clusterbenutting.

Typische vereisten in deze projecten omvatten:

• Hoge bandbreedte per knooppunt: GPU-servers vereisen steeds vaker 200 Gb/s of hoger om gelijke tred te houden met multi-GPU trainingsworkloads.
• Voorspelbare lage latentie: AllReduce en parameter synchronisatie zijn gevoelig voor staartlatentie, niet alleen gemiddelde latentie.
• Schaalbaarheid: Het fabric moet groeien van tientallen knooppunten naar honderden of duizenden zonder de topologie opnieuw te ontwerpen.
• Beheerbaarheid: Operationele teams hebben telemetrie en congestiezichtbaarheid nodig om langzame knooppunten en verkeerd geconfigureerde links te isoleren.

De MQM8790-HS2F is gepositioneerd om aan deze vereisten te voldoen als een 200 Gb/s HDR InfiniBand switch platform.

Ontwerp van de Algehele Netwerk- en Systeemarchitectuur

De aanbevolen architectuur is een niet-blokkerende tweelaagse fat-tree, met een spine-laag gebouwd uit MQM8790-HS2F switches en een leaf-laag die compute- en opslagknooppunten verbindt. Dit ontwerp biedt uniforme oost-west bandbreedte en voorspelbare pad-diversiteit, wat essentieel is voor RDMA-verkeerspatronen.

Belangrijke architecturale beslissingen omvatten:

• End-to-end HDR: Compute-knooppunten uitgerust met ConnectX-6 of ConnectX-7 adapters verbinden op 200 Gb/s met leaf switches, wat een MQM8790-HS2F compatibel end-to-end pad vormt.
• Spine capaciteit: Elke MQM8790-HS2F 200 Gb/s HDR 40-poorts QSFP56 switch biedt 40 poorten op 200 Gb/s, waardoor flexibele uplink- en downlink-allocatie mogelijk is op basis van overabonnementsdoelen.
• Opslag fabric: Parallelle opslag en NVMe-over-Fabrics targets kunnen op speciale leaf-groepen worden geplaatst om opslagverkeer te isoleren van trainingsverkeer.
• Management plane: Out-of-band beheer en telemetrie-verzameling worden gescheiden van de data plane om interferentie te voorkomen.

Rol van de Mellanox (NVIDIA Mellanox) MQM8790-HS2F en Belangrijkste Kenmerken

In deze oplossing fungeert de Mellanox (NVIDIA Mellanox) MQM8790-HS2F als het spine switching element, dat leaf-verkeer aggregeert en in-network computing mogelijk maakt. De rol is niet beperkt tot doorsturen: het vermindert ook de overhead van collectieve communicatie en verbetert de efficiëntie van de fabric.

Kern technische kenmerken omvatten:

• 40 × 200 Gb/s HDR poorten: Tot 16 Tb/s geaggregeerde doorvoer in een 1U form factor, met adaptieve ondersteuning voor HDR, EDR en FDR snelheden.
• SHARP in-network computing: Offloads AllReduce en gerelateerde collectieve operaties naar de switch, waardoor GPU- en CPU-deelname wordt verminderd.
• Adaptieve routing: Mitigeert hotspots en verbetert de load balancing over meerdere paden.
• Congestiebeheer: Ondersteunt DCQCN en gerelateerde mechanismen om de latentie stabiel te houden onder belasting.
• Software ecosysteem: Beheerd door MLNX-OS en gemonitord via UFM en NetQ.

Architecten moeten het MQM8790-HS2F datasheet en de MQM8790-HS2F specificaties voor stroom, koeling en poort-split details bekijken voordat ze rack-indelingen finaliseren. Voor budgettering moeten MQM8790-HS2F prijs en MQM8790-HS2F te koop opties worden gevalideerd met het inkoopproces, aangezien de prijzen variëren per schaal en configuratie.

Implementatie- en Uitbreidingsaanbevelingen

Voor initiële implementatie kan een enkele MQM8790-HS2F InfiniBand switch dienen als zowel spine als core in een klein cluster, dat tot 40 knooppunten op 200 Gb/s verbindt. Naarmate het cluster groeit, worden extra spine switches toegevoegd en evolueert de fabric naar een volledig tweelaags ontwerp met leaf-spine scheiding.

Uitbreidingsrichtlijnen:

• Kabeldiscipline: Standaardiseer op QSFP56 optiek en DAC/AOC types om reserveonderdelen te vereenvoudigen en compatibiliteitsrisico's te verminderen.
• Poort splitsing: Gebruik 2×100 Gb/s breakout waar 200 Gb/s per knooppunt niet vereist is, wat de poort-efficiëntie verbetert.
• Oversubscriptie doelen: Plan spine-naar-leaf ratio's op basis van workload burst patronen in plaats van alleen piek theoretische bandbreedte.
• Stroom en koeling: Valideer de stroomruimte per rack tegen het nominale verbruik van de switch voordat u opschaalt.

Operationele Monitoring, Probleemoplossing en Optimalisatie

Operationele zichtbaarheid is cruciaal voor het handhaven van lage latentie op schaal. De MQM8790-HS2F InfiniBand switch oplossing moet worden geïntegreerd met UFM voor fabric-brede monitoring en NetQ voor telemetrie en validatie.

Aanbevolen praktijken omvatten:

• Monitor per-poort tellers voor fouten, discards en congestiegebeurtenissen.
• Volg langzame knooppunt kandidaten met behulp van telemetrie in plaats van alleen te vertrouwen op job-level storingen.
• Valideer firmware consistentie over alle switches en adapters om compatibiliteitsproblemen te voorkomen.
• Controleer de SHARP-configuratie periodiek, aangezien verkeerd geconfigureerde aggregatiebomen de prestaties kunnen verminderen in plaats van verbeteren.

Samenvatting en Waardebepaling

De MQM8790-HS2F biedt een praktische basis voor RDMA, HPC en AI clusters die voorspelbare lage latentie en hoge bandbreedte vereisen. Door 40 × 200 Gb/s HDR poorten, SHARP in-network computing en een volwassen management ecosysteem te combineren, helpt de NVIDIA Mellanox MQM8790-HS2F architecten bij het ontwerpen van fabrics die schalen zonder efficiëntie op te offeren.

Vanuit een waardeperspectief moet de bijdrage van de switch worden beoordeeld ten opzichte van clusterbenutting, job-doorlooptijd en operationele overhead, in plaats van alleen het aantal poorten.