AI-clusternetwerkontwerp: Spine-Leaf, RoCE en NIC's

AI-clusternetwerkontwerp is het proces van het dimensioneren van GPU-server-NIC's, de bandbreedte van de leaf{0}}, de overabonnementsratio, RoCE-instellingen, optica en bekabeling, zodat gedistribueerd trainingsverkeer voorspelbaar blijft naarmate het cluster schaalt. Als je één van deze dingen fout doet, wordt het netwerk - en niet de GPU - het knelpunt.

Waarom AI-clusternetwerken anders zijn

In een traditioneel bedrijfsdatacenter verwerkt het netwerk een mix van noord-zuid-gebruikersverkeer, opslagtoegang, virtualisatie en beheer. Er is sprake van oost-westverkeer, maar dit is zelden de dominante belasting. In een AI-cluster draait de situatie om. GPU-servers waarop gedistribueerde training wordt uitgevoerd, wisselen gradiënten uit en synchroniseren parameters tijdens elke stap van de taak. Deze communicatie is onderdeel van de berekening en niet een neveneffect ervan.

Als een GPU van $ 30.000 30% van zijn tijd op het netwerk doorbrengt tijdens alle-minder bewerkingen, betaalt het cluster feitelijk 30% van zijn rekencapaciteit om inactief te blijven. Dat is de economische reden waarom AI-netwerken zoveel aandacht krijgen.

Drie kenmerken van de werkbelasting bepalen het ontwerp:

• Stormachtig oost-westelijk verkeer.Collectieve communicatieoperaties zoals all-reduceren, all-collecting en reduceren-scatter produceren gesynchroniseerde bursts over veel knooppunten tegelijk.
• Staart-latentiegevoeligheid.Eén enkel langzaam knooppunt vertraagt ​​de hele trainingsstap. Voorspelbare latentie is belangrijker dan gemiddelde latentie.
• Schaal-de groei uit.Clusters die beginnen bij 32 GPU's groeien vaak binnen 18 maanden uit tot 256 of 1.024. De stof moet schalen zonder herontwerp.

Waarom Spine-Leaf past bij AI-clusters

Spine{0}}leaf is de standaardstructuur voor hyperscale datacenters, omdat het elk pad van server-naar-server hetzelfde hopaantal en dezelfde theoretische bandbreedte geeft. Voor AI-workloads vertaalt deze uniformiteit zich direct in meer voorspelbare trainingsstaptijden.

In een wervelkolom-leaf-topologie maken GPU-servers verbinding met leaf-schakelaars, en elke leaf maakt verbinding met elke wervelkolom. Elke GPU-naar-GPU-communicatie loopt over precies één blad, één ruggengraat en nog een blad. Er zijn geen aggregatielagen die variabele latentie of knelpunten introduceren.

Voorspelbare latentie

Equal{0}}cost multi-path (ECMP) routing verdeelt stromen over spinne-switches. Wanneer dit correct is geconfigureerd met adaptieve routering of dynamische taakverdeling, voorkomt dit de hash-botsingen die ervoor zorgen dat sommige stromen veel langzamer zijn dan andere - een bekend probleem in statische ECMP-fabrics die weinig maar grote stromen vervoeren, en dat is precies wat AI-training genereert.

Hoge bisectie-bandbreedte

De bisectiebandbreedte is de doorvoer die beschikbaar is tussen twee gelijke helften van het cluster. AI-training profiteert van niet-blokkerende of bijna-niet-blokkerende ontwerpen waarbij de uplinkcapaciteit van het blad-naar-de wervelkolom gelijk of bijna gelijk is aan de downlinkcapaciteit waarmee de servers worden geconfronteerd. De IETF definieert en bespreekt deze concepten inRFC-7938, dat betrekking heeft op BGP-gerouteerde Clos-fabrics die veel worden gebruikt in grootschalige- datacenters.

Gemakkelijker opschalen-uit

Voeg meer bladeren toe om meer servers toe te voegen. Voeg meer stekels toe om meer bisectiebandbreedte toe te voegen. Voor clusters groter dan een paar duizend GPU's breidt een super-spine (5-stage Clos) of rail-geoptimaliseerde topologie hetzelfde principe nog een laag verder uit.

Kerncomponenten van een AI-clusternetwerk

GPU-servers en NIC's

De NIC is waar de stof de host ontmoet. In AI-clusters stuurt NIC-selectie alles stroomafwaarts aan: de snelheid van de switchpoort, de optische keuze en de bekabelingsdichtheid.

Selectiecriteria voor AI-workloads:

• Poortsnelheid:200G, 400G of 800G per poort. Match met GPU-generatie en PCIe-bandbreedte.
• PCIe-generatie:Een 400G NIC heeft PCIe Gen5 x16 nodig om host--beperking te voorkomen. PCIe Gen4 x16-caps bij ~256 Gbps bruikbaar.
• RDMA- en RoCEv2-ondersteuning:Vereist voor kernel-omzeiling van GPU-communicatiebibliotheken zoals NCCL.
• GPUDirect RDMA:Maakt directe GPU-naar-NIC DMA mogelijk, waarbij hostgeheugenkopieën worden verwijderd.
• Multi-railmogelijkheden:Veel AI-servers gebruiken vier of acht NIC's per knooppunt, één per GPU-paar, voor rail-geoptimaliseerde topologieën.

Een typische 8-GPU-server gebruikt tegenwoordig 4× 400G NIC’s (één per twee GPU’s) of 8× 400G NIC’s (één per GPU), afhankelijk van de werklast en het budget. Referentiearchitecturen vanNVIDIA-netwerkdocumentatiebespreek de ontwerpafwegingen in detail.

Blad- en wervelkolomschakelaars

De selectiecriteria voor schakelaars voor AI-fabrics verschillen van de selectie voor ondernemingen. Buffergrootte, congestiecontrolegedrag en telemetrie zijn belangrijker dan de breedte van de features.

• Per-poortsnelheid en radix:Een 51,2 Tbps switch-ASIC levert 64× 800G-poorten of 128× 400G-poorten. Radix bepaalt hoe plat de stof mag zijn.
• Bufferarchitectuur:Diepe buffers absorberen incast-bursts maar voegen latentie toe. Ondiepe buffers verminderen de latentie, maar vereisen nauwkeurige congestiecontrole.
• RoCE-functieset:ECN-markering, PFC, DCQCN of gelijkwaardige congestiecontrole, en correcte afhandeling van prioriteitswachtrijen van -tot-eind.
• Telemetrie:Inband netwerktelemetrie (INT), rapportage per-wachtrijdiepte en microseconde-resolutietellers voor ECN-markeringen en PFC-pauzes.

Optica, DAC en AOC-bekabeling

Bij 400G en 800G wordt de bekabelingsinstallatie een echt technisch probleem. Vormfactoren, koppelingsbudgetten en breakout-configuraties vereisen allemaal een vroege planning.

• DAC (direct aangesloten koper):Tot ~3 meter voor 400G, de laagste kosten en het laagste vermogen. Zwaar en omvangrijk op schaal.
• AOC (actieve optische kabel):Tot ~30 meter, dunner dan DAC, maar met een vaste-lengte en verbruikt aan beide uiteinden optische stroom.
• Insteekbare optiek:Vereist buiten AOC-afstand. QSFP-DD- en OSFP-vormfactoren domineren 400G/800G. MPO/MTP-vezelassemblages verzorgen de parallelle-glasvezelverbindingen.

Voor inter{0}}rack-verbindingen en gestructureerde bekabeling op 400G/800G zijn parallelle optica via MPO-afsluitingen nu standaard. De keuze tussen trunkkabels en breakout-assemblages hangt af van de toewijzing van uw switchpoort - zie onzeMPO breakout-kabelgeleidervoor de praktische selectielogica, en de bredereVergelijking van MPO-trunk versus breakoutbij het plannen van blad-naar-ruggengraat.

RoCE en verliesvrij Ethernet in AI-fabrics

RoCEv2 (RDMA over Converged Ethernet v2) is het dominante Ethernet-transport voor AI-workloads. Hiermee kunnen NIC's gegevens rechtstreeks tussen GPU-geheugenregio's verplaatsen zonder dat de kernel aan beide uiteinden betrokken is. NCCL, de GPU-communicatiebibliotheek die ten grondslag ligt aan bijna alle gedistribueerde trainingsframeworks, gebruikt RoCEv2 wanneer InfiniBand niet beschikbaar is.

RoCE werkt goed als het correct is geconfigureerd. Het mislukt lelijk als het verkeerd is geconfigureerd. DeInfiniBand-handelsverenigingpubliceert de RoCE-specificaties, en de meeste leveranciers van NIC's en switches publiceren gedetailleerde configuratiehandleidingen die van begin tot eind gevolgd moeten worden.

Waarom verliesvrij gedrag belangrijk is

RDMA is ontworpen uitgaande van een verliesvrij transport. Wanneer pakketten wegvallen, is RDMA-herstel duur. - go-back-N hertransmissie kan een trainingsstap voor milliseconden vertragen, wat enorm is in verhouding tot het RDMA-budget op microseconden-schaal.

Om verliesvrij gedrag op Ethernet te benaderen, gebruikt de fabric twee samenwerkende mechanismen:

• PFC (Prioriteitsstroomcontrole, IEEE 802.1Qbb):Een switch pauzeert inkomend verkeer op een specifieke prioriteitswachtrij wanneer de buffer vol raakt. Dit is een laatste -mechanisme.
• ECN (Expliciete congestiemelding, RFC 3168):Switches markeren pakketten wanneer wachtrijen een drempel naderen. De NIC verlaagt de verzendsnelheid voordat de buffers daadwerkelijk vol raken, waardoor PFC idealiter volledig wordt vermeden.

Het doel is dat ECN vrijwel al het congestiemanagement op zich neemt, met PFC als vangnet. Als u regelmatig PFC-pauzes ziet in stabiel- verkeer, zijn uw ECN-drempels verkeerd of is uw materiaal te klein.

Veel voorkomende RoCE-implementatiefouten

Hoe een AI-clusternetwerk te ontwerpen: een werkend raamwerk

Dit is het gedeelte dat de meeste artikelen over AI-netwerken overslaan. De zeven onderstaande stappen geven u concrete input en output in elke fase.

Stap 1: werklast en schaal definiëren

Ingangen:Type werkbelasting (voortraining, fijnafstelling-, gevolgtrekking, gemengd), doel-GPU-aantal vandaag, doel-GPU-aantal over 18 maanden, modelgroottebereik.

Uitgang:Een werkbelastingprofiel dat de NIC-snelheid en overabonnementstolerantie informeert. Grote voortraining van grensmodellen vereist niet-blokkerende 400G+ stoffen. Verfijnde-workloads kunnen een 2:1-overabonnement tolereren. Inferentieclusters hebben vaak een lagere bandbreedte nodig, maar een lagere staartlatentie.

Stap 2: Kies NIC-snelheid en aantal per server

Beslissingslogica:

• Voortraining van grote modellen, 8-GPU-servers → 4–8× 400G NIC's per server, of 4× 800G
• Training op gemiddelde-schaal, 8-GPU-servers → 2–4× 400G NIC's per server
• Inferentiebediening → 1–2× 200G of 400G NIC's per server, afhankelijk van het parallellisme van het model

Controleer de PCIe-bandbreedte op de host. Voor een enkele 400G-poort is PCIe Gen5 x16 vereist om op lijnsnelheid te kunnen werken; verdubbeling naar 800G vereist Gen6 of splitsing over twee slots.

Stap 3: Grootte van de bladlaag

Uitgewerkt voorbeeld - 32-node cluster, 8 GPU's per node, 4× 400G NIC's per node:

• Totaal aantal benodigde server-poorten: 32 × 4=128 poorten bij 400G
• Downlinkbandbreedte per knooppunt: 4 × 400=1.6 Tbps
• Totale downlinkbandbreedte van het cluster: 32 × 1.6=51.2 Tbps

Met behulp van een 400G leaf-switch met 64 poorten (totale capaciteit van 25,6 Tbps) kan elk leaf 32 serverpoorten verbinden en de resterende 32 poorten gebruiken als uplinks. Met 4 bladen dek je alle 128 serverpoorten af. Elk blad draagt ​​32 × 400G=12.8 Tbps aan uplink naar de wervelkolom bij.

Stap 4: Grootte van de ruggengraatlaag

Voor een niet-blokkerend (1:1) ontwerp moet de totale uplinkcapaciteit gelijk zijn aan de totale downlinkcapaciteit. Vanaf stap 3:

• Totaal vereiste leaf-uplink: 4 bladeren × 12,8 Tbps=51.2 Tbps
• Als elke Spine 32× 400G-poorten=12.8 Tbps heeft, heeft u 4 Spines nodig
• Elk blad maakt verbinding met alle vier de stekels met behulp van 8 uplinks per ruggengraat (8 × 400G × 4=12.8 Tbps per blad - overeenkomsten)

Als u 400G-spinne-switches met 64 poorten gebruikt, heeft elke spin-up reservecapaciteit om het cluster te laten groeien, wat handig is voor het 18-maandenplan vanaf stap 1.

Stap 5: Stel de overinschrijvingsratio in

Stap 6: Scheid computer-, opslag- en beheerverkeer

Drie opties, in volgorde van toenemende isolatie:

• Gedeelde stof met QoS-klassen:Compute, opslag en beheer op afzonderlijke DSCP-prioriteiten. Laagste kosten; vereist een zorgvuldige QoS-configuratie.
• Logisch gescheiden VLAN's/VRF's:Dezelfde hardware, afzonderlijke besturingsvlakken. Handig voor clusters met meerdere- tenants.
• Fysiek gescheiden stoffen:Speciale NIC's, switches en bekabeling voor rekenkracht versus opslag. Hoogste kosten; gebruikelijk in frontier-modelclusters waar elke discussie onaanvaardbaar is.

Opslagverkeer voor AI is op zichzelf al zwaar. - Checkpoint-schrijfbewerkingen voor een groot model kunnen in korte bursts honderden gigabytes verplaatsen. Plan dit expliciet in. Een gestructureerde bekabelingsinstallatie met hoge-dichtheid die gebruikmaakt vanMPO/MTP-trunkkabelsvereenvoudigt het uitvoeren van parallelle fabrics in dezelfde fysieke infrastructuur.

Stap 7: Valideer vóór productie

Tests op netwerk-niveau brengen een aantal problemen aan het licht. Tests op werklastniveau- vangen de rest op.

• Bandbreedte:iperf3 of ib_send_bw tussen elk knooppuntpaar; zou 90%+ van de NIC-lijnsnelheid moeten bereiken.
• Latentie:ib_read_lat of vergelijkbaar; controleer de verdeling, niet alleen het gemiddelde. P99.9 is belangrijker dan gemeen.
• Pakketverlies: Run 24-hour soak test under load; any non-zero loss in RoCE traffic class is a problem.
• ECN-markeringsgedrag:Controleer of er markeringen verschijnen voordat de PFC ontbrandt; als PFC-pauzes frequent voorkomen in stabiele toestand, stem dan opnieuw af.
• Collectieve communicatie:Voer NCCL-tests uit (all_reduce_perf, all_gather_perf) op de volledige clustergrootte. Vergelijk met referentienummers van leveranciers.
• Test op functie-niveau:Voer een representatieve trainingsbaan uit van 4 tot 6 uur. Kijk hoe het GPU-gebruik - aanhoudende waarden onder de 50% op een model van de juiste- grootte duiden meestal op een netwerkprobleem.

Traditioneel datacenternetwerk versus AI Spine-Leaf Fabric

Ethernet RoCE versus InfiniBand: snelle beslissingsgids

Deze vraag komt in bijna elk AI-clusterproject naar voren. Beide werken. De keuze komt meestal neer op operationele fit, niet op pure prestaties.

• Kies InfiniBand als:Uw team gebruikt al InfiniBand-fabrics, u wilt de eenvoudigste weg naar verliesvrij transport, of u koopt een volledig-geïntegreerde leveranciersreferentiearchitectuur.
• Kies Ethernet RoCE als:Uw operationele team is Ethernet-native, u wilt overstappen naar meerdere- leveranciers, u moet de AI-structuur integreren met bestaande datacenternetwerken, of u verwacht verder te kunnen schalen dan wat de huidige InfiniBand-topologieën ondersteunen.

Het Ultra Ethernet Consortium, opgericht in 2023, werkt actief aan het standaardiseren van Ethernet-verbeteringen specifiek voor AI-workloads. Voor de meeste nieuwe clusters in 2026 is Ethernet RoCE een verdedigbare standaard, tenzij er een specifieke reden is om anders te kiezen.

Veelvoorkomende fouten die u moet vermijden

Switches upgraden zonder NIC's te controleren

Een 800G-switchfabric doet niets voor u als uw netwerkkaarten op 400G draaien of als uw host-PCIe geen bandbreedte meer heeft. Ontwerp eerst de hostzijde en vervolgens de schakelaarzijde. PCIe Gen5 x16 beperkt een enkele poort tot ongeveer 504 Gbps reële-werelddoorvoer - comfortabel voor 400G, marginaal voor 800G.

De poortsnelheid optimaliseren, maar de bekabelingsdichtheid negeren

Bij 64-poort 400G kan de bekabeling onder elke switch zonder planning fysiek onbeheersbaar worden. Gebruik waar nodig breakout-kabels, leid vezels door gestructureerde paden en standaardiseer de connectortypen. Connectorkwaliteit en aansluiting zijn van belang bij hoge snelheden - onzeGids voor typen glasvezelconnectorenbehandelt de afwegingen tussen LC, MPO en opkomende vormfactoren met hoge{0}}dichtheid.

RoCE behandelen als plug-en-play

De grootste ontwerpfout in echte AI-clusters is dat je niet de verkeerde schakelaar kiest - maar onderschat hoeveel eind-tot-RoCE-configuratiewerk nodig is. Budgettijd voor het afstemmen van ECN-drempels, PFC-prioriteiten en MTU-consistentie. Plan een speciale validatiefase voordat er een productiewerklast wordt uitgevoerd.

Het combineren van al het verkeer op één fabric zonder QoS

Opslagreplicatie, monitoringagents en beheerverkeer kunnen de trainingsstaptijden verwoesten als ze buffers delen met computerverkeer. Scheid ze fysiek of dwing strikte QoS-klassen af ​​met afzonderlijke prioriteiten en ECN-configuratie.

Alleen bouwen voor het huidige cluster

De meeste AI-clusters groeien binnen twee jaar na de eerste implementatie met een factor 4 tot 8. Kies een schakelradix- en ruggengraatcapaciteit die niet-disruptieve expansie mogelijk maakt. Kabels trekken in een live AI-datacenter is duur; het plannen van conduit- en patchcapaciteit tijdens de implementatie is goedkoop.

Wanneer moet u overstappen van 400G naar 800G?

800G NIC's en switches zijn beschikbaar, maar duurder per poort. Overweeg een stap verder te gaan wanneer:

• Per-GPU-bandbreedtebehoefte overschrijdt wat 400G kan bieden - H100 en nieuwere GPU's met NVLink 5 verwachten bijvoorbeeld een hogere externe bandbreedte
• NCCL-vermindert de tijdschaal slecht met de clustergrootte, wat wijst op netwerkverzadiging
• Kabeldichtheid bij 400G wordt fysiek onbeheersbaar - minder 800G-poorten kunnen meer 400G-poorten vervangen
• De volgende GPU-generatie in uw roadmap zal deze naar verwachting nodig hebben binnen de afschrijvingstermijn van het cluster
• U bouwt een trainingscluster met een grensverleggend-model, waarbij de inactieve computertijd aanzienlijk meer kost dan de optische upgrade

Voor de meeste productieclusters in 2026 blijft 400G de juiste balans tussen kosten, volwassenheid van het ecosysteem en mogelijkheden.. 800G is zinvol in het hogere segment en als toekomstige investering voor clusters die vandaag de dag worden gebouwd en naar verwachting vier tot vijf jaar zullen meegaan.

Conclusie

Het sterkste AI-clusternetwerk is niet het netwerk met de snelste switches. Het is degene waar NIC-keuze, leaf/spine-grootte, overabonnement, RoCE-configuratie, verkeersscheiding en fysieke bekabeling elkaar allemaal ondersteunen en de werklast waarvoor ze zijn gekozen.

Begin met de werklast en het groeiplan van 18- maanden. Bereken de bandbreedtebehoeften op elke laag met behulp van reële getallen, en niet alleen van vuistregels. Configureer RoCE end-to-end en valideer met echte collectieve communicatiebenchmarks. Budget voor de bekabelingsinstallatie: bij 400G en 800G is de fysieke laag niet langer triviaal.

Het cluster dat zijn GPU's bij elke trainingsstap met een bezettingsgraad van meer dan 95% bezig houdt, is degene die aandacht heeft besteed aan al deze lagen. Het cluster dat wordt geleverd met een snellere switch en een langzamere fabric zal jaren besteden aan het uitleggen waarom de GPU's inactief zijn.

Verder lezen

• RFC 7938 - BGP in grote-datacenters
• InfiniBand Trade Association - RoCE-specificaties
• NVIDIA-netwerkdocumentatie
• Installatiehandleiding voor glasvezelkabels
• Insertieverlies versus retourverlies uitgelegd