QSFP-DD voor AI-clusters: kiezen tussen 400G en 800G zonder te raden

Aug 03, 2026

Laat een bericht achter

QSFP-DD past goed bij een AI-cluster wanneer de switch of het eindpunt al een native QSFP-DD-kooi gebruikt, wanneer een groot aantal gekwalificeerde QSFP--familiemodules en glasvezel in gebruik moet blijven, en wanneer het platform de gekozen modules kan koelen terwijl elke poort bezet is. Het is het verkeerde uitgangspunt als de GPU-servers en -switches rond native OSFP-kooien zijn gebouwd, of als de optica die je feitelijk nodig hebt meer thermische speelruimte nodig hebben dan de host ze kan geven.

De vormfactor is niet de eerste beslissing. Het is ongeveer de vierde. Een netwerkontwerp dat de eerste productietraining overleeft, begint met de serverinterfaces, het aantal rails, de doeltopologie, de aanvaardbare overabonnementsratio en het gemeten kabeltraject. Alleen dan doet de vorm van de module er toe.

In deze handleiding wordt de opdracht van begin tot eind beschreven, met een berekening van de gewerkte capaciteit, een link-selectietabel en een validatiereeks die u aan een laboratoriumteam kunt overhandigen.

AI cluster network with GPU servers, leaf-spine switches, and QSFP-DD links

Welke vormfactor moet u kiezen?

Eindpuntvoorwaarde Eerste keuze om te evalueren
Beide uiteinden zijn native QSFP-DD / QSFP-DD800 QSFP-DD
Beide uiteinden zijn native OSFP OSFP
Migreren vanaf een geïnstalleerde 400G QSFP-basis QSFP-DD, op voorwaarde dat de host de vereiste poortmodus ondersteunt
Optica met hoog-vermogen op een platform waarvan de systeemeigen kooi OSFP is OSFP
Het ene uiteinde OSFP, het andere QSFP-DD Een gekwalificeerde cross{0}}form--factor DAC/AEC, of ​​een optische link met een bijpassende PMD, rijstrooksnelheid en FEC-modus aan beide uiteinden

De onderliggende regel is kort:kies de kooi die eigen is aan het eindpunt en verifieer vervolgens de snelheid van de elektrische rijstrook, de optische interface, de FEC-modus, de vermogensklasse en de firmware voor dat exacte onderdeelnummer.Alles hieronder is het werk dat nodig is om die regel eerlijk toe te passen.

De vijf beslissingen, in volgorde

De meeste slechte AI-netwerkconstructies komen voort uit het nemen van deze beslissingen in de verkeerde volgorde - door eerst een module te kiezen en later de beperking te ontdekken. Elke stap hieronder voedt de volgende, en elke stap verandert wat je in de stap erna kunt kopen.

  1. Bevestig de eindpunten.Native kooitype en protocolmodus aan beide uiteinden van elke link.
  2. Bereken capaciteit.Poorten per knooppunt, per spoor, en vervolgens de downlink- en uplinkcapaciteit volgens de door u beoogde overabonnementsratio.
  3. Selecteer de fysieke link.Gemeten routelengte, vezelfabriek, connector, doorbraakvereiste.
  4. Valideer het onderdeelnummer.FEC, rijstrooksnelheid, vermogensklasse, firmware, CMIS-revisie, leverancierskwalificatie.
  5. Implementeren per foutdomein.Eerst laboratorium, daarna één rack-, rail- of schaalbare eenheid tegelijk.

Stap 1: Scheid de vormfactor, het protocol en de optische interface

Deze drie dingen worden voortdurend samengevoegd tot één beslissing, en uit die ineenstorting komen de meeste compatibiliteitsverrassingen voort. Het zijn afzonderlijke lagen met afzonderlijke bestuursdocumenten.

De vormfactordefinieert mechanische afmetingen, de hostconnector, elektrische rijstroken, managementgedrag en thermisch ontwerp. DeQSFP-DD MSA-hardwarespecificatiedekt de mechanische, elektrische en thermische vereisten, en latere herzieningen breiden dezelfde hostpoort met acht- rijstroken uit naar 800G- en 1.6T-varianten, terwijl de achterwaartse compatibiliteit met de QSFP-familie behouden blijft. Als je de mechanische en managementachtergrond wilt voordat je verder gaat, onzeQSFP-DD technisch overzichtbehandelt de vormfactor zelf in detail.

Het protocol- Ethernet, RoCEv2 of InfiniBand - wordt bepaald door de NIC, de switch-ASIC, de firmware en de poortconfiguratie, niet door de vorm van de kooi. Een QSFP-DD-module mag nooit worden omschreven als "die zowel Ethernet als InfiniBand ondersteunt" als eigenschap van de vormfactor. Deze mogelijkheid behoort toe aan de host en moet op de specifieke poort worden bevestigd.

De optische interface- DR8, FR4, SR8, LR - beschrijft de organisatie, het bereik en de toepassing van de rijstroken. Het beschrijft niet de connector, het aantal vezels, de breakout-mapping of de snelheid van de elektrische rijstrook. Twee modules met hetzelfde optische label kunnen in elk van deze modules verschillen. De signalering zelf wordt gedefinieerd door IEEE, niet door de MSA:IEEE-standaard 802.3df-2024de MAC-parameters en fysieke lagen toegevoegd voor een werking van 800 Gb/s en extra PHY's van 400 Gb/s.

Managementgedrag is een vierde, stillere laag. Zowel QSFP-DD- als OSFP-modules worden beheerd via CMIS, en de revisie is van belang voor het gedrag van firmware-updates, applicatieselectie en host--moduletiming. De gepubliceerde herzieningen worden vermeld in deOIF-implementatieovereenkomsten.

Stap 2: Bepaal het netwerk op basis van serverpoorten, niet op basis van het aantal GPU's

Het GPU-aantal vertelt u hoe groot een cluster is. Het vertelt u niet wat het netwerk moet vervoeren, omdat het netwerk altijd alleen serverinterfaces ziet.

Twee voorbeelden maken het punt duidelijk. Een NVIDIA DGX H100/H200-systeem beschikt over acht ConnectX-7 compute-fabric-interfaces met elk maximaal 400 Gb/s - maar het zijn geen acht fysieke kooien. De SuperPOD-referentiearchitectuur toont de computerstructuur die wordt gepresenteerdvier transceivers met twee-poorten die alle acht GPU's bereiken. Een DGX B300 presenteert zich daarentegenacht netwerkpoorten op de GPU-ladebedient acht ConnectX-8-interfaces met maximaal 800 Gb/s. Hetzelfde GPU-aantal, geheel andere poortinventaris, kabelaantal en optische factuur.

Voordat u dus naar een gegevensblad voor een enkele switch kijkt, moet u voor elk knooppunttype het volgende documenteren: compute-fabric-poorten, poortsnelheid, NIC-naar-GPU- of railtoewijzing, native kooitype, ondersteunde protocolmodi, plus de afzonderlijke opslag- en beheerinterfaces. Die inventaris, en niet het GPU-nummer, is de input voor elke berekening die volgt.

Een berekening van de gewerkte capaciteit

Neem een ​​schaalbare eenheid van 32 knooppunten, elk met acht 400G compute-fabric-poorten, één poort per rail, in een rail-geoptimaliseerd ontwerp. Werk één rail tegelijk:

  • Downlinkcapaciteit per railblad= 32 knooppunten × 1 poort × 400G =12,8 Tb/s
  • Op 1:1 (niet-blokkerend), vereiste uplinkcapaciteit=12.8 Tb/s → 12.800 ÷ 800 =16 × 800G-uplinks
  • Op 2:1, vereiste uplinkcapaciteit=6.4 Tb/s →8 × 800G-uplinks

Controleer vervolgens het resultaat aan de hand van de switchradix: 32 downlinks plus 16 uplinks hebben 48 bruikbare poorten op dat blad nodig, wat uw switchkeuze onmiddellijk beperkt. Voeg links toe voor redundantie en onderhoud, en herhaal per rail - acht rails, acht bladgroepen, niet één totaal aantal. Dit is waar 800G zijn plaats verdient of niet: hier halveert het het aantal uplink-poorten, wat een radix-argument is, geen bandbreedte-argument.

Rail-geoptimaliseerde, uitgebalanceerde vet-boomstoffen zijn het patroon dat NVIDIA documenteert voor grote trainingsclusters - deDGX H100 SuperPOD-referentiearchitectuurmaakt gebruik van een volledige-boom met acht computerverbindingen per-systeem. Of dat patroon bij uw werklast past, is een ontwerpoordeel, maar de bovenstaande berekeningsmethode geldt ongeacht de topologie.

Stap 3: Plan alle vier de stoffen en kom dan terug naar de modules

Een AI-cluster is niet één netwerk. De DGX SuperPOD-referentiearchitecturen zijn gescheidenrekenkracht, opslag, in-bandbeheer en out-of-bandbeheerstoffen, en elk produceert zijn eigen poort- en optische vereisten.

Decomputerstofvoert gradiëntuitwisseling, parametersynchronisatie, collectieve en externe geheugenbewerkingen uit. Het heeft de strengste eisen op het gebied van latentie, congestie en padsymmetrie-, en dit is waar het argument van 800G-versus-400G feitelijk wordt beslecht.

Deopbergstofbevat trainingsgegevens, controlepunten en modelartefacten. De capaciteit is afhankelijk van het datasetformaat, de hitrate van de cache, het parallellisme van de data-loader, de controlepuntfrequentie en de intensiteit van de metagegevens -. Daarom is '400G voldoende voor opslag' geen veilige standaard. Referentiearchitecturen specificeren de opslagprestaties op systeemniveau en houden deze precies buiten de compute-fabric, zodat de twee workloads elkaar niet kunnen beschadigen.

Dein-bandbeheernetwerkverzorgt de provisioning, het planningsverkeer, registers, opslagplaatsen en monitoring. Deout-of-band-netwerkbereikt BMC's, schakelbeheerpoorten en rackstroom, en moet bereikbaar blijven terwijl de productiestructuur kapot is. Beschouw het als een herstel- en beveiligingspad met een eigen uplink, en niet als overgebleven verkeer met lage- snelheid.

Voor de moduleselectie is dit de praktische consequentie: elk weefsel draagt ​​zijn eigen aantal poorten, zijn eigen afstandsprofiel en zijn eigen kooitype bij, en ze zijn vaak verschillend. Een cluster kan OSFP zijn op het gebied van rekenkracht en QSFP-DD op het gebied van opslag en beheer, zonder dat er iets mis is.

Stap 4: Kies 400G of 800G vanuit een beperking, niet vanuit een trend

Een 800G-poort verdubbelt de nominale capaciteit. Het vermindert niet het verkeer dat uw applicatie genereert. De waarde ervan is bijna altijd structureel - minder links, betere radix-efficiëntie of een native 800G-eindpunt.

400G blijft de betere keuzewanneer computereindpunten native 400G zijn, de huidige fabric al aan zijn blokkerende doelstelling voldoet, het cluster groeit binnen de beschikbare radix, er al een gekwalificeerde 400G-module en kabelbasis bestaat, of beperkingen op het gebied van stroom en koeling 800G onaantrekkelijk maken. Met behulp van 800Guplinksservers boven 400G is nog steeds volkomen redelijk - maar rechtvaardig dit op basis van de bovenstaande poortberekeningen, niet op basis van het label.

800G verbetert het ontwerpwanneer servers native 800G-interfaces beschikbaar stellen, wanneer veel 400G-stromen moeten worden samengevoegd in minder spin-links, wanneer het aantal switch-poorten de bindende beperking is, of wanneer het uitbreken van 800G naar onderliggende interfaces met lagere- snelheid een migratie vereenvoudigt. Precies gezegd: 800G kan het aantal fysieke verbindingen of switchpoorten verminderenin ontwerpen waarbij aggregatie en radix de beperkende beperkingen zijn. Het doet dit niet als een natuurwet.

Comparison of 400G and 800G AI cluster network architectures

Gemengde-snelheidsmigratie vereist expliciete documentatie

Breakout is waar ontwerpen met gemengde-snelheid stilletjes mislukken. Moderne NIC's maken dit configureerbaar in plaats van vaste - NVIDIA's ConnectX-8port-documentatie splitsentoont een enkele 800G OSFP-kooi die opnieuw wordt geconfigureerd in twee 400GbE-poorten of acht 100GbE-poorten, die elk een configuratiewijziging op firmware-niveau en een uitschakelcyclus vereisen. Die flexibiliteit bestaat alleen als de leverancier deze heeft getest en gepubliceerd.

In een migratieplan moet dus per poort worden vermeld: welke poorten met welke snelheid werken, of de host de beoogde breakout-modus ondersteunt, de snelheid van de elektrische rijstrook aan beide uiteinden, of de breakout logisch, optisch of op kabel-gebaseerd is, de FEC-modus die elke onderliggende interface nodig heeft, of het bestaande aantal vezels en het connectortype kan worden hergebruikt, en hoe monitoring elke onderliggende poort zal identificeren. Door een module met een lagere-snelheid in te voegen, is niet elke hostmodus beschikbaar.

QSFP-DD versus OSFP

Beslissingsfactor QSFP-DD OSFP
QSFP-gezinscompatibiliteit Native, waarbij de host de modus ondersteunt Mogelijk voor sommige modules via een speciaal-gebouwde adapter
Modulegrootte Kleiner Groter
Thermisch ontwerp Ontwerpen voor rijdende-koellichamen; verifiëren bij volledige populatie Geïntegreerd of meerijdend koellichaam; MSA definieert hogere vermogensklassen
Typisch AI-systeemgebruik Ethernet-switches, platforms met gemengde-snelheid Verschillende hoogwaardige-GPU- en InfiniBand-platforms
Beslissingsregel Geef er de voorkeur aan wanneer eindpunten native QSFP zijn-Het hergebruik van DD en QSFP is belangrijk Geef er de voorkeur aan wanneer eindpunten native OSFP zijn of wanneer optica zijn vermogensenvelop nodig heeft

Twee claims moeten worden beperkt. Ten eerste is "OSFP heeft geen achterwaartse compatibiliteit" te breed -OSFP MSAdocumenteert QSFP-compatibiliteit via een speciale adapter, en de modulespecificatie definieert de hogere vermogensklassen en geïntegreerde-koellichaamopties die OSFP zijn thermische reputatie geven. Ten tweede is die reputatie een specificatieplafond en geen garantie. Of een bepaald chassis daadwerkelijk modules van de klasse 30 W- in elke kooi kan uitvoeren, hangt af van het ontwerp van de kooi, de richting van de luchtstroom, de inlaattemperatuur, het ventilatorbeleid, de derating van aangrenzende-poorten en de eigen limieten van de systeemleverancier.

Daarom is thermische validatie van de volledige{0}}populatie niet-onderhandelbaar: een module die door één poort gaat, kan de temperatuurlimiet van de- behuizing overschrijden wanneer alle 32 of 64 poorten zijn verlicht, en opnieuw wanneer een ventilator of voeding uitvalt. Test het bevolkte systeem bij uw echte inlaattemperatuur.

Als de server OSFP is en de switch QSFP-DD is, weersta dan de reflex om te standaardiseren. Adapters voegen overwegingen toe op het gebied van mechanische speling, luchtstroom, vermogen, signaal-integriteit, inventaris en ondersteuning. Een gekwalificeerde cross{4}}form--kabel, of een optische link met bijpassende PMD en FEC aan elk uiteinde, is vaak schoner dan het vervangen van hardware om de vormen op elkaar af te stemmen.

QSFP-DD and OSFP transceivers compared by size and thermal design

Stap 5: Selecteer de link op gemeten afstand en bestaande glasvezel

Capaciteit en eindpunten hebben nu de poortsnelheid en de kooi vastgelegd. Afstand en de geïnstalleerde vezelfabriek repareren al het andere. Het is eerder een technische richtlijn dan een regel dat de kortste, technisch geldige verbinding meestal de eenvoudigste is om te bedienen -, maar flexibiliteit, kabeldiameter, onderhoudsgemak en uitbreekvereisten staan ​​daar allemaal tegen in de weg.

Route Typische optie Wat te bevestigen
Intra-rack, heel kort Passieve DAC Exacte lengte en kabeltype ondersteund aan beide uiteinden; buigradius; gewicht
Kort maar verder dan passief koper AEC / ACC Stroomverbruik, extra latentie, blokkering van de luchtstroom, kwalificatie van de leverancier, ondersteuning voor poortmodus
Kort optisch, vaste lengte acceptabel AOC Onderhoudsgemak - een storing vervangt de hele constructie
Multimode, in-rij naar aangrenzende- rij SR-klasse parallelle optica Vezelkwaliteit en bereiklimieten; zie onzeOM1–OM5 gids voor afstandslimieten
Enkele-modus, sub-kilometer, ontsnapping gewenst DR-klasse parallelle optica MPO-grootte, polariteit, APC/UPC-polijsten, breakout-mapping
Enkele-modus, kilometerschaal FR-klasse duplex of parallel, afhankelijk van het product Het connectortype verschilt per onderdeelnummer; vezelkwaliteit - vergelijkenOS1 en OS2 single{2}}glasvezel

De implementatie van connectoren is hier de valkuil, omdat dit niet wordt geïmpliceerd door het optische label. Leveranciers leveren 800G DR8-producten met dubbele MPO-12 of enkele MPO-16 connectiviteit, en 2 km FR-klasse producten met parallelle MPO of dual duplex LC. Beide varianten zijn legitiem; ze hebben een geheel andere bekabeling nodig. Voordat u trunks bestelt, moet u de connectorvraag bewust oplossen - onzeMTP versus MPO-selectiegidsbehandelt de mechanische en polariteitsverschillen, en deMPO breakout-kabelgeleiderbehandelt de fan-out-toewijzing waarvan breakout-poorten afhankelijk zijn.

Er horen nog twee items in hetzelfde gesprek. Kanaalverlies moet worden gebudgetteerd op basis van de specificatie van de module, waarbij connectoren en splitsingen worden geteld, en niet wordt aangenomen - ziehoe invoegverlies zich ophoopt in glasvezelnetwerken. En gestructureerde bekabeling tussen rijen is gemakkelijker te onderhouden als deze op voorgemonteerde kabels is gebouwdMPO/MTP-trunkkabelsmet een gedocumenteerde polariteitsmethode in plaats van in het veld-geassembleerde runs. Waar duplex FR-koppelingen worden gebruikt, retourneren de kwaliteit van de connector-endface-drives het verlies direct; deGids voor LC-connectorenbeschrijft wat u moet inspecteren.

Registreer voor elke link: hostkooi, hostlanesnelheid, geconfigureerde poortsnelheid, PMD- of kabeltype, connector, vezeltype en aantal, maximaal kanaalverlies, FEC-modus, breakout-mapping, moduletoepassingscode, CMIS- en firmwarevereiste, maximaal vermogen en kwalificatiestatus. Dat record per-link is meer waard dan welke algemene regel dan ook over welke optiek waar naartoe gaat.

AI network interconnect options from DAC cables to duplex optics

RoCEv2 of InfiniBand: beslis dit onafhankelijk

De protocolkeuze staat haaks op de vormfactor en moet op operationele gronden worden gemaakt.

RoCEv2geschikt voor organisaties die Ethernet al op grote schaal gebruiken, met gevalideerde RoCE-functies op het schakelplatform en een team dat eigenaar is van QoS, congestiecontrole, telemetrie en hostconfiguratie. Het voorbehoud is dat "PFC en ECN inschakelen" geen implementatieplan is. NVIDIA's Cumulus Linux-documentatie beschrijftRoCE als complexe configuratiedie bufferpools, verkeersclassificatie, prioriteitstoewijzing, PFC- en ECN-drempels en planning omvat, met een verliesloze modus waarbij PFC en ECN samen worden gebruikt en een verliesvrije modus die alleen ECN gebruikt - en merkt op dat de configuratie die is gegenereerd voor de ene ASIC-generatie van een switch niet wordt overgedragen naar een andere.

InfiniBandis geschikt voor implementaties volgens een gevalideerde leveranciersarchitectuur, waarbij geïntegreerd fabric-beheer waardevol is en het team al over de tools en expertise beschikt.

Baseer de keuze op getest applicatiegedrag, operationele vaardigheden, ondersteuningsgrenzen en totaal systeemontwerp. Marketingprestatiepercentages zijn afhankelijk van topologie, softwareversie, berichtgrootte, congestiestatus en NIC-configuratie, en worden zelden overgedragen naar een ander cluster.

Validatie: wat u moet testen voordat u in volume koopt

Een representatieve laboratoriumtest omvat vier gebieden, en de volgorde is van belang - eerst de stabiliteit van de verbinding, omdat prestatiecijfers van een onstabiele verbinding betekenisloos zijn.

Breng- ter sprake:koud opstarten, warm opnieuw opstarten, module plaatsen en verwijderen, poort uitschakelen/inschakelen, breakout maken en verwijderen, en beide uiteinden worden in verschillende volgordes opnieuw opgestart.Signaalintegriteit:pre-FEC BER, gecorrigeerde en niet-corrigeerbare FEC-tellingen, rijstrook-niveaufouten, PRBS of BERT waar ondersteund, optisch zend- en ontvangstvermogen, modulekasttemperatuur en link-flap-tellingen onder thermische belasting.Prestatie:aanhoudende doorvoer, de collectieven en berichtgroottes die uw taken daadwerkelijk gebruiken, gelijktijdig multi-railverkeer, incast, opslag-plus-computerconflicten en een lange wachttijd.Mislukking:enkele link, leaf-switch, ruggengraatlink, herstel van de stroom-cyclus, vervanging van kabels en modules, beheer-padverlies.

Registreer drempels, niet alleen slagen/falen. Niet-corrigeerbare FEC-fouten moeten nul zijn op een gezonde link; pre-FEC-foutpercentages moeten ruim binnen de gespecificeerde marge van de module blijven en daar blijven als de temperatuur tijdens het weken stijgt. Een link die gedurende een periode van 48 uur een stijgende trend vertoont, is een link die tijdens de productie zal mislukken.

Implementeer vervolgens per storingsdomein - één rack, één rail, één leaf-paar of één schaalbare eenheid tegelijk - en controleer de wijzigingen in de linkstatus, FEC-gecorrigeerde en niet-corrigeerbare tellingen, moduletemperatuur, optisch vermogen, PFC-pauzeactiviteit, ECN-markering, wachtrijbezetting en communicatietijd op taakniveau-. Een link die nog actief is, kan nog steeds vernederend zijn; stijgende gecorrigeerde-fout- en temperatuurtrends zijn de eerste waarschuwing die u krijgt.

Drie ontwerpscenario's

Uitbreiding van een bestaand 400G Ethernet-netwerk.Gekwalificeerde QSFP-DD 400G-switches en gestructureerde bekabeling zijn al aanwezig; nieuwe knooppunten stellen 400G bloot. Houd de server-gerichte links op 400G, voer de uplinkberekening hierboven uit om de blokkeringsverhouding te testen en introduceer 800G alleen daar waar het de efficiëntie van de wervelkolom-poort vergroot. Hergebruik gekwalificeerde optica en glasvezel waar het verliesbudget dit toelaat, en valideer elke breakout-configuratie met gemengde-snelheid vóór aankoop. Switch Radix bepaalt deze beslissing, niet het GPU-aantal.

Bouwen van een 800G-native cluster.De servers stellen native 800G ter beschikking. Volg de gevalideerde topologie van de serverleverancier, kies switches met de bijpassende native kooi, verifieer de volledige- thermische capaciteit van de populatie bij uw inlaattemperatuur, kies de interconnect uit de gemeten routelengtes en valideer elke breakout- en FEC-combinatie voordat u een commit maakt. Hier wordt 800G gerechtvaardigd door het eindpunt zelf.

Leven met twee vormfactoren.De servers zijn OSFP; een deel van het Ethernet-switchingdomein is QSFP-DD. Vergelijk gekwalificeerde cross{2}}form--factor DAC- of AOC-assemblages, optische interoperabiliteit met verschillende kooien aan elk uiteinde, goedgekeurde adapters, stroom- en thermische implicaties, reservevoorraad en ondersteuningseigendom. Het vervangen van één zijde puur om de modulevorm te standaardiseren is vaak duurder dan het exploiteren van een gedocumenteerde gemengde omgeving.

Zeven fouten die tot herbewerking leiden

  • Beginnend met het aantal GPU's.Het beschrijft niet het aantal NIC's, spoormapping, poortsnelheid of overabonnement. Bereken vanaf serverinterfaces.
  • Ervan uitgaande dat 800G sneller is voor elke taak.Het helpt alleen waar eindpunten, topologie en verkeerspatronen er gebruik van kunnen maken. Benchmark de collectieven die u feitelijk leidt.
  • QSFP-DD behandelen als een protocol.Het is een kooi. Valideer kooi, protocol, elektrische modus, optica en FEC afzonderlijk.
  • Het negeren van opslag- en beheerstructuren.Een snelle computerinfrastructuur kan een trage levering van checkpoints of een onbereikbare BMC niet compenseren.
  • Het optische label lezen als bekabelingsspecificatie.DR8 en FR4 specificeren geen connector-, vezelaantal of breakout-ontwerp. Gebruik exacte onderdeelnummers en een bekabelingsschema.
  • Eén poort testen.De luchtstroom en inlaattemperatuur van de volledige-bevolking zijn de echte test.
  • Prestatiepercentages citeren zonder methode.Publiceer de topologie en testmethode, of verwijder het nummer.

Bouw een TCO-model dat u kunt verdedigen

De kapitaalkosten dekken NIC's of DPU's, leaf- en spinneschakelaars, transceivers, DAC's, AEC's en AOC's, glasvezeltrunks en patching, racks en kabelbeheer, testapparatuur en reserveonderdelen. De operationele kosten omvatten module- en schakelstroom, koeling, monitoring, firmwarekwalificatie, training, vervangende arbeid en ondersteuning van leveranciers. Risicokosten - die gewoonlijk worden weggelaten - omvatten compatibiliteitsfouten, vertraging bij de implementatie, thermische reductie, instabiliteit van de verbinding, herbekabeling, onderbroken trainingstaken en verlengde hersteltijd.

Achterwaartse compatibiliteit verlaagt inderdaad de kosten, maar de besparing moet worden berekend op basis van de specifieke apparatuur die met de vereiste snelheid en modus kan worden hergebruikt. Compatibiliteit met de vorm-factor alleen garandeert niet dat de huidige ASIC, PCB, kooi, koelsysteem, firmware of stroombudget de volgende generatie kan gebruiken. Behandel toekomstige snelheidsmigratie als een platformvraag, niet als een connectorvraag.

Veelgestelde vragen

Is QSFP-DD geschikt voor AI-trainingsclusters?

Ja, wanneer deze eigen is aan de gekozen switch of eindpunt, voldoet aan de thermische vereisten bij volledige poortpopulatie en de vereiste poortmodus en optische interface ondersteunt. De nominale datasnelheid alleen is geen reden om hiervoor te kiezen.

Hoeveel GPU's vereisen 800G-netwerken?

Er is geen GPU-drempel. Bereken op basis van netwerkpoorten per server, poortsnelheid, railtoewijzing, topologie, overabonnementsdoel en applicatieverkeer - de methode in stap 2 hierboven.

Is QSFP-DD beter dan OSFP?

Geen van beide is universeel beter. QSFP-DD biedt native QSFP-familiecompatibiliteit en een kleinere footprint; De specificatie van OSFP definieert hogere vermogensklassen en geïntegreerde-koellichaamopties, en is eigen aan verschillende-hoge prestatie-AI-platforms. Het eindpunt beslist.

Kan een OSFP-poort een QSFP-module gebruiken?

Sommige OSFP-implementaties ondersteunen QSFP-modules via een goedgekeurde adapter, maar compatibiliteit, voeding, poortmodus en leveranciersondersteuning moeten allemaal worden geverifieerd voor het specifieke platform.

Kan QSFP-DD worden gebruikt voor zowel Ethernet als InfiniBand?

De vormfactor bepaalt niet het protocol. De hostpoort, NIC, switch, firmware, kabel en transceiver moeten allemaal de beoogde bedrijfsmodus ondersteunen.

Welke 800G-transceiver moet ik gebruiken?

Begin met de gemeten afstand, eindpuntkooi, vereiste breakout, vezeltype, connector, rijstrooksnelheid, FEC-modus, vermogensklasse en leverancierskwalificatie. De naam van de optische interface is op zichzelf niet voldoende.

Garandeert achterwaartse compatibiliteit met QSFP-DD een gemakkelijke upgrade naar 1,6 T?

Nee. De hostpoort accepteert de module mogelijk mechanisch, terwijl het ASIC-, PCB-, kooi-, koeling- of stroombudget de nieuwe rijstrooksnelheid niet kan ondersteunen. Verifieer op platformniveau.

Voordat u de inkooporder ondertekent

Bevestig de eindpuntkooi aan beide uiteinden van elk linktype; het aantal en de snelheid van compute-fabric-poorten per knooppunt; de spoorwegkartering en de beoogde overinschrijvingsratio; tellingen van blad- en ruggengraatpoorten, inclusief redundantie; de vereisten van alle vier de stoffen; de bedrijfsmodus en, voor RoCE, het volledige ontwerp van congestie-controle; het gemeten kabeltraject en de daaruit voortvloeiende interconnectiekeuze; connector, polariteit en verliesbudget; FEC en breakout-modus; modulevermogen tegen thermische limieten van de volledige-bevolking; firmware- en CMIS-compatibiliteit; kwalificatiestatus van de leverancier; en laboratoriumresultaten voor BER-, prestatie-, congestie-, uitval- en weektests.

QSFP-DD ondersteunt een schaalbare 400G- of 800G AI-infrastructuur. Het is nog steeds slechts één onderdeel van het ontwerp. Begin met de eindpunten en het verkeersmodel, bereken de topologie, kies de fysieke link op basis van de gemeten afstand en valideer het samengestelde systeem voordat het een trainingstaak uitvoert.

Methodologie en reikwijdte

Deze gids is gebaseerd op drie soorten bronnen, en deze zijn in de bovenstaande tekst bewust gescheiden gehouden.Normen en MSA-documenten- IEEE 802.3df, de QSFP-DD- en OSFP MSA-hardwarespecificaties en de OIF CMIS-implementatieovereenkomsten - definiëren vormfactoren, signalering en beheergedrag.Leveranciersdocumentatie- NVIDIA DGX-systeemhandleidingen, DGX SuperPOD-referentiearchitecturen, ConnectX-8-poortconfiguratie-opmerkingen en Cumulus Linux RoCE-documentatie - wordt aangehaald als leverancierspecifiek voorbeeld, niet als universeel gedrag; andere platforms verschillen.Technische richtlijnen- het volgordeadvies, de voorkeur voor kortere links, de validatiedrempels - zijn operationele aanbevelingen die zijn ontleend aan de implementatiepraktijk en worden als zodanig bestempeld in plaats van gepresenteerd als specificatie.

 

Aanvraag sturen