100G QSFP28 Spine-Bladontwerp: vermijd poortfouten

Een 100G-ruggengraat-leaf fabric is een van de betrouwbaarste manieren om 25G-servers, 100G-uplinks, opslagclusters en oost-west-zware werklasten in een modern datacenter met elkaar te verbinden. De aantrekkingskracht van QSFP28 is zijn flexibiliteit: een enkele poort kan een native 100G-link dragen of kan worden opgesplitst in vier 25G-serververbindingen, zodat één switch zowel de toegangsrand als de fabric core kan bedienen.

Snelle schakelaars zijn het makkelijke gedeelte. Een 100G-ontwerp leeft of sterft op basis van de beslissingen die vóór de aankooporder zijn genomen: hoe elke poort wordt toegewezen, hoe de overabonnementsratio eruit ziet onder normale en foutomstandigheden, welke optica overeenkomt met de echte kabeltrajecten, hoeveel warmte die optica toevoegen, en of de stof kan groeien naar 400G zonder een upgrade van een vorkheftruck.

Deze handleiding is een leverancier-neutraal planningsnaslagwerk voor netwerk- en infrastructuurteams. De onderstaande afbeeldingen volgen de huidige IEEE 802.3 Ethernet-specificaties en de relevante optische multi-bronovereenkomsten, maar elke switch en transceiver heeft zijn eigen datasheet, dus bevestig de exacte cijfers voor de hardware die u koopt.

Hoe u de voorbeelden in deze handleiding leest.Tenzij anders aangegeven, gaan ze uit van single-homed servers met elk één 25G NIC, 48 hostpoorten per leaf, 100G leaf-naar-spin-uplinks, een volledig mesh waarin elk leaf verbinding maakt met elke spin, en voorwaartse foutcorrectie ingeschakeld waar de optica dit vereist. Dubbele-homing, snellere NIC's of verschillende poortaantallen zullen elk getal dat volgt veranderen.

Wat is een 100G Spine-Leaf-netwerk?

Spine-leaf is een datacenterarchitectuur met twee- niveaus, opgebouwd uit leaf-switches en Spine-switches. Leaf-switches bevinden zich bovenaan elk rack en bieden naar de server- gerichte poorten plus uplinks naar de wervelkolom. Ruggengraatschakelaars vormen de hoge-snelheidsruggengraat. Elk blad is verbonden met elke ruggengraat, dus het verkeer tussen de rekken beweegt blad naar ruggengraat naar blad langs een pad van gelijke- lengte.

Het ontwerp is populair omdat het levert:

• Voorspelbare, gelijke padlengte tussen twee racks
• Systeemeigen ondersteuning voor zwaar oost-westverkeer
• Alle uplinks zijn actief via ECMP in plaats van geblokkeerd door spanning tree
• Eenvoudig horizontaal schalen - voeg bladeren toe voor poorten, voeg stekels toe voor capaciteit

In een 100G-infrastructuur draaien leaf{1}}naar-spine-links op 100G, terwijl server-gerichte poorten werken op 10G, 25G, 50G of 100G, afhankelijk van de werklast. Tegenwoordig is 25G-toegang met 100G-uplinks de meest voorkomende bedrijfscombinatie.

Fysiek ontwerp versus logisch ontwerp

"Netwerkontwerp" omvat twee lagen die gemakkelijk samen te voegen zijn. Deze handleiding concentreert zich op de fysieke en capaciteitslaag - poorten, optica, overabonnement, bekabeling -, want dat is waar u zich aan verplicht als u hardware koopt. Maar de logische laag bepaalt hoe het weefsel het verkeer doorstuurt, en vormt verschillende fysieke keuzes.

Aan de fysieke kant zitten schakelaar- en poortselectie, NIC-snelheden, overabonnement, optica, bekabeling, stroom en koeling. Aan de logische kant zit de ECMP-belasting-verdeeld over de uplinks; een overlay zoals VXLAN met een BGP EVPN-besturingsvlak voor multi{2}}laag 2 en laag 3 met meerdere tenants over een gerouteerde onderlaag; dual-homing met MLAG of MC-LAG en LACP aan de toegangsrand; en mislukte-domeingrootte. Voor RDMA-fabrics moet u ook een vrijwel-verliesloos netwerk ontwerpen, zoals hieronder wordt beschreven. Bepaal het logische model vroeg, omdat dit van invloed is op het aantal uplinks, hoeveel stekels u wilt hebben voor de ECMP-breedte en of bladeren worden ingezet als MLAG-paren.

Stap 1 - Definieer de serversnelheid en werklast

Begin met de werklast, niet met de optica. Een algemeen virtualisatiecluster, een opslagstructuur en een AI-trainingspod hebben zeer verschillende behoeften, en het juiste ontwerp volgt het verkeer.

25G-servers met 100G-uplinks

Voor de meeste zakelijke en particuliere-cloudomgevingen is 25G-toegang met 100G leaf-om-uplinks te ondersteunen de ideale oplossing: een grote sprong boven 10G terwijl de NIC-, kabel- en switchkosten redelijk blijven. Een typische build combineert 25G downlinks, 100G uplinks en een verhouding van 2:1 tot 3:1 voor algemene rekenkracht, waarbij een lagere overabonnement gereserveerd is voor opslag- en latentiegevoelige niveaus. Het is geschikt voor virtualisatie, private cloud, weblagen en het grootste deel van de zakelijke datacenters.

Native 100G voor opslag, AI en HPC

Voor sommige productietaken is native 100G naar de server nodig: gedistribueerde en NVMe-opslag, AI- en machine-training, HPC, grootschalige- analyses en RDMA met lage- latentie. Hier moet het overabonnement laag zijn - vaak niet-blokkerend of dichtbij - omdat het verkeerspatroon het probleem is, en niet alleen het volume.

AI-, HPC- en RDMA-workloads genereren dicht, gesynchroniseerd verkeer van alle-naar-hele oost-westelijke gebieden: veel knooppunten verzenden op hetzelfde moment naar veel knooppunten, dus de statistische afvlakking die u bespaart op een virtualisatiestructuur is niet langer van toepassing. RDMA over Converged Ethernet (RoCE) voegt een tweede beperking toe, omdat het een vrijwel verliesvrije structuur verwacht, wat in de praktijk betekent dat Priority Flow Control (PFC) en Explicit Congestion Notification (ECN) van begin tot eind zijn afgestemd. Een fabric die frames onder congestie laat vallen, zal de RoCE-prestaties zien instorten, dus deze clusters worden meestal gebouwd op 1:1 met zorgvuldige buffer- en congestieconfiguratie.

Stap 2 - Hoe u Leaf- en Spine-switchpoorten kunt berekenen voor een 100G-fabric

Havenplanning begint bij het blad, niet bij de ruggengraat. Werk naar buiten vanaf de servers:

1. Tel naar de server- gerichte poorten per rack.
2. Bepaal of elk native 25G, native 100G of een breakout-lane is.
3. Reserveer QSFP28-poorten voor wervelkolom-uplinks.
4. Voeg reservepoorten toe voor groei, redundantie, testen en vervanging.
5. Bereken de overinschrijving opnieuw nadat de breakout is toegewezen, en niet eerder.

Tel naar de server- gerichte poorten

Bepaal voor elk rack het aantal servers, de snelheid van de NIC, de NIC's per server, single- of dual-homed, en de benodigde reserveonderdelen. Een rack van 48 servers met één 25G NIC heeft elk 48 hostpoorten nodig. Verdubbel-deze servers naar een leaf-paar en het aantal toegangspoorten voor het paar verdubbelt.

Reserveer uplinkpoorten en let op de dubbele-telling

Reserveer na hostpoorten QSFP28-poorten voor de wervelkolom. Dit is waar de meest voorkomende fout zich verbergt: als dezelfde QSFP28-poorten worden gebruikt voor 4x25G-breakout, zijn ze niet langer beschikbaar als uplinks. De grootste planningsfout is niet het verkeerd tellen van 100G-uplinks, maar het overschatten van de uplink-poorten die overblijven zodra de breakout erin is opgegeten. Wijs een uitbraak toe vóór de overinschrijvingswiskunde, anders is de door u berekende verhouding fictie.

Een uitgewerkt voorbeeld helpt. Neem een ​​gangbaar 1U-blad met 48 SFP28-hostpoorten en 8 QSFP28-poorten:

Met zes uplinks die 1.200 G aan toegangsverkeer vervoeren, draait het blad op 2:1 en blijven twee QSFP28-poorten in reserve. Geef elke poort een enkele, expliciete rol in een spreadsheet voordat u iets anders op maat maakt.

Laat reservecapaciteit over

Consumeer niet elke port op de eerste dag. Reserveer ruimte voor nieuwe servers, extra spins, tijdelijke testlinks, mislukte-poortwissels, monitoringtaps en migratie. Een beetje ongebruikte capaciteit is veel goedkoper dan een herontwerp.

Stap 3 - Bereken het overabonnement, inclusief N-1

Bij overabonnement wordt de totale server--bandbreedte op een blad vergeleken met de totale uplink-bandbreedte naar de wervelkolom:

Overabonnementsratio=totale downlinkbandbreedte / totale uplinkbandbreedte

Voor het blad hierboven: 48 x 25G=1,200G omlaag en 6 x 100G=600G omhoog, wat 1.200 / 600=2:1 oplevert. Dat betekent twee keer zoveel theoretische toegangsbandbreedte als uplink-bandbreedte - meestal prima voor algemene rekenkracht, waarbij servers zelden allemaal tegelijk op lijnsnelheid verzenden, maar een reële beperking voor opslag, AI, HPC en RDMA.

Controleer altijd het N-1-geval

Een stof kan er bij normaal gebruik gezond uitzien en verstikken tijdens een storing. Beschouw een leaf met acht 100G-uplinks gelijkmatig verdeeld over vier stekels - twee per ruggengraat, 800G totaal, dus 1200G toegang geeft een verhouding van 1,5:1. Als je één ruggengraat verliest, daalt het blad twee uplinks naar 600G, waardoor de verhouding voor de duur van de storing naar 2:1 gaat. Als je doel 'niet slechter is dan 2:1, zelfs als het mislukt', moet je beginnen in de buurt van 1,5:1. Bereken zowel de normale verhouding als de N-1-verhouding na verlies van één wervelkolom of uplink; het tweede getal is degene die bijt tijdens onderhoud.

Planningsbereiken per werklast

Er is geen universele verhouding, dus behandel het volgende als planningsbereiken, niet als standaarden, en valideer waar mogelijk aan de hand van gemeten verkeer:

Controleer bij een upgrade het huidige uplinkgebruik, piek- en oost-{0}}west-patronen, opslagstromen en back-upvensters voordat u een verhouding vastlegt.

Stap 4 - Kies QSFP28-optieken en -kabels

QSFP28 100G-interfaces zijn gestandaardiseerd door IEEE 802.3 - the802.3bm-amendement100GBASE-SR4 toegevoegd, naast de single-mode LR4 PHY. Selecteer optica op basis van afstand, vezeltype, connector, vermogen en switchcompatibiliteit, en vermijd standaard het langste bereik: bereik dat u niet nodig heeft, betekent meestal kosten en vermogen dat u niet nodig heeft. Pas de module aan de run aan met een redelijke marge.

DAC en AOC voor korte serververbindingen

Voor verbindingen in-racks en aangrenzende-racks zijn QSFP28 direct-attach koperen (DAC) en actieve optische kabels (AOC) praktisch. Passieve DAC is geschikt voor de kortste hops - een paar meter - tegen de laagste kosten en het laagste vermogen, terwijl AOC het bereik vergroot en lichter en flexibeler is waar koperbulk een probleem wordt. Voor 25G-toegang is QSFP28-naar-4x SFP28 breakout DAC of AOC gebruikelijk wanneer de switch breakout ondersteunt.

100GBASE-SR4 voor korte multimode-uplinks

SR4 draagt ​​100G overacht vezels van parallelle multimodemet behulp van een MPO/MTP-connector, waardoor het een kosteneffectieve keuze is voor korte-bladige- naar- ruggengraattrajecten binnen een rij. Het bereik hangt af van de vezelkwaliteit - ongeveer 70 m op OM3 en 100 m op OM4 -, dus het loont de moeite om te weten welk bereik u kunt verwachtenOM3-, OM4- en OM5 multimode-glasvezelin uw vloer. De belangrijkste beperking bij de planning is de parallelle bekabeling: MPO-patching en polariteit moeten vooraf worden uitgewerkt.

CWDM4 of FR voor single-modus loopt tot ongeveer 2 km

Voor inter-rij-, inter-ruimte- of inter-hal-links zijn single--mode optica zoals CWDM4 of FR beter geschikt. De100G CWDM4MSAdefinieert een bereik van 2 km over een enkel paar single{1}}mode-vezels met een duplex LC-connector en FEC. Omdat ze duplexvezel gebruiken in plaats van parallelle MPO, vallen CWDM4- en FR-optieken vaak schoner in een single-mode-installatie dan SR4 - en over die afstanden is de keuze tussenOS1 en OS2 single- glasvezelbegint er toe te doen voor uw verliesbudget. Kortere varianten met enkele-modus, zoals DR, bestrijken ongeveer 500 m, waarbij dat alles is wat u nodig heeft.

100GBASE-LR4 voor campus en DCI

LR4 is de optie met een groot- bereik, met een capaciteit van 100 Gtot ongeveer 10 km via duplex single{1}}glasvezelvoor campus, gebouw-naar-gebouw, of data-centrum-met elkaar verbonden verbindingen. Gebruik het alleen waar de afstand er echt om vraagt; Optica met een groot-bereik op korte intra-data-centerhops voegen eenvoudigweg kosten, kracht en warmte toe zonder de structuur te verbeteren.

QSFP28 100G Optics-vergelijking

In de tabel wordt samengevat waar elke optie past. Beschouw de bereiken als typische planningscijfers en bevestig de exacte cijfers, vezelkwaliteit en FEC-vereisten op het gegevensblad van elke module.

Bewerkte voorbeelden: kleine, middelgrote en grote stoffen

Dit zijn vereenvoudigde planningsmodellen, geen blauwdrukken. Het aantal stekels wordt meestal gekozen om de uplinks gelijkmatig te verdelen en de ECMP-breedte in te stellen: twee stekels zijn het praktische minimum voor redundantie, vier geven een fijnere N-1-granulariteit en een betere verdeling van de belasting, en acht zijn geschikt voor grote stoffen. Het aantal bladeren wordt aangepast aan de serverpoorten die u nodig heeft.

Kleine stof

• 8 bladschakelaars
• 2 wervelkolomschakelaars
• 48 x 25G serverpoorten per leaf
• 4 x 100G uplinks per blad
• 384 enkele-homed 25G-serverpoorten

Per blad: 1.200G omlaag, 400G omhoog, dus 3:1. Werkbaar voor algemene rekenkracht, maar krap voor zware opslag of AI. Voeg uplinks toe of trim de toegang per leaf als u een lagere verhouding nodig heeft.

Middelgrote stof

• 16 bladschakelaars
• 4 wervelkolomschakelaars
• 48 x 25G serverpoorten per leaf
• 6 x 100G uplinks per blad
• 768 single-homed 25G-serverpoorten

Per blad: 1.200G omlaag, 600G omhoog, dus 2:1. Een solide balans voor virtualisatie en enterprise-workloads, en vier stekels verspreiden ECMP beter dan twee.

Grote stof

• 32 bladschakelaars
• 8 wervelkolomschakelaars
• 48 x 25G serverpoorten per leaf
• 8 x 100G uplinks per blad
• 1.536 single-homed 25G-serverpoorten

Per blad: 1.200G omlaag, 800G omhoog, dus 1,5:1. Meer uplink-ruimte, maar meer optica, glasvezel, kosten, stroom en bekabeling om te beheren. Op deze schaal is documentatie onderdeel van het ontwerp: labeling, poortkaarten, polariteit, reserveoptiek, luchtstroom en monitoring moeten allemaal vóór installatie worden gepland.

QSFP28 Breakout-planning (100G tot 4x25G)

Breakout is het nuttigste en meest onbegrepen onderdeel van het QSFP28-ontwerp. Waar de switch, kabel en configuratie dit toelaten, wordt één QSFP28-poort opgesplitst in vier 25G SFP28-verbindingen, waardoor vier 25G-servers worden verbonden via één enkele 100G-poort. Het verdient zijn plaats als u een hoge 25G-dichtheid nodig heeft, over voldoende QSFP28-poorten beschikt, de kosten per serververbinding wilt verlagen of een overgangs-25G/100G-infrastructuur bouwt met behulp van QSFP28-naar-4x SFP28 DAC, AOC ofMTP/MPO breakout-kabelsafhankelijk van afstand.

Het probleem is dat breakout QSFP28-poorten verbruikt. Als een QSFP28-switch met 32-poorten 16 poorten toewijst aan 4x25G-breakout, ondersteunen die 16 poorten 64 servers, maar blijven er slechts 16 QSFP28-poorten over voor uplinks, opslag, interconnects en reserveonderdelen. De vuistregel is om eerst de breakout-poorten te tellen en vervolgens te tellen wat er nog over is voor uplinks.

Voordat u zich vastlegt, moet u een paar dingen bevestigen en vroeg beslissen of elke run eenkofferbak of een breakout-constructie:

• Welke poorten ondersteunen breakout en zijn er poortgroepbeperkingen-?
• Schakelt het inschakelen van breakout aangrenzende poorten uit?
• Ondersteunt het switch-besturingssysteem de modus die u nodig heeft?
• DAC-, AOC- of breakout-optiek voor elke run?
• Zijn alle vier de rijstroken nu nodig, of pas later?
• Welke invloed zal een uitbraak hebben op een toekomstige overstap naar native 100G-servers?

Stroom-, koeling- en kabelbeheer

Een 100G-weefsel produceert meer dan bandbreedte - het produceert warmte, luchtstroombelasting en kabeldichtheid. Het stroombudget moet betrekking hebben op het chassis en de ventilatoren van de schakelaars, QSFP28 optische modules (en DAC of AOC waar gebruikt), redundante voedingen, capaciteit op rack-niveau en de groeimarge. Bij de koeling moet rekening worden gehouden met de warme- en koude- gangpadindeling, consistente luchtstroom van voor- naar - naar achteren of van achteren- naar- voorkant, blinde panelen, kabelobstructie, omgevingstemperatuur en monitoring van de module-temperatuur, omdat een ruggengraat vol met optica een echte thermische belasting is.

De bekabeling schaalt snel op: 16 bladen naar 4 stekels zijn al 64 blad-naar-spinale verbindingen, die allemaal moeten worden gelabeld, gerouteerd, getest en gedocumenteerd. Een volledig-mesh-weefsel is veel gemakkelijker te bouwen en te onderhouden als het vooraf- is afgewerktMPO/MTP-trunkbekabelingdan met veld-getermineerde glasvezel. Teams moeten ook vooraf afspraken maken over connectoren en polariteit; depraktische verschillen tussen MTP en MPOzijn het waard om te bevestigen voordat u bestelt. Slordige documentatie kost op de eerste dag niets en tijdens de eerste storing veel.

Ontwerpen voor een 400G-upgrade

Ontwerp de stof met een realistisch upgradepad. Je hebt niet overal op de eerste dag 400G nodig, maar keuzes die de overstap later pijnlijk maken, moet je vermijden. Begin na te denken over de gereedheid voor 400G wanneer de uplinks al zwaar belast zijn, wanneer het toevoegen van meer 100G-spines lastig wordt, wanneer het aantal ECMP-paden de platformlimieten nadert, of wanneer de AI-, opslag- of oost-westgroei versnelt.

De gebruikelijke strategie is om eerst de wervelkolom te upgraden: bladeren behouden hun 100G-uplinks, terwijl een wervelkolom met een hogere- capaciteit - poorten gebruikt zoalsQSFP-DD- voegt speelruimte toe, vaak waarbij 400G-poorten worden opgesplitst in 4x100G, terug in de richting van de bestaande bladeren. Het bredere traject wordt uitgezet door de sector: deEthernet Alliance-routekaartloopt nu via 400G, 800G en verder, grotendeels aangedreven door AI. Wanneer u schakelaars evalueert, controleer dan of het platform de snelheden, optica, breakout-modi en softwarefuncties ondersteunt die een gefaseerde upgrade nodig heeft.

Wanneer een 100G-ruggengraat-bladontwerp niet de juiste keuze is

Dit ontwerp is niet universeel en in enkele gevallen is iets anders nodig. Een handvol servers in één of twee racks rechtvaardigt zelden een volledige 'spinne'-{1}}leaf-constructie, waarbij een paar redundante switches eenvoudiger en goedkoper is. Zeer grote AI-trainingsclusters kunnen verder gaan dan wat een 100G-toegangs- en 100G-ruggengraatstructuur goed aankan, en vanaf het begin op 400G- of 800G-fabrics - of zelfs een speciaal InfiniBand-netwerk - terechtkomen. En als bijna al het verkeer noord-zuid naar een gateway gaat in plaats van oost-west tussen rekken, zijn de oost-westvoordelen van het ruggengraat-blad minder belangrijk, dus moet de topologie worden gerechtvaardigd op grond van groei en operationele redenen in plaats van te worden aangenomen. Stem de architectuur af op het verkeer en de schaal, en niet andersom.

Veelvoorkomende fouten bij het ontwerpen van de 100G-ruggengraat-blad

• QSFP28-poorten twee keer tellen.Een poort is een 4x25G breakout of een 100G uplink, nooit allebei. Geef elke haven één rol.
• Optiek kiezen op maximaal bereik.Een groter bereik verhoogt de kosten en het vermogen; stem de optiek af op de daadwerkelijke vezelafstand en het type vezel.
• N-1 negeren.Controleer de verhouding tijdens normaal gebruik en na verlies van een wervelkolom.
• We vergeten optisch vermogen en warmte.Een ruggengraat vol QSFP28-modules is een echte thermische belasting, dus neem optica mee in de stroom- en koelingswiskunde.
• Het behandelen van bekabeling als een bijzaak.Routing, labeling, polariteit en documentatie horen bij het ontwerp, niet bij de installatie.
• Alleen ontworpen voor de huidige serversnelheid.Als 25G-toegang verschuift naar 100G, laat dan ruimte over voor native 100G of een 400G-ruggengraat.

Conclusie

Een goed 100G-ruggengraat-leaf-ontwerp is de som van de beslissingen die worden genomen voordat de hardware arriveert: definieer de werklast, tel de poorten correct, bereken het overabonnement onder zowel normale omstandigheden als bij storingen, kies optica op afstand, plan de uitbraak bewust, budget voor stroom en koeling, en laat ruimte over voor 400G. Voor de meeste zakelijke datacenters blijft 25G-toegang met 100G QSFP28-uplinks een sterke balans tussen prestaties, kosten en schaal, terwijl opslag, AI en HPC eenvoudigweg een lagere overabonnement en strengere validatie vereisen. De betrouwbare aanpak verandert niet: ontwerp vanaf de server, bewijs de wiskunde onder normale en N-1-omstandigheden en documenteer elke link vóór implementatie.