TG-nettet for dummies!

“Hva skal vi blogge om?”

“Lag en skikkelig noob forklaring om hvordan nettverket er satt opp på tg. Slik at selv mennesker som meg forstår :D”

CHALLENGE ACCEPTED!

Håper du er glad i lange blog-poster!

Kant og gulv

Så internett på TG, hvordan funker det egentlig? Så en “noob” forstår…. Hvor skal man begynne? På internett? Nei, begynner på andre enden jeg! På PC’en din!

Når du kommer på TG har du med deg en pc, finner plassen din og drar frem kabelen din. Og kobler den til. Du kobler da til det vi kaller en “kant-svitsj” eller “aksess svitsj”. Det er det vi kaller det utstyret som er helt på kanten av nettverket, mot brukerene våre. Alle deltakere som kobler seg på samme kantsvitsj befinner seg på samme lokalnettverk – samme LAN, faktisk. Om du vet hva en IP adresse er så betyr det at du og de du deler svitsjen på har ip-adresser som er i samme “range” – eller ved sidenav hverandre om du vil, i samme serie. Vi deler opp så hver kantsvitsj kan ha opp i mot 62 unike IP’er.

På samme lokalnettverk kan alle pc’er snakke rett med hverandre på det som kalles “lag 2” (lag 1 er det elektriske laget – lag 2 er “lan”-laget om du vil, lag 3 er “internett”).

Med direkte så mener jeg at det ikke er noe filtrering og du kan snakke uten at “vi” styrer stort med det. Det er slik LAN fungerte i gamledager. Vi kan i prinsippet bare koble alle våre svitsjer sammen slik i en stjerne. På mindre dataparties så er det ofte det man gjør: Man har en svitsj i “midten” og 3-5 andre koblet på den. Rent fysisk gjør vi det på TG også, men når du har 120 kantsvitsjer (120 deltakersvitsjer, om du vil) så får man et problem med støy!

Støy? Tenk deg at du befinner deg i et rom med 5 folk, det går fint å snakke med alle da, og det går fint å snakke en og en. I et rom med 40 går det også greit. Det går faktisk fint i et 17 mai-tog med flere tusen folk også. Inntill noen begynner å rope “SKAL VI SPILLE DUKE NUKEM 3D?” så høyt at alle hører det. Med 5 folk er det ikke et stort problem – du overlever, med 40-50 går det ok-ish. Men om et helt søttendemaitog roper, blir det bråkete. Og forskjellen på et rom og et LAN er at i et rom så avtar jo lyden med avstand, så du blir ikke forstyrret om noen står lenger bort, men i et LAN så gjør det ikke det. Heldigvis er det sånn at om du snakker kun til en pc så er det bare den som får signalet, men det er masse ting en PC gjør som går til “alle” – alt fra å finne LAN-spill til å lete etter printere til å spre virus…. Jo flere som deler samme LAN, jo mer støy.

Derfor har vi delt inn TG slik at hver kantsvitsj har sitt eget nettverk (andre ord på det samme: ett subnet, noen vil si “vlan”, men det er litt missvisende).

I vårt eksempel blir det som om hver kantsvitsj er et eget rom.

Hver kantsvitsj er koblet med 3 “uplink”-kabler opp til det vi kaller en distribusjonssvitsj (vi pleier å kalle det en distro på TG). Vi kaller det uplink når man går fra en mindre dings til en åpenbart større/mer sentral… veldig vitenskaplig ….

Distro

Distroene er de svitsjene dere kan se i midtgangen. Se på det som at du befinner deg i et rom, og om du går ut i gangen når du en distro-svitsj.

For å sørge for at de 40 folka du deler kantsvisjen med kan få litt bedre hastighet – og for at konsekvensen ved feil er mindre – så har vi trukket ikke en, men TRE kabler fra kantsvitsjene til distroene. Disse er satt opp så det for svitsjene opptrer som én enkel kabel – men med tre ganger så høy hastighet. Om noen tar ut en av de tre vil vi fortsatt ha 2Gbit/s igjen å gå på.

En annen litt kompliserende faktor er at hver av distro-svitsjene våre består av 3 fysiske svitsjer som er helt like. Men disse tre svitsjene er satt opp til å snakke sammen med en intern protokoll og oppfører seg NESTEN som om de var en og samme svitsj. Så for alle praktiske formål kan du tenke på det som en enkelt svitsj, selv om det fysisk er tre av dem.

Hver av distro-svitsjene våre er koblet på cirka 10-15 kantsvitsjer. Kanskje 500 deltakere? I tillegg kobler vi de trådløse akksesspunktene på disse også (vi holder trådløs litt utenfor).

I gamledager (fram til og med TG17 – skikkelig superlenge siden) brukte vi disse distrosvitsjene som “rutere”, det gjør vi ikke dag. En ruter er en nettverksting som skjønner adressering av internett-pakker – et lite logisk nivå over “alle i et rom”-nivået. Fordi våre distrosvitsjer har vist seg å være litt svake så har vi slutta å rute på dem – før kunne trafikk som skulle fra en kantsvitsj til en annen kantsvitsj på samme distro rutes “direkte”: fra kantsvitsj A til distro til kantsvitsj B. Det kan de ikke lenger. I stedet sender vi all trafikk som går UT fra en kantsvitsj TIL en distro opp til …. core!

CORE

Så vi har kantsvitsj->distro-> core?

Så distro-svitsjene våre er altså koblet til noe vi kaller “core”. Dette er gjort ved at vi har trukket 2 fiberkabler fra taket i vikingskipet ned til hver av distrosvitsjene. Disse fiberkablene kan hver overføre 10Gbit/s. Og akkurat som vi gjorde med de tre kablene fra kant til distro så har vi satt det opp så det fremstår som én logisk kabel.

I “gamledager” hadde vi en faktisk ruter i taket. Det har vi ikke lenger, fordi fiberkabler har en egenskap som din TP-kabel ikke har: Du kan trekke fiberkabler LANGT! En TP-kabel har en maks-lengde på 100 meter. En fiber-kabel slik vi bruker har flere ti-talls kilometer. Da slipper vi slikt som vi hadde under TG17:

Så når de 2 fiberkablene fra en distro kommer opp i taket så kobles de inn i et “patcheskap”. Dette er rett og slett bare et dumt koblingsskap. I andre endren av skapet er det en kabel med 24 fiberkabler, denne kabelen går langs med en “bro” i taket og ned til “NOC”en som dere ser på tribunen – der Tech:Net sitter med den fine grønne lampa. Denne fiberkabelen har vi lagt permanent i vikingskipet.

Siden vi har 9 distro-svitsjer, hver av dem bruker 2 fiberkabler, så bruker vi “bare” 18 av 24 fiberkabler nå, og har 6 vi kan bruke til annet.

Nede ved NOC’en står det en core-ruter, dette er en kraftigere ting, den vi lånte for TG18 og sikter på for TG19 kan veie opp mot 86kg så det er fint å
slippe å bære den helt opp i taket.

Core ser cirka slik ut:

(Her har vi altså vår tekniker på saken! Den store er core, den lille til høyre er ring-node – vi kommer til det!)

Alle distro-svitsjene blir altså koblet inn på core, og om du på din kantsvitsj skal snakke med naboen din som sitter på en annen kantsvitsj – eller noen i helt andre enden av skipet – så går trafikken “opp til” denne ruteren.

For å tegne dette med høyteknologiske hjelpemidler….

Dette er egentlig et veldig tradisjonelt stjerne-nettverk, uten veldig mye eksotiske ting ved seg.

Fra “IP-perspektiv” ser det litt annerledes ut – som jeg forvirret dere med tildigere så gjør vi ikke ruting på distro-svitsjene våre, så de er en slags “kabel-samlere” bare. Så rent logisk ser det mer slik ut:

Ganske rett fram!!!

Ringen

Men så blir det litt klønete da. Vi skal jo også ut på INTERNETT! Og det er masse små rare ting rundt om i skipet som IKKE er koblet via “core”. Det vi har snakket om foreløpig er kun det vi kaller “gulvet” – alle de “vanlige” kantsvitsjene.

I vikingskipet er det masse steder vi trenger nettverk uten at det er lett å koble på via “gulvet”. For å løse dette har Tech-crewet lagt en permanent fiber-infrastruktur i vikingskipet, som vi kaller “ringen”. Det er rett og slett 6 fiberkabler som sammen danner en ring rundt hele vikingskipet. Hver av “nodene” i ringen befinner seg henholdsvis:.

I “NOC”en – altså på tribunen i vest der også core står. Denne brukes til Tech:Net-crewet, til alle crewene som sitter på tribunen, sponsor-rommene, ned til resepsjonen (aner ikke helt hvor DET strekket går! Men noen vet!) og masse annet – dette er den mest brukte noden. Dere kan skimte ring-noden ved noc’en på bildet av core over.

Videre nordover går det til “elrommet” et rom veldig få folk er inne i – I praksis bare noen få i Tech:Net og HOA (de som eier vikingskipet) – det er her all strømmen i skipet føres inn. Dette er under auditoriet i nordenden. Denne noden brukes blant annet for å dra kabler til auditoriet og ut til enkelte sponsorer og annet som er helt i nord.

Østover er neste stopp i “swing” – et lager i nord østre sving. Dette er bak scenen og til venstre, og brukes – ikke overraskende – til blant annet scenen og alt som skjer der (av og til har vi droppet en ekstra fiber fra taket også, men ikke i det siste tror jeg)..

Neste stopp med klokka er “log” – dette er lageret til bak og til høyre for scenen, der blant annet logistikk-crewet sitter. Og brukes igjen nettopp til logistikk og tilsvarende “ymse”.

Videre igjen går vi ned til “south” – lageret i sør øst hvor “creative” har pleid å holde til. Og igjen, brukes til blant annet creative, trådløspunkter, og IKKE MINST, kameraet vi har helt i sørenden av skipet!

Neste stopp er telematikkrommet – dette er det desidert mest kritiske rommet for Tech:Net – det er et bittelite “teknisk rom” i noen ganger i sør vest – ikke langt unna den inngangen dere går inn i ved hovedinnslippet..

Her går det videre igjen til NOC’en, og ringen er sluttet. Hvert strekk i ringen har 6 fiberpar, så vi har litt å gå på siden vi normalt bare bruker ett par til den “logiske” ringen. I tillegg til dette går det en ekstra kabel fra NOC’en og ned til tele-rommet, så vi har 6 + 24 par dit. Vi har også en siste kabel vi faktisk ikke bruker som går fra logistikk og opp til gangene i etasjen over bak scenen. Denne har vi av og til brukt når det stod en buss med produksjonsutstyr bak der.

Her har jeg forøkt å tegne kun de fiberkablene som ligger permanent i skipet – inkludert de 24 parene som går opp i taket.

Så for at resepsjonen skal kunne koble seg på så drar vi typisk to TP-kabler helt fra resepsjonen og opp til NOC’en – i diverse kabelgater og ganger (ikke spør meg hvor de går – dette er her Tech:Support stepper inn!).

På hver av ring-“nodene” har vi en svitsj som er hakket kvassere enn distro-svitsjene våre (Distroene er EX3300 og ringen består av 6 EX4300 eller EX4600 – det er jo større tall så det må være bedre!).

For å spare oss selv litt jobb så har vi satt opp ringen slik at alle 6 nodene fremstår som en logisk svitsj – nesten nøyaktig det samme vi gjør med distroene våre. Så selv om det er fysisk 6 svitsjer så snakker de sammen og later som om de bare er en svitsj.

De er også koblet sammen med 40Gbit/s fiber – i hver retning. Siden det er en faktisk ring betyr det at om vi “mister” en kabel (f.eks. noen kobler ut noe eller vi mister strøm) så vil fortsatt trafikken flyte den andre retningen.

Ringen er det første vi setter opp, så og si. Dette fordi vi faktisk trenger den for å komme på nett selv!

En liten forskjell på ringen og en distro er at siden ringen består av bedre svitsjer så klarer vi å gjøre ruting på den – om de i resepsjonen skal snakke med en pc på scenen går det kun på ringen, ikke via noe core-ruter.

Tele

Ok, men hvordan henger gulvet og ringen og internett sammen?

Da må vi snakke om tele-rommet!

På telerommet er det tre ting vi har som er viktig:

1. En “ring”-node.
2. En “tele-gw” – ruter for internett og lokalt. Det var vel 4 svitsjer i en logisk enhet på TG18?
3. En “tele-fw” – en firewall (brannmur).

Jeg holder brannmuren litt utenfor jeg.

Så vi har snakket om ringen. Det bør være lett å gjette nå, men den “ring-noden” som står på tele-rommet er naturligvis koblet på “tele-gw”-ruteren. Dette er 40Gbit/s.

Det som ikke er like åpenbart er at ring-noden som står ved NOC’en er også koblet med 40Gbit/s til “tele-gw”. Via samme fysiske kabel som linken som kobler de to ring-nodene på NOC og tele, men et annet par….

Dette er både forvirrende og kanskje vanskelig å forstå hvorfor. Men tenk dere selv hva som skjer om noe skjer med ring-noden som står på tele: Vi snakket jo om at ringen går i ring og dermed vil trafikken fortsatt flyte om vi mister en node, men det hjelper jo ikke hvis den noden var den som hadde eneste forbindelse mot internett! Derfor denne litt invikla trekanten. Logisk betyr det at ringen har 80Gbit/s mot “tele-gw”. Fysisk er det 40Gbit/s fra “ring noc” og 40Gbit/s fra “ring tele”…

Tele-gw igjen er koblet mot internett med 5 stykk 10Gbit/s-linker. Via en brannmur (her har vi brukt litt forskjellige løsninger, men for å ikke forvirre ALT for mye så holder vi det med det).

Core – altså der all trafikken fra “gulvet” kommer – er koblet til tele-gw via to 40Gbit/s linker også.

I tillegg har vi en “stand” med servere som dere kanskje har sett. Denne er igjen koblet både med to 40Gbit/s-linker til core-ruteren, og to
40Gbit/s-linker til “tele gw”….

Om dette er forvirrende for deg er det ikke så rart – jeg var ikke helt klar over detaljene her selv før i helga – men vi tegnet denne flotte tegningen på tavla (blås i de øverste bitene – det er del av en annen tegning).

Her er “MX” kort for “MX480” – core-ruteren. Og “rs tele” er det samme som “tele gw” – navn er vanskelig.

Så la meg prøve på to tegninger til – en med fysisk kabling og en logisk ruting!

Først det fysiske kaoset:

Så det logiske:

….

Som du kanskje ser så er det logiske nettverket på TG ikke ekstremt komplisert egentlig. Men som krussedullene mine kanskje hinter om – dette er ikke noe jeg heller har 100% oversikt over hele tiden – det krever en del tenking. Og jeg måtte dobbeltsjekke litt med resten av Tech:Net mens jeg rundet av denne blog-posten….. Vi har prøvd å forenkle det der vi kan, men HELT enkelt er det ikke. Det som kanskje etterlater et par spørsmål er hvordan ruting fungerer når det er flere måter å komme fra A til B, og hvordan det fungerer om vi “mister” en link…

Kort fortalt…. alle ruterene snakker sammen via en protokoll og forteller hverandre om hva de kan nå. Så om en ruter detter ned så vet naboene alt hva som “lå bak” den og hvordan de kan nå alt det andre. Det vil merkes som et lite “blipp” i nettet, men ellers ikke merkbart i praksis.

Jeg vet ikke om jeg lyktes i å gjøre det forstålig for alle, men kanskje litt mer forstålig? Det er masse smådetaljer man kan fylle inn, men dette er det absolutt viktigste av infrastrukturen vår egentlig.

FOTNOTER

Siden sikkert en del som faktisk kan litt nett vil lese og flisespikke/lure:

Jeg skriver konsekvent om fiberkabler og mener da PAR. Så vi har GU48 opp i taket – 24 par, 48 fiber. Valgte å forenkle litt.

Vi terminerer altså vlan hovedsaklig på core og ring, ikke distro. Vi bruker VirtualChassis for ringen, distro-svitsjer og stand.

Det er selvsagt mye flere kantsvitsjer enn jeg har tegnet, og en og annen raritet jeg kanskje har glemt, men det er ikke viktig egentlig.

WiFi har jeg droppa – vi kobler ap’ene på distro eller ring etter behov og slenger de i et AP-nett tror jeg, og de tunellerer uansett trafikken inn til en wifi-kontroller som står i stand. De kjører, meg bekjent, i samme IP-nett.

Vi kjører OSPF internt og BGP ut mot internett.

I fjor hadde vi “firewall on a stick”, det er nok ikke det vi blir å bruke i år. I fjor tok vi altså trafikk fra internett inn på tele-gw, rutet det ut til tele-firewall som firewallet og sendte tilbake på et annet vlan til tele-gw. Lett/logisk, men litt rotete å forklare.