Påsken nærmer seg, og vi har allerede delt nyheten om to store nye partnere i år. Nå kan vi med stor glede avsløre at enda en aktør ønsker å bli med på laget for å skape påskens beste nettverk!
Sammen med nLogic har vi samlet en fremoverlent gjeng av selskaper, alle med en felles visjon: å bygge Norges største midlertidige nettverk for en engasjert gruppe datainteresserte mennesker. Vi gleder oss til å vise hva vi kan få til – sammen!
I år har vi, sammen med nLogic, fått med oss Arista Networks, Palo Alto Networks og nå vår nyeste partner, GLOBALFiber. Denne sterke trekløveren stiller med store mengder nettverksutstyr, slik at vi kan bygge en solid og sikker spine-leaf IP-fabric med massevis av båndbredde – perfekt for å håndtere alle tjenestene deltakerne våre måtte ønske.
Utstyret som vi låner fra disse tre partnerne har nå ankommet Oslo og forrige helg samlet vi oss hos nLogic for en workshop. Der vi gikk gjennom det mottatte utstyret og startet arbeidet med å sette opp dette. Hvordan vi koblet inn brannmur og Internett ruter i spine-leaf fabricen var tematikk vi jobbet mye med for å finne de beste løsningene sammen med nLogic, Arista og Palo Alto.
Det er alltid spennende med nye partnere og innovative måter å bygge nettverk på! Spesielt samarbeidet med Arista Networks markerer en viktig overgang for oss i TG-sammenheng – fra et mer tradisjonelt nettverksdesign til en moderne spine-leaf IP-fabric.
Heldigvis tilbyr Arista kraftige verktøy som forenkler både konfigurasjonsbygging og deployment, slik at vi kan automatisere prosessen enkelt. Det er essensielt for å klare å rigge et nettverk som TG sitt på så kort tid. Til TG i år vil vi derfor lene oss tungt på Arista Validated Design (AVD), et sett med open-source Ansible Collections som gjør det enklere å bygge og administrere spine-leaf IP-fabrics.
Sammen med våres trofaste Netbox som sannhetskilde for nettverket vårt er, vi i stand til å rulle ut ny konfigurasjon på en enkel og trygg måte gjennom CI/CD pipelines. Dette kommer vi til å skrive mye mer om senere her på bloggen. Stikkord er Netbox, Netbox scripts, Ansible, Jinja templates og AVD. Om dette høres spennede ut, følg med videre på bloggen vår.
Nå står vår spine, et leaf-pair, Internett ruterene våre samt en VM host og snurrer i labben hos nLogic. Noe småting gjenstår før vi kan ta med oss disse enhetene og få dem på nett i Vikingskipet om et par ukers tid. Tusen takk til nLogic for lån av lokaler og fasiliteter for labbing.
Dette er designskissen vi jobber med å implementere:
Igjen takk til nLogic, Arista, Palo Alto og GLOBALFiber for at de er med oss å bygge noe helt nytt til TG.
Sist helg hadde Tech:Net en dag i Vikingskipet hvor vi installerte et par rutere og servere. Vi koblet opp Internett linjen og sjekket at servere og utstyr var nåbare fra utsiden.
Det ble kanskje litt vel mye utstyr inne på det lille rommet, for nå er det godt og varmt der inne 🥵
sjurtf@r1.tele> show chassis environment | match Intake CB 0 Intake OK 48 degrees C / 118 degrees F CB 1 Intake OK 49 degrees C / 120 degrees F FPC 2 Intake OK 49 degrees C / 120 degrees F FPC 3 Intake OK 50 degrees C / 122 degrees F FPC 4 Intake OK 50 degrees C / 122 degrees F FPC 5 Intake OK 51 degrees C / 123 degrees F
Selv om det nå er mulig å steke bacon på MXen som står der så har vi fått brukt uken til å gjøre en del forarbeid.
Fredag som kommer så drar vi til Hamar og opprigget vårt starter for fullt lørdag morgen.
Stats og stream
Gondul (Overvåkingsverktøyet) vårt er nå i drift og den offentlige versjonen er tilgjengelig. Vi har også et weathermap som man kan følge med på.
Etter fler år uten å få bygge et stort nettverk i påskehytta vår, Vikingskipet, så er det endelig snart tid for TG igjen.
Partnere
Vi viderefører det gode samarbeidet med våre venner i nLogic og Juniper Networks, og skal i år, som tidligere bygge kjernen i nettverket på Juniper MX-plattformen. Nytt av året så vil Juniper Networks også levere det trådløse nettverket basert med Juniper Mist. Vi gleder oss veldig til å prøve ut dette og det fortjener sin egen blogpost.
Vi fortsetter med Telenor som ISP og de vil som tidligere år levere oss 50G fordelt på 5x10GbE linker mot Telenor sin ruter i Hamar.
Nextron vil som tidligere stå for server leveransene.
Første dataparty med 10G til deltakere på bordene?
Fler og fler hovedkort og laptoper kommer nå med nettverkskort som har NBASE-T støtte. Det vil si at nettverksporten kan oppnå en linkhastighet på 2.5G, 5G og 10G (som regel i tillegg til 10/100/1000). TG var tidlig ute med gigabit til deltakerene, nå vil vi være tidlig med også høyere hastigheter på bordradene. Vi ønsker å se hvor utbredt dette er i utstyret som tas med på TG, og hvordan etterspørselen på dette er, samt legge tilrette for mer bruk av båndbredde i nettverket vårt. Bruk mer båndbredde!
Juniper Networks har derfor latt oss låne et lite knippe EX4300-48MP svitsjer som støtter 2.5GbE, 5GbE og 10GbE i tillegg til gode gamle 1GbE. Noen av disse kommer vi til å plassere ut på noen deltakerbord, såklart uten ekstra kost for deltakeren. Nøyaktig hvilke rader disse blir plassert på håper vi å kunne si noe om innen det åpnes opp for seating, men plasseringen av disse avhenger av hvordan ting blir plassert fysisk i Vikingskipet.
Design
Årets design bygger videre på designet og erfaringer fra TG19, samt planarbeidet vi rakk før TG20 ble avlyst. Justeringer vi har gjort:
Gjøre (omtrent) alt av L3 på MX480 som nå vil stå fysisk plassert på tele (derav nytt navn r1.tele)
Utskutte distribusjonsswitcher fra ringen for å redusere behov for mange lange parallelle kabelstrekk (eksempelvis d1.bird)
Aggregering av uplinkene til distribusjonsswitchene på gulvet med 2 stk QFX5120 i taket (d1.roof) for å redusere fiberstrekk til taket.
Et SRX4600 cluster for å gjøre NAT av ymse og litt eksperimentering.
En av VC-distribusjonsswitchene på gulvet blir basert på EX4300-48MP. Denne skal håndtere uplinkene til tilsvarende switcher på bordene. Denne vil få 2x40G uplink til taket. På tegningen heter denne d1.floor, men det er ikke sikkert den vil stå fysisk der den er tegnet inn.
Oppdatering fra Tech om The Gathering 2019 designet
The Gathering 2019 rykker stadig nærmere, og det er på tide at Tech:Net skriver kort om årets nettverks design og hvilket utstyr vi skal bruke. Det blir ikke veldig spennende for dere som leste om fjoråret, da vi utstyrsmessig, stort sett kommer til å gjøre nøyaktig det samme i år som i fjor, men les gjerne igjennom for å friske opp minnene dine!
TG19 i korte trekk: – Det blir Juniper switcher og rutere i kjerne og til deltagere. – Det blir Fortinet brannmur og wifi. – Det blir Telenor for Internett. – Det blir Nextron for servere.
Kjernenett
Helt siden TG15 har kjernenettet (backbonet) vært basert på 2x 40 Gbit Ethernet. Utstyr, og plasseringen av dette har vært litt ulik fra år til år, men i år blir det likt som i fjor.
Kjerneringen vår blir bestående av tre rutere: – r1.tele (2x QFX5100 i VC): Grenseruter mot Telenor og aksess for infrastruktur servere. Står plassert i telematikkrommet i Vikingskipet hvor fiber kommer inn. – r1.stand (4x QFX5100 i VC): Ruter for game-, event- og infrastruktur -servere samt wireless kontroller. Står (på utstilling) i Tech:Net sin stand i sponsorgata. – r1.noc (1x MX480): Ruter for alle deltagere. Står plassert ved glassburet hvor NOC sitter.
Core og distribusjon til deltagere
I år, som i fjor blir det en sammenfallet kjerne (collapsed core) bestående av en Juniper MX480 og 9 distribusjonsswitcher med 3x Juniper EX3300 satt opp i vritual-chassis. MX480en blir plasser ved NOCen, og fra den har vi 2x 10 Gbit Ethernet på hvert sitt fiberpar ned til alle distro switchene på gulvet.
MX480en har vlanene for samtlige bordswitcher og gjør videresending av DHCP pakkene til DHCP serverene våre.
Vi har valgt å gå for denne modellen da vi over tid har lært at Juniper sine EX3300 switcher ikke er kraftige nok til å håndtere lag3 og DHCP videresending med de kravene vi stiller. Det har vært fler tilfeller i tidligere år hvor vi har opplevd problemer med disse switchene. MX480en har mye kraftigere hardware, og takler nettverk som er mye større enn hva vi produserer på TG. Vi kunne klart oss med lillebroren MX240, men disse har Juniper lite av på demolager, så er lettere å få tak i MX480er.
Aksess
Som tidligere år vil aksess til deltagere (og crew) gjøres via Juniper EX2200 switcher med 48 porter. På alle deltakerbordene blir disse levert med 3x 1 Gbit Ethernet. På disse switchene kjører diverse first-hop-secuirty policier slik at vi kan forhindre angrep på infrastrukturen vår, og forhindre nedetid for andre deltagere ved feil som oppstår grunnet feilkofingurasjon hos brukerene. Eksempelvis så forhindrer vi at deltagere kan kjøre egen DHCP server og skape uregelmessigheter i nettverket.
Leveranser til crew og misc støttefunksjoner under TG
Tradisjonelt har dette blitt gjennomført ved å utplassere enkeltstående rutere rundt om kring i kriker og kroker i Vikingskipet som kjørte OSFP ruting. Nytt av TG17 var at alle disse ruterne ble en logisk enhet ved bruk av en teknologi kalt Virutal Chassis. Da oppfører alle boksene seg som om de er en, men har mange linjekort. Det gjør at vi kun trenger å forholde oss til konfigurasjon på et sted.
Nytt av årets TG blir at vi utvider denne logiske boksen med et ekstra “linjekort” da vi på TG i fjor opplevde å gå tom for porter på det linjekortet som står plassert ved NOCen.
Denne ringen vil i år bestå av 2x EX4600 (24p), 4x EX4300 (24p) og det nye ekstra linjekoret EX4300 (48p). De to EX4600ene blir satt opp som master og backup routing engine da har litt kraftigere CPUer enn EX4300ene og følgelig håndterer bedre hendelser, og trafikk som trenger prosseseringskraft. Eksempelvis videresending av DHCP pakker, eller håndtering av brudd på forbindelser mellom switchene. Denne boksen (ringen) blir satt opp med 1x 40 Gbit Ethernet mellom hvert linjekort.
På linjekortene i ringen kobler vi opp tilsvarende distrubisjonsswitcher som brukes på gulvet (EX3300). Disse fungerer som distribusjonswitcher til støttecrewene som kobler seg til i EX2200er som plasseres i nærheten av crewene.
Vi mottok utstyret vi låner fra Juniper forrige uke, og helgen som var møttes en gjeng fra Tech:Net i Oslo for å pakke ut. Noen nøkkelenheter ble oppgradert til Junos 18.1 (mer om hvorfor kommer nok i en egen post senere!), og fikk basic config.
EXene og QFXene vi låner kom i denne fine kassen:
Og her har vi ringen, klargjort med basic config og stående i VC. Klar for å spres ut i skipet. Hvis noen lurer, EX4300ene til høyre i bildet har sine 40 Gbit Ethernet porter i baken!
For å kunne spre boksen r1.ring utover hele vikingskipet er vi avhenig av god fiberinfrastrutkur i skipet. Det ble lagt ned en enorm insatts i dette for noen år siden, og hvis du ønsker å lese om det og se bilder kan du se her:
