The Gathering Technical blog

Hvordan fungerer nettverket?

17 Apr 2025, by from Tech, Tech:Net,

Her kommer en liten forklaring på hvordan vi bruker utstyret vi har lånt fra sponsorer, og KANDU sitt eget utstyr. PS: om bildene blir for små så kan man åpne bildet i ny tab, og fikse URL-en så man fjerner skaleringa >:-{D

Disclaimer

  • Her går det i norsk og english om eachother.
  • Dette er ikke en uttømmende oversikt, “ringen”, leveranser til crew o.l. er ikke tatt med her.
  • Wifi er ikke tatt med i stor grad

Først en tegning

Hva som har blitt levert, og hvordan vi bruker det

Arista har levert utstyr til å bygge en lag 3 spine/leaf-arktitektur, bestående av 2 x spines (d1-*-roof, Arista DCS-7050CX3-32S, plassert oppe i taket) og litt forskjellige type leafs alt ettersom hva vi trenger hvor. denne arkitekturen går gjerne under navnet “fabricen” (fæbriken!) i NOC-en.

  • Arista CCS-720XP-96ZC2 leafs brukt som distroer på gulvet (d*-floor)
  • Arista DCS-7050SX3-48YC8 leafs brukt som distro/aksess i stand (d2-*-stand)
  • Arista DCS-7280SR3K-48YC8 stand-alone, brukt som internettrutere
  • Arista 7010TX-48-F switcher brukt til out-of-band management med flatt lag2-nettverk
  • Arista AP-C460/AP-C360/AP-C260 aksesspunkter
  • Noen bokser brukt som aksess-switcher for spesialfunksjoner som gamecompo o.l.

Palo Alto leverer brannmurer som vi ruter all deltagertrafikk igjennom. Vi har et sett med PA-5430 brannmurer, som vi har satt opp i cluster. Vi bruker det til litt forskjellige ting, som bl.a.:

  • Beskytte deltagere mot “known malicious” adresser på nettet. Vi ønsker ikke at deltagere sin virusinfiserte maskin skal få kontakte botnets for å bli med angrep, eller at man fra infiserte nettsider skal bli sendt til adresser som sprer gøgg
  • Vi gjør v4-NAT, slik at vi kan holde oss til å bruke KANDU sine v4-adresser
  • Vi henter ut data som vi grafer og lager stats av. Som hvor mye trafikk som går til Steam, og hvilke land vi kommusierer mest med i skipet

GlobalFiber leverer den optikken som KANDU selv ikke har. Det gjør at vi har plenty med 100G, 25G og 10G optikk når vi finner på nettverkssprell.

Nextron leverer servere, som gjør at vi kan hoste og produsere mye av innholdet og de funksjonene vi trenger, og kule ting som å dele ut VM-er til deltagere som har lyst til å leke med linux.

nLogic er paraplyen som leverer “pakken” av Palo Alto, GlobalFiber og Arista, som muliggjør The Gathering i 2025

PS: Grunnen til at vi fremhever våre sponsorer er at TG ikke hadde gått å arrangere uten. Vi er avhengige av å få spons for å kunne arrangere og bygge det vi bygger, og da er vi heldige med velvillige og gode sponsorer som leverer heftig utstyr. Utstyret vi låner har markedsverdi på mange millioner kroner, og er helt i toppsjiktet av infrastruktur.

Q&A

Hvordan flyter trafikken min fra min PC til internett?

IPv4 og IPv6 rutes samme path. I fabricen har vi flere VRF-er, for å separere ulike nett og selektivt kunne sende trafikk gjennom brannmurclusteret. Så en deltager befinner seg i CLIENTS VRF-et som rutes igjennom brannmurclusteret. Der gjøres source-NAT på IPv4, og sikkerhet for IPv4 og IPv6. Deretter rutes det videre til fabricen, men da inn i VRF-et INET. Derifra går det strake veien ut til Telenor/internett.

Hvorfor NAT-es jeg i år? Slik har det ikke vært før?

Av flere årsaker, der det viktigste er:

  • Promotere bruk av IPv6
  • Kun bruke KANDU sine offentlige IPv4-adresser. Det gjør at vi ikke opplever at adressene har blitt flyttet rundt og geolokalisert i ulike land til ulike tider. Vi har hatt Steam på Russisk et tidligere år, det unngår det problemet.
  • Moderne applikasjoner håndterer NAT helt fint

Men det er ikke utelukkende positivt. Det fører til at “ende til ende” kommunikasjon med IPv4 ikke fungerer. Men det gjør det på IPv6, så det er greit.

Hvorfor får min Iphone/Android-telefon kun IPv6-adresse?

Fordi vi bruker “IPv6 mostly”, som vil si at SLAAC i kombinasjon med DHCPv4 gjør at klienter som støtter det ikke vil få tildelt en brukbar IPv4-adresse. Klienten vil tunnelere trafikk som skal til IPv4-adresser i IPv6, og Paloene våre vil bruke NAT64 til å få trafikken frem.

Spørsmål?

Noe du vil vite mer om? Kom på Discord (#tech) og fortell om hva du vil vite, så skal vi prøve å fylle på med info her på bloggen 😀

Jonas

Tirsdags morgen

15 Apr 2025, by from Tech, Tech:Net,

Tech:nett har nå vært i skipet noen dager, og det er 21 timer igjen til deltagerne kommer brasende inn. 21 timer igjen til alt må fungere. Til tross for at vi har hatt ett døgn mindre å rigge på i år, så er vi godt i rute.

Hva har fungert bra

Mer eller mindre alt. Mye mindre kaos i templating i år kontra i fjor (TG-fjor…), kabeltrekking, Netbox for inventory er mer modent, eksisterende TG-fiber rundt i i skipet er gull. De nye som er tatt opp i tech:nett i år gjør en kjempeinnsats, og det er som om de har vært med å bygge TG i mange år.

Sponsorene våre (<3) har stått på, noen har vært her i flere dager alt, andre kommer i dag og blir litt utover påska. Her har vi tilgang til spisskompetanse på produkter og løsninger som er godt å ha.

Hva har fungert mindre bra

Dette er ikke nødnvigvis noe som ikke fungerer, men…

TG tech har alltid hatt en ganske stor grad av nettverksautomatisering. Datastrukturer og pipelines blir fort komplisert og uoversiktlig, og i år er vi enda mer (buzzword-warning!) datadrevet. Vi er en god miks av mennesker her, med forskjellig kompetanse. Man må være ganske utvikler-rettet for å henge med i alle kriker og kroker av hvordan litt JSON på en server blir til et VXLAN VNI spredd utover leaf-switchene i Arista IP-fabricen. Det fungerer ikke dårlig som et team, heller tvert imot, men noen av oss kjenner nok på at utvikler-delen av nettverk har en høy terskel for å jobbe i. Men det betyr også at mange i tech:nett utvikler seg enormt i løpet av TG.

Her har vi noe(!) av dataflyten fra definisjoner til faktisk config/oppsett:

Hva skjer videre nå de neste timene

Det meste er oppe, bortsett fra “gulvet” (det området deltagerne sitter på). Det er det viktigste å få opp, samtidig som det er noe av det siste som kan settes opp. Alt er klart for at aksesswitchene på gulvet kobles til distroene i rackene ute i hallen, og autoprovisjonerer seg.

Ellers har vi noen leveranser igjen til ulike deler av crewfunksjoner, som f.eks. noen sponsorstands. Det må leveres.

Enn så lenge, xoxoxoxo, tech:nett

Statusoppdatering fra Tech:Net

19 Mar 2025, by from Tech, Tech:Net,

Påsken nærmer seg, og vi har allerede delt nyheten om to store nye partnere i år. Nå kan vi med stor glede avsløre at enda en aktør ønsker å bli med på laget for å skape påskens beste nettverk!

Sammen med nLogic har vi samlet en fremoverlent gjeng av selskaper, alle med en felles visjon: å bygge Norges største midlertidige nettverk for en engasjert gruppe datainteresserte mennesker. Vi gleder oss til å vise hva vi kan få til – sammen!

I år har vi, sammen med nLogic, fått med oss Arista Networks, Palo Alto Networks og nå vår nyeste partner, GLOBALFiber. Denne sterke trekløveren stiller med store mengder nettverksutstyr, slik at vi kan bygge en solid og sikker spine-leaf IP-fabric med massevis av båndbredde – perfekt for å håndtere alle tjenestene deltakerne våre måtte ønske.

Utstyret som vi låner fra disse tre partnerne har nå ankommet Oslo og forrige helg samlet vi oss hos nLogic for en workshop. Der vi gikk gjennom det mottatte utstyret og startet arbeidet med å sette opp dette. Hvordan vi koblet inn brannmur og Internett ruter i spine-leaf fabricen var tematikk vi jobbet mye med for å finne de beste løsningene sammen med nLogic, Arista og Palo Alto.


Det er alltid spennende med nye partnere og innovative måter å bygge nettverk på! Spesielt samarbeidet med Arista Networks markerer en viktig overgang for oss i TG-sammenheng – fra et mer tradisjonelt nettverksdesign til en moderne spine-leaf IP-fabric.

Heldigvis tilbyr Arista kraftige verktøy som forenkler både konfigurasjonsbygging og deployment, slik at vi kan automatisere prosessen enkelt. Det er essensielt for å klare å rigge et nettverk som TG sitt på så kort tid. Til TG i år vil vi derfor lene oss tungt på Arista Validated Design (AVD), et sett med open-source Ansible Collections som gjør det enklere å bygge og administrere spine-leaf IP-fabrics.

Sammen med våres trofaste Netbox som sannhetskilde for nettverket vårt er, vi i stand til å rulle ut ny konfigurasjon på en enkel og trygg måte gjennom CI/CD pipelines. Dette kommer vi til å skrive mye mer om senere her på bloggen. Stikkord er Netbox, Netbox scripts, Ansible, Jinja templates og AVD. Om dette høres spennede ut, følg med videre på bloggen vår.

Nå står vår spine, et leaf-pair, Internett ruterene våre samt en VM host og snurrer i labben hos nLogic. Noe småting gjenstår før vi kan ta med oss disse enhetene og få dem på nett i Vikingskipet om et par ukers tid. Tusen takk til nLogic for lån av lokaler og fasiliteter for labbing.

Dette er designskissen vi jobber med å implementere:

Igjen takk til nLogic, Arista, Palo Alto og GLOBALFiber for at de er med oss å bygge noe helt nytt til TG.

Til minne om Berge Schwebs Bjørlo

14 Mar 2025, by from Tech

Det er med stor sorg vi i dag mottok budskapet om at Berge Schwebs Bjørlo var en av de to som omkom i en skredulykke i Hemsedal forrige helg.

I perioden 2009 til 2014 bidro Berge både direkte og indirekte med sin dype tekniske kompetanse og ikke minst sin glade, optimistiske væremåte på The Gathering og i Tech:Server. Også i ettertid har mange av hans bidrag vært til stor nytte for arrangementet, de frivillige og deltakerne. Vi vil uttrykke stor takknemlighet for alt engasjement og alle bidrag.

Selv om det er noen år siden Berge var aktiv i The Gathering, er det ingen tvil om at han vil etterlate seg et stort tomrom – både hos oss og, ikke minst, hos alle andre som har hatt gleden av å lære ham å kjenne. Du vil bli savnet.

Alle våre tanker går til de omkomnes nærmeste familie og venner.

All the servers

05 Apr 2023, by from Tech, Tech:Net,

Er du deltaker eller crew på The Gathering 2023?

Sjekk ut https://tgsp.tg23.gathering.org for å spinne opp din egen Linux VM som kjører på servere fra Nextron og er koblet rett på fibernettet til Telenor.
Dette er et prøveprosjekt fra Tech så vi forventer litt problemer. Ikke vær redd for å ta kontakt med oss i Tech:Net for litt bistand. Du finner oss på Discord serveren under #tech.

Tech Stand

Merk at dette kun er et tilbud under The Gathering og alt blir slettet når arrangementet avsluttes..

AKKURAT NÅ! AKKURAT NÅ! Vi har 8 kilometer med muggen TP-kabel.

02 Apr 2023, by from Tech

PS: Det er 2. april i dag. Dette er altså ikke en aprilsnarrspøk.

Vi sliter med for mange muggabytes i TP-kablene våre. Kablene har rett og slett blitt mugne under kaldlagring de siste årene.

Av helsemessige årsaker vil ikke de mugne kablene benyttes.

Det pågår nå en heftig koordinering mellom leverandører, Tech-crewet og Logistikk-crewet for å fremskaffe såpass mye kabling. Så får vi se om det blir manuell terminering av plugger, eller om de er ferdigterminert. Mange timer jobb blir det uansett.

Til deg som deltager: Dette er ikke noe å bekymre seg for. Vi håndterer dette, og lager tidenes beste TG \o/

En uke igjen

25 Mar 2023, by from Tech, Tech:Net,

Sist helg hadde Tech:Net en dag i Vikingskipet hvor vi installerte et par rutere og servere. Vi koblet opp Internett linjen og sjekket at servere og utstyr var nåbare fra utsiden.

Det ble kanskje litt vel mye utstyr inne på det lille rommet, for nå er det godt og varmt der inne 🥵

sjurtf@r1.tele> show chassis environment | match Intake
CB 0 Intake OK 48 degrees C / 118 degrees F
CB 1 Intake OK 49 degrees C / 120 degrees F
FPC 2 Intake OK 49 degrees C / 120 degrees F
FPC 3 Intake OK 50 degrees C / 122 degrees F
FPC 4 Intake OK 50 degrees C / 122 degrees F
FPC 5 Intake OK 51 degrees C / 123 degrees F

Selv om det nå er mulig å steke bacon på MXen som står der så har vi fått brukt uken til å gjøre en del forarbeid.

Fredag som kommer så drar vi til Hamar og opprigget vårt starter for fullt lørdag morgen.

Stats og stream

Gondul (Overvåkingsverktøyet) vårt er nå i drift og den offentlige versjonen er tilgjengelig. Vi har også et weathermap som man kan følge med på.

https://public-gondul.tg23.gathering.org/
https://weathermap.tg23.gathering.org/
https://southcam.tg23.gathering.org/

Servere til TG23

22 Mar 2023, by from Tech, Tech:Net,

TG23 er nå bare noen uker unna og vi i Tech:Net har allerede startet forhåndsopprigging i Vikingskipet.

Tidligere har vi skrevet litt om hvordan årets nettverk blir. Her kommer en liten oppdatering fra arbeidsgruppa “server”.

Som tidligere er Nextron og Supermicro med som partnere.

Noen av oppgavene vi jobber med:

Nytt av året er selvbetjening av VMer, også til deltakere med plass i skipet.

Med en bruker på Geekevents (eller Wannabe for crew) kan du logge inn og opprette både virtuelle maskiner og ferdig oppsatte spillservere.

Alt av detaljer er ikke klart. Planen er å tilby siste Debian, Ubuntu og Rocky Linux. Mangler vi din favoritt distribusjon? Gi beskjed i vår Discord server

Ferdig installert spill-servere leveres via Pterodactyl.

Presise maskinvarespesifikasjoner er fortsatt under utvikling. Målet vårt er å tilby kraftige nok maskiner til å kjøre de fleste spillservere og annen lab, samtidig som vi ønsker så mange brukere som mulig.

PXE Boot

Liten tease av vår vakre stand!

Foto: mGrytbak

Tech:Net workshop – veien mot TG23!

26 Feb 2023, by from Tech, Tech:Net,

Forrige helg hadde Tech-crewet årets store samling, Tech:Gathering, der det var mye møteaktivitet, sosialisering og ymse. Denne helgen, har Tech:Net samlet seg for en ren arbeidshelg. Utstyret fra Juniper har kommet, den første serveren fra Nextron er i hus og vi begynner å konfe utstyr og teste at det vi vil ha fungerer!

Av ting vi har gjort i helga:

  • Sette opp core-ruteren
  • Softwareoppgradere distro-svitsjer, sette basisconfig på dem, teste
  • Forsøke og feile å få opp Mist Edge i en VM (…)
  • Confe brannvegger
  • Gjøre klar ringen til bruk
  • Teste Multirate
  • Knote med “nytt” southcam
  • Teste utrullingsautomatikk

Også har vi tatt sikringen på frivillighetshuset på grunn av overbelastning da.

To ganger.

Men uansett sikringer eller ei, vi er straks klar for “pre-opprigget” – en tur opp til vikingskipet for å sette opp utstyr et par uker før det ordinære opprigget til tg starter.

Vi gleder oss til TG nå!

TG23 Design, og 10 Gigabit til deltakere!?

10 Jan 2023, by from Tech, Tech:Net,

Etter fler år uten å få bygge et stort nettverk i påskehytta vår, Vikingskipet, så er det endelig snart tid for TG igjen.

Partnere

Vi viderefører det gode samarbeidet med våre venner i nLogic og Juniper Networks, og skal i år, som tidligere bygge kjernen i nettverket på Juniper MX-plattformen. Nytt av året så vil Juniper Networks også levere det trådløse nettverket basert med Juniper Mist. Vi gleder oss veldig til å prøve ut dette og det fortjener sin egen blogpost.

Vi fortsetter med Telenor som ISP og de vil som tidligere år levere oss 50G fordelt på 5x10GbE linker mot Telenor sin ruter i Hamar.

Nextron vil som tidligere stå for server leveransene.

Første dataparty med 10G til deltakere på bordene?

Fler og fler hovedkort og laptoper kommer nå med nettverkskort som har NBASE-T støtte. Det vil si at nettverksporten kan oppnå en linkhastighet på 2.5G, 5G og 10G (som regel i tillegg til 10/100/1000). TG var tidlig ute med gigabit til deltakerene, nå vil vi være tidlig med også høyere hastigheter på bordradene. Vi ønsker å se hvor utbredt dette er i utstyret som tas med på TG, og hvordan etterspørselen på dette er, samt legge tilrette for mer bruk av båndbredde i nettverket vårt. Bruk mer båndbredde!

Juniper Networks har derfor latt oss låne et lite knippe EX4300-48MP svitsjer som støtter 2.5GbE, 5GbE og 10GbE i tillegg til gode gamle 1GbE. Noen av disse kommer vi til å plassere ut på noen deltakerbord, såklart uten ekstra kost for deltakeren. Nøyaktig hvilke rader disse blir plassert på håper vi å kunne si noe om innen det åpnes opp for seating, men plasseringen av disse avhenger av hvordan ting blir plassert fysisk i Vikingskipet.

Design

Årets design bygger videre på designet og erfaringer fra TG19, samt planarbeidet vi rakk før TG20 ble avlyst. Justeringer vi har gjort:

  • Gjøre (omtrent) alt av L3 på MX480 som nå vil stå fysisk plassert på tele (derav nytt navn r1.tele)
  • Utskutte distribusjonsswitcher fra ringen for å redusere behov for mange lange parallelle kabelstrekk (eksempelvis d1.bird)
  • Aggregering av uplinkene til distribusjonsswitchene på gulvet med 2 stk QFX5120 i taket (d1.roof) for å redusere fiberstrekk til taket.
  • Et SRX4600 cluster for å gjøre NAT av ymse og litt eksperimentering.
  • En av VC-distribusjonsswitchene på gulvet blir basert på EX4300-48MP. Denne skal håndtere uplinkene til tilsvarende switcher på bordene. Denne vil få 2x40G uplink til taket. På tegningen heter denne d1.floor, men det er ikke sikkert den vil stå fysisk der den er tegnet inn.

Nettverksdiagram

About

TG - Technical Blog is the unofficial rambling place for The Gathering.