La meg introdusere deg til crewet Info:Systemstøtte. Et relativt ukjent navn for mange, men crewet består av det gamle Info/Core:Systems og den tidligere Driftsgruppa.
Vi er et crew som har ansvar for stort og smått, og vi har et behov for søkere for TG25. Vi trenger folk som kan å programmere PHP, Python, Javascript/React eller noe annet spennende. I tillegg trenger vi UX-designere og mennesker som har lyst å jobbe med support.
Arbeidsoppgaver vil være utvikling av nettsider (TG.no), Wannabe (PHP/Laravel) og diverse andre støttesystemer (Python/Django), samt drift av diverse systemer og servere (Proxmox som virtualiseringsmiljø, Fortinet på nettverk og litt Kubernetes).
Høres dette ut som noe som kan være spennende for deg? Send en søknad på wannabe.gathering.org
Sjekk ut https://tgsp.tg23.gathering.org for å spinne opp din egen Linux VM som kjører på servere fra Nextron og er koblet rett på fibernettet til Telenor. Dette er et prøveprosjekt fra Tech så vi forventer litt problemer. Ikke vær redd for å ta kontakt med oss i Tech:Net for litt bistand. Du finner oss på Discord serveren under #tech.
Tech Stand
Merk at dette kun er et tilbud under The Gathering og alt blir slettet når arrangementet avsluttes..
Nytt av året er selvbetjening av VMer, også til deltakere med plass i skipet.
Med en bruker på Geekevents (eller Wannabe for crew) kan du logge inn og opprette både virtuelle maskiner og ferdig oppsatte spillservere.
Alt av detaljer er ikke klart. Planen er å tilby siste Debian, Ubuntu og Rocky Linux. Mangler vi din favoritt distribusjon? Gi beskjed i vår Discord server
Ferdig installert spill-servere leveres via Pterodactyl.
Presise maskinvarespesifikasjoner er fortsatt under utvikling. Målet vårt er å tilby kraftige nok maskiner til å kjøre de fleste spillservere og annen lab, samtidig som vi ønsker så mange brukere som mulig.
Når vi først fikk muligheten til å sette opp et TG-nettverk i Vikingskipet etter mange år uten, ble det såklart overkill.
Som du ser er det mindre en et vanlig TG. Nesten hele nettverket er bygd på KANDU sitt eget Juniper utstyr (EX2200, EX3300 og EX4300). Unntaket er Fortinet FortiGate 1100E som ble brukt som brannmur.
Fiber patch i NOC. Her går det fiber til TeleNOC (Network Operations Center) som i år er delt med Creative studioPatch på Tele (Fiber fra NOC kommer inn her)
Vi er også så heldig at tidligere TG crew har installert “ringen” i skipet. Det gjør at vi kan patche fiber rundt hele skipet. Som også gjør at vi kan kjøre alt av distribusjon på Tele og bare patche fiber ditt vi trenger det. Core er 4 stk Juniper EX4300 i VC og EX3300 for kant.
c1-tele
Behovet for servere er ikke veldig stort, men vi hadde noen fysiske servere fra Håvard/Casual Gaming. Det ble stort bare brukt til lek og litt lab. DHCP kjørte på FortiGaten og vi hadde en VPN til KANDU/Systemstøtte for litt annet.
Tech er på plass i Vikingskipet og vi har internett!
Litt speedtesting
Vi kommer også til å ha en stream på TGTVCreative hvor vi skal snakke litt om dataparty og hva vi har gjort på årets arrangement. Tune in på Twitch fredag 14:30!
Til dere som har søkt crew til TG22 har nok merket noe nytt med Wannabe. Nettopp! Wannabe kjører i Kubernetes (og vi har darkmode!). Mer om Kubernetes og Wannabe5 må bli en annen bloggpost. Denne korte posten handler om vår blogg.
Med ny versjon av Wannabe ble det klart vi ønsket mer automatisering og DevOps. Denne bloggen ble egentlig planlagt som den første produksjons-workload i det nye clusteret. Men på grunn av litt dårlig planlegging ble Wannabe5 først. Ca 2 måneder etter vi gikk live med Wannabe ble det denne bloggen sin tur.
Vi bruker Argo CD for å få “Infrastructure as Code” og “GitOps”
Bloggen er en ganske liten deployment, kun 1 pod (container) for selve wordpress. Traefik for ingress og MOCO som MySQL Operator.
MOCO er litt av grunnen til vi valgte å flytte Tech-bloggen, både Wannabe og Gathering.org bruker MySQL som database. Vi har et ønske om å bygge de mest kritiske tjenestene våre redudant og et steg på veien er å teste ut MySQL Clustering i Kubernetes.
Takk til Nextron for nye servere til vårt driftsmiljø <3
2 nye servere; hver med 384 GB ram og 2 stk Intel Xeon Gold 6258R. Allerede i full sving for TG:Online. Der skal dei blant annet brukes til Minecraft, video streaming og Tech:Online.
Heisann! Selv om det ikke ble et TG21 i Vikingskipet i år, jobber vi i Systemstøtte videre med vår driftsløsning. For del 1 se The Gathering’s driftsløsninger
FortiGatene kjører i et Active/Passive cluster. Switchene satt opp med FortiLink. Dette gjør at vi kan styre hele nettverket fra et sted. Alt er selvfølgelig satt opp med IPv6 (og IPv4).
For å sikre redundans på switchene er de satt opp med MCLAG (Multi-Chassis Link Aggregation Group) og alle servere er koblet med minst 1 10Gbps link til hver switch (LACP). Internett fra Nexthop er koblet til begge switchene. Dette gjør at vi kan miste en FortiSwitch og en FortiGate uten at det merkes på tjenestene vi leverer. Alt har redundant strømforsyninger tilkoblet UPS og aggregat.
For å sikre at de mest kritiske løsningene vi har, har vi starter å leke med last balansere i FortiGate. Dette gjør at vi kan kjøre 2 eller flere servere som svarer på 1 IP adresse. Med helsesjekker blir servere som ikke svarer tatt ut av drift automatisk og tilbake når de responderer og er anset som friske.
Eksempelvis så kjører gathering.org med et slikt oppsett i dag. En “Virtual Server” som videresender trafikken til 2 servere. Dette gjør at vi i teorien kan miste en fysisk server uten at nettsiden går ned. Dessverre er vi ikke helt i mål med å få alle tjenester som kreves for nettsiden redundante. Vi snuser i tillegg på Kubernetes, men mer om det senere. De fleste tjenestene våre kjører som konteinere i Docker.
FortiAnalyzer
Vi bruker FortiAnalyzer for å følge med på trafikken som treffer nettverket vårt. Det er ikke veldig mye brukt, men alltid kult å kunne se hva som skjer ute på internett. Pluss veldig nyttig for feilsøking.
Har du spørsmål? Du finner flere av oss i #tech på TG sin Discord server. Vi snakkes!
Hvordan drifter vi egentlig gathering.org, Wannabe og alle de andre tjenestene som TG bruker?
Tenkte å blogge litt om hva vi i KANDU:Systemstøtte har drevet med den siste tiden.
Systemstøtte er i dag både en del av KANDU og et TG crew. Skillet her er for tiden litt uklart. Men det gir jo mening at de som utvikler og drifter crew systemet til TG, starter litt før de fleste andre, og tjenester som Jira trenger kjærlighet med (u)jevne mellomrom. Det innlegget her skal ikke handle om strukturen i arbeidsgruppa, men greit å være klar over at det gjøres mye også utenom The Gathering.
Vi har en stund jobbet med å fornye avtalene rundt hosting av servere, og fikk rett etter nyttår i havn en avtale med Nexthop AS for colocation. Spesifikt 20 rack units i et topp moderne datasenter i nærheten av Oslo. For en organisasjon med frivillige gjør tilgang 24 timer i døgnet ting mye lettere.
Colocation?
Colocation eller colo som det ofte kalles, er kort fortalt tilgang på datahall til å plassere servere og/eller nettverksutstyr. Leverandøren av datasenteret tar for seg drift av strøm, kjøling og annen infrastruktur. Vi fått tilgang på et «halv-rack» (20U).
1U er 4,44 cm i høyden, og standard 19 inch rack er på 48,2 cm i bredden. En vanlig server er fra 1U til 4U, spesielt om du har mye disker kan den være enda større. Les mer om colocation på nexthop.no
Nettverk
Vi har også jobbet med vår partner Fortinet for å bygge en nettverksløsning til å bruke i det nye racket. Sammen med Fortinet har vi kommet frem til en løsning som vi er veldig fornøyd med.
48x 10Gbit/s porter med blant annet 4x 100Gbit/s uplink porter.
(Med andre ord, det bør holde en stund fremover)
Under konfigurering av utstyret
Internett er levert av Nexthop over 2 redudante gigabit linker. Vi har fått et /26 nettverk med IPv4 og en /48 med IPv6. Vi kommer også tilbake med en ny bloggpost når vi hatt litt mer tid med utstyret.
Servere
Via samarbeidsavtalen vi har med Nextron på The Gathering, har vi gjennom årene fått litt servere. Målet er å flytte alt over til racket vi har hos Nexthop og vi er allerede godt i gang. Basefarm har også hjulpet oss med servere, litt utstyr og møtelokale.
Vi har mange spennende planer for driftsmiljøet fremover, og detaljene der vil helt garantert komme i en ny bloggpost etterhvert. Per nå er miljøet hos Nexthop tenkt til alt fra produksjonsmiljøer med Gathering.org og Wannabe til testing av nye løsninger og for å mette behov for hosting som crewet har før og etter selve arrangementet.
Merk at vi fremdeles kommer til å ha servere i skipet under The Gathering, dette er bare for tjenester som må kjøre utenfor TG.
