Lad mig lægge ud. Min tech stack består af:
En application server af ældre dato (Haswell generation med 16GB RAM. Det var meningen jeg skulle opgradere i foråret men så kom inflationen…). Den har 5x4TB harddiske sat op i RAID5, meningen er at opgradere til RAID6 nu hvor jeg har en separat storage server. Samt SSD til boot og root.
En storage server med 64GB RAM (købt sidste år vel at mærke) og 3x24TB harddiske med to 24TB i reserve da jeg var bekymret for hvad Trump kunne finde på, så der skulle være fremtidssikring. Det kører også RAID5, men opgraderes til RAID6 når det udvides. Den kører med GlusterFS ovenpå så jeg vurderer at den har kapacitet til 0.5PB (jeg ville nødigt rende ind i kapacitetsproblemer igen), som app serveren så har mounted. Serveren kører også med 2 NVMe SSD’er i RAID1 til boot+root
En Raspberry Pi med Home Assistant.
Og stack’en som min app sever kører inkluderer: Authentik, Nextcloud, Collabora, Jellyfin, onedev (git værktøj), solidtime (time tracking), og meget mere. Alt sammen i Podman containere og bag Nginx (hvorfor jeg spottede CVE’en :p). Der kommer nok snart en ekstern server til at agere proxy med et simpelt HAProxy setup så jeg kan udfase Cloudflare. Hvis I har noget erfaring med front-facing proxyer og eventuel firewalling, så kom gerne med nogle råd til denne server.
I mit setup er jeg blevet helt forelsket i Authentik. Det var lidt intimiderende at starte med, men med en video eller to blev det hurtigt overskueligt. Alt hvad jeg hoster gør jeg mit bedste for at integrere med Authentik gennem OIDC eller til nød LDAP. Podman er også en super fed opgradering over Docker, som giver tæt på de samme funktioner som et light Kubernetes ala. K3s men simpelt nok til at give mening på små hosts.
Plex har jeg længe fortrudt men jeg er få måneder fra at have migreret det hele over til Jellyfin og sikret Jellyfin nok til at kalde den “produktionsklar”
Hvad med jer? Har I en lille beskeden Raspberry Pi som I er stolte af og vil vise frem eller et kæmpe 42U rackskab I vil prale med?
Raspberry Pi 5 med Home Assist OS, hvor vores lys kører over - men skulle bare have valgt en HomeAssist Yellow eller noget tilsvarende nemt.
Kører også et Jellyfin mediecenter på den (via HA), som trænger til en opjustering.
Børn har det med at tage tid fra self hosting 🙃
Børn har det med at tage tid fra self hosting
Det er derfor jeg startede tidligt. En solid homelab er fantastisk prævention ;)
Har en IBM tiny med Ubuntu server lts og Docker blandt andet med adguard, nextcloud, jellyfin, navidrome og diverse små scripts.
Hvad giver Navidrome som Jellyfin ikke giver? Jeg bruger selv Jellyfin med Finamp app’en til musik og er glad for setup’et men ser ofte folk have musik udenfor deres medieserver.
Ja, jeg må sige at jeg er fint tilfreds med Spotify til musik. Det er meget sjældent at jeg vil høre musik, som ikke kan findes der. Men jeg har så bestemt overvejet om jeg skal selfhoste (selvværte?) en løsning på et tidspunkt.
Jeg har en til tider lidt interessant musiksmag, hvis man skal sige det pænt, så Spotify har faktisk en del huller i samlingen for mig. Her har det været væsentlig nemmere at købe albums på Bandcamp eller bruge de downloadkoder som man ofte får når man køber LP’er. Offline playback virker også upåklageligt, hvilket Spotify nogle gange ikke var så glad for hvis jeg ville have lidt musik til ferien.
Jeg kan varmt anbefale at udvide Jellyfin til musik, der bliver Finamp app’en din ven hvis du bruger Android. Matching af albums og sange har været lidt mere krævende en for film/tv for mig, men da jeg fik knækket koden begyndte det at være nemt. Compilations o.lign. er den dog ikke altid helt så glad for, men det lykkes altid til sidst.
Jeg har bare startet med navidrome og den har mulighed for subsonic klienter hvilket er vigtig for mig.
Jeg har en raspberry pi med pihole siddende, og det er nogenlunde det 🙃. Har ærligt talt ikke følt at der er noget jeg mangler.
Man plejer også at sige at alle homelabs starter og slutter med en Raspberry Pi. Det er nemt at starte ud med, og når man indser at der ikke skal mere til før at dække behovene og resten vild være spild, så nøjes man med sin trofaste Raspberry Pi. Jeg sidder et sted i midten og higer efter et større setup :p
Men det er ellers et fedt setup du har fået lavet til feddit.dk!
Jeg har et genbyg på afterburneren men det bliver på langt sigt. I stedet for Proxmox ville jeg køre Debian med Incus, da jeg kun bruger containers alligevel. Jeg vil også køre ZFS eller btrfs i stedet for. Det ville gøre mig liv meget nemmere…
Pt. ser det hele sådan her ud, ekslusiv DHCP enhder
Deimos [OPNSense / Router] - - 192.168.78.1 / 2a05:f6c7:8321:0:1ad6:c7ff:fe06:a87 Unmanaged Switch / 24 ports - NA / NA Apollo [Workstation] - 192.168.78.10 / 2a05:f6c7:8321::10 Artemis [Proxmox] - 192.168.78.20 / 2a05:f6c7:8321::20 Phobos [NAS] - - 192.168.78.30 / 2a05:f6c7:8321::30 Hephaestus [WiFi AP] - 192.168.78.202 / NA == PROXMOX CONTAINERS & VIRTUAL MACHINES ====================== C:TorRelay - 192.168.78.160 / 2a05:f6c7:8321::0160 C:Gonic - 192.168.78.161 / 2a05:f6c7:8321::0161 C:Corrade - 192.168.78.162 / 2a05:f6c7:8321::0162 C:MeshCore - 192.168.78.163 / 2a05:f6c7:8321::0163 C:Apache - 192.168.78.164 / 2a05:f6c7:8321::0164 C:Backups - 192.168.78.165 / 2a05:f6c7:8321::0165 C:PiHole - 192.168.78.166 / 2a05:f6c7:8321::0166 C:WireGuard - 192.168.78.167 / 2a05:f6c7:8321::0167 C:qBitTorrent - 192.168.78.169 / 2a05:f6c7:8321::0169 C:OwnCast - 192.168.78.170 / 2a05:f6c7:8321::0170 C:i2pd - 192.168.78.172 / 2a05:f6c7:8321::0172 C:endlessh - 192.168.78.174 / 2a05:f6c7:8321::0174Her er nogle billeder af mit homelab igennem det sidste årti
spoiler
Kommer du fra XFS eller andet? Hvad giver de andre for dig?
Jeg kan se at du har brugt græsk mytologi til navngivning, jeg er vild med den idé! Jeg bruger selv nordisk mytologi hvor min storage server er Yggdrasil, app serveren er Heimdall og min kommende eksterne proxy server vil få navnet Bifrost. Netværksudstyr har jeg ikke navngivet, jeg ved ikke lige hvordan de passer ind i min navnepolitik. Jeg har heller ikke navngivet min Raspberry Pi endnu, selvom den er ret gammel.
Jeg bruger selv nordisk mytologi hvor min storage server er Yggdrasil, app serveren er Heimdall og min kommende eksterne proxy server vil få navnet Bifrost.
Jeg tror jeg må i gang med at omdøbe mine servere!
Jeg ved ikke hvad XFS er, er det filsystemer vi taler om? Det jeg primært leder efter er live diff-snapshots af containers, easy backups og data integrity.
Ja, det er filsystemer. XFS er lidt en gammel konge på markedet, trofast men der er funktioner som den ikke har. ZFS og btrfs ser man ofte folk vælger i stedet for nogle af de nyere funktioner som snapshots hvis man kan leve med nogle af de kompromiser som man får med dem (manglende skalerbarhed og manglende beskyttelse ved RAID5/6 kan nævnes ved henholdsvis ZFS og btrfs)
Server 1 kører Unraid på en Ryzen 5 5600X, 32 GB ram, GTX 1070 samt et array bestående af 2*8 TB HDD parity diske og 6 HDD lager diske i forskellig størrelse - 33 TB brugbar lagerplads i alt. Jeg kørte tidligere Plex, men skiftede til Jellyfin for nogle år siden efterhånden da der gik for meget enshittyfication i den hos Plex.
Server 2 kører også Unraid, dog på en Intel i5 6600K (Skylake), 32 GB ram og 6*1 TB SSD (4 TB brugbar). Her kører jeg Nextcloud (OneDrive alternativ), Immich (Google Photos), Mealie (opskriftssamling), Nginx og duplicati (backup til Hetzner) - alle services i docker. Derudover har jeg en enkelt VM kørende med debian. Det er dog udelukkende til python, så jeg kan køre @AutoMod@feddit.dk på den.
Server 1 bor i et Fractal define R6, mens server 2 bor i et 8U 10 tommer mini rack fra DeskPi. Deri bor også et par switche, en JetKVM (til at kontrollere og se HDMI output fra en computer over nettet), en Raspberry Pi 4 og min router. Min Raspberry Pi er pt. ikke sat op til at lave noget efter dens SD kort brændte sammen i efteråret. Jeg har fået migreret dens opgaver til server 2, så på et tidspunkt skal jeg overveje hvad jeg kan bruge den til. Min router består af en Lenovo Tiny computer, som jeg har moddet, så den i stedet for Wifi har et ekstra ethernet stik. Og så har jeg smidt OPNsense på, med Adguard som plugin, på.
Bortset fra en hylde som fulgte med, så har jeg 3D printet alle kabinetter til mit mini rack. Routeren passer lige i en 1U og server 2 bor i et 2U kabinet + 2U til strømforsyning og 6*2,5" SSD. Det var vildt sjovt at rode med mit mini rack og 3D printe dele til det, så jeg kan varmt anbefale at kaste sig over det projekt, hvis man skulle have lyst til at prøve 3D printning :)
Jeg går lidt og leger med tanken om at opgradere server 2 til lidt nyere. Med et grafikkort i og et større kabinet, så ville den kunne dobbeltjobbe og så også agere mediecomputer, som godt ville kunne trække et ældre spil på fjernsynet ind i mellem.
Det er godt at se at der er andre der hopper fra Plex til Jellyfin. Jeg har dog manglet nogle quality of life features som efterhånden er dækket ind med Tracearr og Seerr som erstatning for Tautulli og Overseerr. Det er nu ved at være lige i skabet, så migreeringen er snart ovre. Jeg ville dog ønske at jeg kunne bruge OIDC med Jellyfin i stedet for LDAP, men den feature har stadig lidt lange udsigter…
Jeg har en hjemmebygget server der egentlig mest startede som en NAS, men nu også har Jellyfin og andre småting på. Fordi den startede som en hjemmebygget NAS var det oprindelig fokus på så lavt strømforbrug og støjniveau som muligt, og jeg byggede den i et kabinet der kunne se pænt ud i TV-møblet i stuen.
Nu hvor vi har mere plads lever den dog i kælderen i et større kabinet med fuld skrue på blæserne.
Det er et ASRock miniITX-bundkort med en Celeron J4105, som er passivt kølet med et meget lavt strømforbrug og alligevel kan transkode et par 4K HEVC-streams i realtime på den integrerede GPU. Officielt understøtter bundkortet kun 8 GB RAM, men jeg har kørt med 32 GB i et par år nu uden problemer :-)
Når det kommer til lagring har jeg et skønsomt udvalg af forskellige SATA-diske i kapaciteter fra 3 TB til 16 TB. De kører sammen i et BTRFS RAID1 og giver mig omkring 17 TB lagerplads i alt. Jeg bruger de indbyggede SATA-porte på bundkortet og et 10-ports SATA-kort som jeg købte på Amazon for nogle år siden. Det bruger et ASM106x-chipsæt som er supporteret af vel sagtens alle styresystemer man kunne finde på at bruge, og har virket perfekt indtil videre.
Hvad angår styresystem bruger jeg OpenSUSE MicroOS, som er immutable og bygget til at være så minimalt, sikkert og vedligeholdelsesfrit som muligt. Det egner sig derfor fantastisk til at hoste containere, så derfor kører Jellyfin, Samba, rclone osv. i containers, som løbende og automatisk opdateres.
Alle systemopdateringer installeres i et snapshot, som først bliver aktiveret ved den automatisk ugentlige genstart, og en opdatering er derfor alt eller intet. Hvis en opdatering gør at systemet ikke kan starte, falder det automatisk tilbage til det tidligere snapshot og sender mig en mail. Det er dog ikke sket endnu.
Måske lyder det lidt kedeligt, men det har faktisk gjort at jeg er færdig med at “lege” med min server :-D
At lege med serveren er jo det sjove ved det ;) Jeg har dog selv overvejet at prøve et immutable system, men lige nu kører tingene fint for mig. Fordelene virker dog ret gode, så det kan være jeg tager mig sammen til set en dag og får det prøvet.
Jeg har været i IT-branchen i snart 25 år, så at lege for meget med servere begynder hurtigt at føles som arbejde, og den slags pilleri har jeg folk til 😄
Jeg er lidt “hjemløs” for tiden, bor i en møbleret lejlighed med alle mine ting i opbevaring, så jeg har ikke det store setup på plads desværre. Har normalt en 8. generation Intel NUC og 3 Raspberries der holder styr på mine ting: Home Automation (Zigbee lys hovedsageligt) Arr stack Generel file storage (men bruger Proton Drive til de “vigtige” ting) Mit udviklingsmiljø, så det er ligemeget om jeg er på laptop eller desktop, får samme oplevelse.
Lidt urelateret, men hvordan klarer du opbevaring og i hvilken forbindelse bor du i møbleret lejlighed? Det kan nemlig godt tænkes det bliver min virkelighed i et lille års tid. Server kan jeg måske lokke en kammerat til at passe på, så jeg ikke skal slæbe den til det store udland uden rigtig at være “settled” men resten bliver lidt mere besværligt hvis ikke jeg kan fremleje min lejlighed. Men ellers et fedt mobilt setup du har, der var jeg ikke så smart :p
Jeg forlod Geneve for at starte en virksomhed med en kammerat. Bor i Annecy, i Frankrig. Har en garage her, hvor alle mine ting står, mens jeg prøver at finde ud af: A) om virksomheden kan fungere, eller jeg skal tilbage på det Schweiziske jobmarked B) Hvor jeg vil og har råd til at bo
B er den sværeste del, ærligt talt. Jeg er nået til et punkt hvor jeg gerne vil “settle down”, men jeg ved ikke hvor det skulle være.
Hvor overvejer du at flytte til?
Jeg var lige en uge i Annecy sidste år på min tur til Alperne. Jeg kan godt forstå at du har valgt at bo der :)
Det er rimelig lækkert må jeg indrømme. Høj levestandard, bjerge hele vejen rundt, søen let tilgængelig… men mangler stadig en lejlighed der føles som hjemme. Can’t have it all, I guess 😅
Og maden også, vigtig detalje!
Man kan ikke have høj levestandard med dårlig mad, i min verden!
Det lyder som et spændende eventyr, jeg er en kende misundelig. Jeg tror dog jeg bliver nødt til at lade mine ting blive i DK så jeg ikke løber risikoen for at lave to dyre internationale flytninger hvis planerne skulle gå i vasken.
Jeg har selv leget med early-stage startups og har efterhånden fået nok af udvikling i vores post-LLM verden, så nu prøver jeg at pivote til noget strategisk og/eller Ops. Jeg fik lidt blod på tanden af at rode med risk governance og kulturel transformation ved mit gamle arbejde, så jeg håber et Serie B+ startup kunne bruge mine evner. Jeg kigger primært i tech hubs som fx Amsterdam eller Berlin, så jeg er ikke helt stålfast på hvad det skal være, bare der er gode muligheder for networking. Så det handler mere om at finde et godt match med et startup end den specifikke by.
Fair. Har du overvejet Zurich? Udover at de taler Schwizerdütsch er det et ret godt sted at være, også ift. startups med funding.
Jeg var der et par år, og smuttede egentlig kun for personlige grunde, ikke pga. Zurich. Hvis virksomheden ikke fungerer kunne jeg godt flytte tilbage.
Og lønningerne er alt andet lige bedre ;)
Jeg har også kig på Zürich, det virker som et godt sted at bo hvis man kan få lønnen til at matche leveomkostningerne. Men det er lige om at se hvordan jeg får foden indenfor døren og påtage mig mere ansvar for P&L, ops og strategi. Lige de sidste par uger synes jeg ikke jeg kunne se der var så meget efterspørgsel på det fra Zürich, men det kan være det kommer i bølger.
Fair nok, den del kan jeg ikke hjælpe så meget med. Men ift. løn, som ansvarlig for intern identitet (IAM) i en mindre bank sad jeg med 140k CHF+bonus. Det var meget komfortabelt, og i en biks som ikke ligefrem var kendt for høje lønninger
Det lyder ikke dumt, jeg må se om der ikke skulle dukke noget spændende op i Zürich.
Den kører med GlusterFS ovenpå
Jeg var sikker på at GlusterFS var stendød (kørte det på arbejde for mange år siden), men ser ud til at det er genoplivet, ihvertfald lidt? Men sidste release er næsten et år siden, så det er vidst lidt semi-zombie.
Det fungerer ganske fint til backend i homelabs, jeg ved ikke om jeg ville bruge det i erhverv, det skal der nok en risikoanalyse på. Men det bliver holdt i live af frivillige efter at RedHat gav op på det. Jeg har ikke haft problemer, så at den er i en form for maintenance mode gør mig ikke så meget.
Jeg håber bare ikke det bliver den del jeg kommer til at fortryde om et år eller to. Det bliver jo en backbone der er svært at erstatte uden risiko for datatab.
God tråd! Fedt!
Jeg har en Raspberry Pi med Home Assistant og Vaultwarden på. Den har kørt i mindst 6 år. Den har en SSD i sig.
Jeg har en NAS med nogle store diske i raid og btrfs på. Jeg har ført mistet en disk, og raid var bare guld værd!
Har lige opgraderet diske, da dem der var tilbage også var ved at dø. Så har lidt over 30 TB brugbar plads.Udover det, har jeg en Intel NUC som kører en del services.
Ved siden af den har jeg en ældre bærbar som også kører en del services.
Lige ved siden af den står der en endnu ældre bærbar, som også kører en del services.
Jeg har også en Raspberry Pi mere, som også kører et par enkelte services. Den har kun et sd kort i, men er klar til at blive opgraderet med en ssd.
Jeg har også en gammel frankenstein som har et grafikkort i sig. Den har været brugt til jellyfin og voice til min HA. Den har det dog ikke så godt. Den booter fra en gammel 2gb usb disk, fordi den ikke kan boote fra PCI express kortet med en ssd på :P, og er holdt sammen af håb og strips. Den er ved at blive erstattet af den ene bærbare.For at komme ind på det hele udefra har jeg en lille VPS hos Hetzner. Den er hostet i Finland.
Den kører Pangolin, som laver tunnels til mine maskiner, og har fuldt ud erstattet Cloudflare, som jeg brugte før.Jeg har i alt 62 stacks (plus HA og Vaultwarden), og sammenlagt 159 containers. Nogen af dem er dupletter. F.eks. newt (til forbindelse til Pangolin), og backup scripts og den slags.
Jeg bruger Keycloak til OIDC.
Mailcow til mail.
Opencloud til “drev”
Collabora til office
Jellyfin til film og serier
Dawarich til lokation tracking
Music assistant til musik og radio
Frigate til video NVR
Mealie til opskrifter og dosmerseddel
Wireguard portal til VPN
Immich til hele families fotos
Gotify til notifikationer fra mine services
Uptime kuma
Changedetection når jeg skal holde øje med lagerbeholdning eller lignende på websites.
Email archive fra min gmail (så jeg kan komme væk)
Docs til google keep alternativ
Grafana til server stats
… og mange mange flere servicesAlle services, som har brug for det, har deres egen database, som ligger på disk på den maskine de er på. Ved siden af kører de altid et database backup script, som tager backup lokalt hvor de er.
Config filer er lokalt ved siden af compose filer.
Alle stacks styrer jeg med Komodo.Hver server har et backup script der kører restic i en container. De tager alle backup hver nat af config som ligger lokalt, samt data som er på NAS, men hvor en service på den pågældende server har ansvaret. Der bliver taget backup til en fælles mappe på NAS’en.
2 gange i ugen bliver alle backups kopieret ud på en USB disk, og en Hetzner storage boks.
Så backup er først lokalt i NAS, med masser af historik. Dernæst på USB disk, og derefter i skyen.Mine maskiner kører lidt forskelligt. 1 med HA, 1 med debian, 3 med ubuntu, 2 med opensuse.
Jeg bruger docker, men kunne godt tænke mig på et tidspunkt at opgradere til podman. Men det er en stor omgang, og må blive én server ad gangen - hvis det kan give mening.
Jeg har lige talt sammen, og jeg må indrømme at det nok er lidt vildt, og lidt overdrevent, men jeg har 34 cpu kerner og 90 gb ram og over 30 tb diske. (Jeg har ikke lige talt disk space på mine servere)
Redigeret: alt er iøvrigt genbrug. Måske bortset fra den første Pi med HA på. Diske, nas, bærbare, nuc, grafikkort, switche, og min router og wifi punkter er også fra dba.
Jeg arbejder med den her slags, og gider ikke bruge for meget af min fritid på det, så mit setup er totalt low effort og lidt noget rod - vedligehold er ikke noget jeg bruger meget tid på. Jeg går også ret meget op i at holde strømforbruget lavt.
Min “primære” hjemmeserver er en HP Mini PC med en i5 8500T og 32GB RAM der kører proxmox. Strømforbrug er ca. 9W ved normal load. OS/VM/Container storage er en 1TB SATA SSD, og derudover er der 2x 1TB NVMe drev som er passed direkte ind i en TrueNAS VM og kører ZFS mirror. Ville gerne have nogle større diske men det kommer nok ikke til at ske foreløbig. Kun data jeg bruger ofte ligger på den TrueNAS VM.
Den kører udover TrueNAS også bla. AdGuard, Home Assistant, Linkwarden, Snappymail som LXC’er, samt en Debian VM der kører diverse services via Podman, som Mealie, Navidrome, Kavita osv.
Jeg har også en anden, lidt ældre, HP Mini PC med en 6500T der kører Proxmox Backup Server.
Derudover har jeg mit gamle NAS med en i3 12100 og 2x 8TB diske i ZFS mirror, den kører bare Ubuntu Server. Den står slukket det meste af tiden og tændes kun når jeg en sjælden gang skal bruge noget af det data som ikke kan være på den primære. Det har været sådan siden strømpriserne eksploderede.
Jeg har også en hjemmebygget rackserver med en i7 6800K og 10x 3TB HDD som kører TrueNAS. Den står også næsten altid slukket. Blev mest af alt bygget for shits’n’giggles fordi jeg havde en masse gamle diske fra et gammelt NAS liggende. Jeg bruger den til en ekstra backup af ovenstående, samt noget andet skrammel data.
Remote access har jeg indtil videre kørt via Tailscale, men for at komme væk fra US tech er jeg ved at afprøve Netbird. So far so good. Jeg har intet eksponeret direkte mod internettet, bortset fra en Teamspeak som kun er åben for én IP.
Netværk er altsammen Unifi. Kunne i teorien være rart at skifte væk fra fordi USA, men nu er det købt og betalt.
Det hele står i et 42U rackskab - det var gratis, og jeg er er heldigvis/desværre single, så ingen der brokker sig over det. :D
Jeg har forresten to stk. IBM x3650 M2, hver med 2x Xeon CPU’er og ~88GB RAM, som jeg aldrig kommer til at bruge, hvis nogen skulle være interesseret i at rodde med “rigtige” servere - og er ligeglade med strømforbrug og støj.
Jeg fik også moslet et gratis 42U rackskab op i min lejlighed. Den er også mindre krævende end en kæreste så det er bare win-win!
Jeg har indtil videre siddet med Dev og rykket tættere på BizOps og strategiske roller. Der har min homelab også været en low effort hobby, som bare skulle virke. Jeg håber mit karriere skifte kan genoplive glæden ved det.
Jeg prøver at høre mine kanaler ad om de kunne adoptere nogle IBM maskiner. Jeg tror ikke der er nogen der mangler, men det er forsøget værd så sådanne smukke maskiner kan få sig et nyt hjem.
