Framework dizüstü ve disklerle 10 TB S3'ü doğrudan barındırmak

• Framework dizüstü ve JBOD kullanarak kendi S3 depolamasını kurdu ve 10 TB kapasiteyi düşük maliyetle işletiyor; sistem 4 ay boyunca hiçbir yönetim gerektirmeden kararlı şekilde çalıştı
• Ekranı olmayan ikinci el bir Framework dizüstüne ZFS ve garage S3 kurarak bunu bir ev sunucusu olarak kullandı; AppGoblin'in SDK izleme projesi için büyük ölçekli depolama olarak kullanıyor
• 4 ay boyunca sunucuyla hiç ilgilenmedi; tekrar giriş yaptığında 10 TB'ın kullanıldığını ve yükseltme için yeniden başlatma beklediğini gördü, yeniden başlattıktan sonra da her şey normal çalıştı
• garage S3'ü v1'den v2'ye yükseltme süreci de sorunsuz tamamlandı ve kararlı işletim deneyimi sağlandı
• Dizüstü ile JBOD'u USB üzerinden bağlayan standart dışı bir ZFS yapılandırması nedeniyle başlangıçta sorun yaşandı, ancak metadata'yı dizüstünün dahili depolamasına taşıyarak bunu çözdü

---

Projenin arka planı ve motivasyonu

• 5 ay önce kendi S3 barındırmasına karar verdi
  • AppGoblin'in en büyük 100 bin Android ve iOS uygulamasındaki SDK'leri izleme çalışmasını yürütüyordu
  • Büyük miktarda depolama alanına ihtiyacı vardı, ancak maliyeti düşürmek istiyordu
  • Mevcut bulut S3 yerine self-hosting yaklaşımını seçti

Donanım yapılandırması

• Framework dizüstü kullanımı
  • Ekranı olmayan ikinci el bir Framework dizüstüyü ucuza satın aldı
  • Eski bir model olduğu için ev sunucusu olarak kullanıma uygundu
  • Dizüstünün taşınabilirlik ve düşük güç tüketimi özelliklerinden yararlandı
• JBOD (Just a Bunch of Disks) eklendi
  • Büyük kapasiteli depolama için harici disk dizisi
  • USB üzerinden dizüstüne bağlandı

Yazılım yığını

• ZFS dosya sistemi
  • Veri bütünlüğü ve snapshot özellikleri sağlıyor
  • JBOD'u bir ZFS pool olarak yapılandırdı
• garage S3
  • Hafif, dağıtık ve S3 uyumlu bir depolama çözümü
  • Deuxfleurs tarafından geliştirilen açık kaynak proje
  • S3 API uyumluluğu sağlıyor

4 aylık yönetimsiz işletim

• Kurulumdan sonra 4 ay boyunca sunucuyla hiç ilgilenmedi
  • Seyahat, iş ve yoğun günlük yaşam sırasında bile S3 sürekli kullanıldı
  • Sunucu hakkında düşünmesi gerekmedi
• Giriş yaptıktan sonra fark ettikleri
  • 10 TB depolama alanı kullanılmıştı
  • Sistem yükseltme için yeniden başlatılmayı sabırla bekliyordu
• Yeniden başlatma sonucu
  • Tedirgin şekilde yeniden başlatmayı gerçekleştirdi
  • Her şeyin sorunsuz biçimde yeniden çalıştığını görüp rahatladı

garage S3 yükseltmesi

• v1'den v2'ye yükseltme
  • Beklemede olan büyük sürüm yükseltmesini fark etti
  • Yükseltme süreci sorunsuz ilerledi
  • Bunu güzel bir hafta sonu olarak değerlendirdi

Teknik uyarılar ve çözüm

• Standart dışı ZFS yapılandırmasının farkında olması
  • Dizüstü ile JBOD'u USB üzerinden bağlamak, ZFS için biraz standart dışı bir kullanım senaryosu
  • Reddit topluluğundan bu konuda uyarı aldı
• Başlangıçta yaşanan sorun
  • garage yoğun okuma ve yazma yaptığında ZFS ile ilgili sorunlar ortaya çıktı
  • İlk kurulumda SQLite metadata'sı da JBOD/ZFS üzerinde tutuluyordu
• Sorunun çözümü
  • Metadata'yı dizüstünün dahili depolamasına taşıdı
  • Sonrasında ZFS sorunları çözüldü ve sistem kararlı şekilde çalıştı

[shakespeares]

Kendi kendine hosting yapmaya kalkışmak başlı başına etkileyici.

[rtyu1120]

Fiyat açısından epey farklı olsalar da, Framework anakartı modern zamanların Raspberry Pi’ı haline gelmiş gibi görünüyor.

[GN⁺]

Hacker News görüşleri

• Ekran olmadan sadece anakart varsa, bunu CoolerMaster gibi özel bir kasaya da koyabilirsiniz CoolerMaster Framework kasa bağlantısı
  • Bunlar gerçekten çok hoş, ama benim vurgulamak istediğim şey bu dizüstü bilgisayarın kendisinin son derece iyi çalışması; fan sesi yok denecek kadar az, ısı neredeyse hiç yok ve düşük yükte güç tüketimi de gerçekten çok iyi. Bence bunlar, dizüstünün bu kullanım için neden çok uygun olduğunu gösteriyor.
  • Framework Marketplace'te kasa bağlantısı paylaşılıyor Framework Marketplace kasa bağlantısı. Eski bir anakartı bu kasaya koyup yükseltme yapmıştım; VESA mount ile monitörün arkasına takıp masaüstü PC olarak da kullandım ve şimdi HTPC (ev sineması PC'si) olarak kullanıyorum. Oldukça memnunum.
  • 10 inç mini rack de iyi bir alternatif DeskPi RackMate 10 inç mini rack
• Teknik tarafı daha çok merak ediyorum; birebir aynısını yapmak istediğimden değil, ZFS pool yapılandırmasını nasıl yaptığını ve Garage'ın bunu kendisinin mi düzenlediğini merak ediyorum. Mirroring var mı, yoksa yalnızca ayrı pool'ların farklı diskler arasında senkronize edildiği bir yapı mı? Ben iki USB disk kullanarak ucuza bir NAS yapmak istiyorum ama ZFS mirror mu yapayım, bağımsız iki pool oluşturup birini diğerinin yedeği olarak mı kullanayım, yoksa eski diskleri karıştırıp donanım kullanımını en üst düzeye çıkarmak için SnapRAID'e mi geçeyim diye düşünüyorum.
  • ZFS mirror ile bağımsız pool arasında kararsızsanız, mirror ile bit rot koruması ve otomatik onarım (scrub) kazanırsınız, ayrıca okuma hızı da artar. Boyutları benzer iki sabit diskiniz varsa ZFS ile bir mirror vdev'i mevcut pool'a ekleyebilir ya da yeni bir yedek pool oluşturabilirsiniz. Mirrora girecek iki diskin kendi aralarında benzer boyutta olması yeterli; pool içindeki tüm disklerin aynı olması gerekmez.
  • Garage belirli bir yönteme bağlı bir yapı değil; ZFS olmadan da gayet iyi çalışabilir. Ubuntu'ya ZFS'yi ayrıca kurduktan sonra Garage'ı kurdum. ZFS'yi basitçe RAID5/raidz1 olarak yapılandırdım. Uzman değilim ama kapasite kaybı %33'e yaklaştığı için bu kısmı yeniden düşünmeye başladım. Bu konuda eskiden HN'de gördüğüm büyü gibi bir yorum aklıma geliyor: “Ben bazı önemli verilerimde birkaç saatlik kaybı tolere edebileceğimi düşündüğüm için mirror yerine bağımsız tek diskli iki pool kurdum; ana pool'da birkaç saatte bir snapshot alıp bunu zfs send/recv ile yedek pool'a gönderiyorum.” Bu akış benim kullanım amacıma daha uygun olabilir. Aslında RAID5'i tek disk arızasına karşı düşünmüştüm ama başka bir konumda aynı yapıyı kurmanın maliyeti (~$1,000 USD) epey yüksek olduğu için henüz yapamadım.
• Garage adını ilk kez duyuyorum ve oldukça ilginç görünüyor. İşte S3'ü sık kullanıyorum, kişisel homelab yedeklerinde ise borgbase üzerinde borg kullanıyordum. Acaba Garage kullanarak yerel node ile AWS Glacier'ı birleştirip büyük bir medya kütüphanesini ucuza yedekli şekilde saklamak mümkün mü, bir de tüm okuma trafiği yerel node üzerinden mi olur merak ediyorum. TFA'da gerçek Garage kullanım deneyiminden çok bahsedilmemiş, bu yüzden bunu gerçekten self-hosting amacıyla kullananların görüşlerini duymak isterim. Düzenleme: Glacier'a yazamayacağını öğrendim, çünkü Garage binary'sinin çalıştığı EC2 instance üzerinde dosya sistemi olarak mount edilmesi gerekiyor. Glacier'a yedek planlamak için doğrudan borg/restic kullanmak daha iyi.
  • Başka bir alternatif olarak ZeroFS var; veriyi doğrudan S3'e kaydedebiliyor ZeroFS GitHub
  • AWS S3 ile entegre edip agresif lifecycle policy uygulayarak veriyi kısa bir süre sonra otomatik olarak Glacier'a taşıyabilirsiniz. Eski iş yerimde bunu bu şekilde kurmuştuk; birkaç gün sonra standart depolamadan Glacier'a geçecek şekilde kullanmıştık. Sizin durumunuzda X değerini 1 gün yapabilirsiniz.
  • Garage'ın kendisiyle doğrudan uğraşmam gerekmedi; awscli, s3cmd, rclone, Boto3 gibi S3 API araçlarıyla gayet iyi kullanılabildi. Garage yalnızca birkaç komutla kolayca kuruldu ve bir kez çalıştırdıktan sonra 4 ay boyunca kendi kendine sorunsuz çalıştı. Bu açıdan oldukça memnun kaldım.
• Sessiz ama başarılı bir self-hosting örneğini paylaşmak istedim.
  • Bu JBOD'nin SSD'lerden mi oluştuğunu merak ediyorum. O kadar sayıda HDD varsa oldukça gürültülü olabilir.
  • Eskiden “bir bilgisayara gerçekten sahip olup onun üzerinde bir şeyler çalıştırmak” durumunun artık ‘self-hosting’ diye adlandırılması bana hep tuhaf gelmiştir. Sanki artık bütün bilgisayarlar başkalarına aitmiş gibi bir dönemde yaşıyoruz ve bu yüzden gerçekten kendimizin kullandığını özellikle belirtmek zorunda kalıyoruz.
• Ben olsam eski bir Dell T30 üzerinde 10TB'lık iki Seagate Exos diski ZFS RAID1 (mirror) ile kullanmayı daha güvenli hissederdim. Önerilen yöntem, her gün yedek alsanız bile bana her seferinde biraz tedirgin hissettirirdi. Dell T30 da tamamen iç rahatlatıcı değil ama en azından diskleri başka bir cihaza takmak daha kolay ve kabloların kolayca çıkması gibi bir endişe daha az. Yine de Garage oldukça iyi görünüyor, teşekkürler.
  • Ben de ZFS'yi uzun zamandır kullanıyorum ve sonunda birçok veri için birkaç saatlik kaybı tolere edebileceğim sonucuna vardım. Bu yüzden mirror yerine bağımsız tek diskli iki pool kurdum; yapı şu: ana pool'da birkaç saatte bir otomatik snapshot ⇒ zfs send/recv ile yedek pool'a kopyalama. Bu sayede diskleri esnek biçimde karıştırıp kullanabiliyorum (örneğin biri SSD, diğeri HDD olabilir). Tabii bunun karşılığında okuma hızı ve erişilebilirlik süresinde taviz veriyorsunuz. Harici bir diski yedek disk olarak kullanıp birkaç günde bir bağlamak da mümkün. Önemli veriler için ayrıca mirrored bir RAID pool'um var. ZFS hakkında yazılanların çoğu RAID'e odaklanıyor ama yukarıda sözünü ettiğim, donanımı minimumda tutan kurulum hakkında bilgi az gibi geliyor.
• Framework'ün burada özel olarak ne kattığını tam bilmiyorum. Ben RPi5'e birkaç disk bağlayarak benzer seviyede hosting yapıyorum. ZFS yerine lvm2 kullanıyorum ve RPi5'te gayet iyi çalışıyor. ZFS çok fazla RAM tükettiği için bu kullanım için uygun değil.
• Garage'ı çok seviyorum, kendi kendine gayet iyi çalışıyor. Birkaç eski Odroid HC2 üzerinde Garage'ı k8s Velero yedekleri için çalıştırıyorum ve kurulumdan sonra ellemeye gerek kalmadan kendi kendini sürdürüyor.
• Garage'tan bahsedildiğini görmek güzel. Ben de S3 uyumlu self-hosting alternatifi seçerken Garage ile SeaweedFS arasında kalmıştım. Benim deneyimimde SeaweedFS, Garage'a göre daha az manuel yapılandırma istediği için daha rahattı.
• Harika bir sonuç. Ben de Framework anakartını değiştirip onu yalnızca NAS yedeği için değerlendirmeye çalışıyorum. ZFS kurulumunu biraz daha ayrıntılı duymak isterim; bunu yalnızca snapshot alanı olarak kullanmak istiyorum ama USB bağlantı hızı ve yanlışlıkla ayırınca veri kaybı yaşama ihtimali beni düşündürüyor.
• Garage hakkında önceki bir tartışma var Hacker News Previous Discussion