2 puan yazan GN⁺ 2024-01-01 | 1 yorum | WhatsApp'ta paylaş
  • Intel i5-12400, ASUS Prime H770-Plus D4, 64GB DDR4, Ubuntu Server 23.04, Corsair RM750 kombinasyonu, depolama aygıtları eklenmeden önce duvar tipi güç ölçere göre 7W boşta güç tüketimine ulaştı
  • Düşük gücün anahtarı, BIOS’ta C-State, ASPM L1, RC6, ALPM’i açıp PowerTOP auto-tune ile CPU paketinin C8/C10 güç tasarrufu durumlarına girmesini sağlamak
  • 12 HDD ve birkaç NVMe takıldığında güç 24~25W’a kadar çıktı; JMicron JMB585’in ASPM’i engelleyip sistemi C3’e kilitlemesi sorunu, ASM1166 SATA denetleyicisine geçilerek hafifletildi
  • CPU’ya doğrudan bağlı PCIe/M.2 yuvaları, NVMe·SATA SSD modelleri, Realtek NIC, USB aygıtları ve SATA denetleyici firmware’i C-State’i değiştirebildiğinden, parça kombinasyonlarına göre A/B testi gerekiyor
  • 11 HDD ile NVMe/SATA denetleyicileri içeren nihai yapılandırma da HDD spin-down, ekran ve klavye güç tasarrufu uygulandığında 15~16W’a indi; uzun vadede SSD’ye geçişle 10~11W boşta güç tüketimi bekleniyor

7W boşta güç tüketimli yapının referans yapılandırması

  • Hedef; düşük boşta güç tüketimi, sıkıştırma için yeterli CPU performansı, 12 HDD ve en az 1 NVMe’yi idare edebilme, gelecekte 6 NVMe ve 6 SATA SSD’ye geçiş için genişleyebilirlik ve maliyet kontrolüydü
  • 7W ölçümü, depolama aygıtları ciddi biçimde eklenmeden önce duvar tipi güç ölçer bazında alındı
    • Intel H770 anakart
    • Intel i5-12400 CPU
    • 64GB DDR4 RAM
    • Ubuntu Server 23.04 önyükleme SSD’si
    • Corsair PSU
  • BIOS’ta C-State ayarlanarak C8’e ulaşması sağlandı ve powertop --auto-tune uygulandı
  • PowerTOP auto-tune, USB portu güç tasarrufu nedeniyle USB klavyeyi devre dışı bıraktı; klavyenin sürekli kullanılabilir kalması sağlandığında duvardan çekilen güç 8W oldu
  • Ekran çıkışı açıkken 9~10W’tı; consoleblank=600 ile 600 saniye sonra ekran kapanınca 7W’a indi

Geçmiş düşük güç yapıları ve bu kez hedef

  • Önceki düşük güç yapı kayıtları bu hedef için referans noktası oldu
  • Duvardan ölçümde 10W civarında yeni bir sistem kurmak için parça seçimi ve ince ayardan sonra gerçek sonucu kontrol etmek gereken, kumarı andıran bir iş

Anakart seçimi: ASUS Prime H770-Plus D4

  • Nihai seçim ASUS Prime H770-Plus D4 oldu
  • O dönemde genel tüketiciye yönelik seçenekler Intel 600/700 serisi ve AMD 500/600 serisi anakartlardı
  • Gelecekte 6 NVMe sürücü kullanma ihtimali önemliydi, ancak 6 M.2’nin tamamını PCIe modunda aynı anda kullanabilen tüketici anakartı olmadığı düşünüldü
    • AMD MEG X570S Unify-X Max, 6 M.2 varmış gibi görünse de kılavuza göre 6’sı da doldurulduğunda son yuvanın SATA varyantı olması gerekiyor
    • ASRock Z790 PG Sonic de 6 yuvaya sahip, ancak Gen5 NVMe yuvasının karşılıklı dışlama koşulu nedeniyle yalnızca 5’i kullanılabiliyor
  • Tüketici anakartlarında tüm M.2’leri Gen4 x4 olarak kullanmaya çalışırken yonga seti lane sınırı var
    • AMD X570, Intel B760: en fazla 3
    • AMD B650, Intel H670/Q670/Z690/W680: 4
    • AMD X670, Intel H770: 5
    • Intel Z790: 6
  • 6 NVMe hedefi nedeniyle PCIe-to-M.2 adaptörü gerekiyordu; dahili M.2 yuvası sayısı ile x4 veya üzeri PCIe yuvası sayısının toplamı anakart seçim kriteri oldu
  • Intel platformunun seçilme nedenleri yonga seti gücü, yonga seti-CPU bağlantı hızı, eldeki parçalar ve AM5 güç tüketimi endişesiydi
    • Intel 600/700 serisi yonga setlerinin TDP’si tamamında 6W
    • AMD X670 yonga seti 7W+7W olarak görüldü
    • Intel H670/Q670/W680/Z690/H770/Z790, CPU’ya DMI 4.0 x8 ile bağlanıyor; AMD X570/B650/X670 ise PCIe 4.0 x4 ile bağlanıyor. Teorik aktarım hızı yaklaşık 16GB/s’ye karşı 8GB/s düzeyinde
    • Eldeki 64GB DDR4 ve Intel 12. nesil CPU yeniden kullanılabiliyordu
    • AMD 600 serisi yonga setleri yalnızca DDR5 destekli

CPU, bellek, önyükleme sürücüsü, PSU

  • CPU olarak elde bulunan Intel i5-12400 H0 stepping Alder Lake kullanıldı
    • Önceki masaüstü yapıda AV1 donanımsal decode, E-core silikon ek yükünden kaçınma ve 12. nesil ürün gamındaki performans gibi nedenlerle seçilmişti
    • Önceki masaüstü yapıda GPU ve ekranla ilgili çok sorun yaşanmıştı, ancak bu sunucu odaklı yapı için bunlar temel faktör değildi
  • Bellek olarak 64GB DDR4-3200 kullanıldı
    • 2x16GB Kingston HyperX dual-rank Hynix DJR
    • 2x16GB Kingston HyperX single-rank Hynix CJR
    • 4 modül 16-18-18-36 zamanlamayla çalıştırıldı ve RAM voltajı 1.25V olarak ayarlandı
    • TestMem5 ve Memtest86’da 1.22V da kararlıydı, ancak kararlılık payı için 1.25V kullanıldı
  • Test amaçlı önyükleme sürücüsü Sandisk Ultra 3D 1TB SATA SSD’ydi
    • PCIe ve NVMe A/B testleri çok olduğu için PCIe yuvalarını boş bırakmak amacıyla Ubuntu 23.04 bir SATA SSD’ye kuruldu
    • Testlerden sonra ana işletim sisteminin Samsung SSD 970 EVO Plus 500GB NVMe üzerinde çalıştırılması planlandı
  • PSU olarak Corsair RM750 kullanıldı
    • 10W civarı boşta çalışan bir sistem için 750W fazla görünebilir, ancak 12 sürücü motoru aynı anda dönmeye başladığında anlık yük yüksek olabilir
    • Seagate, tek bir 10TB 3.5 inç sürücünün 12V hattı tepe akımını DC/AC bazında 2A/3A olarak belirtiyor
    • 6 sürücü aynı anda 150~200W çeker ve CPU tepe noktada 120W çekerse, 10W boşta durumundan yaklaşık 400W’a kadar anlık sıçrama olabileceği hesaplandı
    • Anlık güç yetersizliği voltaj düşüşüne, çökmeye, yeniden başlatmaya ve yazma sırasında veri bozulmasına yol açabilir

BIOS ve OS güç ayarları

  • İlk güç ölçümü koşulları Ubuntu Server 23.04, Intel PowerTOP auto-tune ve duvardan ölçümdü
  • BIOS’ta uygulanan başlıca ayarlar şunlardı
    • CPU C-state’i C10’a kadar etkinleştirme
    • ASPM’i etkinleştirme ve hepsini L1’e ayarlama
    • RC6(Render Standby) etkinleştirme
    • Aggressive LPM Support(ALPM) etkinleştirme
    • HD Audio, Connectivity Mode, LED’ler, GNA Device, Serial Port devre dışı bırakma
  • Düşük güç hedefinde anakart desteği ve BIOS yapılandırması kritik
    • ASUS H770 kartında düşük güç tüketimi için Native ASPM ve uygun L1 durumları etkinleştirilmeli
    • Bu ayar, BIOS denetimi yerine OS denetimine izin vermek için

Depolama aygıtları takıldıktan sonra ortaya çıkan darboğaz

  • 12 HDD bağlanıp dönüşleri durdurulmuş halde bırakıldığında bekleme gücü 7W’tan 24~25W’a çıktı
    • Başta 6 adet 2.5 inç HDD ve 6 adet 3.5 inç HDD kullanıldı
    • Anakartta yalnızca 4 SATA portu olduğu için SATA denetleyici ve port multiplier kullanıldı
    • İlk aşamada 4 NVMe de kullanıldı; Western Digital SN770 boşta bile sıcak çalışıyor ve düşük güç moduna girmiyor gibi görünüyordu
  • HDD’ler ayrılıp bileşenler tek tek test edildiğinde, JMicron JMB585 SATA denetleyicisinin güç artışının ana nedeni olduğu görüldü
    • JMB585 yokken CPU paketi C6’ya ulaşıyor
    • JMB585 yeniden bağlandığında en fazla C3’e ulaşabiliyor
    • PCIe aygıtı ASPM L1’e girmediğinde CPU daha derin güç tasarrufu durumlarına giremiyor
    • JMB585 denetleyici kartı ASPM desteklemiyor gibi görünüyor

CPU’ya doğrudan bağlı PCIe lane’lerinin etkisi

  • Bu sistem yalnızca CPU’ya doğrudan bağlı PCIe lane’lerine hiçbir şey bağlı değilken C8’e ulaştı
  • Üst PCIe yuvasına veya üst NVMe yuvasına herhangi bir şey takıldığında sınır C6 oldu
  • C6 ile C8 arasındaki güç farkı basit bir testte 1W’tan düşük göründü
  • C8 ulaşılırsa iyi olur seviyesinde, ancak C6’ya ulaşmak şart olarak görüldü
  • C3’ün çok fazla güç kullandığına karar verildi
  • Bu belirli anakartta düşük gecikme veya CPU’ya doğrudan bağlı tam bant genişliği şart değilse, CPU’ya doğrudan bağlı lane’leri kullanmaktan kaçınmak daha iyi

ASM1166 SATA denetleyici ve JMB585 karşılaştırması

  • SATA HBA ararken ASM1166 SATA denetleyicisinin ASPM L1 destekleyebileceği, ancak düzgün kullanmak için firmware flash işlemi gerektiği değerlendirildi
  • ASM1166 kartı geldikten sonra önce firmware flashlandı
  • Sürücü bağlı değilken güç ölçüm sonuçları
    • SATA denetleyici yok: 8W, C8
    • ASM1166 yonga setine doğrudan bağlı x4 yuvasına takılı: 9W, C8
    • JMB585 CPU’ya doğrudan bağlı x16 yuvasına takılı: 12W, C3
    • JMB585 yonga setine doğrudan bağlı x4 yuvasına takılı: 15W, C3
    • ASM1166 CPU’ya doğrudan bağlı x16 yuvasına takılı: 22W, C2
  • Sürücüler bağlıyken ASM1166 güç açısından JMB585’ten açıkça daha iyiydi
    • ASM1166 yonga setine doğrudan bağlı x4 yuvasına takılı: 10W, C8
    • 2 adet ASM1166 yonga setine doğrudan bağlı x4 yuvalarına takılı ve yalnızca 1 NVMe kullanılıyor: 11W, C8
    • JMB585 yonga setine doğrudan bağlı x4 yuvasına takılı: 16W, C3
    • JMB585 CPU’ya doğrudan bağlı x16 yuvasına takılı: 24W, C2
  • Yonga setine doğrudan bağlı yuvaya 4 sürücü takıldığında ASM1166 sistem gücüne +2W ekledi, JMB585 ise +8W ekledi

NVMe ve SATA sürücüler de C-State’i değiştiriyor

  • WD Black SN770 Gen4 NVMe, CPU’ya doğrudan bağlı üst PCIe/NVMe portunda kullanıldığında AER Bus Error ve BadTLP sorunları oluştu
    • BIOS’taki “PEG – ASPM” Disabled veya L0s bırakıldığında hata yoktu
    • Ancak L1 güç tasarrufu için önemli olduğundan iyi bir seçenek değildi
    • Link Speed Gen3’e ayarlandığında hatalar büyük ölçüde azaldı ama tamamen kaybolmadı
    • WD sürücü Crucial P3 ile değiştirilince hatalar ortadan kalktı
  • CPU’ya doğrudan bağlı PCIe x16 yuvasına ve üst M.2 yuvasına 2 Crucial P3 NVMe takıldığında denetleyici boşta sıcaklığı yüksekti
    • NAND yaklaşık 27~29°C’ydi, ancak denetleyici 49~50°C olarak raporlandı
    • İki NVMe de yonga setine doğrudan bağlı PCIe yuvalarına alınınca L1.1/L1.2 etkinleşti ve denetleyici sıcaklığı da 38~41°C’ye indi
    • Güncellemeye göre nihai yapıda Crucial P3 denetleyici sıcaklığı 31~34°C, NAND sıcaklığı 23~24°C oldu
  • SATA SSD markası ve modeli de C-State sonucunu değiştirebilir
    • 1TB Patriot P210 SATA SSD sistemi C6’da kilitli tuttu
    • C10’a izin veren sürücüler arasında Samsung 850 EVO SATA SSD, Seagate SATA HDD, Toshiba SATA HDD, Sandisk Ultra 3D SATA SSD, Crucial MX500 vb. vardı
    • SATA SSD’de marka ve modeli dikkatle seçmek, satın aldıktan sonra iade süresi içinde performans göstergelerini doğrulamak iyi olur

Güncel depolama yapılandırması ve güç

  • Güncel yapılandırmada depolama aygıtları ciddi biçimde artmış durumda
    • 1x Samsung 970 EVO Plus NVMe 500GB önyükleme sürücüsü
    • 2x Crucial P3 NVMe 4TB
    • 5x Seagate 2.5 inç HDD 5TB, her biri 4TB kullanılıyor
    • 6x Seagate 3.5 inç HDD 10TB, her biri 8TB kullanılıyor
    • 2x ASM1166 SATA kartı
  • Ekran açık ve klavye etkin durumdayken aşama aşama duvardan çekilen güç şöyle
    • 11 HDD’nin tamamı active-idle: 50W
    • 6 adet 3.5 inç HDD Idle B: 38W
    • 6 adet 3.5 inç HDD Idle C: 34W
    • 6 adet 3.5 inç HDD Standby_Z ile spin down: 21W
    • 5 adet 2.5 inç HDD de Standby: 18W
    • Ekran çıkışı kapalı: 16W
    • PowerTOP’un USB klavyeyi devre dışı bırakmasına izin verildiğinde: 15W
  • Seagate’in belirttiği standby güç tüketimi 3.5 inç sürücüler için yaklaşık 0.8W/adet, 2.5 inç sürücüler için yaklaşık 0.18W/adet; gerçek gözlemlerle uyumlu göründü
  • 3.5 inç sürücüler, sistemin diğer bileşenleriyle karşılaştırıldığında yüksek güç tüketen aygıtlar

HDD’den SSD’ye uzun vadeli geçiş

  • HDD standby durumundaki boşta tüketim düşük olduğundan SSD’ye aceleyle geçmeye gerek olmadığı düşünüldü
  • HDD’ler ve yedek sürücüler bozuldukça veya SSD fiyatları düştükçe kademeli geçiş planlanıyor
  • Nihai hedef tamamen SSD’li yapı
    • Asıl plan 1 önyükleme sürücüsü, RAIDZ2 için 6x NVMe ve ikinci RAIDZ2 için 6x SATA SSD’ydi
    • NVMe için muhtemelen Crucial P3 4TB, SATA SSD için muhtemelen Samsung 870 QVO 8TB düşünülüyor
  • CPU’ya doğrudan bağlı M.2/PCIe yuvalarının kullanımı öngörülemezlik ve bir miktar C-State·güç·sıcaklık maliyeti getirdiği için, NVMe’lerin bir kısmından vazgeçip daha fazla SATA kullanarak CPU’ya doğrudan bağlı lane’lerden kaçınma yönüne de dönülebilir
  • Tüm HDD’ler SSD ile değiştirildiğinde 72TB sürücü, 64GB RAM ve oldukça iyi bir işlemciyle boşta gücün yaklaşık 10~11W olacağı bekleniyor

ZFS önbelleği ve Special vdev kullanımı

  • Tüm HDD’leri SSD ile değiştirmek muhtemelen zaman alacağından, bu arada ZFS’nin hızlı depolama aygıtlarından yararlanma özellikleri kullanılıyor
  • ZFS, yavaş depolama aygıtlarının önüne SSD gibi hızlı depolama aygıtları koymak için Special Allocation Class ve L2ARC önbellek sürücüsü seçenekleri sunuyor
  • Special Allocation Class, metadata ve seçilen boyuttaki küçük bloklar için özel bir vdev oluşturabiliyor
    • Dosya listeleri ve dizin gezintisi hızlanıyor
    • Dosyanın kendisi HDD’de kalırken, birden fazla dizinde ls çalıştırıldığında HDD’leri uyandırmamak mümkün olabiliyor
    • Ancak tüm metadata special vdev’de olduğundan, vdev ölürse tüm verilere erişim fiilen imkânsız hale geliyor
    • En az mirror yapılandırması gerekiyor; 3-way mirror da düşünülebilir
  • L2ARC, ZFS’nin ikinci seviye önbelleği
    • RAM önbelleği dolunca ZFS bazı blokları L2ARC’ye kopyalayıp RAM’den çıkarıyor
    • Sonraki erişimde ilgili veri diskten değil L2ARC’den okunuyor
    • L2ARC için tek SSD kullanmak da sorun değil; checksum hatası veya sürücü arızası olursa ZFS veriyi özgün diskten yeniden okuyor
  • Bu yapılandırmada 4TB NVMe L2ARC olarak kullanılıyor
    • Kalan 2.5 inç sürücülerin tamamı SSD ile değiştirilip SSD önbelleğin hız avantajı ortadan kalkarsa bu önbellek aygıtı kaldırılabilir

Pratik sonuçlar

  • Düşük boşta güç tüketimi isteniyorsa anakart BIOS’u C-State, ASPM ve ALPM ayarlarını yeterince sunmalı
  • Tüm aygıtların ASPM L1 desteklemesi, sonucu kararlı kılmak için gerekli
    • En zor kısım ASPM L1 destekleyen SATA denetleyici bulmaktı
    • Mümkünse ayrı karta ihtiyaç kalmaması için Intel yonga setine doğrudan bağlı yeterli SATA portu olan bir anakart kullanmak daha iyi
    • NVMe’nin de ASPM altında düşük güç APST durumlarını düzgün çalıştıran bir ürün olup olmadığı araştırılmalı
  • Hedef C8 ise CPU’ya doğrudan bağlı PCIe lane’lerini kullanmaktan kaçınmak iyi olur
    • CPU’ya doğrudan bağlı lane’ler üst PCIe ve M.2 yuvalarıdır
    • Düşük gecikme ve CPU’ya doğrudan bağlı tam bant genişliği gerekiyorsa veya aygıt sürekli aktif kalıp güç tasarrufu durumuna girmiyorsa bu istisnadır
  • Kill-A-Watt gibi duvar tipi güç ölçer gerçek durumu doğrulamak için şart
    • Yalnızca yazılım göstergeleriyle PSU verimliliği, sürücü bekleme gücü, USB aygıt etkisi ve ekran çıkışı etkisini görmek zor
  • Realtek NIC ile ilgili güncellemeye göre yeni Linux çekirdekleri çoğu Realtek NIC’te L1 güç tasarrufu modunu devre dışı bırakıyor; bu da CPU’nun uygun C-State’e girmesini engelleyip güç tüketimini artırabilir
    • Geçici çözümler var, ancak gelecekte Intel 1 Gigabit ağ adaptörü bulunan anakartlarla sınırlama ihtimali yüksek
    • Yorumlarda bahsedilen script RTL8125-ASPM.sh.txt adresinde görülebilir

1 yorum

 
GN⁺ 2024-01-01
Hacker News görüşleri
  • 30W altı sistemleri derleyen bir Alman forum başlığı ve Google Docs belgesi var; bu da ev sunucusu/NAS kuranlar için epey faydalı görünüyor https://goo.gl/z8nt3A
    Kişisel olarak fiyat/performans açısından en iyi bulduğum kurulum Fujitsu D3417-B2, Intel Xeon 1225 V5, 64GB ECC RAM, WD SN850x 2TB, Fractal Design Define Mini C, Pico PSU 120W + 120W Leicke güç kaynağı ve Intel AMT + MeshCommander uzaktan yönetim oldu
    Bunu ikinci el olarak çok ucuza aldım ve üzerinde Proxmox çalıştırıyorum; HDD olmadan boşta güç tüketimi 9.3W. Ayrıca 6 SATA portu ve bir PCIe yuvası var; yani depolama eklemek veya özel GPU passthrough yapmak da mümkün
    Toplamda €380 ödedim ama bulması zor olabilir. Medya kodlama için çok iyi değil, bu yüzden Core i3 8100 veya üstü daha iyi olur; alternatif kartlar olarak GIGABYTE C246N-WU2, Gigabyte C246-WU4, Fujitsu D3517-B, Fujitsu D3644 ve Corsair RM550x 2021 sürümü de düşünülebilir
    Dell T30 ya da Fujitsu Celsius W550 gibi ucuz ikinci el workstation'lar da sunucu olarak gayet uygun. Fujitsu tarafında D3417(-A) kart kullanıldığı için 24 pin ATX yerine özel 16 pin güç kaynağı kullanılıyor; AliExpress'teki 24 pin-16 pin adaptör ise biraz riskli, hâlâ doğrulama sürecinde
    Ryzen tarafında seçenek az ama AMD Ryzen 5 PRO 4650G ve Asus PRIME B550M-A kart kombinasyonunun boşta yaklaşık 16W çektiğine dair raporlar var

    • Fujitsu 16 pin adaptör sorunsuz çalışıyor. Pin dizilimi de zaten iyi biliniyor https://web.archive.org/web/20200923042644/https://sector.bi..., 5VSB'yi 11V'a yükseltirseniz normal bir ATX güç kaynağını da uyumlu şekilde kullanabilirsiniz
      Fujitsu kartları harika ve AB'de çok ucuz. Uzaktan yönetim özelliği iRMC S4/S5 için KVM lisansının reverse-engineer edildiği örnekler de var https://watchmysys.com/blog/2023/01/fujitsu-irmc-s4-license/
    • Bu kurulum iyi görünüyor ama eski döner diskli HDD'lerden birkaç tane çalıştırmayı düşünüyorsanız Pico PSU konusunda dikkatli olun
      HDD'ler spin-up sırasında yüksek güç zirvesi yaratır; RAID içinde birden fazlaysa aynı anda devreye girip izin verilen güç aralığını aşabilirler
    • 2023 model AMD PRO CPU ve b550m kombinasyonuyla boşta 9W görüyorum
      AMD PRO CPU'lar ECC destekliyor; bence gerçek bir bilgisayarda bu şart. Kart üzerindeki bileşenlerin çoğunu kapattım ve kalite olarak neredeyse tüketici segmentinin en alt seviyesinde
      Gerektiğinde daha fazla güç harcanması gereken durumlarda entegre GPU'nun oldukça iyi olması güzel
  • Donanım harika ama yazılım yönetimi başlı başına işe dönüşüyorsa, böyle kendi topladığın sistemleri gerekçelendirmek zorlaşıyor
    Benim Synology NAS'ımda 8GB RAM ve J4150 işlemci var; yaklaşık 15 container, Wireguard ve Synology işletim sistemi DSM çalıştırıyor, genelde de boşta %1-3 seviyesinde oluyor
    Sonuçta farkı yazılım yaratıyor ve DSM en büyük artı ve en şaşırtıcı nokta oldu. TrueNAS'ı da ikinci yedek sunucusu olarak kullanıyorum ama DSM'le kıyaslanamaz
    Başka bir sunucudan tek dosya yedeklemek için temel bir CRON ayarı yüzünden log karıştırıp deneme-yanılmayla uğraşmak istemediğim zamanlar oluyor; DSM ise sayısız kez doğrudan çalıştı
    Bence Synology, DSM'i Synology dışı platformlarda da çalıştırmaya izin vererek ya da en azından kendi başına kurulumunu kolaylaştırarak, NAS dünyasının Microsoft'u olma fırsatını kaçırıyor. DSM çok iyi bir işletim sistemi; kendi başına da satabilir ve Active Backup for Business gibi ürünlere upsell fırsatı da yaratabilir

    • https://xpenology.org/
      Xpenology, Synology'nin DSM'i için bir bootloader; DSM ise Synology NAS cihazlarında kullanılan özel Linux tabanlı işletim sistemi
      Xpenology ile Synology donanımı almadan da normal PC veya kendi yaptığınız NAS gibi x86 cihazlarda Synology DSM çalıştırabilir, böylece DSM'in multimedya ve bulut özelliklerinden yararlanabilirsiniz
      Daha güçlü işlemci ve RAM'i kendiniz seçebildiğiniz için özellikle video transcoding gibi işler için bunu tercih eden çok kişi var
    • Belirli donanım paketlerine odaklanıp onların iyi çalışmasını sağlamak muhtemelen DSM kalitesinin bir parçası
      Donanım kombinasyonlarında seçenekler biraz artsa bile kombinatoryal patlama yaşanıyor ve hepsini test etmek imkânsız hâle geliyor
    • UI ve UX gerçekten çok iyi. İlk kez 2010 civarında kullandığımda bile kullanması keyifliydi
      Bulut IaaS'ın ön yüzü olarak bir Synology DSM frontend'i hiç fena olmazdı
    • Synology'nin işleri benim yerime halletmesi sayesinde uğraşmak zorunda kalacağım Linux angaryası ortadan kalkıyor; bu da Synology NAS için ödenen parayı fazlasıyla haklı çıkarıyor
      DS1520+'da beş adet 16TB Seagate Iron Wolf Pro HDD'yi RAID6 olarak kurdum; aynı HDD'lerden birini de cold spare olarak saklıyorum ve sistem 2 yıldır tamamen sorunsuz çalışıyor
      Öte yandan benim Linux kurulum geçmişim nefes alırken bile sistemi bozacak seviyede; adeta yürüyen bir Linux toplu katliam korku filmi gibiyim
    • Synology'nin en büyük sorunu, kernel sürümünün sürekli aşırı eski kalması
      Bu yıl bile 4.4 ile cihaz satıyordu, yalnızca bu yıl çıkan yeni modeller 5.10 aldı. Ayrıca DSM sürümleri arasında kernel sürüm yükseltmesi de alınamıyor
  • Yazara bakılırsa 2016'dan 2023'e kadar yaklaşık iki yılda bir 5 sistem kurmuş.
    RAM gibi bazı parçalar birden fazla kurulumda yeniden kullanılmış.
    Asıl merak ettiğim, donanım maliyeti ile kullanım ömrü boyunca elektrik faturasının ayrı ayrı ne kadar tuttuğu. 4 yıl kullanılacak çok enerji tüketen bir makine, 2 yıl kullanılacak düşük güç tüketimli bir makineden daha iyi olabilir.
    Şu anda pcpartpicker'a göre anakart+CPU 322 dolar; kWh başına 0,25 dolar hesabıyla 36W'ı 4 yıl boyunca çalıştırmanın maliyeti de yaklaşık 315 dolar ediyor.
    Bu yüzden 4 yıllık 43W'lık bir sistem, satın alma ve işletme toplamında 2 yıllık 7W'lık bir sistemden daha ucuz olabilir.

    • Bu tür eğlenceli lehimleme/kurcalama işleri para biriktirmek için değil, sürecin kendisinden keyif almak için yapılıyor.
    • Benim durumumda ortalama olarak her 8 yılda bir tam dolu bir NAS almış oluyorum.
      Depolama alanını neredeyse hiç genişletmiyorum. O noktaya gelindiğinde ağ ve yazılım eskimiş oluyor, ben de yenisini alıyorum; mevcut sistemi yeni donanımın yedeği olarak kullanıp daha eski yedek sistemi elden çıkarıyorum.
      İlginç olan, bu yükseltme döngüsünün 20 yıldır sürmesi ve amortismanı anlamayı kolaylaştırması. Toplamda 16 yıl kullanılıyor ama pratikte bunun 8 yılı ana cihaz, 8 yılı da yedek cihaz olarak geçiyor.
  • 7950X3D, X670E Taichi, 96GB 6400MHz CL32, 2x4TB Lexar, 4x18TB Seagate Exos X18, RX570 8G, Proxmox kurulumum var.
    VM yokken boşta yaklaşık 60~70W, TrueNAS VM ve diskler dönerken boşta 90~100W, TrueNAS ve GPU passthrough Fedora Desktop boşta ise yaklaşık 150W çekiyor.
    Birkaç hafta içinde RX570'i 7900 XTX ile değiştirmeyi planlıyorum. RAM güce ciddi ek yük bindiriyor; DDR5'te frekansa bağlı olarak 8GB başına 3~5W görmek de yaygın.
    Proxmox+TrueNAS'ın 50~100W civarında olacağını tahmin etmiştim ama 96GB RAM'in güç tüketimini hesaba katmamışım.

    • Boşta 50W seviyesine inmek mümkün ama bunun için, Zen4'te henüz olmayanlar da dahil, çok spesifik donanım seçimleri gerekiyor ve yatırımın karşılığı pratikte zor alınıyor.
      Benim kurulumum AMD Ryzen 7 PRO 5750GE, 128GB ECC DDR4-3200, Intel XL710-QDA2, LSI 9500-16i, 8 adet WD 16TB HDD, 2 adet SK Hynix P41 Platinum M.2 NVMe SSD, 2 adet Samsung PM9A3 U.2 NVMe SSD ve 2 adet Samsung PM893 SATA SSD'den oluşuyor.
      BMC var; çift 40GbE ile bazı durumlarda ağ üzerinde yaklaşık 55GbE'yi sürekli verebiliyor, çoğu zaman da 30~35GbE görülüyor. TrueNAS SCALE'i video düzenleme için saf depolama olarak çalıştırıyorum; 1L SFF 5750GE ve 10GbE'li Proxmox kümesi ise çoğunlukla Apache Spark çalıştırıyor, ayrıca Pi4B 8GB k3s kümem de var.
      Depolama katmanlı yapıda olduğu için diskler neredeyse hiç kullanılmıyor ve çoğu zaman uykuda kalıyor. Veri alışverişi çoğunlukla U.2 üzerinden yapılıyor, sonrasında otomatik olarak taşınıyor. SATA SSD'ler metadata için, önyükleme ise SuperMicro SuperDOM üzerinden yapılıyor.
      Zen 3 Ryzen PRO 5750GE adeta unicorn gibi bir ürün ama güç tüketimi çok düşük. Boşta tüketimi çok az; dahili GPU ve ECC desteği var, ayrıca EPYC'nin bellek koruma özelliklerini de sunuyor. 5800X performansının yaklaşık %92'sini verirken 8 çekirdek 16 iş parçacığında tam yükte paket gücü 39W'ın hemen altında sınırlandırılıyor.
      LSI 9500-16i gerekli hatları, yani 8 PCIe lane ve 16 SlimSAS bağlantısını sağlayarak iki kurumsal U.2 ile 8 HDD'yi destekledi; ayrıca güncel bir adaptör olduğu için boşta güç tüketimi de düşüktü.
      Intel çift QSFP+ NIC'i özellikle seçtim çünkü bakır pasif DAC kullanıldığında NIC ile switch arasında port başına 4~5W tasarruf sağlıyor. Bu hızlarda fiberden daha düşük gecikme sunması da önemli.
      Güç canavarı ASRock X570D4U. Sadece BMC 3,2W çekiyor ve X570'in kendisi de bir miktar güç harcıyor. Buna rağmen tüm sistem boşta 50W, çoğu yükte 75~80W civarında; her şey tam yükteyken teoride 180~190W civarına çıkabilir.
    • NAS benzeri kullanım için, paket içinde çift 10GbE barındıran Ryzen Embedded ya da Epyc 3000 serisi gibi ürünleri gerçekten kullanmak istiyorum ama ikisi de ya fazla pahalı ya da bulunmuyor.
    • 8GB RAM başına 3~5W ifadesi yanlış gibi görünüyor. O hesapla DIMM başına 4*6=25W eder.
      Ben de 48GB DDR5 DIMM kullanıyorum ve HwInfo modül başına en fazla 6W gösteriyor.
    • Ağı nasıl kurduğunu merak ettim. 1Gbit'in üstüne çıktın mı?
  • 44 döner HDD takılı bir NAS 847E16-RJBOD, 48 port POE+ 10GbE switch, 2 UPS, çevresel izleme ve DECISO OPNsense router birleşince ortalama 1264W tüketiyor; resmen petrokimya rafinerisine dönmüş gibi.
    UPS'lerden biri güç faktörüne göre %98 verim raporluyor ama diğeri %91, o kadar iyi değil.
    APM'i tüm HDD'lerde kapattım. Bu kurulumda gerçekleşmeyecek efsanevi tasarruflar uğruna sadece gecikme ve aşınma yaratıyor.
    SMART arızaları neredeyse hiç öngöremiyor ama disk arızasının güçlü işaretlerinden biri hafif artan sıcaklık; bu da genellikle rulman aşınmasının sonucu.
    Yeterince atık ısı çıkıyor; bu yüzden bir odada ısıtmaya gerek kalmıyor ve veri merkezi çevresini 27°C'nin altına düşürmek için bir neden de olmadığından aktif soğutma şart değil.

    • Yakın zamanda ısı pompalı su ısıtıcısı baktım; bunların çoğu odadaki ısıyı çekerek çalışıyor.
      Su ile bilgisayarın bir araya gelmesi iyi fikir değil ama bu atık ısıyı değerlendirmek için daha iyi bir yol olabilir.
  • Düşük güç tüketimi güzel, ancak ECC olmadan büyük bir RAID’i uzun süre çalıştırmak tedirgin edici. Benzer bir sistem için 5 yıldan uzun süre daha sağlam olacak iyi bir çözüm olup olmadığını merak ediyorum

    • İşin püf noktası, bir iki nesil geride kalmış Supermicro anakart bulunabilen bir ATX kasaya yerleştirip düşük güç tüketimli Xeon ya da Pentium/Celeron kullanmak gibi görünüyor
      X11SAE-F veya X12SCA-F, hatta belki daha eskileri bile yeterli. Güç tüketimi çok düşük olmayabilir
      Ben hâlâ X9SCA+-F ve oldukça eski bir Xeon ile NAS ve LXC konteynerleri çalıştırıyorum. Boşta güç tüketimi 5W değil de 20~30W civarında, ama hiç sorun yaşamadım ve parasını zaten fazlasıyla çıkardığına eminim
    • Bütçe kısıtlıysa ikinci el HP Z-Series workstation’lar ECC RAM destekliyor
      Barebone ucuz ama ECC bellek, yaygın sunucu tipi RDIMM değil; bu yüzden pahalı olabiliyor. Ayrıca düşük güç tüketimli bir kurulum da değil
    • Synology ve benzerlerinin kullandığı AMD V2000 gibi gömülü SoC’ler var
      Bir HDD kasasını ya da 4U’nun tamamını yönetecek seviyeye çıkmak için PCIe lane gerekiyor. Bu durumda w680, i5-12600K, tek ECC UDIMM, PCIe yuvasında SAS HBA ve dahili Ethernet kombinasyonu, mümkün olan en düşük güce yakın bir seçenek gibi görünüyor
      Ne yazık ki w680 platformunun fiyatı çok yüksek; am4/zen2 ise daha ucuz olduğu için hâlâ kullanılabilir
      Xeon, gömülü Xeon, am5, am4 de mümkün, ancak am4’te dahili GPU olmayabilir
      ECC olmadan RAID’i 5 yıl çalıştırmak özünde yanlış bir şey değil; pratikte pek çok kişi böyle kullanıyor ve sorunsuz geçiyor
    • eBay’den 30 dolara ikinci el e3 1245 v5 aldım; Asus workstation anakart, 32GB ECC ve 4 döner disk ile TrueNAS çalıştırıyorum
      Tek başına ne kadar güç çektiğini bilmiyorum ama bu NAS, i5 12400 compute makinesi, router ve switch birlikte boşta duvardan 100W çekiyor. Konteyner sayısı yaklaşık 30
      Eskiden ev sunucusu olarak kullandığım eski workstation’larla kıyaslayınca inanılmaz verimli olduğunu düşünüyorum
    • Katılıyorum. ECC tartışması hiç görünmüyordu
      Bu kartın bu çiple birlikte ECC’yi desteklediği görülüyor: Supermicro X13SAE W680 LGA1700 ATX Motherboard
      Fiyatı 550 dolar
      Bunun etrafında bir sistem kurup PCIe 4.0-NVMe kartlarıyla ihtiyaç kadar NVMe disk eklemek de bir yöntem olabilir. Ucuz değil ama ev kullanımı için karşılanabilir düzeyde
  • Güzel yazı. Ben de geçmişte benzer bir şey denemiştim
    https://vermaden.wordpress.com/2019/04/03/silent-fanless-fre...
    https://vermaden.wordpress.com/2023/04/10/silent-fanless-del...

  • Yüksek depolama kapasiteli kurulumlar için harika
    Depolama tek bir SSD’de ya da RAID ayna çiftinde olacaksa ve yoğun işlem gücü gerekmiyorsa, RasPi gibi tek kartlı bilgisayarlar ya da NUC benzeri cihazlarla düşük güç tüketimli sunucu yapılabilir
    Ben şahsen birkaç 1U Atom sunucu kullanıyorum; güç kaynağı fanını Noctua ile değiştirmem dışında fansız çalışıyorlar
    RasPi’ye göre avantajları SATA ve ECC RAM; ayrıca pandemi döneminde de daha kolay bulunabiliyorlardı
    Bir tane de 4U GPU sunucum var, ama yazar gibi düşük güçte boşta çalışma durumunu nasıl elde edeceğimi henüz araştırmadığım için şu an kullanmadığım zaman kapalı tutuyorum

  • Neden N100 kullanılmadığını merak ediyorum
    N305 de amaca uygun ve N100 muhtemelen daha da düşük olacaktır https://www.reddit.com/r/MiniPCs/comments/12fv7fh/beelink_eq...

    • Bu yazı mayısta yazıldığında N100 ya henüz çıkmamıştı ya da daha yeni çıkmıştı
      Ayrıca N100 yalnızca 16GB RAM destekliyor, bu kişi ise 64GB kullanıyor. PCIe lane sayısı da 9’a karşı 20; bu da kullanım senaryosunda önemli olabilir ve i5 genel olarak oldukça daha hızlı görünüyor
      Karşılaştırma: https://ark.intel.com/content/www/us/en/ark/compare.html?pro...
    • Benim oyum da Nx00 serisi çiplerden yana. İçinde N100 olan hazır bir mini PC’yi az önce aldım; düşük güç tüketiyor, fiyatı iyi ve performansı da harika
      Birkaç yıl içinde mini PC pazarını tamamen ele geçirir mi diye merak ediyorum. Fiyatlar düşüp çeşitli Pi türevleriyle rekabet edebilir hâle gelirse bu daha da olası
    • AliExpress’ten aldığım avuç içi boyutunda N100 mini PC’den çok memnunum
      2~8W arasında tüketiyor ve sıradan bir 12V adaptör ile DC barrel jack kullanıyor. Home Assistant ve hafif sanallaştırma için mükemmel
      Performansı, dört çekirdekli i5-6500 mini PC’den pratikte daha iyi. Kesinlikle yavaş değil
    • Çünkü yazar çok sayıda disk istediğini söylemişti
    • Ben de N100 mini PC’den memnunum. İki adet döner USB disk dahil boşta yaklaşık 7W tüketiyor ve sonuna kadar zorladığımda bile yaklaşık 14W oldu
      Fiyatına göre gerçekten şaşırtıcı derecede iyi küçük bir sistem
  • CPU/anakart tarafında tasarruf etmeye çalışıp optimizasyon yaparken, buna karşın 6 veya daha fazla sürücü kullanmak yerine daha az sayıda daha büyük sürücüler kullanmamak biraz pire için yorgan yakmak gibi değil mi diye düşünüyorum

    • Sürücüleri 5 ya da 6'lı gruplar halinde almanın daha iyi olduğunu düşünüyorum. Elbette bu oldukça tartışmalı bir konu.
      Sürücüler bozulur; bu yüzden yedeklilik için en az bir yedek gerekir, ben ise 2 tane öneriyorum. Böylece biri bozulduğunda, değiştirme sürecinde sistemi çalışır tutabilirsiniz.
      3 sürücüyle RAID-1 mirror kurarsanız, kullanılabilir kapasite tek sürücü seviyesine düştüğü için pahalıya gelir; bu nedenle çoğu durumda çift parity'li RAID-5 türevleri tercih edilir.
      Ancak bu tür bir yapılandırmada 6'dan fazla sürücü eklenirse performans sorunları ortaya çıkmaya başlar ve bazen iki RAID üzerine striping yapmak daha iyi olur. 6'yı geçince 3 sürücünün arızalanma olasılığı da göz ardı edilemeyecek hale gelir; bu yüzden daha fazla parity stripe eklemek gerekir.
      Bu yüzden ben 6 sürücünün makul denge noktası olduğunu düşünüyorum, ama elbette başka makul cevaplar da mümkün.
      Tabii ne kadar veriniz olduğu da önemli. Pek çok kişi için tek bir modern disk yeterlidir; bu yüzden RAID-1'e giderler ve yedeklilik daha çok arıza sonrası off-site yedekten geri yüklemeyi beklemek zorunda kalmamak içindir.