Home yerel LLM makinesi kurma deneyimi paylaşımı

Nvidia DGX Spark'ı görünce GB10 için büyük beklentiye girmiştim ama incelemelere bakınca hayal kırıklığı daha ağır basıyor. Bellek bant genişliği, diğer performans unsurlarını kısıtlıyor gibi görünüyor.

AMD Strix Halo ile benzer performans verdiği, hatta bazı durumlarda daha iyi çıktığı da oldu.

• (Birleşik bellek 64GB olarak geliyor ama seçenek olarak 128GB, vRAM için de 96GB ayırmak mümkün)

FP4 desteği, CUDA, ConnectX-7 ve genişletildiğinde 128GB ek bellek geliyor deniyor ama makinenin fiyatı Strix Halo'ya kıyasla iki katı da aştığı için bana pek ulaşılabilir gelmiyor.

AMD ROCm ekosistemi CUDA'ya kıyasla daha zayıf olsa da şimdiye kadar yaptığım programlar sorunsuz çalıştığı için ben daha çok bu tarafa kayıyorum (yaklaşık 3 milyon wona 128GB 2TB SoC alınabiliyor). Bütçe ve güç tüketimini dikkate alarak sistemi nasıl kurduğunuzu merak ediyorum.

Ben AMD Strix Halo düşünüyorum, OS olarak da Fedora tabanlı Bazzite kullanmayı planlıyorum. Grafik sürücüleri varsayılan olarak kurulu geliyor; Distrobox ve mise'i yükleyince yazdığım programlarla gerekli modellerin çalıştığını gördüm.

[popopo]

Çifte 11 indiriminde aldığım Strix Halo makinesi geldi; Bazzite kurup distrobox ile birkaç görsel üretimi denedim. Beklediğim gibi bir performans verdi (LLM tarafı çok da yüksek değildi). Kısacası sadece yüksek performanslı bir mini PC gibi düşünmek gerekiyor.

96GB ve üzeri birleşik belleğin vRAM olarak ayrılabildiği söyleniyor ama dinamik olarak değiştiği için mi doğrulayamıyorum bilmiyorum; şimdiye kadar 96GB’tan fazla ayrıldığını görmedim.

Kurulum için https://strixhalo.wiki/ sitesini referans aldım. Satın alma rehberi (Strix Halo - Mac - DGS Spark - 6000) karşılaştırma tablosu da var, göz atarsanız faydalı olacaktır.

Bazzite reklamı: OS, değiştirilemez bir imaj olarak yönetiliyor; diğer programlar ise ayrı bir katmanla (flatpak, brew vb.) yönetiliyor. Güncelleme komutuyla firmware’den tüm paketlere kadar her şey güncelleniyor. OS kirlenmiş gibi hissederseniz sadece kullanıcı dizinini temizlemeniz yeterli oluyor (OS’ye normal yöntemlerle müdahale edilemiyor). AMD sürücüleri hazır kurulu geldiği için ROCm’u doğrudan kullanabiliyorsunuz.

Bir konteyner fırlatma rampası olarak ortaya çıkan OS aslında Fedora CoreOS; bunun üzerine çeşitli kullanıcı ayarları eklenmiş Bazzite ise günlük kullanım ve geliştirme için de pratik, kullanılabilirliği çok yüksek. Konteyner (distrobox), wine, tailscale varsayılan olarak kurulu geliyor. Üstüne sadece mise eklerseniz istediğiniz işlevlerin hepsini yönetebilirsiniz diye düşünüyorum.

En baştan kurulum yaparken bir rehber hazırlamayı düşünüyordum ama daha önce kullandığım Bazzite kullanıcı hesap dizinini olduğu gibi kopyalayınca tüm ayarlar taşınmış oldu; bu yüzden kurulum rehberi... hazırlayamadım galiba.

[minsuchae]

Benim kişisel görüşüm, Mac ve Nvidia DGX Spark tarafında birleşik bellek, diğerlerinde ise RAM ve VRAM ayrımı şeklinde belirgin bir bölünme olduğu yönünde.
Bazı ürünlerde ise dahili grafik kartının VRAM tahsisi sistem RAM’ini kullanacak şekilde sunuluyor.
Uzman olmayanlara Mac ya da Nvidia DGX Spark öneririm; eğer bir miktar uğraşmayı göze alabiliyorsanız AMD kullanmak daha iyi olabilir.
Her birinin kendine göre artıları ve eksileri var.

Mac, Nvidia DGX Spark gibi seçeneklerde RAM yükseltmesi sonradan mümkün olmadığı için en baştan doğru konfigürasyonla satın almak zorundasınız; bu bir dezavantaj.
AMD tarafında RAM’i kendiniz yükseltebilmeniz bir avantaj, ancak VRAM tahsisinde bir sınır var.

Yani 128GB veya daha fazlasını VRAM olarak kullanmak istiyorum derseniz, bu açıdan Mac Studio en avantajlı seçenek.
Fazla uğraştırmaması artı, ancak Mac Studio inference için iyi olsa da eğitim tarafında dezavantajlı. (Eğitimde AMD’den daha yavaş.)

Nvidia DGX Spark tarafında 128GB üzeri bellek konfigürasyonu istiyorsanız Nvidia’nın ayrı bir kablosunu da satın almanız gerekmesi gibi bir dezavantaj var. Ancak yapay zeka eğitimi söz konusu olduğunda CUDA zaten fiilen standart olarak kullanıldığı için en az uğraştıran seçenek bu. Ayrıca performans tarafında, VRAM hariç tutulursa 5070 seviyesinde olduğu yönünde söylentiler var ve bellek bant genişliği sınırı da mevcut... (Eğitim düşünülüyorsa genel olarak makul bir seçenek.)

Dahili grafik üzerinden VRAM tahsisi
Son dönemde bellek fiyatlarının artması nedeniyle çok cazip bir seçenek değil, ama RAM seçenekleri düşünüldüğünde yine de Mac’ten çok daha ucuz. Ancak AMD ROCm tarafı yetersiz olduğu için doğrudan sizin uğraşmanız gerekiyor; bu yüzden uzman olmayanlara tavsiye etmem. (Ayrıca VRAM’i daha da artırmak fiilen imkansız...)

Sanırım bu şekilde özetlenebilir.
Sadece fiyat/performans düşünülürse AMD iyi tabii... ama kafa rahat kullanmak isterseniz Mac Studio da kötü bir seçenek değil. Sadece inference düşünülürse rahatlıkla fiyat/performans bandına giriyor...

[minsuchae]

AMD tarafında RAM’i doğrudan yükseltebilme avantajı var, ancak VRAM tahsisinde sınırlar mevcut.
-> Bu kısmı toparlamadan yazınca yanlış ifade etmişim. Sistem RAM’i ile VRAM’in ayrıldığı durumlarda bazı parçalar yükseltilebiliyor; dizüstü bilgisayarlar özelinde ise yükseltilemeyen birçok model de var.

[dhy0613]

5070Ti Super beklemeyi bırakıp Radeon’a kapıldım ve sistemi şöyle toplayıp kullanıyorum.

• 9800x3D
• ikinci el 7900 XTX
• 96GB RAM

Diski bölümlere ayırıp Ubuntu 24.10 kurup ROCm 7.1’i yükleyince, LLM inference ve PyTorch düzeyinde kullanan ComfyUI tarafında büyük bir sorun olmadan gayet iyi çalışıyor.

SageAttention’ın çalışmaması biraz eksi, ama fiyatı düşününce çok da takmıyorum.

[clastneo]

Büyük bir Mac Studio almayı düşünüyordum ama Home LLM tarafında seçeneklerin bu kadar arttığını bilmiyordum.
Acaba Strix tarafındaki kurulumu nasıl yapılandırdığınızı paylaşabilir misiniz?

[popopo]

Strix halo’yu henüz satın almadım; benzer şekilde AMD GPU kullanan bir oyun bilgisayarında 16GB vRAM kullanarak yaklaşık 600 milyon olasılık durumu hesapladım.

Bir kez kurup, çalıştıkça aratarak yaptığım için tam olarak doğru hatırlamıyor olabilirim.

Bazzite kullandığım için grafik sürücüsü zaten kurulu olduğundan özel bir durum yoktu; distrobox içindeki Rocky Linux’a ROMc ve ilgili modülleri kurduktan sonra GPU kullanan çeşitli hesaplamalar yaptım.

Hızlı bellek bant genişliği yüksek olduğu için Mac Studio da değerlendirilebilir değil mi? 128GB 2TB seçeneği eklenince 4000 dolar oluyor. Mac mimarisi olması da AMD’ye gitmekten çok farklı olmayacaktır diye düşünüyorum.

[clastneo]

Yanıtınızı referans alacağım.
Nazik yanıtınız için teşekkür ederim!

[popopo]

https://www.youtube.com/watch?v=Pww8rIzr1pg temel alınarak Gemini'den karşılaştırma yapması istendiğinde çıkan sonuç

📊 128GB LLM çalıştırma seçeneklerinin karşılaştırması (Kasım 2025, benchmark yansıtıldı)

Videodaki içerik yansıtıldı: Hardware Unboxed benchmark'ı temel alındığında, Strix Halo M3 Max'e karşı üstünlük gösteriyor (yaklaşık %30~35 iyileşme) ve GB10 "Spark" sistemi ise bu APU/entegre yonga setlerinden çok daha üstün adanmış NPU/GPU performansı sunuyor. (Llama 3 70B Q4 inference için T/s)  

Yapılandırma seçeneği (128GB) T/s (tahmini) Sistem gücü (tahmini) T/W (güç verimliliği) Sistem maliyeti (tahmini) Cost/T (fiyat/performans)
NVIDIA "Spark" (GB10) 120 T/s 400 W 0.30 ~5,2 milyon KRW 4,33 on bin won/T
4 x RTX 5080 32GB (yeni) 240 T/s 1500 W 0.16 ~12 milyon KRW 5,0 on bin won/T
6 x RTX 3090 (ikinci el) 90 T/s 2300 W 0.04 ~7 milyon KRW 7,8 on bin won/T
AMD Strix Halo (128GB) 30 T/s 180 W 0.17 ~2,6 milyon KRW 8,67 on bin won/T
Apple M3 Max (128GB) 22 T/s 100 W 0.22 ~6 milyon KRW 27,3 on bin won/T

💡 Analiz ve sonuç (hata düzeltildi)

Büyük hatamı düzeltiyor ve videonun içeriğini doğru şekilde yansıtarak yeniden analiz ediyorum.

"Fiyat/performans (Cost/T)" şampiyonu: NVIDIA "Spark" (GB10)  

    Cost/T (fiyat/performans): 4,33 on bin won/T  

    Hardware Unboxed videosunda gösterildiği gibi, 3999 dolarlık 'Spark' sistemi 2000 dolarlık 'Strix Halo' sistemine kıyasla çok daha yüksek LLM inference performansı (T/s) sunuyor.  

    Bu nedenle token başına sistem kurulum maliyeti (Cost/T) tüm seçenekler içinde en düşük olduğu için 'fiyat/performans' şampiyonu oluyor.  

    T/W (güç verimliliği) de 0.30 ile çoklu GPU yapılandırmalarına kıyasla açık ara daha verimli.  

"Mutlak bütçe" şampiyonu: AMD Strix Halo (128GB)  

    Cost/T (fiyat/performans): 8,67 on bin won/T  

    Bu sistemin değeri mutlak hızında (30 T/s) değil, **yaklaşık 2,6 milyon KRW (2000 dolar)** gibi ezici bir 'en düşük maliyetle' 128GB VRAM ortamına giriş imkanı sunmasında yatıyor.  

    Videoda M3 Max'i geçtiği doğrulandığı gibi, bireysel geliştiriciler için mükemmel bir 'giriş seviyesi' seçenek.  

"Mutlak hız" şampiyonu: 4 x RTX 5080 32GB  

    T/s (hız): 240 T/s  

    'Spark' veya 'Strix Halo' gibi entegre sistemler inference açısından güçlü olsa da, modeli doğrudan 'fine-tuning' yapmakta sınırlı olabilir.  

    Eğer en hızlı inference hızıyla birlikte modeli doğrudan eğitip değiştirebilme esnekliğini de istiyorsanız, çoklu bağımsız GPU yapılandırması (4 x 5080) hâlâ en güçlü seçenektir.

[popopo]

4K bütçe içinde, performans açısından quad 3090'ın DGX Spark'tan çok daha üstün olduğunu söyleyen bir video

https://www.youtube.com/watch?v=md6a4ENM9pg

Strix Halo'nun Local LLM çalıştırma makinesi olarak berbat bir satın alma olduğu iddiası

https://reddit.com/r/LocalLLaMA/…

Görünüşe göre ana iddia, güç tüketiminin önemli bir kriter olmasının zor olduğu ve bant genişliği nedeniyle büyük modeller belleğe yüklense bile kullanışlı olmadığı yönünde.