- Yerel yapay zeka geliştirme ortamını baştan kurma zahmetini azaltmak için Ryzen AI Halo, Ryzen AI Max+ 395 mini PC’yi ROCm, sürücüler, modeller ve geliştirme araçlarıyla birlikte sunuyor
- Tek konfigürasyon; 16 çekirdek/32 izlek Zen 5 CPU, Radeon 8060S entegre GPU, XDNA 2 NPU, 128 GB LPDDR5x-8000 birleşik bellek ve 2 TB SSD’den oluşuyor; fiyatı 3.999,99 ABD doları
- llama-bench’te Apple Silicon Mac Studio, Ryzen AI Max+ 395 sistemlerinin önüne geçti; özellikle token üretiminde bellek bant genişliği farkı nedeniyle Gemma 4’te 2–3 kat daha yüksek performans gösterdi
- Halo’nun ayrıştığı nokta yeni bir işlemci değil; AMD Ryzen AI Developer Center, Best Known Configurations ve AMD AI Playbooks gibi uyumluluğu hazır ayarlanmış bir başlangıç noktası sunması
- AMD Lemonade ve FastFlowLM ile XDNA 2 NPU üzerinde gpt-oss-20b-FLM çalıştırıldı; CPU/GPU kullanımı neredeyse yokken en fazla 35 W tüketim ve 20 tokens/s üretim görüldü
Ryzen AI Max+ 395 tabanlı mini yapay zeka geliştirme kiti
- AMD Ryzen AI Halo, Zen 5 tabanlı AMD Ryzen AI Max+ 395 işlemci etrafında tasarlanmış küçük bir PC; ROCm veya AMD donanımı tabanlı yapay zeka geliştirme öğrenimine kolayca başlanması için tasarlanmış
- İşlemci 16 çekirdek/32 izlek yapılandırmasına sahip; yapay zeka işlerinin çoğunu Radeon 8060S entegre grafik birimi üstleniyor
- Geçmişte çok fazla kullanım örneği olmayan NPU da bu cihazda gerçekten kullanılabildi
- Tek bir donanım konfigürasyonu ile satılıyor; başlıca özellikler şöyle
- Çıkarılabilir 2 TB M.2 SSD
- 128 GB LPDDR5x-8000 birleşik bellek
- 256 GB/s bellek bant genişliği
- 2 TB depolama alanı yerel modelleri biriktirmek için yeterli; 128 GB bellek ise uygun boyutlu birkaç modeli yükledikten sonra bile sistemin çalışması için alan bırakabilecek düzeyde
- Satış fiyatı 3.999,99 ABD doları; Windows 11 Pro veya Linux ön yüklü tek konfigürasyon olarak satın alınabiliyor
- Kullanıcılar cihazı aldıktan sonra istedikleri işletim sistemini kurabilir, ancak AMD’nin fabrika çıkışı Linux/Windows imajlarını ve paketlenmiş sürücü, program ve modelleri ayrıca sunmayacağı anlaşılıyor
- Test ürünü, Debian 13.4 tabanlı özel AMD Linux dağıtımı çalıştıran Linux sürümüydü
Küçük kasa ve genişletilebilirlik
- Halo, pazarlama görsellerinin aksine çok küçük kutu biçimli bir cihaz; taban alanı yaklaşık 15 cm kare, yüksekliği 5 cm’den az
- Ağırlığı 1,2 kg, ancak taşınabilirlik için zorunlu bileşen olan 240 W güç adaptörünü de hesaba katmak gerekiyor
- Güç düğmesi ve bağlantı noktalarının tamamı arkada yer alıyor
- 4 adet USB 3.2 Type-C bağlantı noktası
- 1 adet HDMI 2.1 bağlantı noktası
- 1 adet 10GbE Ethernet bağlantı noktası
- Wi-Fi 7 ve Bluetooth 5.4
- Güç düğmesine en yakın USB-C bağlantı noktası yalnızca USB-C Power Delivery girişi için
- Belirgin bir istifleme yapısı yok, ancak köşe ayakları ve tüm yanlardaki hava girişleri sayesinde Windows ve Linux’u ayrı ayrı kullanmak ya da küme oluşturmak için üst üste yerleştirme olanağı var
- Soğutma, iki blower fanın üstten ve yanlardan hava çekip havayı soğutucu bloktan geçirdikten sonra arkadan dışarı atmasıyla sağlanıyor
- Normalde sessiz, ancak içteki işlemcinin 120 W TDP değerini yönetirken fan hızı artabiliyor
- Kasanın altındaki beyaz ışık halkası, uyku durumunda mavi yanıp sönüyor; ışık kapatılabiliyor
Söküm ve iç yapı
- Yoğun yerleşimli bir mini PC yapısı olduğu için içeride doğrudan görülebilen çok fazla parça yok; ancak mıknatıslı çıkarılabilir ayağın altındaki 4 vida sökülünce alt kapak açılabiliyor
- M.2 2280 SSD ek söküm gerektirmeden kolayca erişilebilir durumda
- Üst kabuğu çıkarıp compute core’u ortaya çıkarmak için birkaç bağlantıyı daha ayırmak gerekiyor
- Çekirdeğin kendisi çıkarılabiliyor, ancak kullanıcının ayrıca müdahale edebileceği pek fazla şey yok
- Alt kasa ilk açıldığında görünen metal plaka 4 vidayla çıkarılabiliyor, ancak ısı iletim malzemelerine dokunmamak için çıkarılmadı
llama-bench ile LLM performansı
- Kod adı Strix Halo olan Ryzen AI Max+ 395, 2025 baharından beri zaten mevcut olan bir işlemci; bu yüzden Halo bu noktada yeni bir performans iddiası sunmuyor
- Aynı işlemciyi kullanan diğer donanımlar arasında Framework Desktop, Beelink GTR9 Pro, X+ Rival ve ACEMAGIC M1A PRO var
- Performans testi, ürünün asıl odağı olan yazılım konfigürasyonuna bakmadan önce beklenen düzeyde performans verip vermediğini kontrol etmek içindi
- Testler ağırlıklı olarak llama.cpp içindeki llama-bench ile yapıldı
- llama.cpp, GGUF biçimindeki büyük dil modellerini yükleyip çalıştıran açık kaynaklı bir çıkarım motoru
- llama-bench, prompt processing (pre-fill) ve token generation (decoding) ölçüyor
- LLM token/s performansı uyumluluk farklarına ve değişkenliğe duyarlı olduğundan, sonuçlara birden fazla kaynakla birlikte bakmak gerekiyor
Temel llama-bench test sonuçları
- Temel test pp512/tg128 konfigürasyonuyla yapıldı; kullanıcının 512 token girdiği ve modelin 128 token ürettiği bir durum simüle ediliyor
- Kullanılan modeller, son dönemde ilgi gören 17–32 GB sınıfında 3 modeldi
- Qwen 3.6 35B A3B(Q4_K_M)
- Gemma 4 31B IT(IQ4_XS)
- GLM 4.7 Flash(Q8_0)
- Karşılaştırılan cihazlar şunlardı
- AMD Ryzen AI Halo: AI Max+ 395, 128 GB
- Framework Desktop: AI Max+ 395, 128 GB
- M2 Ultra Mac Studio: 76 çekirdekli GPU, 128 GB birleşik bellek
- M3 Ultra Mac Studio: 80 çekirdekli GPU, 512 GB birleşik bellek
- Halo ve Framework Desktop’ta hem ROCm/HIP hem de Vulkan çalışma zamanları kullanıldı
- Apple Silicon Mac Studio, AMD Ryzen AI Max+ 395 sistemlerinden daha yüksek performans verdi; temel fark Mac’in yaklaşık 800 GB/s bellek bant genişliği ile Max+ 395’in 256 GB/s bant genişliği arasındaki farktan kaynaklanıyor
- Prompt işleme bölümü genellikle hesaplama kısıtlıdır; dense model olan Gemma 4’te Apple Silicon ile Max+ 395 arasındaki fark, yalnızca bellek bant genişliği karşılaştırıldığında beklenenden daha küçük göründü
- Qwen 3.6 35B A3B ve GLM 4.7 Flash gibi sparse Mixture of Experts modellerinde prompt işleme hesaplamaya daha az bağımlı olduğundan Mac’in bellek bant genişliği avantajı daha belirgin ortaya çıktı
- Token üretimi genellikle bellek bant genişliğiyle çok daha fazla sınırlanır; Gemma 4’te Apple Silicon cihazları 2–3 kat daha yüksek token/s performansı gösterdi
- Ryzen AI Max+ 395’te Vulkan ile ROCm/HIP arasında belirgin bir kazanan yoktu
- Daha hızlı backend; uyumluluğa, model yapısına, context boyutuna, donanıma ve yazılım optimizasyonuna göre değişiyor
- Her iki backend de güncellenmeye devam ediyor
- Testler Flash Attention açıkken yapıldı; ancak bu ayar her zaman en yüksek performansı garanti etmediğinden, her sistemde doğrudan test etmek daha iyi
Context artışı ve ajan tipi kullanım simülasyonu
- Ajan tipi LLM kullanımı arttıkça, context boyutu büyüdüğünde performansın nasıl düştüğünü görmek için ek llama-bench testleri yapıldı
- Test, talimat alan bir ajanın araç çağrıları yaptığı veya yanıt verdiği durumu basitleştirerek simüle ediyor
- Başlıca parametreler şunlar
-p,-n: prompt işleme ve token üretimi için kullanılacak token sayısını belirler-b,-ub: batch ve microbatch boyutunu belirler-fa: Flash Attention’ı etkinleştirir veya devre dışı bırakır-ngl: GPU’ya offload edilecek model katmanı sayısını belirler-r: tekrar sayısını belirler-d: zaten context içinde bulunan token sayısını belirler
- Testleri arka arkaya çalıştırırken oluşabilecek ısı birikimini azaltmak için, özel bir script ile döngü ve gecikme süreleri eklenerek çalıştırıldı
- Üç modelin tamamında context boyutu arttıkça belirgin performans düşüşü görüldü
- Gemma 4, Vulkan backend ve 65.536 token context birleşiminde 30 dakika içinde tamamlanmadı
Güç ve sıcaklık
- Halo çok küçük bir kasaya sahip olduğundan, Ryzen AI Max+ 395 paketinin azami 120 W TDP’sini ve 140 W boost değerini sürdürebilip sürdüremediği kontrol edildi
- Karşılaştırma için aynı Ryzen AI Max+ 395’i kullanan Framework Desktop da test edildi
- Test, Quarch QTL2843 ile duvar prizinden güç tüketimi ölçülürken llama-bench prefill testinin 20 kez çalıştırılmasıyla yapıldı
- İki cihaz da “Performance” modundaydı; Halo güç veya soğutma için kullanıcı ayarı sunmuyor
- Framework Desktop’taki AI Max+ 395, test boyunca 120 W taban çizgisini korudu ve 130 W’a kadar güç sıçramaları görece sık yaşandı
- Halo, test başladıktan sonra yaklaşık 5 dakika boyunca 140 W seviyesini korudu; ardından testin geri kalanında 120 W TDP seviyesine indi
- Halo’nun blower tasarımı ve tüm yanlardaki hava girişleri, termal denge durumunda bile dış yüzeyi görece serin tuttu; ancak alt kısım yaklaşık 50°C’ye kadar ısındı
- Fanlar ısıyı dışarı atarken yüksek devirde dönüyor, ancak ses keskin olmaktan çok “woosh” karakterinde
Ürün değerini yazılım yaratıyor
- Ryzen AI Max+ 395 tabanlı mini PC’ler birden fazla ürün olarak satın alınabildiği için, Halo’nun benzersiz değeri yeni donanımdan çok AMD Ryzen AI Developer Center, seçilmiş konfigürasyonlar ve 1st-party destek vaadinde
- Halo, NVIDIA DGX Spark gibi, belirli AMD veya NVIDIA donanımlarında test yapmak zorunda olan geliştiricilerin ortam kurulumuna harcadığı zamanı azaltmak için tasarlanmış
- DGX Spark’tan farklı olarak Halo’nun hem Linux hem de Windows sürümleri var
- Linux sürümü açıldığında AMD Ryzen AI Developer Center’a giriyor; burada yazılım kurulumu ve güncellemesi, dokümantasyona erişim ve sistem kontrolü yapılıyor
- AMD’ye göre Halo kilitli değil; kullanıcılar istedikleri işletim sistemini kurabiliyor
- Ancak AMD’nin fabrika çıkışı Windows/Linux konfigürasyonları arasında geçiş yapılmasını sağlayan imajlar sunmayacağı anlaşılıyor
Best Known Configurations ve Playbooks
- AI Halo ve Developer Center, AMD’nin Best Known Configurations(BKC) sistemlerine erişim sağlıyor
- BKC, içerdiği yazılım, paket ve sürücülerin birbirleriyle uyumlu olduğunu AMD’nin doğruladığı sistem konfigürasyonu
- Bu yapılandırma, playbook çalıştırırken veya öğrenmeye başlarken önce bağımlılık sorunlarını çözme yükünü azaltıyor
- Genel AI Max+ sistemlerinde AMD AI Playbook bellek ayırma için komut satırı yönergeleri sağlarken, AI Halo’da bu işlem Linux veya Windows’a göre slider ya da açılır menüyle basitleştiriliyor
- Halo manuel ayarları veya karmaşık yapılandırmaları engellemiyor; uygulama ve donanım ayrıntılarını soyutlama riski taşısa da daha derine inmeden önce bir başlangıç noktası sunuyor
- AMD AI Playbooks, AMD donanımında yapay zeka iş yüklerini keşfetmeyi sağlayan basit eğitimler koleksiyonu
- Playbooks, AI Halo’ya odaklanıyor ancak Radeon GPU’lar için sürümler de sunuluyor
- Playbooks GitHub üzerinde de yayımlanmış durumda; AMD bunları BKC gibi güncel tutacağını ve her ay yeni playbook ekleyeceğini söylüyor
Denenen Playbooks
- AMD Sync, ağ üzerinden Halo’ya uzaktan erişmek için basit bir yöntem sunuyor
- Canlı metrikleri görme
- VSCode projesi açma
- Jupyter Labs projesi başlatma
- Terminal erişimi
- AMD Sync için uzak cihaza AMD Sync kurmak ve SSH bilgilerini kopyalamak yeterliydi; testte sorunsuz ilerledi
- LM Studio ve Lemonade ile ilgili playbook’lar, yerel LLM indirme, yönetme, sunma ve etkileşime girme süreçlerini ele alıyor
- LM Studio ve Lemonade playbook’ları yazılım kurulumu, çalışma zamanı güncellemesi ve ilk model indirmeye kadar kısa ve takip etmesi kolay bir akıştan oluşuyor
- İki playbook da yerel LLM’i kodlama yardımcısı olarak kullanma veya OpenAI API ile programatik şekilde etkileşim kurma adımlarına kadar uzanıyor
- VSCode playbook’u, önceki playbook’ta barındırılan yerel LLM’i IDE içindeki Cline agent ile bağlıyor
- PyTorch tabanlı LLM çalıştırma ve fine-tuning playbook’ları, ön yüklü yazılım, sürücü ve modeller sayesinde 4–5 adımda LLM çalıştırılabildiğini gösteriyor
- PyTorch playbook’u script’in iç işleyişini de kapsayan eksiksiz bir eğitim değil, ancak bağımlılıkları bağlayıp çalışıp çalışmadığını kontrol eden bir smoke test rolünü başarıyla görüyor
- Yeni başlayanlar için “Next Steps” bölümünde sonrasında denenebilecek fikirler de sunuluyor
Yazılım konfigürasyonunun güçlü ve zayıf yönleri
- BKC ve playbooks, birçok eğitimi takip etmenize rağmen hiçbir şeyin çalışmadığı durumları azaltan, her zaman geri dönülebilecek bir referans durum sağlıyor
- Bu duruma Developer Center’daki System Reset düğmesiyle erişilebiliyor
- Halo, sıradan bir bilgisayar gibi ihtiyaç duyulduğu şekilde kurulup yapılandırılabildiğinden, BKC ve playbooks kullanıcının özgürlüğünü engellemiyor
- BKC ve playbooks, 3rd-party eğitimlerde de bilinen bir başlangıç noktası ve uyumluluk varsayılmasını sağlayarak kullanıcıların daha ileri gitmesini kolaylaştırabilir
- AI Playbook GitHub issues bölümünde görülebildiği gibi, şu anda bazı playbook’larda başarısız olan kısımlar var ve gerçek test sırasında da sorunlar yaşandı
- AMD bu sorunları hızlıca çözmezse tüm yazılım değeri sarsılabilir ve gelecekteki değer vaadine bakarak satın alma risk olarak kalır
Gerçekten kullanılan NPU
- Halo’da AMD Lemonade ve FastFlowLM üzerinden XDNA 2 NPU üzerinde LLM çalıştırılabildi
- Çalıştırılan model gpt-oss-20b-FLM idi; NPU kullanım oranı telemetrisi sunulmadı
- CPU/GPU kullanımı neredeyse 0 iken AI Max+ 395 paketi en fazla 35 W tüketti ve üretim performansı 20 tokens/s oldu
- NPU çoğu zaman GPU’dan daha düşük hesaplama performansına sahip olsa da avantajı çok daha yüksek enerji verimliliği sunması
- Kamera gibi sensörleri hızlı işleyip CPU ve GPU’yu ana işlere bırakma türü görevler için uygun
- Ryzen AI Max+ 395 ve NPU içeren bu geliştirme kiti, devasa GPU’lar yerine daha enerji verimli yerel LLM geliştirmeyi ilerletmeye yardımcı olabilir
USB-C Power Delivery davranışı
- Halo tamamen USB-C PD ile güç alıyor
- USB-C şu anda en fazla 240 W aktarabiliyor; Halo ile birlikte USB-C PD Extended Power Range(EPR) destekli Delta ADP-240KB BA AC/DC güç adaptörü geliyor
- Bu adaptör en fazla 48 V, 5 A sağlayabiliyor
- Testte Halo güç kaynağından 200 W’ın üzerinde çekmedi
- Güç adaptörü ile Halo arasındaki PD paketleri Infineon CY4500-EPR ile ölçüldü
- Güç adaptörü ilk bağlandığında SOURCE_CAPABILITIES mesajıyla sağlayabileceği voltaj ve akımı bildiriyor
- Başta yalnızca 20 V, 5 A, yani 100 W ile sınırlı Standard Power Range(SPR) çıkış modu görünüyor
- Halo, EPR_MODE mesajı göndererek güç adaptörünün EPR modunu talep ediyor ve ardından tüm EPR özelliklerini doğruluyor
- Halo, en fazla 5 A kullanabilen sabit 48 V çıkış modunu isteyerek azami 240 W konfigürasyonunu kullanıyor
- Halo, güç adaptörüne EXTENDED_CONTROL_MESSAGE göndermeye devam ediyor; sabit voltaj çıkışında bu tür sürekli mesajlar görmek ilginçti
1 yorum
Hacker News görüşleri
Yeni dikkat çekici nokta AMD playbooks(https://developer.amd.com/playbooks/, https://github.com/amd/playbooks)
Bu, Nvidia’nın playbooks’larına(https://build.nvidia.com/spark, https://github.com/NVIDIA/dgx-spark-playbooks) AMD’nin cevabı ve AMD’nin bu alanı daha ciddiye almaya başlamasını olumlu buluyorum
Donanım, geçen yıl 2 bin dolara satılanla tamamen aynı ve Çinli OEM’lerde hâlâ 1.000 dolar daha ucuza alınabiliyor
LTT Lab’in LLM testlerinin daha rafine hâle gelmesi güzel ama ROCm/Vulkan sürümü ve llama.cpp build sürümüne göre rakamlar epey ciddi değişebilir
Strix Halo’dan azami performans almak için kernel ayarları ve ryzenadj gibi araçlar yardımcı oluyor; bunların çoğu http://strixhalo.wiki/ üzerinde derlenmiş durumda
Kodlama ya da ajan işleri için kullanacaksanız, model MTP desteklediğinde bu taraf zaten epey olgun ve decode yaklaşık %30 daha hızlı olabiliyor
Zaman kazandırmak gerekirse, haberde de geçtiği gibi AMD Ryzen AI Max+ 395(Strix Halo) işlemcisi 2025 baharından beri zaten vardı; Halo bu açıdan yeni bir şey sunmuyor
Önceki kartlarla aynı 256 GB/s bellek bant genişliği sınırına sahip; neden şimdi yeni bir ürünmüş gibi çıkarıldığını anlamıyorum
Benzer fiyata Framework Desktop alınabiliyor, GMKtec EVO-X2 ise biraz daha ucuza bulunabiliyor
AMD açısından PC üreticilerine daha ucuza vermek yerine kârı doğrudan toplamak gayet mantıklı
Normal bir tower ya da server rack bilgisayar almak daha mantıklı
128GB ve üzeri belleğe sahip bir makineyi gerçekten isterdim ama 4 bin dolara sadece 256 GB/s almak acımasız
Hem ARM’in hem AMD’nin dezavantajlarını birlikte üstlenmiş oluyorsunuz
RTX Spark çıktığında bunun 6 bin dolar civarında olması gerekecek gibi duruyor; 128GB+ ve 700+ GB/s bir makine çıkarsa 10 bin dolara ulaşıp çoğu tüketicinin erişemeyeceği bir seviyeye gelmesinden endişe ediyorum
Açıkçası şu anda çok iyi seçenek yok; piyasa biraz daha az çılgın hâle gelene kadar beklemek daha iyi olabilir
Bunu birleştiren bir makine çıkaran biri olsa rahatlıkla 10 bin dolara satar ve insanlar da sıraya girer gibi geliyor
Örneğin DS4, yani DeepSeek V4 Flash’ın 1 bit kuantize modeli saniyede yaklaşık 9-13 token veriyor ve ilk token’a kadar geçen süre çok uzun
Ajan tarzı etkileşimli kodlama modeli olarak gerçekçi değil
Strix Halo’yu seviyorum ve onu çoğunlukla yazılım güvenlik denetimi ya da öğrenme deneyi gibi etkileşimli olmayan işleri sürekli çalıştırmak için kullanıyorum
Yapay zeka deney platformu olarak iyi ama 4 bin dolara Nvidia tabanlı Asus Ascend GX10 alınabiliyor ve muhtemelen o daha iyi
Yerel etkileşimli ajan kullanımında büyük olasılıkla Qwen 3.6 ya da Gemma 4 çalıştırırsınız; bunlar 2x64GB GPU’ya rahat sığıyor ve eski GPU’lar bile Strix Halo’dan daha hızlı olabilir
32GB’a da zor da olsa sığıyorlar; 48GB ya da 64GB Mac’lerde de iyi çalışırlar
Şu an GPU tarafındaki sweet spot iki adet Radeon AI Pro R9700 gibi görünüyor
5090 ya da 4090 gibi ikinci el araba fiyatında değil ama yerel çıkarım için yeterli bellek ve performans sunuyor; ayrıca eBay’deki eski server GPU’ları gibi sorunlu, tuhaf ya da 3D baskı fan duct’ı gerektiren türden de değil
Şu anda bu tür 128GB çıkarım makinelerinde daha iyi çalışıp 64GB makinelerde iyi çalışmayan belirgin bir model yok
64GB makine daha hızlı bile olabilir; ayrıca 32GB GPU’lar arasında çok daha yavaş olan da fazla yoktur, ancak vendor driver’ları ile CUDA veya ROCm tarafından şu anda aktif desteklenmeyen GPU’ları almamak en iyisi
Bu cihazlar DGX Spark’tan daha ucuzken harikaydı
Ama fiyat aynıysa Spark yerine bunu almak için bir neden yok
Spark düpedüz daha hızlı bir sürüm ve yazılım desteği de daha iyi
Bunu, Ryzen AI Max 395 cihazına sahip biri olarak söylüyorum
Çeşitli yükseköğretim tedarikçilerine göre
Ryzen’ın CPU’su DGX Spark’tan daha iyi ve özellikle AVX-512 kullanacak şekilde güncellenmiş modern programlarda çok daha yüksek çok iş parçacıklı performans veriyor
NVIDIA sisteminin daha iyi olma ihtimali büyük ölçüde yalnızca GPU uygulamaları için geçerli
Uygun Linux kernel’i, kernel firmware’i, ROCm kurulumu vb. ile epey uzun süre uğraştım
Strix Halo cihaza sahibim ve hoşuma gidiyor ama bu fiyata, amaç yapay zeka ise Nvidia tabanlı ASUS GX 10 almak daha mantıklı
CUDA ekosistemi hâlâ daha güçlü
AMD’nin CPU’su daha iyi olduğu için masaüstü makine olarak daha iyi, ama çıkarım ve eğitim işlerinde Nvidia tarafı biraz daha hızlı ve destek de biraz daha iyi
ROCm ile de neredeyse her zaman aynı işleri yapabilirsiniz ama biraz daha fazla uğraştırıyor
Ancak Nvidia’nın kendi donanımıyla birlikte gönderdiği özelleştirilmiş Ubuntu, uğraşması zor olacak kadar kötü
Nvidia yazılım işini pek beceremiyor; Jetson serisiyle birkaç yıl uğraştım, hâlâ berbat
Hâlâ hantal bir özelleştirilmiş Ubuntu ve karmaşık, image tabanlı bir yapısı var; UEFI de yok, yani gidip başka bir Linux kurmak o kadar kolay değil
Daha büyük cihazlarda da Ubuntu göndereceklerini varsayıyorum ama benim bizzat kullandığım yalnızca küçük gömülü Jetson makineleriydi
AMD tarafı ise sıradan bir x86_64 PC, bu yüzden neredeyse her Linux’u kurabilirsiniz; ben kendi cihazıma doğrudan Fedora yükledim
Bildiğiniz Ubuntu işte ve hiçbir büyük sorun yaşamadım
Hatta şimdiye kadar gördüğüm ARM64 Linux cihazları arasında, düzgün desteklenen Linux’u gerçekten gönderim yapan tek satıcı da olabilir
ASUS GX10’u günlük ana iş istasyonum olarak kullanıyorum ve çalışmayan tek şey Spotify; o da muhtemelen DRM meselesi
Signal için de ARM64 istemcisi yok gibi görünüyor
DGX Spark’ın Strix Halo’ya göre büyük avantajı, prefill hızının çok daha yüksek olması
Yaklaşık 5 kat daha hızlı
Ağ donanımı da absürt derecede güçlü ama benim ve diğer Spark kullanıcılarının %99’u muhtemelen o performansın tamamını hiç kullanmayacak
256GB/s bellek bant genişliği, 3090’ın yaklaşık dörtte biri
Belleği yarıya indirip hızı 4 kat artırmış olsalardı daha iyi bir satın alma olurdu
Yüksek bellek hızı, yoğun modeller veya yüksek eşzamanlı servis için iyi
Ama yerelde tek kullanıcılı senaryolarda, bu tür platformlar sayesinde daha güçlü ve daha büyük MoE modellerini makul hızlarda ve düşük eşzamanlılıkla kullanabilmek çoğu zaman daha iyi olabilir
O noktada darboğaz muhtemelen yavaş PCIe hatları olur
Eğer iş yükü 24GB’lık bir karta sığıyorsa, zaten bunların yapmaya çalıştığı AI mini PC nişinin hedef kullanıcısı değilsinizdir
Küçük modeller çok daha iyi çalıştırılabilir
Bence 3090, en az 2 tane, idealde 4 tane alabiliyorsanız en mantıklı seçenek; ama o zaman da bambaşka bir bütçeden söz ediyoruz
Yeni MTP modeli Qwen3.6 35B MoE, yaklaşık 80k bağlama kadar ciddi bir yavaşlama olmadan token üretebiliyor
Çok sayıda token almak güzel ama bağlamı işleyip büyütebilmesi sayesinde, küçük ekran kartlarına kıyasla uzun süre harika bir makine olarak kalacak
32GB DDR4 RAM modülünün bant genişliği 25GB/s ve fiyatı 160 dolar
8 tane alırsanız 1.280 dolara 256GB RAM ve 200GB/s bant genişliği elde edersiniz
16GB modüllerden 16 tane, tanesi 60 dolardan alırsanız 960 dolara 400GB/s bant genişliği elde edebilirsiniz
Sorun, 8 ya da 16 tane bellek denetleyicisine ihtiyaç duymanız
Bellek denetleyicileri o kadar da pahalı değil
Intel Core i3-14100F’te 2 kanallı denetleyici var ve fiyatı 110 dolar; dolayısıyla 16 kanallı denetleyicinin 880 doların altında, 8 kanallı denetleyicinin de yaklaşık 440 dolar olacağını tahmin edebiliriz
O zaman 128GB’lık 4.000 dolarlık bir cihaz yerine, 16 DRAM denetleyicisine sahip ucuz bir CPU yapmak daha mantıklı olmaz mı?
Ya da her birinde 8 RAM kanalı olan 2 CPU da olabilir
DDR5’te 32GB 360 dolar; yani iki kat pahalı ama bant genişliği iki katına bile çıkmıyor, bu yüzden almaya değmez
Daha fazla RAM kanalı yapıp DDR4 takmak daha mantıklı
Yalnız anakart oldukça pahalı olabilir
Pahalı DDR5’e geçmek yerine, en ucuz CPU’larda bile 8/16 DDR4 kanalı desteklenmeliydi
32GB DDR5-4800 modülü 360 dolar, buna karşılık iki adet 32GB DDR4-3200 modülü 320 dolar; yani kapasite iki kat, bant genişliği daha yüksek ve fiyat daha düşük
DDR5 düpedüz kazık
Önceki hâli “yalnızca” 2.000 dolardı ama bu güncellenmiş kutuda da bellek bant genişliği ciddi biçimde yetersiz
Hibrit çıkarım için özel GPU takılabilecek alan sunan bazı modeller var ama bence buna değmez
Parayı Xeon veya EPYC sistemine saklamak daha iyi
Benzer ürünlerin neden hep 128GB VRAM sınırında kaldığını anlamıyorum
Bu fiyata en az 224GB VRAM beklerdim
Bu, bellek veri yoluna bağlı
128 bit için 96GB, 256 bit için 192GB, 512 bit için 384GB, 1024 bit için 768GB gibi düşünülebilir
https://community.frame.work/t/was-there-no-possible-way-to-...
Düşük marjlı tüketici/home lab ürünlerinin veri merkezi ürünlerinin yerine geçmesini istemedikleri için, bu tür ürünlerin VRAM’ini bilerek sınırlıyorlar; böylece veri merkezi kullanımı için daha az cazip oluyorlar
Bu, CUDA’lı Nvidia DGX Spark’tan ya da 128GB ve iki kat bellek bant genişliğine sahip bir Mac’ten yalnızca biraz daha ucuz
Strix Halo’nun avantajı, aslında çok daha güçlü olan o makinelerin yarı fiyatına olmasıydı
Bu fiyata AMD çipi almak deliliğe yakın
Ama donanım pazarının geneli şu anda zaten delirmiş durumda, bu yüzden ne yazık ki bu da muhtemelen iyi satacaktır
M5 Pro’nun bellek bant genişliği biraz daha yüksek, ancak şu an en fazla 64GB DRAM ile geliyor
Bu küçük bellek yapılandırması bile AMD ya da NVIDIA’dan daha pahalı ve küçük bir SSD yerine LLM yükleyip doğrudan kuantizasyon hesaplayabileceğiniz makul boyutta bir SSD isterseniz fiyat daha da artıyor
Örneğin 4TB SSD ve 64GB DRAM 5.600 doların üzerine çıkıyor
LLM çıkarımı yapmak istiyorsanız Apple rekabetçi bir çözüm gibi görünmüyor
Fiyatı çok daha yüksek ve birkaç LLM saklamak için çok alan gerekiyor; ayrıca SSD genişletme seçenekleri de kısıtlı
Doğru olan tek nokta, AMD Strix Halo sistemlerinin eskiden NVIDIA’dan çok daha ucuzken artık aynı fiyata gelmiş olması
Strix Halo’nun CPU’su NVIDIA’dan daha iyi, ancak NVIDIA GPU’sunun AMD GPU’sundan daha iyi olma ihtimali yüksek ve CUDA’nın sorunsuz çalışacağı garanti