Ollama artık AMD grafik kartlarını destekliyor

• Ollama, önizleme sürümünde Windows ve Linux’ta AMD grafik kartlarını desteklemeye başladı
• Ollama’nın tüm özellikleri artık Linux ve Windows’ta AMD grafik kartlarıyla hızlandırılabiliyor

Desteklenen grafik kartları

• AMD Radeon RX serisi: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
• AMD Radeon PRO serisi: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
• AMD Instinct serisi: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
• Daha fazla AMD grafik kartı için destek yakında sunulacak.

[GN⁺]

Hacker News görüşleri

• llama.cpp katkılarının yeterince takdir edilmemesi

  • llama.cpp'nin sağladığı teknolojiye dayanan araçlarda, llama.cpp'nin doğrudan takdir veya teşekkür almaması dikkat çekiyor.
  • Diğer "yerel çalıştırma" yazılımları uygun düzeyde kredi alırken, Ollama MIT lisansı açısından sorunlu görünmese de depo, blog ya da Ollama web sitesinin hiçbir yerinde bir teşekkür ifadesi bulunmuyor.

• Ollama'nın AMD desteğiyle ilgili blog gönderisine dair görüşler

  • Blog gönderisi ilginç geldi. Zaten birkaç haftadır AMD RX 6650 üzerinde Ollama çalıştırıyordum.
  • 21 gün önce ROCm container'ı sunmuşlardı ve bunun en son sürüm olan 0.1.29 ile birlikte yayımlandığı anlaşılıyor. AMD desteği açısından bu sürümde gerçekte neyin değiştiği merak ediliyor.
  • Resmî olarak desteklenmeyen AMD kartlarda Ollama çalıştırma sürecini anlatan bir issue var. Yapılması gereken tek şey ortam değişkenlerini ayarlamak.
  • starcoder2 modelinin artık çalıştığı değişiklik fark edilmiş. Önceden çöküyordu.

• Ollama'ya gösterilen aşırı ilgiye dair soru işaretleri

  • Ollama'nın neden bu kadar ilgi gördüğü net değil. Aynı anda yalnızca tek bir modeli destekliyor ve sadece deneysel kullanım için sınırlı bir değer sunuyor.
  • Deney sürecini çok kolaylaştırsa da, tamamen llama.cpp'ye dayanması ve temel değer önerisinin kolay model yönetimi olması düşünüldüğünde, gördüğü ilgi ve övgüye kıyasla değerinin abartıldığı düşünülüyor.
  • İlk denemelerden sonra modelin sonuçta üretim ortamına dağıtılması gerekiyor. Buradaki nokta, llama.cpp'ye kredi verilmemesi değil; bu ürünün sunduğu değere göre fazla ilgi görmesi.

• RX 6800/6800 XT / 6900 XT desteğine teşekkür

  • Pandemi sonrası kıtlık döneminde çok yüksek fiyat ödeyerek alınan kartları ML işlerinde kullanabilmek sevindirici.
  • Ollama projesine ve llama.cpp'ye teşekkür ediliyor.

• Ollama çalıştırılırken görülen AMD uyarı mesajı

  • fooocus çalışıyor, ancak Ollama çalıştırıldığında AMD Linux sürücüsüyle ilgili bir uyarı mesajı çıkıyor.
  • ROCm kütüphanesi olmadığı için CPU kullanılıyor.
  • Arch Linux'ta ROCm'un nasıl yeniden kurulacağına bakmak gerekiyor.

• CUDA'nın rekabet gücünün azalmasına olumlu tepki

  • Bu tür projeler arttıkça CUDA daha az önemli hâle geliyor ve Nvidia'nın rekabet avantajı azalıyor.

• Yerel LLM yazılımlarının yeni donanım alımını teşvik etmesi

  • RX 570/580 gibi eski kartlar desteklenmiyor ve yeni donanımlar daha güçlü olsa da, CUDA 2007'de, ROCm ise 2016'da çıktığı için en yeni kartların gerekmeyeceği düşünülüyor.

• Ollama'nın kolay kullanım deneyimi

  • Daha önce yerel model çalıştırma deneyimi olmamasına rağmen, Ubuntu 22 üzerinde 7600 kartla kutudan çıktığı gibi çalışması çok etkileyici bulunuyor.

• OpenCL kullanımına dair merak

  • OpenCL'in CUDA'ya kıyasla nadiren kullanıldığı görülürken, bunun nasıl başarıyla hayata geçirildiği merak ediliyor.
  • 4090 karta ciddi para ödenmiş olsa da, bir seçenek olmasının güzel olacağı düşünülüyor.

• NVidia kart fiyatları ve AMD desteğini iyileştirme çabaları

  • En üst seviye NVidia kartların çok pahalı ve zor bulunur olduğu bir ortamda, AMD desteğini iyileştirmek için ciddi çaba harcandığı düşünülüyor.