- Meta'nın GPT-4 düzeyinde performans sunan Llama 3.3 70B modeli artık sıradan bir dizüstü bilgisayarda (64GB MacBook Pro M2) çalıştırılabiliyor
- Bu, LLaMA'nın Mart 2023'te yayımlanmasından yaklaşık 20 ay sonra gelen büyük bir ilerleme
- Modelin 42GB'lık verisi Ollama üzerinden yerel olarak indirilip çalıştırılabiliyor (Apple'ın MLX'i ile de çalıştırmak mümkün)
- 64GB RAM gerekiyor ve çalıştırma sırasında bellek kullanımı yüksek olduğundan, kaynak yoğun diğer uygulamaların kapatılması öneriliyor
- Performans ve benchmark'lar
- LiveBench benchmark'ında 19. sırada yer alıyor, Claude 3 Opus'tan daha yüksek performans gösteriyor ve GPT-4 Turbo'ya benzer bir seviyede
- Özellikle komut anlama (Instruction Following) değerlendirmesinde en üst düzey performans sergiliyor
- Metin üretimi, kod yazımı, SVG görsel üretimi gibi çeşitli görevleri yerine getirebiliyor
- Kişisel cihazlarda da giderek daha güçlü modeller çalıştırmak mümkün hale geliyor
- Dikkat çeken diğer yerel çalışabilen LLM modelleri
- Qwen2.5-Coder-32B
- Alibaba Qwen araştırma ekibi tarafından geliştirilen bu model, Apache 2.0 lisansı altında yayımlandı
- Kod üretiminde üstün performans gösteriyor ve serbestçe kullanılabiliyor
- Açık kaynak lisansı sayesinde geliştiriciler için daha da anlamlı bir araç
- QwQ
- OpenAI'ın o1 serisine benzer bir chain-of-thought düşünme kalıbını uyguluyor
- Karmaşık problemleri adım adım çözebiliyor
- Yerel ortamda da akıcı şekilde çalışabilmesi etkileyici
- Meta'nın Llama 3.2'si
- 1B ve 3B boyutlarındaki modeller, Raspberry Pi gibi küçük bilgisayarlarda bile çalışabiliyor
- Boyutuna göre etkileyici performans sunuyor; ayrıca görüntü işleme yeteneklerine sahip 11B ve 90B boyutlarında çok modlu vision modellerini de içeriyor
- Küçük modellerden büyük ölçekli modellere kadar çeşitli seçenekler mevcut
- Bu modeller, LLM teknolojisinin sunucu sınıfı donanımın dışına çıkıp sıradan kişisel bilgisayarlarda da çalışabildiğini gösteriyor
- Özellikle açık kaynak modellerdeki ilerleme sayesinde geliştiricilerin özgürce deney yapıp uygulama geliştirebileceği ortam genişliyor
- Gelecek beklentileri
- Çoklu modalite ve model verimliliği tarafında büyük ilerlemeler bekleniyor
- Gelişimin, AGI'den ziyade pratik ve verimli iş yapmaya odaklanarak sürmesi öngörülüyor
- Mevcut modellerin bile önümüzdeki birkaç yıl boyunca üretken işler için yeterli olacağı düşünülüyor
13 yorum
M1 Max 64GB'de de çalışır herhalde, değil mi?
Bilgisayarla hiç ilgisi olmayanlar bir yana, bu alandakiler için 64 GB’ın artık temel seviye olduğunu düşünüyordum..
Çok fazla veriyle çalışılan durumlar değilse, 16 ile 64 arasındaki farkın hissedildiği bir alan pek değil.
8 GB RAM ile de rahatça geliştirme yapılır. Her iş için o kadar fazla belleğe ihtiyaç duyulmuyor.
64 GB RAM varsa erişilebilirliği oldukça yüksek gibi görünüyor.
Bu aralar dizüstü bilgisayarlar için DDR5 16 GB sadece 60 bin won civarında.
800 bin won bandında 64 GB dizüstü bilgisayar da çok var.
Mac’te 64 GB RAM, VRAM’in 64 olmasıyla aynı anlama geliyor; yani fiilen başlangıç noktası 300’den başlıyor.
M serisi Mac'lerde RAM, CPU ve GPU tarafından paylaşıldığı için GPU RAM'inin artması etkisini yaratır.
Orijinal yazıyı okuyup gelince başlık az çok anlaşılır oluyor. Çünkü bu, yazarın "elimdeki kendi dizüstü bilgisayarımda Llama modelini çalıştırdım!" dediği bir yazı yani.. Hah hah hah
Diğer programların da çalıştırılması hesaba katıldığı için mi 64GB deniyor? Bunu tüketici sınıfı ya da kişisel PC olarak adlandırmak için gerçekçi olmayan bir özellik olduğunu düşünüyorum.
Bu bağlamda kişisel bilgisayarlar genelde sadece "B2C pazarında satılıyor ve satın alınabiliyor (fiyatı ne olursa olsun)" düzeyinde görünüyor. "Herkes kullanabilir" demekten ise oldukça uzak görünüyordu.
Durumlar çeşitlidir. Ben de kişisel kullanım için 96 GB'lık bir MacBook Pro kullanıyorum; LLM ile ilgili geliştirme yapmıyor olsam bile Swap sık sık doluyor.
64 GB RAM sıradan bir dizüstü bilgisayarda...?? hıçkırık hıçkırık
Buna tüketici sınıfı donanım demek biraz daha doğru olur sanırım.