Meta Llama 3.2’yi duyurdu - açık özelleştirilebilir modellerle edge AI ve görsel yapay zekayı dönüştüren teknoloji

• Meta, Llama 3.2’yi duyurdu

  • Küçük ve orta ölçekli görsel LLM’ler (11B ve 90B) ile hafif, yalnızca metin odaklı modelleri (1B ve 3B) içeriyor
  • Qualcomm ve MediaTek donanımlarında kullanılabiliyor ve Arm işlemciler için optimize edildi
  • Özetleme, yönerge takibi ve yeniden yazma görevleri için uygun modeller

• Llama 3.2 modellerinin özellikleri

  • 11B ve 90B görsel modeller, görüntü anlama görevlerinde öne çıkıyor
  • torchtune kullanılarak özelleştirilmiş uygulamalar için ince ayar yapılabiliyor
  • torchchat ile yerel dağıtım mümkün
  • Meta AI akıllı asistanı üzerinden kullanılabiliyor

• Llama Stack dağıtımı

  • Tek düğüm, şirket içi, bulut ve cihaz üstü ortamlarda Llama modelleriyle çalışmayı basitleştiriyor
  • AWS, Databricks, Dell Technologies, Fireworks, Infosys ve Together AI ile iş birliği içinde dağıtılıyor

• Llama 3.2 modellerini indirme

  • llama.com ve Hugging Face üzerinden indirilebiliyor
  • AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake ve diğer partner platformlarda hemen geliştirmeye başlanabiliyor

• Llama 3.2’nin performansı

  • 11B ve 90B modeller; belge düzeyinde anlama, görsel açıklama oluşturma ve görsele dayalı görevler için uygun
  • 1B ve 3B modeller, çok dilli metin üretimi ve araç çağırma yetenekleri sunuyor
  • Yerelde çalıştırıldığında anlık yanıt ve yüksek gizlilik sağlıyor

• Model değerlendirmesi

  • 150’den fazla benchmark veri kümesinde performans değerlendirmesi yapıldı
  • Claude 3 Haiku ve GPT4o-mini ile rekabet edebilecek performans sunuyor

• Görsel modeller

  • Görüntü girdisi desteği için yeni bir model mimarisi sunuluyor
  • Yalnızca metin yeteneklerini korurken görüntü ve metin prompt’larını birleştirerek derinlemesine anlama ve akıl yürütme sağlıyor

• Hafif modeller

  • Budama ve bilgi damıtma yöntemleri kullanılarak 1B ve 3B modeller geliştirildi
  • Yerelde verimli şekilde çalıştırılabiliyor

• Llama Stack dağıtımı

  • Llama Stack API aracılığıyla standartlaştırılmış bir arayüz sunuyor
  • Farklı ortamlarda Llama modelleriyle çalışmayı basitleştiriyor

• Sistem düzeyinde güvenlik

  • Llama Guard 3 11B Vision duyuruldu
  • Llama Guard 3 1B modeli, dağıtım maliyetlerini önemli ölçüde azaltıyor

• Llama 3.2 kullanımı

  • Geliştiricilere ihtiyaç duydukları araç ve kaynakları sağlıyor
  • Llama 3.2 ve Llama Stack ile yenilikçi uygulamalar geliştirilebiliyor

GN⁺ özeti

• Llama 3.2, edge ve mobil cihazlarda çalışabilen hafif modeller dahil olmak üzere çeşitli görsel ve metin modelleri sunuyor
• Qualcomm, MediaTek ve Arm gibi şirketlerle yapılan iş birlikleri sayesinde farklı donanımlarda optimize performans sağlıyor
• Llama Stack dağıtımı ile geliştiricilerin farklı ortamlarda Llama modellerini kolayca kullanabilmesi destekleniyor
• Llama 3.2, yüksek gizlilik ve anlık yanıt sunarak yerel uygulama geliştirme için uygun hale geliyor
• Claude 3 Haiku ve GPT4o-mini ile rekabet edebilecek performans sağlıyor ve çeşitli benchmark’larda güçlü sonuçlar gösteriyor

[GN⁺]

Hacker News görüşleri

• Yeni 1B modelinin performansı şaşırtıcı. İndirme boyutu 1.3GB

  • Bunu tüm kod tabanını özetlemek için denedim. Kusursuz değil ama bu kadar küçük bir model için etkileyici performans gösteriyor
  • Daha fazla not için buraya bakılabilir
  • Daha büyük görüntü modelini de denedim. lmarena.ai üzerinde "Direct Chat" aracılığıyla görsel yüklenebiliyor

• "The Llama jumped over the ______!" örneğinde 1-hot encoding ile doğru yanıtın %100 olasılıkla "wall" olduğu görülüyor

  • "fence"in de olası olduğunu söylemek yanlış olurdu. Model distillation'ın neden iyi çalıştığını bunun açıkladığını düşünüyorum
  • Orijinal model metin yanıtları üzerinden eğitilirken, alt model tahminleri taklit ederek daha anlamlı yanıtlar öğreniyor
  • Meta'nın Llama 3.2 modelinin neden küçük ama güçlü olduğunu şimdi anlıyorum. Modelin gelişimi gerçekten şaşırtıcı

• Meta'nın Llama ekibinin açıklığına hayran kaldım. Sadece modele erişimi değil, nasıl inşa edildiğini de paylaşıyorlar

  • Gelecekteki modeller için ne olacağını bilemeyiz ama Meta'nın bu açık tutumu takdire değer

• Acemi sorusu: İnsan bilgisini gerektirmeyen ama yazılım mühendisliği becerisi 10 kat olan bir modele ihtiyacım var. Böyle bir model olup olmadığını merak ediyorum

• Ollama'da 3B modeli denedim. Optik, biyoloji ve Rust hakkında sorulara hızlı yanıt veriyor ve geniş bilgiye sahip

  • Oldukça etkileyici bir model

• Ollama blog yazısı: bağlantı

• llama3.2:3b-instruct-q8_0 modeli, 3.1 8b-q4'ten daha iyi performans gösteriyor. MacBook Pro M1 üzerinde daha hızlı ve sonuçları da daha iyi

  • Bazı bilmecelere ve düşünce deneylerine daha iyi yanıtlar veriyor
  • 3.1-8b kurulumunu kaldırdım
  • Mevcut Ollama listesi:
    • llama3.2:3b-instruct-q8_0: 3.4GB, 2 saat önce değiştirildi
    • gemma2:9b-instruct-q4_1: 6.0GB, 3 gün önce değiştirildi
    • phi3.5:3.8b-mini-instruct-q8_0: 4.1GB, 3 gün önce değiştirildi
    • mxbai-embed-large:latest: 669MB, 3 ay önce değiştirildi

• Ollama için bir web UI istemcisi önerebilecek biri var mı diye soruluyor

• Güncel LLM benchmark'larını içeren bir leaderboard olup olmadığı soruluyor

  • Livebench ve Lmsys birkaç hafta geriden geliyor ve önemli modelleri eklemiyor
  • Eğer yoksa kendim yapmayı düşünüyorum

• 3B model multimodal (Norveççe) kullanımda oldukça iyiydi ama bazen çok fazla anlamsız yanıt üretiyor. 8B'den daha hassas ama Gemma 2 2B'den daha kullanılabilir

  • Python liste sıralama sorularında fena değil
  • 90B vision modeli faydalı görevleri reddediyor. Bir görseli HTML ile yeniden üretmede ya da görsel verisini faydalı şekilde kullanmada başarısız oldu
  • 70B veya OpenAI tarafında böyle bir sorun yaşamamıştım. Fazla fazla ret veriyor