Code Llama - Kodlama için son teknoloji büyük dil modeli

 (ai.meta.com)
22 puan yazan kuroneko 2023-08-25 | 2 yorum | WhatsApp'ta paylaş
  • Meta, Llama 2 tabanlı, yalnızca kodlama için geliştirilmiş model olan Code Llama'yı duyurdu.
  • Koddan ve doğal dil istemlerinden kod üretimi yapılabiliyor; şirketin kendi benchmark sonuçlarına göre performansı ChatGPT'den daha yüksekti.
  • 500 milyar kod token'ı ve ilgili verilerle eğitilen 7B, 13B ve 34B modelleri ayrı ayrı yayımlandı.
  • En fazla 100 bin bağlam token'ını desteklediği için daha uzun programlar yazmak veya ayrıntılı koşulları ve gerçek kodu istem olarak girmek daha kolay.
  • Code Llama, temel modelin yanı sıra 2 ek varyantla birlikte sunuldu.
    • Code Llama - Python: 100 milyar Python kod token'ı eklenerek ince ayar yapılmış model.
    • Code Llama - Instruct: 5 milyar komut token'ı ile ince ayar yapılmış, doğal dil girdisi ve kod çıktısı için optimize edilmiş model.
      • Diğer modeller doğal dil için optimize edilmediğinden, doğal dille kod üretirken bu modelin kullanılması gerekiyor.
  • HumanEval ve MBPP ile model performansı ölçüldüğünde, ChatGPT (GPT 3.5) ile eşdeğer ya da daha yüksek performans gösterdiği görüldü.
    • GPT 3.5 HumanEval'de %48,1 alırken Code Llama - Python %53,7 aldı.
    • GPT 4 hâlâ %67 ile önde, yani kat edilmesi gereken yol var.
  • Code Llama'nın kötü amaçlı kod üretebilme riskini en aza indirmek için çeşitli güvenlik önlemleri eklendi.
    • Gerçek testlerde, ChatGPT'ye kıyasla daha az kötü amaçlı kod ürettiği görüldü.

İlgili okumalar

2 yorum

 
xguru 2023-08-25

Lisansı Llama ile aynı görünüyor. MAU 700 milyonu aşarsa lisans talep etmek gerekiyor.
Neyse, Kore şirketleri için büyük bir sorun olmayacak gibi haha
 
kuroneko 2023-08-25

Llama 2 ile aynı lisansla yayımlandı.
StarCoder'ın da biraz eksik kaldığını biliyordum; acaba artık gerçekten Copilot'a bir alternatif ortaya çıktı mı?

Neyse, böyle şeyleri düşününce GPT 4'ün performansının gerçekten ne kadar etkileyici olduğu anlaşılıyor.
Koreceyi de iyi biliyor ve benchmark'larda da GPT 4'ün performansının çok daha yüksek olduğu görülüyor...

GPT 3.5 de Korece konusunda diğer açık modellerle karşılaştırıldığında açık ara daha iyi.

Korece de çalışabilen açık kaynaklı bir kod üretim modelinin ortaya çıkmasını umuyorum.