Meta AI, Code Llama 70B modelini tanıttı

• Llama 2’den, koda özelleştirilmiş bir veri setiyle daha fazla veri örneklenerek ve daha uzun süre eğitilerek elde edilen; kod üretimi için yüksek performanslı bir LLM
• HumanEval’de 67.8 ile açık modeller arasında en iyi performansı gösteriyor
• Önceki lisanslarda olduğu gibi hem araştırma hem de ticari amaçlarla kullanılabiliyor
• 3 model
  • CodeLlama-70B
  • CodeLlama-70B-Python
  • CodeLlama-70B-Instruct
• Artık 4 boyutta sunuluyor: 7B/13B/34B/70B

[ragingwind]

M2 Max ve üzeri cihazlarda yerel olarak çalıştırılabiliyorsa, bence en iyi oyuncaklardan biri olur

[xguru]

Kuantize edilirse muhtemelen gayet iyi çalışır. Biraz daha beklersek çıkmaz mı acaba

[xguru]

Yukarıdaki bağlantı Meta'ya erişim talep etme bağlantısı, ancak Hugging Face'te zaten her şey açık durumda. https://huggingface.co/codellama

[GN⁺]

Hacker News görüşleri

• Jetbrains eklentisi olan CodeGPT geliştirildi ve yerelde çalıştırılabiliyor. Eklentiye buradan bakılabilir.
• Model Hugging Face üzerinde görülebilir: CodeLlama-70b-hf.
• ChatGPT ve GitHub Copilot kullanan bir kullanıcı, bu tür modellerin VS Code'da nasıl kullanılabileceğini merak ediyor. VS Code için çok sayıda GPT eklentisi var, ancak çoğu ya güncellenmiyor ya da ücretli plana yönlendiriyor; bu yüzden GitHub Copilot kullanmaya devam etmenin daha iyi olduğunu düşünüyor.
• Meta'nın açık kaynak makine öğrenimine güçlü bağlılık göstermesini takdir etmek gerekiyor.
• Küçük kod modellerinin ne kadar iyi olduğu düşünülünce, bu 70B modelin neler yapabileceği merak konusu.
• Birçok kişi 4090 ve küçük modellerin kullanımından bahsediyor, ancak enerji tüketimine dair analizlere nadiren rastlanıyor. Microsoft'un Copilot'u ciddi şekilde sübvanse ettiğini düşünüyorlar; eğer günün %30'unda Copilot kullanılıyorsa, bir ayda 4090 üzerinde 7B veya 13B bir modelin kaç kWh tüketeceğini ve enerji maliyetinin ne olacağını merak ediyorlar.
• Şu anda en iyi yerel Copilot modelinin ne olduğu ve vscode'da benzer bir deneyim sunan bir eklenti bulunup bulunmadığı merak ediliyor. Ellerinde bir 4090 olduğu için, hatırı sayılır sayıda modeli çalıştırabileceklerini düşünüyorlar.
• Baptiste Roziere kısa süre önce Code Llama hakkında çok iyi bir konuşma yaptı; konuşma buradan izlenebilir.
• M2 Max gibi cihazlarda yerelde çalışabiliyor ve IDE eklentileri üzerinden Copilot benzeri işlevler sunabiliyorsa ilgi çekici olur. Projelerde sıkıcı sorunları çözmek veya "boilerplate" kod yazmak için harcanan zamanı azaltarak daha zor yazılım mühendisliği işlerine odaklanmayı sağlayabilir.
• Ortalama bir programcının bunu ihtiyaç duyduğu hızda çalıştıracak donanıma sahip olmaması muhtemel olduğundan, bu eklentinin tam olarak kimlere hitap ettiği çok net değil. Yine de harika bir özellik.