Kodlama için son teknoloji büyük dil modeli: Code Llama

• Code Llama, kodlama için tasarlanmış son teknoloji bir büyük dil modelidir (LLM); hem koddan hem de doğal dil istemlerinden kod ve koda ilişkin doğal dil açıklamaları üretebilir.
• Llama 2 üzerine inşa edilmiştir ve üç model olarak sunulur: Code Llama (temel kod modeli), Code Llama - Python (Python uzmanı), Code Llama - Instruct (doğal dil talimatlarını anlamaya göre ayarlanmış).
• Code Llama, araştırma ve ticari kullanım için ücretsizdir ve Llama 2 ile aynı topluluk lisansı altında yayımlanmıştır.
• Model, kod tamamlama ve hata ayıklama için kullanılabilir ve Python, C++, Java, PHP, Typescript (Javascript), C#, Bash gibi birçok popüler dili destekler.
• Code Llama, sırasıyla 7B, 13B, 34B parametreli üç boyutta sunulur ve her biri 500B token’lık kod ve kodla ilgili veriyle eğitilmiştir.
• Bu modeller, çeşitli hizmet ve gecikme gereksinimlerine uyacak şekilde sunulur; 34B model en iyi sonuçları verirken, daha küçük 7B ve 13B modeller daha hızlı ve düşük gecikme gerektiren işler için daha uygundur.
• Code Llama modelleri en fazla 100.000 token bağlamı işleyebilir; bu da daha uzun programlar üretmek ve daha büyük kod tabanlarında hata ayıklamak için faydalıdır.
• Code Llama - Python (100B token’lık Python koduna özel) ve Code Llama - Instruct (doğal dilde yararlı ve güvenli yanıtlar üretmek üzere ayarlanmış) olmak üzere iki ek varyant da ince ayarlanmıştır.
• Code Llama, benchmark testlerinde kod görevlerinde kamuya açık olarak kullanılabilen diğer LLM’leri geride bıraktı; HumanEval’de %53,7 ve Mostly Basic Python Programming (MBPP) testinde %56,2 elde etti.
• Code Llama ile ilişkili riskleri azaltmak için güvenlik önlemleri alınmıştır; buna kötü amaçlı kod üretme riskine ilişkin nicel değerlendirme de dahildir.
• Code Llama’nın eğitim reçetesi ve model ağırlıkları Code Llama GitHub deposunda incelenebilir.
• Code Llama araştırma makalesi, modelin geliştirilmesi, sınırlamaları ve gelecekteki zorluklar hakkında ayrıntı sağlar.
• Geliştiriciler, alt modellerin sorumlu biçimde nasıl geliştirileceğine dair yönergeleri de içerecek şekilde Responsible Use Guide belgesini güncelledi.
• Code Llama, tüm alanlardaki yazılım mühendislerini desteklemek ve başkalarına Llama 2’yi kullanarak araştırma ve ticari ürünler için yeni ve yenilikçi araçlar geliştirme konusunda ilham vermek amacıyla tasarlanmıştır.

[GN⁺]

Hacker News görüşü

• 'Code Llama, son teknoloji büyük dil modeli için makale' hakkındaki yorumlar başka bir URL'ye taşındı.
• Yorumların yeni konumu https://news.ycombinator.com/item?id=37248494 adresinde bulunabilir.
• Yorumlar beklenenden daha erken yayınlandığı için taşındı.
• Orijinal yorum bölümü artık [dead] olarak işaretlendi.