En gelişmiş büyük dil modeli Code Llama, kodlama için

• Code Llama, kodlama görevleri için özel olarak tasarlanmış, en gelişmiş büyük dil modellerinden (LLM) biridir.
• Hem koddan hem de doğal dil istemlerinden kod ve koda ilişkin doğal dil açıklamaları üretebilir.
• Code Llama, Llama 2 üzerine inşa edilmiştir ve üç seçenekle sunulur: temel kod modeli, Python’a uzmanlaşmış model ve doğal dil talimatlarını anlamak üzere ince ayar yapılmış model.
• Model, hem araştırma hem de ticari kullanım için ücretsizdir ve kodlama görevlerinde halka açık olarak kullanılabilen diğer LLM’leri geride bırakır.
• Code Llama, programcıların daha sağlam ve daha iyi belgelenmiş yazılımlar yazmasına yardımcı olan bir üretkenlik aracı ve kod öğrenenler için giriş engelini azaltan bir eğitim aracı olarak kullanılabilir.
• Model; Python, C++, Java, PHP, Typescript (Javascript), C#, Bash gibi birçok popüler dili destekler.
• Code Llama; 7B, 13B ve 34B parametreli üç boyutta sunulur ve her biri kod ile kodla ilgili verilerden oluşan 500B token ile eğitilmiştir.
• Farklı model sürümleri, farklı hizmetler ve gecikme gereksinimlerine uyacak şekilde sunulur; 34B model en iyi sonuçları verirken, daha küçük modeller hızlı ve düşük gecikme gerektiren işler için daha uygundur.
• Code Llama, 100.000 tokene kadar bağlam işleyebilir; bu da daha uzun programlar üretmek ve daha büyük kod tabanlarında hata ayıklamak için kullanışlıdır.
• Code Llama - Python ve Code Llama - Instruct adlı iki ek varyant da ince ayar görmüştür; bunlar sırasıyla Python koduna odaklanır ve doğal dilde faydalı, güvenli yanıtlar üretmek için optimize edilmiştir.
• Code Llama, HumanEval ve Mostly Basic Python Programming (MBPP) kodlama kıyaslamalarında yapılan testlerde diğer açık kaynaklı, yalnızca kod odaklı LLM’leri ve Llama 2’yi geride bırakmıştır.
• Code Llama yayımlanmadan önce güvenlik önlemleri alınmış, buna modelin kötü amaçlı kod üretme riskine ilişkin nicel değerlendirme de dahil edilmiştir.
• Code Llama’nın eğitim yaklaşımı ve model ağırlıkları GitHub’da erişilebilir durumdadır; geliştirme süreci, kıyaslama testleri, sınırlamaları ve gelecekteki zorluklar ise araştırma makalesinde ayrıntılı biçimde açıklanmıştır.
• Code Llama’nın yaratıcıları, yapay zeka modellerinin, özellikle de kodlama amaçlı LLM’lerin, en fazla faydayı açık bir yaklaşımdan sağladığına inanıyor; çünkü bu sayede tüm topluluk yeteneklerini değerlendirebilir, sorunları tespit edebilir ve açıkları giderebilir.
• Geliştiricilerin Code Llama’yı sorumlu biçimde kullanmaları teşvik edilmektedir; buna alt model geliştirme, içerik politikaları tanımlama, veri hazırlama, model ince ayarı, performans değerlendirme ve iyileştirme, risklere karşı önlem alma, kullanıcı etkileşimlerinde şeffaflık ve raporlama mekanizmaları oluşturma konularındaki yönergeleri izlemek dahildir.
• Code Llama, her alandaki yazılım mühendislerini desteklemek ve başkalarına Llama 2’yi kullanarak araştırma ve ticari ürünler için yeni, yenilikçi araçlar geliştirme konusunda ilham vermek üzere tasarlanmıştır.

[GN⁺]

Hacker News görüşleri

• Code Llama, kodlama için özel olarak tasarlanmış yeni bir büyük dil modelidir.
• Bu model, en fazla 100.000 token bağlamı işleyebilir ve kararlı üretim sunar.
• Bazı kullanıcılar, 16k token sonrasında temel erişim doğruluğunun düştüğünü belirterek 100k bağlamın faydasını sorguladı.
• Code Llama'nın 7B modeli, GitHub Copilot'un arkasındaki model olan Codex ile rekabetçi görülüyor.
• Kullanıcılar, 34B Python 4 bit quantized modelinin potansiyeli konusunda heyecanlı.
• 100K tokenden büyük kod tabanlarını işleyen gömülü kod modelleri hakkında soru işaretleri var.
• Bu modellerin geliştirilmesi, bu araçları optimize etmeye yönelik kodlama pratiklerinde olası değişimler üzerine tartışmaları tetikliyor.
• Kullanıcılar; Rust, Linux, genomics, physics modeling gibi diğer alanlara özgü büyük dil modelleri oluşturma ve sorun çözmek için birlikte çalışma olasılığıyla ilgileniyor.
• En iyi model olan Unnatural Code Llama henüz yayımlanmadı; bunun nedeni OpenAI'ın hizmet şartlarını ihlal etme ihtimali olabilir.
• Kullanıcılar, Code Llama ve Code Pilot gibi araçların faydasını GPT-4'ü doğrudan kullanmakla karşılaştırıyor.
• Bu modelleri çalıştırmak için gereken donanım gereksinimlerini anlamaya ilgi var ve bazı kullanıcılar, kendi kaynak kodlarını teknoloji devlerine yüklemeden bu modelleri kullanmak istiyor.