Codestral - Mistral'ın kod üretimi için yapay zeka modeli

 (mistral.ai)
13 puan yazan GN⁺ 2024-05-30 | 1 yorum | WhatsApp'ta paylaş
  • 80'den fazla programlama dili üzerinde eğitilmiş bir yapay zeka modeli
  • Python, Java, C, C++, JavaScript, Bash gibi popüler dillerin yanı sıra Swift ve Fortran gibi belirli dilleri de destekleyerek çeşitli kodlama ortamlarında ve projelerde geliştiricilere yardımcı olabilir

Kod üretim performansında yeni bir standart belirliyor

  • Önceki modellere kıyasla daha üstün performans ve daha düşük gecikme elde ediyor
  • Python
    • Codestral 22B 32k : HumanEval 81.1%, MBPP 78.2%, CruxEval-O 51.3%, RepoBench 34.0%
    • CodeLlama 70B 4k : HumanEval 67.1%, MBPP 70.8%, CruxEval-O 47.3%, RepoBench 11.4%
  • SQL (Spider)
    • Codestral 63.5%, CodeLlama 37%
  • Birden fazla dilin ortalaması
    • HumanEval ortalaması : Codestral 61.5%, CodeLlama 51.9%

Codestral ile başlarken

  • Codestral, araştırma ve test amaçlı olarak Mistral AI Non-Production License kapsamında kullanılabilir ve HuggingFace üzerinden indirilebilir
  • Yeni codestral.mistral.ai uç noktası üzerinden kullanılabilir. Kişisel API anahtarıyla yönetilir ve 8 haftalık ücretsiz beta döneminde kullanılabilir
  • api.mistral.ai uç noktası üzerinden de kullanılabilir ve token başına ücretlendirilir
  • Le Chat üzerinden Codestral ile doğal biçimde etkileşim kurulabilir

Tercih ettiğiniz kodlama ortamında Codestral desteği

  • Uygulama çerçeveleri: LlamaIndex ve LangChain ile entegredir.
  • VSCode/JetBrains entegrasyonu: Continue.dev ve Tabnine aracılığıyla VSCode ve JetBrains ortamlarında Codestral kullanılabilir.

Geliştirici topluluğundan geri bildirimler

  • Nate Sesti (Continue.dev CTO): Hız ve kaliteyi bir araya getiren ilk açık otomatik tamamlama modeli ve geliştiriciler için büyük bir değişim yaratacak.
  • Vladislav Tankov (JetBrains AI sorumlusu): Mistral'ın kod ve geliştirme desteğine güçlü biçimde odaklanan yetenekleri için beklenti yüksek.
  • Mikhail Evtikhiev (JetBrains araştırmacısı): Kotlin-HumanEval benchmark'ında GPT-4-Turbo ve GPT-3.5-Turbo'yu aşan performans gösteriyor.
  • Meital Zilberstein (Tabnine Ar-Ge lideri): Kod üretimi, test üretimi ve dokümantasyon gibi alanlarda üstün performans göstererek ürün verimliliğini önemli ölçüde artırıyor.
  • Quinn Slack (Sourcegraph CEO): Kod otomatik tamamlama tarafında gecikmeyi azaltıp kaliteyi koruyarak geliştiricilere somut değer sağlıyor.
  • Jerry Liu (LlamaIndex CEO): Karmaşık görevlerde bile doğru ve işlevsel kod üretiyor.
  • Harrison Chase (LangChain CEO): Hızlı ve avantajlı bir bağlam penceresi sunuyor, ayrıca araç kullanımını destekliyor.

GN⁺ görüşü

  • Yapay zeka ile kod üretimindeki ilerleme: Codestral, çeşitli dilleri desteklemesi ve güçlü performansı sayesinde geliştiricilere büyük fayda sağlayabilir.
  • Kullanım kolaylığı: Çeşitli entegrasyon seçenekleri ve özel uç noktalar sunarak kullanımı kolaylaştırıyor.
  • Performans değerlendirmesi: Birden fazla benchmark'ta yüksek performans göstererek güven veriyor.
  • Rakip modeller: GPT-4-Turbo ve GPT-3.5-Turbo gibi modellerle karşılaştırıldığında da üstün performans sergiliyor.
  • Benimseme değerlendirmesi: Modelin performansı ve kullanılabilirliği dikkate alınarak benimsenmesine karar verilmeli.

İlgili okumalar

1 yorum

 
GN⁺ 2024-05-30
Hacker News görüşleri

Hacker News yorum özeti

  • Lisans kısıtlamaları: Modelin ve çıktılarının ticari faaliyetlerde veya "canlı" koşullarda kullanılmasını yasaklıyor. Geliştirmenin bir parçası olarak kod çıktısını kullanmak hariç tutulsa da, şirketin ticari faaliyetleri bağlamında dahili kullanım da yasak. Bu da diğer açık ağırlıklı modellerle karşılaştırmayı adil olmaktan çıkarıyor.

  • Programlama modeli testi: Programlama modelinden belirli bir Python ASGI middleware yazması istendi, ancak hiçbir model bunu doğru şekilde yapamadı.

  • LLM felsefesi farkı: Llama tarzı LLM'lerle OpenAI/GPT tarzı LLM'ler arasında bir felsefe farkı var. GPT koda odaklanarak gelişti; buna karşılık Llama/Mistral modelleri önce genel amaçlı dil modellerini yayımlayıp ardından ek kod eğitimiyle CodeLlama/Codestral sundu.

  • VSCode entegrasyonu: VSCode'da Copilot'taki gibi "gölge kod"un belirmesi şeklinde kullanmanın bir yolu olup olmadığı soruluyor. Bu tür araçların kalitesi, istemci tarafında uygun prompt'ları tasarlama becerisine bağlı.

  • Kullanım kısıtları: Mistral modeli ve türevleri yalnızca test, araştırma, kişisel kullanım veya değerlendirme amacıyla kullanılabiliyor; ticari faaliyetlerde kullanılamıyor.

  • Pratiklik sorunu: Pratik kod tamamlama senaryolarında kullanılamıyorsa bir anlamı olmadığı düşünülüyor. GH Copilot'un zaten en iyi model olduğu söyleniyor.

  • Huggingface bağlantısı: Huggingface sayfası bağlantısı

  • Kodun demokratikleşmesi: Sanatın demokratikleşmesiyle ortaya çıkan sorunlara değinilerek, yapay zeka tarafından üretilmiş güvenilmez kütüphanelerin çoğalacağından endişe ediliyor.

  • RAM gereksinimleri: Huggingface'ten indirilebilen 44GB modelin yerelde kullanımı için RAM gereksinimleri soruluyor. GPU ile Apple Silicon'un "birleşik" RAM gereksinimlerinin aynı olup olmadığı merak ediliyor.

  • VSCode eklentisi: Çeşitli modelleri eklenti olarak kullanabilen bir VSCode uzantısı olup olmadığı soruluyor. Her seferinde ayar yapmak zahmetli bulunuyor.