Mistral Large 2 modeli tanıtıldı

• Mistral Large 2, 128k bağlam penceresini ve Fransızca, Almanca, İspanyolca, İtalyanca, Çince, Japonca, Korece dahil birçok dili destekliyor
  • Ayrıca Python, Java, C, C++, JavaScript, Bash dahil 80'den fazla programlama dilini destekliyor
• Tek düğümlü çıkarım için tasarlandı ve 123 milyar parametreden oluştuğu için tek bir düğümde yüksek çıktı sağlayabiliyor
• Araştırma ve ticari olmayan kullanım için kullanım ve değişikliğe izin veren Mistral Research License altında dağıtılıyor. Ticari kullanım için Mistral Commercial License alınması gerekiyor

Genel performans

• Mistral Large 2, performans/maliyet değerlendirme metriklerinde yeni bir çıta belirliyor
• Özellikle MMLU'da önceden eğitilmiş sürüm %84,0 doğruluk elde ederek performans/maliyet Pareto sınırında yeni bir nokta oluşturuyor

Kod ve akıl yürütme

• Codestral 22B ve Codestral Mamba deneyimine dayanarak Mistral Large 2, çok miktarda kodla eğitildi
• Mistral Large 2, önceki Mistral Large'dan çok daha iyi ve GPT-4o, Claude 3 Opus, Llama 3 405B gibi önde gelen modellerle eşdeğer performans gösteriyor
• Modelin akıl yürütme yeteneğini geliştirmek için büyük çaba harcandı ve gerçeğe aykırı bilgi üretme eğilimini en aza indirmek için model ince ayarlandı
• Model, çözüm bulamadığında veya yeterli bilgi olmadığında bunu kabul edecek şekilde eğitildi

Talimatlara uyum ve hizalama

• Mistral Large 2'nin talimatlara uyumu ve sohbet yetenekleri önemli ölçüde geliştirildi
• Birçok iş uygulamasında kısalık önemli olduğu için mümkün olduğunca kısa ve öz yanıtlar üretmesi için büyük çaba gösterildi

Dil çeşitliliği

• Mistral Large 2, çok dilli verilerle yoğun şekilde eğitildiği için İngilizce, Fransızca, Almanca, İspanyolca, İtalyanca, Portekizce, Hollandaca, Rusça, Çince, Japonca, Korece, Arapça ve Hintçede güçlü performans gösteriyor

Araç kullanımı ve fonksiyon çağırma

• Mistral Large 2, geliştirilmiş fonksiyon çağırma ve arama özelliklerine sahip ve karmaşık iş uygulamalarının motoru olarak görev yapabilmesi için eğitildi

Bulut hizmet sağlayıcıları üzerinden Mistral modellerine erişim

• Google Cloud Platform ile ortaklık genişletilerek Mistral AI modelleri Vertex AI üzerinde sunuluyor
• Mistral AI modelleri Azure AI Studio, Amazon Bedrock ve IBM watsonx.ai üzerinde de kullanılabiliyor

GN⁺ özeti

• Mistral Large 2, çeşitli doğal dilleri ve programlama dillerini destekliyor; tek düğümde yüksek çıktı sunuyor.
• Kod üretimi ve akıl yürütme yetenekleri önemli ölçüde geliştirildi; gerçeğe aykırı bilgi üretme eğilimi en aza indirildi.
• Çok dilli verilerle yoğun şekilde eğitildiği için birçok dilde güçlü performans gösteriyor.
• Google Cloud Platform, Azure AI Studio, Amazon Bedrock ve IBM watsonx.ai ortaklıklarıyla küresel kullanıcılara sunuluyor.
• İş uygulamalarında kısa ve öz yanıtlar üretmek üzere tasarlandı.

[GN⁺]

Hacker News görüşü

• Mistral Large 2 ve Llama 3.1 405b modellerini test etmenin sonucunda, iki model arasında net bir üstünlük belirlemek zor
• Claude kullanıyorsanız kullanmaya devam etmek en iyisi
• Claude’dan beklentiler:
  • Daha akıllı olması
  • Daha uzun bir context window (1M+)
  • Yerel ses girişi ve tonu anlama
  • Reddetme durumlarında daha az ahlaki yargıda bulunması
  • Daha hızlı olması
  • Çıktı token sayısının artması
• Model rekabeti giderek kızışıyor
• Claude 3.5 Sonnet diğer tüm modelleri eziyor
• Mistral veya Llama’yı günlük olarak nasıl kullanacağımı pek bilmiyorum
• Bir yapay zeka kodlama asistanı geliştiriyorum; çeşitli modelleri denedim ve Mistral Large 2 en hayal kırıklığı yaratanı oldu
• Ticari olmayan lisans hayal kırıklığı yaratıyor
• Llama 3.1 405b ile rekabet edebilir, ancak lisansı daha kısıtlayıcı
• Modeller arasındaki fark azalıyor; bu yüzden belirli kullanım senaryolarına göre Llama 405B’yi fine-tune etmek daha iyi olabilir
• Kalitede büyük bir sıçrama olmadığı sürece, mevcut durumda büyük bir fark olmayacak
• Rekabetin sertleşmesinden memnunum
• Büyük maliyetlerle SOTA modeller yapılıyor ama hâlâ GPT-4o ve Claude Opus seviyesinde kalıyorlar
• Yalnızca daha fazla veri ve GPU eklemekle sınırına geliniyor
• Kullanıcı deneyimi ve "kişilik" daha önemli hâle gelecek
• Claude Sonnet’i beğeniyorum; diğer modellere göre daha keskin hissettiriyor
• Her adımda daha fazla enerji ve kaynak gerektiğini unutmamak lazım
• PyLLMs’in son model benchmark sonuçları paylaşılıyor
  • Nemo’nun hızı ve kalitesi şaşırtıcı
  • Mistral Large iyi ama çok yavaş
• Claude modelleri arasında Opus mu yoksa Sonnet 3.5 mi daha yetenekli, bu konuda kafa karışıklığı var
• Mistral Large 2, geliştirilmiş function calling ve retrieval özelliklerine sahip
• Function calling doğruluğunun yaklaşık %50 olması, karmaşık görevlerde yarısının başarısız olduğu anlamına mı geliyor diye merak ediliyor
• ChatGPT-4o tercih ediliyor; sorun yaşandığında Claude kullanılıyor ama daha iyi sonuç alınamıyor