Mistral: İlk yapay zeka endpoint’i, erken erişime açık

Mistral AI'nin yeni platform hizmeti beta olarak yayında

• Mistral AI, geliştiricilere güçlü açık üretken modeller ve bunları verimli şekilde dağıtıp özelleştirme yöntemleri sunuyor.
• Metin talimatlarına göre metin üreten üç chatbot endpoint’i ile bir embedding endpoint’i sunan ilk platform hizmeti için beta erişimi bugün başladı.
• Her endpoint farklı performans/fiyat dengeleri sunuyor.

Üretim endpoint’leri

• mistral-tiny ve mistral-small, şu anda herkese açık olan iki modeli kullanırken, mistral-medium dağıtım ortamında test edilen bir prototip modeli kullanıyor.
• Modeller, kullanıcıların kolayca kontrol edebildiği ve kullanımı keyifli modeller oluşturmak için verimli fine-tuning ve doğrudan tercih optimizasyonu gibi en etkili hizalama tekniklerini entegre ediyor.
• Mistral-tiny yalnızca İngilizceyi destekliyor, Mistral-small birden fazla dili ve kodu destekliyor, Mistral-medium ise üst düzey hizmet modellerinden biri olarak değerlendiriliyor.

Embedding endpoint’i

• Mistral-embed, arama kullanım senaryoları düşünülerek tasarlanmış bir embedding modeli sunuyor ve 1024 embedding boyutuna sahip.
• Bu embedding modeli, MTEB'de 55.26 arama puanı elde etti.

API özellikleri

• API, bir rakibin ilk kez önerdiği popüler chatbot arayüzü spesifikasyonunu izliyor.
• Endpoint’leri sorgulamak için Python ve Javascript istemci kütüphaneleri sunuluyor.
• Endpoint’ler, kullanıcıların model çıktısı üzerinde daha yüksek düzeyde moderasyon ayarlayabilmesi için system prompt sağlamasına olanak tanıyor.

Beta erişimden genel kullanıma genişleme

• Bugünden itibaren herkes API'ye kaydolup kullanabilecek; kapasite kademeli olarak artırılacak.
• İş ekipleri, gereksinimlerin belirlenmesine ve erişimin hızlandırılmasına yardımcı olabilir.
• Platform tamamen self-service hale getirilip kararlı duruma getirilirken bazı istikrarsızlıklar yaşanabilir.

Teşekkür

• NVIDIA'ya, TensorRT-LLM ve Triton entegrasyonuna verdiği destek ve TRT-LLM ile uyumlu sparse mixture of experts geliştirme çalışmalarındaki iş birliği için teşekkür ediliyor.

GN⁺ görüşü

• Bu yazıdaki en önemli nokta, Mistral AI'nin geliştiricilere yeni üretken modeller ve embedding modelleri sunması; böylece daha iyi metin üretimi ve embedding yeteneklerinin kullanılabilir hale gelmesi.
• Bu teknolojiler yapay zekanın ilerlemesini hızlandıracak ve birden fazla dil ile kod desteği, küresel pazardaki uygulama alanlarını önemli ölçüde genişletecek.
• Geliştiriciler için yeni araçlar ve API'ler üzerinden yaratıcı projeler ve çözümler geliştirme konusunda heyecan verici fırsatlar sunuyor; bu da teknolojinin geleceğine dair beklentileri yükselten bir gelişme.

[GN⁺]

Hacker News görüşleri

• Yaklaşık 30 kişilik küçük bir şirketin 2 milyar dolarlık değerlemeye ulaşması ve en iyi performans gösteren 7 milyarlık model ile 7 milyar*8 MOE modeli üretmesi dikkat çekici. Bu modeller, 70 milyarlık model performansı sunarken yalnızca 14 milyarlık model kadar çıkarım gücü gerektiriyor. Bu, OpenAI için daha büyük bir tehdit olabilir; ayrıca son yatırım sayesinde yakında trafik yükünü kaldıracak şekilde ölçeklenip sektördeki çeşitli sorunlardan hayal kırıklığına uğramış en iyi araştırmacıları çekebilir.
• Mistral-medium modeli, benchmark'larda GPT-3.5 ve Google'ın Gemini Pro modelini açık farkla geçiyor. Gerçek dünya performansının da benchmark'lardaki kadar etkileyici olması bekleniyor ve güvenlik filtrelerinin isteğe bağlı sunulması güvenli uygulamalar için de büyük bir avantaj.
• Mistral'ın fiyatları açıklandı. Mistral-medium, 1 milyon çıktı token'ı başına 8 dolar; Mistral-small ise 1.94 dolar. Bu da GPT-3.5 ve GPT-4 fiyatlarıyla karşılaştırıldığında rekabetçi olduğuna işaret ediyor.
• Fabrice Bellard'ın TextSynth sunucusu Mistral 7B modelini desteklemeye başladı. CUDA desteği ile BNF grameri ve JSON şeması örnekleme gibi özellikler eklendi.
• Rekabet dünyayı ilerleten şeydir. Hem küçük hem büyük oyuncuların rekabetçi modellere sahip olmasına seviniyorum. Benchmark'lar yayımlanırken testlerin kendilerine avantaj sağlayacak şekilde ayarlanması ise üzücü. Başlıca modelleri adil biçimde karşılaştırmak için açık benchmark'lara ihtiyaç var.
• Bu modellerin bağlam boyutu sınırına dair tartışma yetersiz. Sliding window tekniği belleği fiilen yaklaşık 8k token ile sınırlandırıyor ve bu da birçok görev için yetersiz kalıyor. Llama2 türevi modeller, yalnızca parametre sayıları nedeniyle değil, sunulan küçük bağlam yüzünden de ince ayar gerektiriyor.
• "Erken erişime açık endpoint" ifadesi aslında "endpoint'e erken erişim için bekleme listesi" anlamına geliyor. API erişimi şu anda yalnızca davetiyeyle mümkün ve en iyi modellere erişime abone olunabildiğinde haber verilecek.
• ChatGPT-3.5'i geçmek gerçekten büyük bir başarı. GPT-3.5 günlük işler için gerçekten yeterli değil, bu yüzden GPT-4'e yönelik beklenti büyük.
• Mistral API, rakibin sunduğu popüler sohbet arayüzü spesifikasyonunu takip ediyor. Bu ilginç ve hoşuma gidiyor.
• Mistral-embed, 1024 boyutlu bir embedding modeli sunuyor ve arama yetenekleri düşünülerek tasarlanmış. MTEB'de 55.26 arama puanı elde ediyor. Bu embedding modelinin açık kaynak olarak sunulup sunulmayacağına dair henüz bir bilgi yok.