Mistral AI, İlk Yapay Zeka Endpoint’lerine Erken Erişimi Açtı

 (mistral.ai)
2 puan yazan GN⁺ 2023-12-12 | 1 yorum | WhatsApp'ta paylaş
  • Mistral AI, geliştiricilerin açık üretken modelleri prodüksiyona dağıtıp özelleştirebileceği la plateforme beta sürümünü açtı
  • İlk yapılandırma, metin talimatlarını işleyen 3 sohbet endpoint’i ve 1 embedding endpoint’inden oluşuyor; bunların performans ve fiyat dengeleri birbirinden farklı
  • mistral-tiny ve mistral-small herkese açık açık modellere dayanıyor; mistral-medium ise dağıtım ortamında test edilen bir prototip model sunuyor
  • API, yaygın kullanılan sohbet arayüzü spesifikasyonunu izliyor; Python ve JavaScript istemcilerini ve system prompt üzerinden çıktı ayarlamayı destekliyor
  • Herkes kaydolup API’yi kullanabilir, ancak kapasite kademeli olarak genişletiliyor ve tam self-servis hale gelene kadar pürüzlü noktalar kalabilir

la plateforme betası ve endpoint yapılandırması

  • Mistral AI, açık üretken modelleri geliştiricilere sunuyor ve prodüksiyon için dağıtım ile özelleştirme yöntemlerini de birlikte sağlıyor
  • İlk platform hizmeti beta olarak açıldı; başlangıç yapılandırması basit
    • Metin talimatı tabanlı üretim için 3 sohbet endpoint’i
    • Arama kullanımını gözeten 1 embedding endpoint’i
    • Her endpoint farklı bir performans/fiyat dengesi sunuyor

  • Üretim endpoint’leri

    • mistral-tiny
      • En maliyet verimli endpoint; şu anda Mistral 7B Instruct v0.2 sunuyor
      • Yalnızca İngilizceyi destekliyor ve MT-Bench skoru 7.6
      • Talimatla ince ayar yapılmış model Hugging Face üzerinden indirilebilir
    • mistral-small
      • En yeni model olan Mixtral 8x7B’yi sunuyor
      • İngilizce, Fransızca, İtalyanca, Almanca, İspanyolca ve kodla çalışıyor
      • MT-Bench skoru 8.3
      • Model ayrıntılarına Mixtral ile ilgili blog yazısından ulaşılabilir
    • mistral-medium
      • En yüksek kaliteli endpoint; şu anda dağıtım ortamında test edilen bir prototip model sunuyor
      • Standart benchmark’lara göre şu anda sunulan üst seviye modellerden biri
      • İngilizce, Fransızca, İtalyanca, Almanca, İspanyolca ve kodla çalışıyor
      • MT-Bench skoru 8.6

  • Model hizalama ve embedding

    • Talimatları izleyen modelleri daha kontrol edilebilir ve kullanımı kolay hale getirmek için verimli fine-tuning ile doğrudan tercih optimizasyonu birleştiriliyor
    • Modeller, açık web’den çıkarılan verilerle ön eğitildikten sonra anotasyon tabanlı talimat fine-tuning sürecinden geçiyor
    • mistral-embed, 1024 boyutlu embedding modeli sunan bir embedding endpoint’i
    • Embedding modeli arama işlevleri düşünülerek tasarlandı ve MTEB arama skoru 55.26 olarak kaydedildi

API erişimi ve beta işletimi

  • API, yaygın kullanılan sohbet arayüzü spesifikasyonunu izliyor
  • Endpoint’ler Python ve JavaScript istemci kütüphaneleriyle çağrılabiliyor
  • Uygulamalarda çıktı kontrolü önemliyse, model yanıtları system prompt ile daha güçlü biçimde ayarlanabilir
  • Herkes kaydolup API’yi kullanabilir; Mistral AI kapasiteyi kademeli olarak genişletiyor
  • İş ekibi, kullanıcı ihtiyaçlarını doğrulama ve erişimi öne çekme konusunda yardımcı olabilir
  • Platform tam self-servis durumda istikrar kazanana kadar pürüzlü noktalar kalabilir
  • NVIDIA; TensorRT-LLM ve Triton entegrasyonunu, ayrıca sparse mixture of experts’in TRT-LLM uyumluluğu çalışmalarını destekliyor

İlgili okumalar

1 yorum

 
GN⁺ 2023-12-12
Hacker News yorumları

  • Bu haberin bütün gün HN’in en tepesine sabitlenmemiş olmasına şaşırıyorum
    Yaklaşık 30 kişilik gibi görünen küçük bir şirket 2 milyar dolar değerleme aldı ve en iyi performanslı 7B modeliyle, 70B sınıfı performans sunarken çıkarım maliyeti 14B seviyesinde olan bir 7B×8 MoE modeli çıkardı
    Google ya da Anthropic’ten ziyade OpenAI için daha büyük bir potansiyel tehdit olabilecek gibi görünüyor. Son dönemde aldığı büyük yatırım sayesinde yakın vadede makul bir trafik ölçeğine genişleyebilir ve sektördeki gösterişten ve dramadan bıkmış en iyi araştırmacıları çekebilir gibi

    • Çünkü zaten epey büyük birkaç başlık vardı
      Mixtral of experts - https://news.ycombinator.com/item?id=38598559 - Aralık 2023, 272 yorum
      Mistral-8x7B-Chat - https://news.ycombinator.com/item?id=38594578 - Aralık 2023, 69 yorum
      Mistral AI Valued at $2B - https://news.ycombinator.com/item?id=38593616 - Aralık 2023, 221 yorum
      Mistral's mixtral-8x7B-32kseqlen on Vercel - https://news.ycombinator.com/item?id=38584179 - Aralık 2023, 30 yorum
      French AI startup Mistral secures €2B valuation - https://news.ycombinator.com/item?id=38580758 - Aralık 2023, 76 yorum
      Mistral "Mixtral" 8x7B 32k model [magnet] - https://news.ycombinator.com/item?id=38570537 - Aralık 2023, 236 yorum
      Tamamen aynı haber değil ama tartışmalar genel olarak benzer aktığı için bunların tamamı ya da çoğu yarı mükerrer gönderi sayılabilir
    • Mevcut yapay zeka dalgasından çıkan şirketler içinde açık ara en etkileyicisi
      Yaklaşık 6 ay içinde 7B modeller için ölçüt noktası ortaya koydular ve hızla daha büyük ölçeklere çıkıyorlar
      Marttaki yatırım turunu, 3 kişilik ekip ve sadece bir fikirle 300 milyon dolar alıyorlar diye abartı sinyali olarak küçümsemiştim; belli ki ayrıntıları bilmiyormuşum. İcra kabiliyetleri gerçekten müthiş
      GPT-4 performansı gerektirmeyen tüm kullanım senaryolarını yiyip bitirebilir ve yakında büyük model alanını da hedefleyebilir gibi görünüyor
    • Blog yazısına ve ana sayfaya bakınca bunun tam olarak ne olduğunu anlamak biraz zor
      Bu yüzden ancak yapay zekaya epey aşina olan kişiler alakasını fark edecek gibi. Yine de yukarıdaki açıklama kesinlikle yardımcı oluyor
    • Mistral Fransa’da ve AB şu sıralar yapay zeka düzenlemeleri tarafında heves kırıcı bir hava estiriyor. Uzun vadede olumsuz etki yaratacak gibi
    • Fransa’daki mühendislik ve bilgisayar bilimi eğitimi matematik ve teoriye gerçekten çok vurgu yapıyor. Bu da yapay zekada avantaj sağlıyor

  • Benchmark’lar gerçek performansa yansıyorsa çok etkileyici [1]
    mistral-medium, mevcut karşılaştırılabilir benchmark’ların genelinde GPT-3.5’i ve Google’ın şu an halka açık en iyi modeli olan Gemini Pro’yu açık ara geçiyor: https://screenbud.com/shot/c0d904e3-24a3-4c23-a1e4-2f18bc021...
    [1] Mistral 7B ölçüt alınacaksa gerçek performans farkının daha da büyük olmasını beklerim. Güvenlik filtresinin isteğe bağlı uygulanması da güvenli uygulamalarda bile büyük bir avantaj

    • Google’ın bir sonraki büyük yapay zekası, çok daha az kaynağa sahip küçük bir şirket tarafından şimdiden geride bırakılıyorsa bu Google açısından epey acı bir durum
    • Winogrande puanı GPT-4’ten yüksek. Diğer metrikler GPT-3’e daha yakın göründüğü için şaşırtıcı
    • Gemini Pro’nun gerçekten “kullanılabilir” olduğundan emin değilim
      Model yayımlanana kadar tanıtım amaçlı benchmark’lara inanmam. Yayımlanmadan önce güvenlik sorunları nedeniyle performansın ne kadar düşürülmesi gerekeceğine bağlı olarak çok değişken
    • Yeni modeli açık kaynak olarak yayımlarlarsa gerçekten ilginç olur
    • Bir video izledim; Mixtral’ın kendisi çeşitli görevlerde şaşırtıcı derecede iyiydi. GPT-4’ün her zaman onun kadar iyi olmadığı alanlar da vardı

  • https://docs.mistral.ai/platform/pricing
    Fiyatlandırma da yayımlandı
    1 milyon çıktı token’ı başına Mistral-medium 8 dolar, Mistral-small 1,94 dolar, gpt-3.5-turbo-1106 2 dolar, gpt-4-1106-preview 30 dolar, gpt-4 60 dolar, gpt-4-32k ise 120 dolar
    Bu fiyatlandırma, Mistral’ın mistral-medium’ın gpt-3.5’ten epey daha iyi olduğuna oldukça güvendiğinin bir işareti gibi görünüyor

    • Bu modellerin enerji gereksinimleri için tahminler var mı merak ediyorum
      Kabaca hesaplayınca GTX 4090’da 30B model inference’ı saniyede yaklaşık 30 token verecek gibi [1], yani saatte 100 bin token düzeyinde
      Böyle bir sistemin yaklaşık 1 kW kullandığını varsayarsak 1 milyon token başına yaklaşık 10 kWh ediyor
      Mevcut elektrik fiyatlarına göre 30B modelde 1 milyon token başına 2~4 doların altına inmek zor olmaz mı diye düşünüyorum
      [1] https://old.reddit.com/r/LocalLLaMA/comments/13j5cxf/how_man...
    • Girdi token’ları da hesaba katılırsa toplamda kabaca 1 milyon token başına 5,25 euroya karşı 1,5 euro gibi bir seviyeye yakın
      Mistral-small, gpt-3.5 ile en doğrudan rekabet eden model gibi görünüyor ve daha ucuz. 1 milyon token başına yaklaşık 1,2 euro düzeyinde
      Not olarak, girdi ve çıktı token ağırlıklarının aynı olduğunu varsaydım; dolar fiyatını göremedim
    • Bunu şimdiden varsaymak hâlâ güvenli değil. Hâlâ sınırlı yayın, pratikte davetiyeyle erişim gibi okunuyor. Ancak bir ölçüde genel kullanıma açıldıktan sonra test edilip doğrulanabilir
    • Mistral ve GPT’nin aynı tokenizer’ı kullanıp kullanmadığını merak ediyorum
    • medium, OpenAI ürünlerinden çok Anthropic’in Claude’u ile rekabet etmeyi hedefliyor gibi
      https://www-files.anthropic.com/production/images/model_pric...

  • “Endpoint’in early access olarak sunulması” aslında “endpoint early access’i için uzunluğu belirsiz bir bekleme listesi var” anlamına geliyor
    Erişmeye çalışınca “Access to our API is currently invitation-only, but we'll let you know when you can subscribe to get access to our best models.” mesajı çıkıyor

    • E-posta doğrulamasının son bir saat içinde çeşitli şekillerde bozuk olduğunu görünce, tanıtıma sanıldığı kadar hazır değillermiş gibi geldi

  • “Mistral-embed, our embedding endpoint, serves an embedding model with a 1024 embedding dimension. Our embedding model has been designed with retrieval capabilities in mind. It achieves a retrieval score of 55.26 on MTEB.”
    Bu embedding modelinin açık kaynak olup olmadığı ya da ileride açık kaynak yapılmasının planlanıp planlanmadığı hakkında bilgi var mı merak ediyorum

  • “Mistral-Medium outperforms GPT-4 in Winogrande benchmark 88% vs 87.5%”
    Kaynak: https://twitter.com/yupiop12/status/1734137238177698106

  • Lemonfox.ai gibi çeşitli platformların Mistral fine-tuned modellerini daha düşük fiyatlarla sunması ilginç
    Mistral 8x7B API’sini de zaten duyurdular. Para kazanmak istiyorlarsa bundan sonra medium sürüm gibi modelleri de açık kaynak yayımlamaya devam edip etmeyecekleri konusunda soru işareti oluşuyor

    • Ağırlıklar yayımlanmayacaksa insanların neden ilgilenmesi gerektiğini düşünüyorum. GPT-4 ile rekabet edebilecek noktaya geldiklerinde GPT-5’in çoktan çıkmış olma ihtimali yüksek

  • Tesadüfen Fabrice Bellard’ın TextSynth sunucusunun yeni olarak Mistral 7B modelini desteklediğini gördüm
    “2023-10-21: CUDA support in the Windows version, mistral model support. Speculative sampling is supported. BNF grammar and JSON schema sampling.”
    “mistral_7B_instruct_q4 - 3.9GB - Mistral 7B chat model”
    https://bellard.org/ts_server/

  • “Mistral-medium. Our highest-quality endpoint currently serves a prototype model, that is currently among the top serviced models available based on standard benchmarks.”
    İlginç. Bu model ChatGPT 3.5’i geçiyor. Ne tür bir model olduğunu bilmiyorum ve açık kaynak değil

    • Ah, o zaman ollama’da kullanılan sanırım tiny sürümü olarak adlandırılan model
      “Mistral-tiny. Our most cost-effective endpoint currently serves Mistral 7B Instruct v0.2, a new minor release of Mistral 7B Instruct. Mistral-tiny only works in English. It obtains 7.6 on MT-Bench. The instructed model can be downloaded here.”