Mistral AI, Forge'u duyurdu

• Forge, şirketlerin kendi kurum içi bilgi tabanına dayalı yapay zeka modelleri oluşturmasına olanak tanıyan bir sistem; kamu verilerine odaklanan mevcut modellerin sınırlarını tamamlıyor
• Kurum içi belgeler, kod tabanı ve operasyon verileri kullanılarak alana özel modeller eğitiliyor; ön eğitim, son eğitim ve pekiştirmeli öğrenme aşamalarının tamamını destekliyor
• Model, veri ve bilginin kontrolünü ve fikri varlık korumasını sürdürmeye yardımcı olduğu için regülasyona tabi sektörlerde de kullanılabiliyor
• Özelleştirilmiş modeller sayesinde kurumsal ajanlar iç sistemleri ve politikaları anlayabiliyor, araç kullanımını ve karar almayı doğru biçimde yürütebiliyor
• Farklı mimarileri ve sürekli pekiştirmeli öğrenmeyi destekleyerek kurumsal yapay zekanın stratejik özerkliğini ve uzun vadeli iyileştirme kapasitesini artırıyor

---

Forge'a genel bakış

• Forge, şirketlerin kendilerine özgü bilgi ve veriler temelinde frontier düzeyinde yapay zeka modelleri oluşturmasını sağlayan bir sistem
  • Mevcut açık veri tabanlı modeller genel görevler için optimize edilirken, Forge şirket içi standartlar, politikalar, kod ve karar kayıtları gibi kuruma özgü bağlamı yansıtıyor
  • Böylece yapay zekanın şirketin operasyonel ortamına ve iş akışlarına uygun biçimde çalışmasını destekliyor
• Mistral AI, bu teknolojiyi halihazırda ASML, Ericsson, European Space Agency ve HTX Singapore gibi kurumlarla birlikte uyguluyor

Kurumsal bilgi tabanlı model eğitimi

• Forge, iç belgeler, kod tabanı, yapılandırılmış veriler ve operasyon kayıtları gibi büyük ölçekli şirket içi verilerle model eğitiyor
  • Model, bu ortamın terminolojisini, akıl yürütme kalıplarını ve kısıtlarını öğreniyor
• Eğitim üç aşamadan oluşuyor
  • Ön eğitim (pre-training): iç verilerle alan farkındalığına sahip model oluşturma
  • Son eğitim (post-training): modeli belirli görev ve ortamlara göre ayrıntılı biçimde ayarlama
  • Pekiştirmeli öğrenme (reinforcement learning): model davranışını iç politikalar ve değerlendirme ölçütleriyle hizalama ve gerçek ortam performansını artırma
• Bu sayede kurumsal zekayı yansıtan modeller geliştirmek mümkün oluyor

Kontrol ve stratejik özerklik

• Forge, şirketlerin model ve veri üzerindeki kontrolünü koruyacak şekilde tasarlandı
  • Modeller şirket içi verilerle eğitilebiliyor ve iç politikalar, değerlendirme ölçütleri ile operasyon gereksinimlerine göre yönetilebiliyor
• Regülasyona tabi ortamlarda uyumluluk ve yönetişim gereksinimlerini karşılayabiliyor
• Modeli kendi altyapısı içinde çalıştırarak stratejik özerklik sağlıyor

Özelleştirilmiş modeller ve yüksek güvenilirlikli ajanlar

• Kurumsal ajanların yalnızca yanıt üretmesi değil, iç sistemlerde gezinmesi, araç kullanması ve politika tabanlı kararlar alması gerekiyor
• Alana göre eğitilmiş modellere dayanan ajanlar, kurum içi terimleri ve prosedürleri anlayıp sistemler arasındaki ilişkileri kavrayabiliyor
  • Araç seçimi doğruluğu artıyor, çok adımlı iş akışlarının kararlılığı güçleniyor ve iç politikaları yansıtan karar alma mümkün oluyor
• Sonuç olarak operasyonel bir bileşen olarak yapay zeka ajanları hayata geçirilebiliyor

Farklı model mimarilerine destek

• Forge, hem Dense hem de Mixture-of-Experts(MoE) mimarilerini destekliyor
  • Dense modeller genel görevlerde güçlü, MoE ise düşük gecikme ve maliyet verimliliği ile büyük ölçekli model çalıştırmayı mümkün kılıyor
• Multimodal girdi desteğiyle metin, görsel ve diğer farklı veri biçimleri üzerinde eğitim yapılabiliyor

Ajan merkezli tasarım

• Forge, ana kullanıcı olarak kod ajanları düşünülerek tasarlandı
  • Örneğin Mistral Vibe gibi otonom ajanlar model ince ayarı, hiperparametre araması, görev zamanlama ve sentetik veri üretimi yapabiliyor
  • Forge, eğitim sırasında değerlendirme metriklerini izleyerek performans düşüşünü önlüyor
  • Altyapı yönetimi ve veri hattı tarifleri de dahil olmak üzere, yalnızca doğal dil komutlarıyla model özelleştirmesi yapılabiliyor

Sürekli iyileştirme ve değerlendirme

• Forge, sürekli uyarlamalı öğrenmeyi destekliyor
  • Pekiştirmeli öğrenme hattı üzerinden iç geri bildirimle model davranışı iyileştirilebiliyor
  • Değerlendirme çerçevesi ile iç benchmark'lar, regülasyon kuralları ve alana özgü görevler üzerinde test yapılabiliyor
• Böylece statik dağıtım yerine sürekli iyileştirilen bir model yaşam döngüsü sağlanıyor

Kurumsal kullanım örnekleri

• Kamu kurumları: çok dilli politika belgeleri ve idari prosedürlerin öğrenilmesiyle politika analizi ve kamu hizmeti desteği
• Finans kuruluşları: regülasyon belgeleri ve risk prosedürlerinin öğrenilmesiyle iç yönetişim tutarlılığı
• Yazılım ekipleri: şirket içi kod tabanının öğrenilmesiyle geliştirme, hata ayıklama ve inceleme gibi alanlarda üretkenlik artışı
• Üreticiler: tasarım spesifikasyonları ve bakım verilerinin öğrenilmesiyle teşhis ve karar desteği
• Büyük işletmeler: iç bilgi sistemlerine dayalı ajanlarla karmaşık iş akışlarını destekleme ve bilgi erişim doğruluğunu artırma

Sonuç: şirket merkezli yapay zeka altyapısına geçiş

• Yapay zeka modelleri kurumsal altyapının temel katmanlarından biri haline gelirken, kurumsal bilginin modellere dönüştürülmesi daha önemli hale geliyor
• Forge, şirketlerin kendi verileriyle eğitilebilen, hizalanabilen ve değerlendirilebilen modeller kurarak bunları stratejik varlıklara dönüştürmesi için bir temel sunuyor
• Böylece yapay zeka, dış bir araç olmaktan çıkıp kurumsal bilgiyle birlikte evrilen temel bir yetkinliğe dönüşebiliyor

[GN⁺]

Hacker News yorumları

• Ben Mistral'ı seviyorum. Maliyet ile AB içinde veri barındırma arasındaki denge mükemmel. Kalite kaybı da neredeyse yok.
  Ama model adlandırma sistemi fazlasıyla kafa karıştırıcı. Örneğin Devstral 2 diye bir model var, ama bu ne Codestral ne de Devestral.
  API'de devstral-2512, devstral-latest, devstral-medium-latest gibi çeşitli adlar var.
  Doğru olan herhalde devstral-latest'tir diye düşünüp destek ekibine sordum; 12 saat sonra bana “devstral 2, devstral 2'dir” diyen, yapay zeka tarafından üretilmiş bir IntelliJ kurulum rehberi gönderdiler.
  Sorun şu ki rehberde gösterilen ekran aslında mevcut değil

  • Ben de sitelerinde tamamen kayboldum. Bunun yerine resmi belgelere bakarsanız
    devstral-2512, devstral-latest, devstral-medium-latest'in hepsi devstral 2.
    labs-devstral-small-2512 ve devstral-small-latest, devstral small 2;
    devstral-medium-2507, devstral 1.0; devstral-small-2507 ise devstral small 1.1
  • Ben de aynı şeyi yaşadım. Özellikle API anahtarı oluşturma sürecinin ürünlere göre ayrılmış olması daha da kafa karıştırıcıydı
  • Benim izlenimim, bu şirketin bireysel geliştiricilerden çok B2B odaklı hareket ettiği yönünde.
    Sanki her şirkete özel iş akışları sunmaya çalışıyorlar.
    Ya da Google'daki gibi departmanlar arası iletişim eksikliği sorunu olabilir
  • “AB içinde veri barındırma”nın Mistral'ın destek görmesinin nedeni olduğunu düşünüyorum.
    Model kalitesi düşük, ama Avrupa içinde eldeki en iyi seçenek bu.
    Elbette Çin modelleri Avrupa sunucularında da çalıştırılabilir

• Mistral'ı küçümsememek gerek. Genel amaçlı hizmet olarak sunulan LLM tarafında epey ucuz ve
  devasa modeller yerine özelleştirilmiş modellemeye odaklanan stratejisinin sonunda karşılığını bulacağını düşünüyorum.
  Özellikle regülasyonun yoğun olduğu AB ortamında güçlü olabilir.
  Dünyada sadece kod üretimi yok

  • Ben de aynı fikirdeyim. Şirketlerin yapay zekayı benimseyip otomasyon kurması için bu yaklaşım ideal.
    Ancak bu giriş engeli düşük bir strateji, dolayısıyla kolayca kopyalanabilir.
    ERP, CRM gibi her ürün için çok sayıda önceden eğitilmiş model biriktirip,
    müşteri özelleştirme verilerini yansıtan devam modelleri satarlarsa asıl hendek (moat) bu olur.
    İşin kilidi sessizce sözleşme kapatabilmek
  • Ama LLM'nin özü zaten dev bir model değil mi;
    özelleştirilmiş modellemenin bu kadar büyük bilgi birikiminin yerini nasıl alabileceği şüpheli
  • Ben platformlarıyla küçük, uzmanlaşmış modelleri bizzat eğittim.
    Veri kümesini yüklemeniz yeterli, model hemen bir endpoint üzerinden kullanılabiliyor.
    Kısıtları var ama erişilebilirliği ciddi biçimde artırıyor
  • Kodlama tarafında bile Vibe, “tüm uygulamayı yazma”dan çok “fonksiyon refaktörleme” konusunda uzmanlaşmış.
    Lokal olarak da çalışıyor, böylece geliştirici kontrolü elinde tutuyor
  • Açıkçası “Avrupalı” olması dışında Mistral'ı seçmek için pek neden yok.
    Model kalitesi LLM'ler arasında en alt seviyelerde

• “Ön eğitim (pre-training)” ile “sonraki eğitim (post-training)”in ne anlama geldiğini merak ettim.
  Gerçekte yeterli temiz veri kümesi yoktur diye düşünüyorum,
  bu yüzden onların ön eğitim dediği şeyin gerçekten temel model eğitimi mi yoksa SFT (supervised fine-tuning) mi olduğu kafamı karıştırıyor.
  Belki de dahili verilere dayanarak sentetik veri üretip düşük çözünürlüklü bilgi damıtımı yapıyorlardır

  • Ön eğitim, mevcut modeli daha fazla ham metine (PDF vb.) maruz bırakmaktır.
    Hedef hâlâ bir sonraki token'ı tahmin etmek olduğu için buna “continued pre-training” denir.
    Sonraki eğitim ise SFT, DPO, RL gibi insan geri bildirimine dayalı tüm süreçleri kapsar
  • Muhtemelen pazarlama diliyle full fine-tuning ile PEFT/LoRA arasında ayrım yapıyorlar
  • Benim tahminim, ön eğitim mevcut model ağırlıklarını daha fazla veriyle inceltmek;
    sonraki eğitim ise RAG gibi prompt'a veri eklemek anlamına geliyor
  • Sonuçta kastedilen şeyin “continued pretraining” olduğu anlaşılıyor
  • Temel modeli SFT ile ince ayarlamakla, DPO ya da davranış temelli SFT ile ayarlamayı ayıran bir ifade gibi duruyor

• Forge'un açıklamasına göre, şirket içi belgeler veya kod tabanı ile modeli eğitip
  alan bilgisini içselleştirmesini sağlıyorlar.
  Ama bence bilgi edinimi için fine-tuning'den çok RAG daha etkili.
  Fine-tuning, modelin “tonu”nu değiştirmekte iyidir ama yeni bilgi enjekte etmekte zorlanır

• Mistral'ın yaklaşımını destekliyorum.
  dev modeller yarışına girmek yerine müşteriye özel mühendislik ve AB pazarına odaklanmaları akıllıca

  • Felsefi konularda sohbet ederken Mistral en iyisi.
    Diğer modeller okuyucunun anlama seviyesini fazla dert ederken,
    Mistral derin ve teknik tartışmaları da iyi takip ediyor
  • OCR modelleri gerçekten en iyisi
  • Lokal dağıtım desteği de sunuyorlar
  • Go Mistral!
  • .ai'den sonra .eu dönemi gelebilir gibi duruyor. ai.eu alan adını da merak ediyorum

• Mistral son dönemde gerçekten çok ilginç denemeler yapıyor.
  OpenAI veya Anthropic ile rekabet etmeleri zor ama
  ürün tasarımındaki özgünlükleri dikkat çekiyor.
  Şahsen o şirkette çalışmak isteyecek kadar ilgimi çekiyor

• Mistral son zamanlarda birçok güzel özellik çıkarıyor.
  En ön saftaki model değiller ama küçük şirketlerin kendi modellerini eğitmesi zor olduğu düşünülürse
  bu tür araçlar büyük bir fırsat.
  Özellikle unsloth gibi araçlarla birlikte eğitim çok daha gerçekçi geliyor

• Gerçekte kurumsal kullanım senaryolarının ne kadarında fine-tuning gerekiyor, merak ediyorum.
  Sadece RAG yeterli olmaz mı?

  • Küçük modelleri hızlı ve ucuz biçimde özelleştirerek eğitmek,
    log analizi, araç kullanımı, alan bilgisi yansıtma gibi işlerde ağ üzerinden LLM çağrılarını azaltabilir
  • RAG sadece belge bulup ondan cevap üretme yöntemidir.
    Buna karşılık fine-tuning, modelin akıl yürütme yeteneğini doğrudan iyileştirir
  • RAG artık bitti

• Bu yaklaşımın yapay zekadaki gelir yapısı hakkında ima ettikleri ilginç.
  GPU sayısı giriş bariyeri olmayacak gibi görünüyor.
  Asıl uzmanlaşmış ve sahiplenilmiş veri gerçek hendek olacak.
  Şirketlerin iç verilerinde ikame edilemez bilgi var.
  Mistral tam da buna oynuyor

  • İnsanlar internetin tamamından çok daha az veriyle öğreniyor olabilir,
    ama aslında 3,5 milyar yıllık evrim verisi ile eğitilmiş varlıklar olduğumuz da söylenebilir

• Yapay zekadan para kazanmanın en akıllı yolu bu.
  MongoDB de VoyageAI aracılığıyla
  kurumsal RAG ve özelleştirilmiş model danışmanlığı pazarına giriyor