Falcon 2 roketi fırlatmaya hazır

Falcon 2 serisinin yeni nesil modeli yayınlandı

• Technology Innovation Institute (TII), yeni nesil büyük dil modeli (LLM) Falcon 2 serisini yayınladı
  • Falcon 2 11B: 5,5 trilyon token ile eğitilmiş 11 milyar parametreli model; verimlilik ve erişilebilirlik artırıldı
  • Falcon 2 11B VLM: görsel girdiyi metin çıktısına dönüştüren vision-to-language yeteneğine sahip ilk multimodal model
• Her iki model de çok dilli desteğe sahip; özellikle Falcon 2 11B VLM, şu anda üst düzey modeller arasında image-to-text dönüşüm özelliği sunan tek model

Falcon 2 11B'nin performansı

• Hugging Face değerlendirmesine göre Falcon 2 11B, Meta'nın Llama 3 8B modelinden daha iyi performans gösterdi ve Google'ın Gemma 7B modeliyle benzer performans sundu (Falcon 2 11B: 64.28 vs Gemma 7B: 64.29)
• Falcon 2 11B ve 11B VLM'in ikisi de açık kaynak olarak geliştiricilere kısıtlama olmadan sunulacak
• İleride Falcon 2 serisinin farklı boyutlardaki modellerle genişletilmesi ve Mixture of Experts (MoE) teknolojisinin eklenmesiyle performansın daha da geliştirilmesi planlanıyor

Falcon 2 11B VLM'nin özellikleri

• İngilizce, Fransızca, İspanyolca, Almanca, Portekizce gibi birçok dili işleyebiliyor
• Ortamdaki görüntüleri ve görsel bilgileri algılayıp yorumlayan vision-to-language özelliğiyle geliyor
  • Sağlık, finans, e-ticaret, eğitim ve hukuk gibi çeşitli sektörlerde kullanılabilir
  • Belge yönetimi, dijital arşivleme, bağlam indeksleme ve görme engellilere destek gibi geniş kullanım alanları bulunuyor
• Tek bir GPU üzerinde verimli şekilde çalışabildiği için yüksek ölçeklenebilirlik sunuyor ve dizüstü bilgisayar gibi hafif altyapılara entegre edilmesi kolay

GN⁺ görüşü

• Falcon 2 serisi, mevcut Falcon modellerinin performans ve verimliliğini daha da ileri taşıyan yeni nesil bir seri. Özellikle Falcon 2 11B VLM'in vision-to-language özelliğine sahip ilk büyük ölçekli çok dilli multimodal model olması büyük önem taşıyor. Bu sayede görsel veri ile dil verisinin entegre biçimde işlenmesi mümkün hale gelirken, insana daha yakın ve daha doğal etkileşimlerin önü açılabilir.

• Bununla birlikte multimodal yapay zeka hâlâ erken aşamada ve istikrar ile dayanıklılık açısından gelişime açık. Bu nedenle gerçek kullanım için veri yanlılığı sorunları, gizlilik ve güvenlik meseleleri ile hatalı girdilere karşı zayıflıkların dikkatle incelenip iyileştirilmesi gerekecektir.

• Falcon 2 serisinin açık kaynak olarak yayınlanması da dikkat çekici. Bunun geliştirici topluluğunun aktif katılımını teşvik etmesi ve modelin iyileştirilmesi ile genişletilmesini hızlandırması bekleniyor. Ancak açık kaynak modellerde kötü niyetli kullanım ihtimali de bulunduğundan, lisans politikalarına acceptable use policy gibi unsurlar eklenerek sorumlu yapay zeka kullanımının teşvik edilmesi yerinde görünüyor.

• Mixture of Experts (MoE) teknolojisinin eklenmesi planı da ilgi çekici. MoE, uzmanlaşmış birden fazla küçük ağı bir araya getirerek uzmanlık alanları arasında iş birliğiyle daha hassas ve özelleştirilmiş sonuçlar üretmeyi amaçlayan bir yaklaşım. Bu nedenle gelecekte Falcon 2 serisinin performans artışına önemli katkı sağlaması bekleniyor. Bu araştırma yönelimi, yalnızca model boyutunu büyütmenin ötesine geçerek daha verimli ve daha akıllı yapay zeka sistemleri geliştirme çabasının bir parçası olarak değerlendirilebilir.

[GN⁺]

Hacker News görüşleri

• Falcon 2 11B modelinin benchmark sonuçlarının Mistral 7B ve Llama 3 8B ile benzer seviyede olduğu belirtiliyor. Model boyutundaki artış düşünülünce pek de etkileyici görünmüyor.

• Lisansla ilgili sorunlar var. Apache 2 lisansı değiştirilip ek maddeler konmuş ve kabul edilebilir kullanım politikasına uyma şartı eklenmiş. Sorun şu ki bu politikanın gelecekte nasıl değişeceği bilinmiyor. Mevcut içerikten bağımsız olarak daha sonra her şeye dönüşebilir ve buna uyulması gerekir. Böyle bir lisansın "açık kaynak" diye adlandırılması eğiliminin OSI tanımıyla uyuşmadığı eleştirisi yapılıyor.

• "Falcon 2 11B, Meta'nın Llama 3 8B'sinden üstün ve Google'ın Gemma 7B'siyle eşdeğer performans gösteriyor" iddiasına karşı, Llama 3 8B'nin neredeyse her açıdan Gemma 7B'yi geçtiği izleniminin güçlü olduğu yönünde itiraz geliyor.

• "Vision-to-Language özelliğine sahip tek yapay zeka modeli" ifadesi için, bunun GPT-4 Vision ya da LLaVA'nın yaptığından çok da farklı olmadığı sorusu gündeme geliyor.

• Falcon modelinin çok da açık olmadığı bir kez daha vurgulanıyor. Orijinal Falcon da benchmark sonuçlarının ima ettiği kadar güçlü değildi. Büyük bir sıçrama olarak duyurulmuştu ama rakip modelleri geçtiği hissi vermediği söyleniyor.

• 11B modelinin aynı sınıftaki 7B ve 8B modellere göre daha iyi performans verdiğine dair PR biraz abartılı bulunuyor. Yerel çıkarım için deneneceği söyleniyor ama şimdilik ince ayar yapılmış Llama 3 8B'nin en iyi seçenek olduğu yönünde sezgisel bir değerlendirme var.

• Çoğunlukla açık veri setleriyle eğitilmiş, AWS donanımı ile iyi bilinen algoritma ve teknikler kullanılmışsa, parası olan herkesin eğitebileceği diğer modellerden farkının ne olduğu sorgulanıyor. Bunun daha çok alakalı görünme çabası ve bir "flex" gibi durduğuna dair kuşkucu/eleştirel bir bakış da dile getiriliyor.

• Falcon 2 11B'nin Llama 3 8B'den üstün olduğu söyleniyor ama parametre sayısı daha fazla olduğu için bunun adil bir karşılaştırma olmadığı belirtiliyor. En iyi açık kaynak modelin Llama 3 70B gibi göründüğü, en iyi modeli geçemeden Llama 3'ü geçtiğini iddia etmesinin nedeninin sorgulandığı ifade ediliyor.