Chameleon: Meta'nın Yeni Çok Modlu LLM'i

 (arxiv.org)
4 puan yazan GN⁺ 2024-05-23 | 2 yorum | WhatsApp'ta paylaş
  • Chameleon, görüntüleri ve metni rastgele sırada anlayıp üretebilen, erken füzyon token tabanlı karışık modlu bir model ailesidir
  • Bu model ailesi; kararlı bir eğitim yaklaşımı, hizalama reçetesi ve erken füzyon token tabanlı karışık modlu yapılandırma için mimari parametreler içerir
  • Başlangıçtan itibaren kararlı bir eğitim yaklaşımı benimsenmiş; hizalama reçetesi ve mimari parametreler, erken füzyon token tabanlı karışık modlu yapılandırmaya uygun şekilde tasarlanmıştır
  • Görsel soru yanıtlama, görüntü açıklaması üretimi, metin üretimi, görüntü üretimi ve uzun biçimli karışık modlu üretim gibi kapsamlı görevlerde değerlendirilmiştir
    • Görüntü açıklaması üretimi görevinde son teknoloji düzeyinde performans gösterir
    • Yalnızca metin görevlerinde Llama-2'yi geride bırakır ve Mixtral 8x7B ile Gemini-Pro gibi modellerle rekabetçi performans sergiler
    • Güçlü görüntü üretme yeteneğine sahiptir ve tek bir modelle çeşitli görevleri yerine getirebilir
    • Uzun biçimli karışık modlu üretim değerlendirmesinde, istemin veya çıktının görüntü ve metinden oluşan karma diziler içermesi durumunda Gemini Pro ve GPT-4V gibi çok daha büyük modellerin performansına ulaşır veya bunu aşar
  • Chameleon, tam çok modlu belgelerin birleşik modellenmesinde önemli bir ilerleme sağlamıştır
  • Bu, çeşitli görevlerde kapsamlı yeteneklere sahip birleşik çok modlu modeller için yeni bir ölçüt ortaya koymaktadır

GN⁺ görüşü

  • Çok modlu modeller, farklı girdi türlerini aynı anda işleyebildiği için gerçek uygulamalarda çok faydalıdır. Örneğin görsel soru yanıtlama sistemleri veya görüntü açıklaması üretimi gibi alanlarda büyük avantaj sağlar.
  • Chameleon, Llama-2, Mixtral 8x7B ve Gemini-Pro ile karşılaştırıldığında rekabetçi performans gösteriyor. Bu da farklı görevlerdeki esneklik ve performansını kanıtlıyor.
  • Yeni bir teknolojiyi devreye alırken modelin kararlılığı, eğitim maliyeti ve veri gereksinimleri gibi unsurlar dikkate alınmalıdır. Chameleon örneğinde erken füzyon yaklaşımı kararlı olsa da pratik kullanımda yeterli veri ve hesaplama kaynağı gerekebilir.
  • Uzun karışık modlu üretimdeki performansı oldukça ilgi çekici. Bu, karmaşık belge üretimi veya multimedya içerik oluşturma için büyük olasılıkların önünü açıyor.
  • Sektörde OpenAI'nin GPT-4'ü, Google'ın BERT'ü gibi çeşitli çok modlu modeller bulunuyor. Her modelin özelliklerini, güçlü ve zayıf yönlerini karşılaştırarak uygun modeli seçmek önemlidir.

İlgili okumalar

2 yorum

 
GN⁺ 2024-05-23
Hacker News görüşü

Hacker News yorumları derleme özeti

  • Temel araştırma ve softmax sorunu

    • Temel araştırma çok ilgi çekici. Özellikle softmax’in farklı tokenization uzaylarında kullanılmasının zorluklarına dair analiz etkileyici.
    • Sorun en belirgin şekilde 34b boyutlu modelde ortaya çıkıyor. Büyük ölçekli model eğitiminin yeni sorunlar doğurduğunu hatırlatıyor.

  • Multimodallik ve Mirasol3B

    • Mirasol3B ile karşılaştırıldığında ses desteği yok. Google’ın Mirasol3B’si, demoyu mümkün kılmak için sesi görüntüye dönüştürmüştü.
    • Meta da multimodallik yönünde ilerliyor. Yeni GPT ses modunun da aynı mimariyi kullanma ihtimali yüksek.
    • Yeni modaliteler eklendiğinde, aynı parametre boyutunda model performansı artıyor.

  • Eğitim süresi ve maliyeti

    • Eğitim süresi 4282407 saat; 200W GPU kullanıldığında yaklaşık 1 GWh elektrik tüketimi demek. Maliyet yaklaşık $100,000.
    • Tek bir GPU ile 500 yıllık eğitim süresi ve $100,000 enerji maliyeti gerekiyor. Pratikte ise 3000 GPU ile 2 ayda eğitmek mümkün.

  • Chameleon modelinin performansı

    • Chameleon modeli, Gemini Pro ve GPT-4V gibi daha büyük modellerin performansına ulaşıyor ya da onu aşıyor. Karma modalite üretim değerlendirmesinde güçlü performans gösteriyor.
    • Multimodal belgelerin birleşik modellenmesinde önemli bir ilerleme sağlıyor.

  • Teknolojik gelişme hızı

    • Teknolojik gelişme çok hızlı. İlgi çekici çok şey var ve anlaması kolay.
    • Ancak bu durum yorgunluk yaratabiliyor; çok fazla para harcanıyor ve bunların çoğu bir aldatmaca gibi gelebiliyor. Tek bir konuyu derinlemesine incelemek ve ilgili makaleleri okumak iyi olabilir.

  • Multimodal modellerin benimsenmesi

    • Son dönemde multimodal modeller yaygın biçimde benimsendi, ancak hâlâ her modalite için ayrı encoder veya decoder kullanılıyor.
    • Örneğin Gemini Pro görüntü token’ları kullanıyor ve GPT-4V de benzer. İki farklı tokenizer önceden eğitiliyor.

  • Birleşik model ve modal rekabet

    • Birleşik model ilgi çekici, ancak "modal rekabet" bulgusu kısa vadede her modaliteye özel modeller eğitmenin daha iyi olabileceğine işaret ediyor.

  • Meta’nın açık kaynak planları

    • Meta’nın bu modelleri açık kaynak olarak yayımlamayı planlayıp planlamadığı merak ediliyor.
    • Modelin indirilebilir olup olmadığına dair soru var.