PaLM-E : Somutlaştırılmış Çok Modlu Dil Modeli

 (palm-e.github.io)
15 puan yazan xguru 2023-03-08 | 1 yorum | WhatsApp'ta paylaş
  • Büyük dil modelleri karmaşık görevleri yerine getirebilir, ancak robotik problemleri gibi gerçek dünyadaki genel akıl yürütmeyi mümkün kılmak için temellendirilmeleri gerekir
  • Gerçek dünyanın sürekli sensör modalitelerini doğrudan dil modeline entegre ederek, kelimeler ile algılar (Percepts) arasında bağlantı kurmak için EMLM öneriliyor
  • Görsel, sürekli durum tahmini ve metin girdi kodlamasını birleştiren çok modlu cümle girdilerini alıp işler
    • "Çekmeceden biraz pirinç cipsi getir" : hareket edip çekmeceyi açma, bulup alma, ardından çekmeceyi kapatma ve getirme eylemlerine kadar mümkün. Arada bir insan hafifçe engel olsa bile yeniden dener
  • En büyük dil modeli olan PaLM-E 562B + OK-VQA (görsel soru yanıtlama için veri kümesi)

İlgili okumalar

1 yorum

 
xguru 2023-03-08

Embodied AI nedir?

Simulator adlı 3D sanal ortamda bir ajan oluşturup çeşitli görevleri yerine getirerek eğittikten sonra, bunu gerçek dünyadaki robot gibi makinelere aktararak (Sim2Real) gerçek hayatta da belirli görevleri iyi şekilde yerine getirmesini sağlamayı amaçlayan alandır.