LANISTR: Yapılandırılmış ve Yapılandırılmamış Verilerden Öğrenmek İçin Yeni Bir Çerçeve

• LANISTR, yapılandırılmamış (görüntü, metin) ve yapılandırılmış (zaman serisi, tablo) verileri alıp hizalama ve füzyon gerçekleştirerek, nihayetinde tahminler üreten ve böylece çok modlu öğrenmeyi mümkün kılan yeni bir çerçevedir.

• Özellikle sınırlı ölçekli veri kümeleriyle eğitim yapılırken ortaya çıkan aşırı öğrenme ve zayıf genelleme gibi sorunları, ayrıca iki veya daha fazla modalite içeren çok modlu verilerde bazı modalitelerin eksik olma problemini ele alır.

• LANISTR'nin mimarisi, modaliteye özgü encoder'lar ile füzyon mekanizması görevi gören çok modlu bir encoder-decoder modülünden oluşur ve çapraz modal ilişkileri yakalamak için cross-attention kullanır.

• LANISTR metodolojisinin merkezinde, hem unimodal hem de multimodal düzeyde uygulanan maskeleme tabanlı eğitim yer alır; burada iki tür ön eğitim hedefi bulunur: unimodal maskeleme hedefi ve benzerlik tabanlı multimodal maskeleme kaybı.

• LANISTR, birkaç zorlu görevde state-of-the-art sonuçlara ulaşarak hem MIMIC-IV tıbbi veri kümesinde hem de Amazon Reviews verilerinde güçlü baseline'ları geride bırakır.

• Etiketlenmemiş ve etiketli verilerin birlikte kullanılmasıyla yapılandırılmış ve yapılandırılmamış verilerden öğrenmenin önemini; tüm modaliteleri olduğu gibi etkin biçimde içeri alma, denetimsiz ön eğitim sırasında büyük miktarda etiketlenmemiş veriden yararlanma ve eksik modaliteleri sorunsuz biçimde işleyebilme yeteneğini gösterir.

• LANISTR, tıbbi teşhis ve perakende talep tahmini dahil olmak üzere çeşitli alanlarda potansiyel uygulamalara sahiptir.