Facebook, İngilizceye bağımlı olmadan 100 dili çevirebilen modeli açık kaynak olarak yayımladı

M2M-100, bir MMT (Çok Dilli Makine Çevirisi) modeli.

İlk kez İngilizce verilere bağımlı olmadan 100 dil arasında karşılıklı çeviri yapabiliyor.

Çevirilerin çoğu, eğitim verisi bol olan İngilizce üzerinden yapılırken bu model doğrudan çeviri yaparak anlamı daha iyi koruyor.

BLEU (Bilingual Evaluation Understudy) skorunda %10'dan fazla daha iyi sonuç gösteriyor.

Toplam 2200 dil yönünde eğitildi; bu da önceki en iyi İngilizce merkezli çok dilli modellerden 10 kat daha fazla.

M2M-100 sayesinde, kaynakları kısıtlı dilleri kullanan kişilerin çeviri kalitesi iyileşecek.

Bu yazıda MMT eğitim veri seti ve modelin nasıl oluşturulduğuna dair ayrıntılar paylaşılıyor.

Ayrıca diğer araştırmacıların daha iyi çok dilli modelleri yeniden üretip geliştirebilmesi için model, eğitim ve değerlendirme yöntemleri de paylaşılıyor.

12 milyar parametreyle eğitilmiş model dosyası indirilebiliyor (136GB)