[Çeviri] Meta AI'ın Megabyte açıklaması

AI altyapısı / araç geliştirme girişimi ENCORD tarafından yazılan Megabyte açıklama yazısının çevirisi

• MegaByte'ın temel mimarisi tanıtılıyor
  • Patch Embedder: girdiyi embedding'e dönüştürüp patch'lere ayırır
  • Global Module: self-attention gerçekleştiren otoregresif transformer
  • Local Module: global modelden alınan girdiyle bir sonraki patch'i tahmin eder
• Multiscale Transformer tanıtımı
• Autoregressive Transformer tanıtımı
• Mevcut modellerin sorunları: Tokenization, Scalability, Generation Speed
• Önerilen çözüm yöntemleri
  • Hesaplama maliyetini O(N^(4/3)) seviyesine düşüren self-attention
  • Feedforward katmanlarının patch düzeyinde uygulanması
  • Decoding sırasında paralel işleme
• (Ek) Meta AI'ın son dönemdeki gelişmeleri
  • SAM: https://tr.news.hada.io/topic?id=8893
  • MTIA: https://tr.news.hada.io/topic?id=9246
  • DINOv2: https://tr.news.hada.io/topic?id=9269
  • ImageBIND: https://tr.news.hada.io/topic?id=9156
  • (Yazıda yer almıyor ama) MMS: https://tr.news.hada.io/topic?id=9245
  • (Yine yazıda yer almıyor ama) LIMA: https://tr.news.hada.io/topic?id=9239