Meta, 32k token bağlam penceresini destekleyen LLAMA 2 Long'u duyurdu

• Meta, Effective Long-Context Scaling of Foundation Models başlıklı makaleyle LLaMA2 Long modelini duyurdu
  • Makale bağlantısı: https://arxiv.org/pdf/2309.16039.pdf
• Bağlam penceresi (context window) uzunluğu 32K (32.768) token'a kadar destekleniyor
• 70B sürümü, uzun bağlam görevleri koleksiyonunda şimdiden gpt-3.5-turbo-16k'nin genel performansını aşıyor
• Mevcut model mimarisi korunurken, konumsal kodlamada (Positional Encoding) RoPE (Rotary Positional Embedding) uygulanarak daha az bilgiyle daha iyi yanıtlar üretiliyor
  • RoPE açıklaması: https://blog.eleuther.ai/rotary-embeddings/