Daha uzun bağlam penceresine sahip bir Korece LLM kullanmak amacıyla, LLM’in bağlam uzunluğunu verimli biçimde artırmak için araştırıp denediğim çeşitli yöntemler
LongLoRA
shifted sparse attention ve LoRA fine-tuning kullanarak 8 kata kadar genişletme
RoPE tabanlı Position Interpolation
Llama gibi RoPE tabanlı embedding kullanan modellere, RoPE embedding’i değiştirilerek uygulanabilir ve fine-tuning ile bağlam uzunluğu 16 kata kadar genişletilebilir
Dynamic NTK
fine-tuning olmadan NTK teorisini uygulayarak 2 katın üzerinde genişletme
LongLM
değiştirilmiş attention kullanarak fine-tuning olmadan 4 kata kadar genişletme
ChunkLlama
metni chunk’lara bölerek fine-tuning olmadan Llama modelinin bağlam uzunluğunu 4 kata çıkarma
Infini-attention
az ek bellek kullanımıyla 2M’e kadar uzatılabilir ve hızlı çıkarım mümkündür; Gemini-Pro’da uygulanan yöntem
2 yorum
Daha uzun bağlam penceresine sahip bir Korece LLM kullanmak amacıyla, LLM’in bağlam uzunluğunu verimli biçimde artırmak için araştırıp denediğim çeşitli yöntemler
LongLoRA
shifted sparse attention ve LoRA fine-tuning kullanarak 8 kata kadar genişletme
RoPE tabanlı Position Interpolation
Llama gibi RoPE tabanlı embedding kullanan modellere, RoPE embedding’i değiştirilerek uygulanabilir ve fine-tuning ile bağlam uzunluğu 16 kata kadar genişletilebilir
Dynamic NTK
fine-tuning olmadan NTK teorisini uygulayarak 2 katın üzerinde genişletme
LongLM
değiştirilmiş attention kullanarak fine-tuning olmadan 4 kata kadar genişletme
ChunkLlama
metni chunk’lara bölerek fine-tuning olmadan Llama modelinin bağlam uzunluğunu 4 kata çıkarma
Infini-attention
az ek bellek kullanımıyla 2M’e kadar uzatılabilir ve hızlı çıkarım mümkündür; Gemini-Pro’da uygulanan yöntem
Bu kadar da özetsiz bir yazıyı ilk kez görüyorum.