Uzun Bağlamın Sorunları Nasıl Çözülür

• Uzun bağlam kullanılırken ortaya çıkan başlıca sorunlar arasında bağlam kirlenmesi, kafa karışıklığı, çakışma ve dikkat dağınıklığı gibi çeşitli bilgi yönetimi meseleleri bulunur
• Esas mesele bilgi yönetimidir ve yanlış bilgiler çıktı kalitesini doğrudan olumsuz etkiler
• Başlıca çözüm yolları olarak RAG, Tool Loadout, Context Quarantine, Pruning, Summarization, Offloading gibi taktikler etkili olur
• En yeni LLM'lerin context window boyutu büyük olsa bile, gereksiz bilginin aşırı kullanımı hâlâ pratikte gerçek sorunlara yol açabilir; buna dikkat etmek gerekir
• Her taktik, ajan tasarımcılarının bağlamı sistemli biçimde yönetmesine ve verimlilik ile doğruluğu artırmasına büyük ölçüde yardımcı olur

---

Uzun bağlamda ortaya çıkan sorunlar ve özet

Uzun bağlam kullanıldığında sistemde görülebilecek başlıca başarısızlık türleri şunlardır:

• Bağlam kirlenmesi: Halüsinasyonların veya hataların bağlama girip tekrar tekrar referans alınması
• Bağlam dikkat dağınıklığı: Bağlamın aşırı uzaması nedeniyle modelin asıl öğrendiklerinden çok bağlamın kendisine odaklanması
• Bağlam karmaşası: Gereksiz bilgi eklendiği için düşük kaliteli yanıtlar üretilmesi
• Bağlam çakışması: Yeni eklenen bilgi ya da araçların mevcut bilgilerle çelişmesi

Bu sorunların tamamı bilgi yönetiminden kaynaklanır; programlamadaki “Garbage in, garbage out” deyişinde olduğu gibi, girdi bilgisi sonucu büyük ölçüde etkiler.
Neyse ki çeşitli taktiklerle yukarıdaki meseleler etkili biçimde azaltılabilir ya da önlenebilir

Başlıca bağlam yönetimi taktikleri

---

RAG (Retrieval-Augmented Generation)

• RAG, yalnızca gerekli bilgiyi seçip LLM'e vererek yanıt kalitesini artıran bir yaklaşımdır
• LLM'lerin context window kapasitesi büyüdükçe “tüm bilgiyi içeri atalım” yaklaşımı yaygınlaştı, ancak gereksiz bilgi sonuçları tersine bozabilir
• Bu nedenle RAG bugün de son derece önemli bir teknik olarak kullanılmaya devam eder

Tool Loadout (araç seti seçimi)

• Yalnızca gerekli araçları seçerek bağlama ekleme yöntemi
• Araç açıklamaları vector DB içinde tutulur ve her prompt için RAG kullanılarak en uygun araçlar seçilir
• Araç sayısı 30'u geçtiğinde örtüşen açıklamalar kafa karışıklığı yaratır; 100'ü geçtiğinde model performansı hızla düşer
• “Less is More” makalesinde Llama 3.1 8b, 46 araç verildiğinde başarısız olurken yalnızca 19 araç verildiğinde başarılı olur
• İhtiyaç duyulan araçların dinamik olarak seçilebilmesi için LLM tabanlı bir önerici kullanılmış ve bunun sonucunda performans, hız ve enerji verimliliği birlikte artmıştır

Context Quarantine (bağlam karantinası)

• Bağlamı ayrılmış iş parçacıklarında ayrı ayrı yönetme yöntemi
• Araştırma, keşif vb. işleri birden fazla parçaya bölerek her birini ayrı bir Agent'ın üstleneceği şekilde tasarlanır
• Anthropic'in multi-agent sisteminde her alt ajan için bağımsız context window kullanılarak verimlilik ve hassasiyet artırılır
• Bu tasarım özellikle aynı anda birden fazla yönde araştırma yapılması gereken görevlerde belirgin avantaj sağlar

Context Pruning (bağlam budama)

• Gereksiz ya da eski bilgileri sürekli ayıklama yöntemi
• NLP alanında uzun zamandır çeşitli pruning teknikleri kullanılmaktadır
• Son dönemde Provence gibi hafif ve hızlı, yalnızca bağlamı “temizlemeye” odaklı modeller ortaya çıktı (1.75GB, belgeleri %95'e kadar sıkıştırabilme)
• Bağlam dictionary gibi yapılandırılmış biçimlerde tutulursa budama ve özetleme (sıkıştırma) daha kolay hâle gelir

Context Summarization (bağlam özetleme)

• Bağlam uzadığında tamamını sıkıştırıp özetleme yaklaşımı
• Bu yöntem yalnızca pencere sınırını aşmamak için değil, gereksiz tekrarları ve dikkat dağınıklığını önlemek için de etkilidir
• Sıkıştırma aşamasında hangi bilginin korunacağını tanımlamak önemlidir
• Ayrı bir LLM-powered özetleme adımıyla değerlendirme verileri biriktirilebilir ve iyileştirilebilir

Context Offloading (bağlam dışa aktarma)

• Bağlam dışında bir bellek alanı oluşturarak not tutma stratejisi
• Örneğin Anthropic'in “think” tool'u, ayrı bir scratchpad sağlayarak LLM'in gerekli ara notları bırakmasını teşvik eder
• Araç çıktısı analizi, politika doğrulama ve sıralı karar verme gibi durumlarda faydalıdır
• Ara sonuçların ayrı tutulması, bağlamın gereksiz yere kirlenmesini ya da karmaşıklaşmasını önler
• Performans ve doğruluk artışı sağlar; bazı durumlarda %54'e kadar iyileşme görüldüğü belirtilir

Sonuç ve ajan tasarımında dikkat edilmesi gerekenler

• Bağlam yönetimi, ajan tasarımının en zorlayıcı kısmıdır
• LLM programlarken bilgi, araç ve bağlamın nasıl birleştirilip yönetileceği başarıyı belirler
• Context window ne kadar büyük olursa olsun, her bilgi parçası faydalı değildir
• Her öğenin gerçekten işe yarayıp yaramadığını gözden geçirmek ve yukarıda tanıtılan 6 yöntemle (RAG, Tool Loadout, Context Quarantine, Pruning, Summarization, Offloading) bağlamı aktif biçimde yönetmek gerekir