RAG Ölmedi

> RAG’in geleceği "daha büyük context window’larda" değil, "daha iyi retrieval’da" yatıyor

• "RAG Is Dead" söylemi yalnızca 2023 tarzı basit RAG uygulamaları için geçerli; asıl sorun, ciddi bilgi kaybı yaratan tek vektör tabanlı retrieval
• Mevcut IR değerlendirme metrikleri RAG için uygun değil; olgusal kapsam, çeşitlilik ve ilgililik ekseninde yeni değerlendirme ölçütleri gerekiyor
• RAG retriever’ları, basit eşleştirmenin ötesine geçerek talimatları anlayan ve muhakeme temelli biçimde ilgili belgeleri seçen sistemlere evriliyor
• ColBERT tarzı late interaction modelleri, bilgi sıkıştırmadan token düzeyindeki temsilleri koruyarak küçük modellerin büyük modelleri geçmesini sağlıyor
• Tek bir kusursuz embedding aramak yerine, farklı temsiller için çoklu indeksler ve akıllı routing yapıları yeni standart hâline geliyor

---

Why the future of RAG lies in better retrieval, not bigger context windows

“RAG öldü” iddiasına yanıt

> Part 1. I don’t use RAG, I just retrieve documents - Ölen şey RAG’in kendisi değil, basit vektör arama

• Hamel ve Ben Clavié, RAG’in ölmediğini; aksine retrieval mimarisinin evrilme zamanı geldiğini savunuyor
• Belgeleri bir vektör veritabanına koyup cosine similarity ile arama yapmak artık eskidi ve büyük bilgi kaybına yol açıyor
• LLM’lerde bilgi, eğitim anından sonra sabitlendiği için retrieval tabanlı bilgi ekleme (RAG) hâlâ önemli
• Sadece context window’u büyütmek, tüm bilgiyi içeri almak için verimli bir yöntem değil

Yanlış değerlendirme metrikleri

> Part 2. Modern IR Evals For RAG - Geleneksel IR değerlendirme metriklerinin RAG’e uymadığını açıklar, FreshStack’i sunar

• Nandan Thakur, geleneksel bilgi erişim (IR) değerlendirme metriklerinin RAG için uygun olmadığını vurguluyor
  • BEIR gibi benchmark’lar yalnızca 1 numaralı belgeyi bulmayı optimize ediyor
  • RAG ise olgusal kapsamı, farklı bakış açılarını ve bağlamsal ilgililiği birlikte değerlendirmeli
  • Bunun için yeni bir değerlendirme sistemi olarak FreshStack öneriliyor

Muhakeme yapan retriever’lar

> Part 3. Optimizing Retrieval with Reasoning Models - Talimat anlayabilen ve muhakeme edebilen retriever’ların tasarımı

• Orion Weller’ın Rank1 sistemi, retriever’ın "veri gizliliğine dair metafor içeren belge" gibi karmaşık talimatları anlamasını sağlıyor
• Basit benzerlik hesaplaması yerine, ilgili olma kararının gerekçesini göstermek için açık bir reasoning trace üretiyor
• Mevcut retrieval sistemleriyle bulunamayan belgeler, anlama ve muhakeme temelli biçimde keşfedilebiliyor

Late interaction modellerinin potansiyeli

> Part 4. Late Interaction Models For RAG - ColBERT benzeri yapılarla bilgi kaybı olmadan temsili koruma

• Antoine Chaffin, ColBERT gibi late interaction tabanlı modeller ile
  • belgeleri tek bir vektöre sıkıştırmak yerine token düzeyindeki bilgiyi koruyor
  • bunun sonucunda 150M parametreli bir modelin 7B bir modelden daha iyi muhakeme performansı gösterdiği örnekler bulunuyor
• Temel nokta, bilgiyi silmeden koruyan temsil yapıları

Tek bir harita değil, çoklu harita gerekli

> Part 5. RAG with Multiple Representations - Amaca özel çoklu indekslerle retrieval performansını artırma

• Bryan Bischof ve Ayush Chaurasia, tek bir embedding’in farklı retrieval amaçlarını karşılamaya yetmeyeceğini belirtiyor
  • Örneğin görsel aramada
    • metinsel açıklama
    • şiirsel yorum
    • benzer görsel
      için ayrı ayrı farklı indekslere başvurulan bir yapı
• Sonuç: kusursuz embedding’i aramak yerine, farklı temsil biçimlerine göre çoklu indeks + akıllı routing sistemi gerekli

RAG’in gelecekteki stratejisi

RAG’in geleceği için şu dört nokta öne çıkıyor:

• Kullanım amacına uygun yeni değerlendirme ölçütleri geliştirmek
• Talimatları anlayan ve muhakeme yapan retriever’lar
• Bilgiyi sıkıştırmadan olduğu gibi temsil eden yapılar
• Farklı amaçlara yönelik indeksleri birleştirip akıllıca routing yapan yöntemler

Annotated Notes From the Series

Bu seri 5 bölümden oluşuyor ve ana slaytları zaman damgalarıyla özetleyerek sunuyor. Ayrıntılar için her Part bağlantısına bakılabilir

Bölüm	Başlık	Açıklama
Part 1	I don’t use RAG, I just retrieve documents	Ölen şey RAG’in kendisi değil, basit vektör arama
Part 2	Modern IR Evals For RAG	Geleneksel IR değerlendirme metriklerinin RAG’e uymadığını açıklar, FreshStack’i sunar
Part 3	Optimizing Retrieval with Reasoning Models	Talimat anlayabilen ve muhakeme edebilen retriever’ların tasarımı
Part 4	Late Interaction Models For RAG	ColBERT benzeri yapılarla bilgi kaybı olmadan temsili koruma
Part 5	RAG with Multiple Representations	Amaca özel çoklu indekslerle retrieval performansını artırma

[ide127]

"Mükemmel embedding'i aramayın; farklı ifade biçimlerine uyarlanmış çoklu indeks + akıllı yönlendirme sistemi"

Çünkü bu o kadar kolay değil...