RAG’in sınırlamaları ve bu sınırlamaları tamamlamaya yönelik yöntemlerden biri olan GraphRAG

1. ChatGPT çağı geldi. Günümüzde, büyük dil modellerinin etkisinin o kadar büyük olduğu, üçüncü sanayi devrimi denebilecek bir dönemde yaşıyoruz. Hatta annem bile merak ettiği bir şey olduğunda ChatGPT kullanıyor; yani kullanım alanı nesiller fark etmeksizin giderek daha da genişliyor.
2. Bu kullanım alanının neden bu kadar genişlediğini düşünürsek, muhtemelen kullanıcının istediği bilgiyi doğru şekilde getirip iletebilmesindendir. Bilgi fazlalığından yorulmuş insanlara, 'gerekli' bilgiyi iyi seçip ulaştırıyor.
3. Bugüne kadar büyük ilerlemeler kaydedilmiş olsa da, bununla birlikte pek çok zorluk da vardı. Bir örnek vermek gerekirse, buna 'halüsinasyon' denebilir. Yani bilgi getiriyor ama yanlış bilgi getiriyor. Bu olgunun çeşitli nedenleri var. En tipik nedeni söylemek gerekirse, kullanıcının niyetini yanlış anlayıp alakasız bilgi getirmesidir. Bu nedeni çözmenin yolu basit: kullanıcının niyetini 'iyi' anlamak ve 'ilgili' bilgiyi iletmek.
4. Bunu iyileştirmek için çeşitli denemeler yapılıyor. Bunları başlıca 4 yöntem altında sınıflandırabiliriz. 1. Büyük dil modelini en baştan kurma yöntemi, 2. 'İyi' eğitilmiş bir büyük dil modelini alıp istenen alana uygun şekilde ek eğitim verme yöntemi, 3. Büyük dil modelini olduğu gibi kullanıp kullanıcı sorgusuna ek bağlam kazandırma yöntemi, 4. Büyük dil modelini kullanırken kullanıcıya yanıt verme sürecinde 'ilgili bilgi' için ek bağlam sağlayarak bu ilgiyi öne çıkarma yöntemi. Yöntemler çeşitli olduğu kadar her birinin avantajları ve dezavantajları da vardır.
5. 1. yöntemin avantajı, en baştan kurulduğu için verinin açık bağlamını büyük dil modeline baştan sunabilmesidir; ancak dezavantajı, sıfırdan kurulum maliyetinin hiç de düşük olmamasıdır.
6. yöntem, 'iyi' eğitilmiş büyük dil modelinin bağlamını alıp alana özgü az miktarda veriyi seçerek uyguladığı için görece daha düşük maliyetli olması ve doğruluğunun da belli ölçüde güvence altına alınabilmesi avantajlarına sahiptir; buna karşılık, büyük dil modelinin bağlamını kaybetmeden alana özgü bağlamı dengeli biçimde korumak zordur.
7. yöntem, kullanıcının sorgusunu işleyip niyetine 'iyi' bir bağlam vermek yeterli olduğu için düşük maliyetli olması avantajına sahiptir; ancak bağlam verme sürecine bağlamı veren kişinin öznelliği karışabileceğinden bağlamın nesnelliği eksik kalabilir. Bu nedenle, güçlü bir önyargı yansıtılırsa bağlam tersine olumsuz etki de yaratabilir.
8. yöntem ise kullanıcının sorgusuna görece daha güncel bilgileri yansıtan yanıtlar verebilmesi ve devreye alma maliyetinin düşük olması avantajlarına sahiptir; ancak ilgili belgelere göre soruların niteliği çok değişken olduğundan, ilgili belgeleri nasıl iyi ayırt edip getireceği konusunda stratejik yaklaşım gerektirir ve çeşitli unsurları dengeli biçimde bir araya getirmek gerektiği için karmaşıklığı yüksektir.
9. Bunun dışında, cost, accuracy, domain-specific terminology, up-to-date response, transparency and interpretability olmak üzere 5 açıdan dengeli bir karşılaştırma yapan ayrıntılı içerik https://deci.ai/blog/… adresinde oldukça iyi şekilde yer alıyor; bir göz atmanızı tavsiye ederim.
10. Şimdiye kadar, büyük dil modellerinde ortaya çıkan halüsinasyon sorununu çözmek için denenen çeşitli yöntemlerden bahsettik. Bu yazıda ise bu yöntemler arasında 4. maddeye karşılık gelen, 'ilgili bilgiyi' iyi getirerek bağlam kazandıran bir teknik olan RAG (Retrieval Augment Generation)'e bakacak; RAG’in sınırlamalarını ve bu sınırlamaları tamamlamaya yönelik yöntemlerden biri olan GraphRAG’i inceleyeceğiz.