Hafif ve verimli RAG model değerlendirme kod projesi
(github.com/instructkr)Retriever Simple Benchmark, RAG için gerekli reranker’ları değerlendirmek üzere tasarlanmış hafif ve verimli bir benchmark projesi olmayı hedefliyor.
İhtiyaç duyduğum için geliştiriyorum ve bunu açık kaynak olarak geliştiriyorum.
Neden?
Mevcut benchmark araçları (ör. MTEB) için bağımlılık kurulumu ve çalıştırma sürecinin zahmetli olduğu, bu yüzden kullanımının zor olduğuna dair çok sayıda geri bildirim vardı.
Amaç, son derece kolay, minimum bağımlılıkla, hafif şekilde çalıştırılabilen ve anında sonuç üretebilen bir araç sunmak.
Depo tanıtımı
- Şu anda Korece tabanlı cross-encoder destekleniyor; ileride bi-encoder modelleri de eklenecek.
- Python projesini bakımı kolay hale getirmek için proje astral-uv ile yeniden yazıldı.
Kullanım 💻
1️⃣ Ortamı hazırlayın
make init
2️⃣ Çalıştırın (şu anda yalnızca tek GPU destekleniyor)
make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG
Gelecek planları 📈
-
Ek desteklenecek modeller
- HuggingFace ve FlagEmbedding tabanlı bi-encoder modelleri
-
Ek veri kümeleri
- Şu anda AutoRAG destekleniyor, KURE eklenecek
Henüz yorum yok.