ir - qmd'ye alternatif yerel arama motoru (Korece ön işleme desteği)

Mevcut qmd'yi kullanırken birkaç sorun fark ettiğim için onun yerine geçecek yerel kullanım için bir arama motoru geliştirdim.

Tüm collection'ları tek bir sqlite DB içinde tek seferde indexing/embedding yapma zorunluluğunun yarattığı kullanım zorluğu
-> Bunu ayırınca proje bazında collection yönetimi mümkün oluyor ve birden fazla agent aynı anda çalışırken indeks güncelleme gibi işlemler de daha sorunsuz ilerliyor.

Yalnızca İngilizce tabanlı varsayılan ön işlemeyi destekleme sorunu
-> Komutun i/o tabanlı preprocessor'ını doğrudan ekleyebilmeyi destekliyor. Repoda, çeşitli benchmark'ların ardından en iyi performansı veren lindera-ko bırakıldı. Kurulum için lütfen kılavuza bakın.

BM25 gap test başarısız olduğunda hibrit arama için modeli cold loading ile yüklemenin uzun sürmesi sorunu
-> Bir daemon çalışarak modeli bellekte hazır tutuyor.

qmd'ye kıyasla warm durumda 20 kattan daha hızlıdır ve
ilişkililik puanı için benchmark'ı olmayan qmd'nin aksine
gerçek corpus üzerinde bir miktar score tuning yapılmıştır.

İlk kez yayımlandığı için sorunlar çıkabilir; yorumlarda bildirirseniz veya issue açarsanız memnun olurum.

Korece kılavuz: https://github.com/vlwkaos/ir/blob/main/README.ko.md

[dalinaum]

QMD'nin sınırlamaları yüzünden bunu düşünüyordum; umut verici görünüyor!

[minhoryang]

Oh, bunu memnuniyetle kullanacağım!