aipack: BGE-M3 tabanlı tarafsız semantik chunk’lanmış Parquet üreticisi + MCP sunucusu

BGE-M3, MarkItDown ve Markdown yapı ayrıştırıcısını kullanarak semantik chunking yapan ve sonuçları Parquet dosyalarına kaydeden aipack çerçevesinin ilk sürümünü yayımlıyorum. Model ve veritabanına bağımlı olmayan tarafsız bir durumu koruyarak, istenildiğinde yeniden kullanılabilecek dosya formatı tabanlı bir RAG uygulamak ve hatta MCP sunucusunu da çalıştırabilmek üzere tasarlandı.

aipack’in hedefi, NPU veya GPU’ya bağımlı olmayan bir RAG uygularken aynı zamanda gelecekte çeşitli RAG yapılarıyla genişletilmesi kolay bir ortam oluşturmaya odaklanmaktır. “Yüksek kaliteli Parquet dosyaları üretebiliyorsanız her şeyi yapabilirsiniz” öncülü altında, sektörde yaygın olarak kullanılan RAG pipeline’ını decoupling yaparak ayırmayı deneyen deneysel bir projedir.

Bu, uzun zamandır düşündüğüm bir fikri hayata geçirme denemesi olduğu için eksik ve acemice kalan pek çok yönü var; ancak bolca geri bildirim ve görüş paylaşırsanız, bunları temel alarak projeyi daha iyi bir noktaya taşımaya çalışacağım!