Flamehaven FileSearch — Self-host edilebilir açık kaynak RAG belge arama motoru

 (github.com/flamehaven01)
29 puan yazan flamehaven01 2025-11-13 | 4 yorum | WhatsApp'ta paylaş

🔥Flamehaven FileSearch

  • Flamehaven FileSearch, herkesin 5 dakika içinde belge tabanlı bir RAG (Retrieval-Augmented Generation) sistemi kurabilmesini sağlayan, self-host edilebilir açık kaynak semantik arama motorudur.
  • Python, FastAPI ve SQLite tabanlı olarak çalışır; Google Gemini Embedding'i kullanarak PDF/DOCX/TXT/MD gibi çeşitli belgelerde doğal dilde soru-cevap gerçekleştirir.

Neden yapıldı?

  • Açık kaynak RAG uygulamalarının çoğu Colab veya Jupyter ortamlarında iyi çalışsa da, gerçek bir sunucuya kurup işletmek için yapıları karmaşık olabiliyor ya da yeterli kararlılık sunmuyor.
  • Flamehaven FileSearch, “gerçekte çalışan hafif bir RAG yığını” hedefiyle; araştırmacıların, startup'ların ve bireysel geliştiricilerin kendi verileriyle semantik aramayı anında deneyebilmesi için tasarlandı.

Neden dikkat çekiyor?

  • Tam özerklik: Harici sunuculara veya buluta bağımlı değildir; tüm veriler yerelde saklanır.
  • Geliştirici odaklı yapı: Python SDK + REST API, FastAPI tabanlı otomatik Swagger dokümantasyonu sunar.
  • PyPI paketi yayını: PyPI üzerinden doğrudan kurulabilir — pip install flamehaven-filesearch[api] ile tek satırda tam otomatik kurulum.
  • Anında çalıştırma: Kurulum sonrası flamehaven-api komutuyla sunucuyu hemen başlatabilir, tarayıcıda /docs ile API'yi test edebilirsiniz.
  • Genişletilebilirlik: SQLite depolama, eklenti mimarisi, Docker dağıtım desteği.
  • Eğitim/araştırma dostu: Gemini embedding kullanarak en güncel LLM tabanlı semantik arama pratikleri için idealdir.

Neler içeriyor? (Öne çıkanlar)

  • Python SDK: from flamehaven_filesearch import FlamehavenFileSearch

    → Belge yükleme / arama / store yönetimi dahil tüm işlevleri sunar.

  • REST API: /upload, /search, /stores endpoint'leri + Swagger UI.

    Reklam

  • Docker desteği: docker run -e GEMINI_API_KEY=... -p 8000:8000 flamehaven/filesearch:latest

  • Yapı: core(engine) / api(FastAPI) / data(SQLite) / examples / docs

Hızlıca deneyin

1️⃣ PyPI paketi

Flamehaven FileSearch, PyPI üzerinden doğrudan kurulabilir.

En güncel sürüm: https://pypi.org/project/flamehaven-filesearch

pip install flamehaven-filesearch[api]
Reklam

2️⃣ Kurulum

pip install flamehaven-filesearch[api]  
export GEMINI_API_KEY="your-google-gemini-key"  
flamehaven-api

3️⃣ Belge yükleme ve arama

curl -X POST "http://localhost:8000/upload"; -F "file=@handbook.pdf"  
curl "http://localhost:8000/search?q=vacation+policy";

4️⃣ SDK kullanım örneği

from flamehaven_filesearch import FlamehavenFileSearch  
fs = FlamehavenFileSearch()  
fs.upload_file("handbook.pdf")  
print(fs.search("vacation policy")["answer"])
Reklam

Performans ve özellikler

  • Ortam: Ubuntu 22.04 / 2vCPU / 4GB RAM / SSD
  • 10MB PDF yükleme → yaklaşık 5 saniye
  • Ortalama arama yanıtı → 2 saniye (5 kaynak alıntılandığında)
  • Store silme/oluşturma → 1 saniyenin altında
  • Depolama ek yükü → belge boyutunun yaklaşık %5'i

Yol haritası

  • v1.1 : Önbellekleme ve kota yönetimi
  • v1.2 : Toplu arama + WebSocket streaming
  • v2.0 : Çok dilli belge desteği, analiz panosu
  • Gelecekte : Pinecone/Weaviate vektörDB entegrasyonu, OCR, ortak çalışma store'ları

Lisans

  • MIT License (tamamen açık kaynak)

🛡️ Flamehaven Github güvenlik ve hesap duyurusu

Kısa süre önce Flamehaven GitHub hesabında (bu hesap) şüpheli giriş denemeleri tespit edildi ve bunun sonucunda hesap askıya alındı. Sorunu doğrulamak için şu anda GitHub güvenlik ekibiyle birlikte çalışılıyor.

Bu olay nedeniyle dir2md, flashrecord, crom-efficient, Arr-medic-cyp3a4 gibi projeleri içeren hesap bir süreliğine kullanım dışı bırakılmış durumda.

Verilen rahatsızlıktan dolayı içtenlikle özür dileriz; güvenlik incelemesi tamamlanana kadar anlayışınızı rica ederiz.

İlgili okumalar

4 yorum

 
flamehaven01 2025-12-09

Güncelleme: v1.2.2 yayımlandı

Önceki yazıyı paylaştıktan sonra, bugün itibarıyla sürüm v1.2.2’ye kadar yükseldi.
Değişiklikleri kısaca özetlemek gerekirse:

Test/kararlılık güçlendirmeleri

Şifreleme servisi: env anahtarı tabanlı encrypt/decrypt round-trip + invalid token yolu testi

Toplu arama: paralel öncelik kuyruğu, başlatılmamış servis → 503, sorgu bazında istisna ayrıştırma

Redis önbelleği: bellek içi sahte istemciyle get/set/delete/clear + kullanılabilirlik testi

Şimdiye kadar coverage dışında kalan cache_redis.py, coverage kapsamına dahil edildi

Servis hazır olma durumu (Service readiness)

Sunucunun ilk açılışında varsayılan store ve küçük bir fallback belgesi otomatik olarak oluşturulur

Hiçbir şey yüklemeseniz bile /search ve /health hemen 200 yanıtı verir
→ demo/CI health check/agent boot için doğrudan kullanılabilir

Operasyon tarafındaki düzenlemeler

Sürüm dizesi, günlük meta verisi, Prometheus etiketi, OpenAPI başlığı v1.2.2 olarak düzenlendi

Redis hâlâ isteğe bağlı; yoksa doğal şekilde process içi LRU önbelleğe fallback yapılır

Breaking change olmadan, mevcut kullanıcılar doğrudan yükseltebilir.
Adım adım “operasyonda doğrudan kullanılabilir” tarafa doğru cilalanıyor.
 
flamehaven01 2025-11-29

🚀 Flamehaven Filesearch v1.2.1 Sürümü Yayınlandı!

Son güncellemeden bu yana istikrarlı şekilde geliştirdiğimiz Flamehaven Filesearch’in en yeni sürümü v1.2.1’i yayınlıyoruz. Bu sürüm; güvenliğin güçlendirilmesi, yönetim araçlarının genişletilmesi ve operasyonel kullanım kolaylığının iyileştirilmesine odaklanıyor.

🔐 Başlıca güncellemeler
🔺Admin Cache Controls eklendi
/api/admin/cache/stats, /api/admin/cache/flush yolları üzerinden önbellek durumu görüntülenebilir ve önbellek temizleme yapılabilir (yalnızca Admin)

🔺API Key yetkileri güçlendirildi
Admin yetkisi olmayan anahtarlar, yönetici işlevleri kullanıldığında 403 döndürür
Varsayılan olarak yeni API anahtarlarına admin yetkisi eklenir

🔺IAMProvider Hook eklendi
Gelecekteki OIDC/IAM backend entegrasyonu için yapı hazırlandı

🔺Metrics genişletildi
Cache, health_status ve prometheus placeholder eklenerek dashboard kullanım değeri artırıldı

🔺Frontend güncellendi
Cache / Metrics sayfaları backend ile bağlandı
Upload / Admin sayfalarında Token giriş işlevi bağlandı
Yeni Landing ve Dashboard sayfaları düzenlendi

🔺Testler güçlendirildi
test_admin_cache.py eklenerek önbellekle ilgili yönetici API testleri devreye alındı

🔺Dokümantasyon güncellendi
README sürümü güncellendi ve FLAMEHAVEN_ENC_KEY ortam değişkenini içeren güvenlik rehberi güçlendirildi

🐛 Düzeltildi

Admin yetkisi olmadan yönetici işlevleri istendiğinde erişim engellenir (403)

🔗 GitHub: https://github.com/flamehaven01/Flamehaven-Filesearch

Bu sürüm, ileride planlanan IAM entegrasyonu ve dashboard geliştirmeleri için gerekli temeli de birlikte sağlamlaştırdı.
 
flamehaven01 2025-11-19

Flamehaven FileSearch v1.2.0'ı dün yayınladım. Bu sürüm, tüm hizmeti “public API” odaklı yapıdan güvenlik ve ölçeklenebilirlik merkezli kurumsal düzeyde bir platforma dönüştürmeye odaklandı.

Başlıca değişiklikler şunlar:

API kimlik doğrulama ve yetkilendirme sistemi eklendi
Tüm korumalı endpoint'ler Bearer Token kimlik doğrulaması gerektirir.
API Key; yükleme/arama/store/silme gibi ayrıntılı izinleri destekler ve anahtar bazlı rate limit, denetim günlükleri, SHA256 hash olarak saklama (orijinal anahtar saklanmaz) içerir.

Admin Dashboard eklendi
API Key oluşturma/görüntüleme/iptal etme, istek istatistikleri ve endpoint kullanım dağılımını görebileceğiniz bir web UI'dır.
HTML/CSS/JS ile tamamen self-contained'dır ve harici bağımlılığı yoktur.

Batch Search API
Tek bir istekte 1–100 sorguyu işler.
Paralel/sıralı yürütme modları, öncelik tabanlı sıralama, sorgu bazlı hata yalıtımı ve ayrıntılı zamanlama metrikleri sunar.

Redis cache backend
Çoklu worker ortamları için dağıtık cache seçeneğidir.
<10ms sorgu gecikmesi, otomatik LRU fallback ve LLM çağrı miktarında %40–60 azalma sağlar.

Dağıtım şablonları sunuluyor (Docker/Kubernetes)
Docker, Docker Compose, Kubernetes(ConfigMap/Secret/Deployment) örnekleri dahildir ve doğrudan dağıtım yapılabilir.

Performans özeti:

Cache hit: <10ms

Cache miss (LLM çağrısı): ~0.5–3s

Batch Search (10 adet): ~2–5s

GitHub: https://github.com/flamehaven01/Flamehaven-Filesearch

Güvenlik tasarımı, API kullanılabilirliği ve dağıtım yapısı gibi konularda iyileştirme önerilerine açığım.
v1.2.1 (admin kimlik doğrulamasının iyileştirilmesi, Redis ayar UI'ı) ve v1.3.0 (anahtar rotasyonu + OAuth2/OIDC) de hazırlanıyor.
 
flamehaven01 2025-11-13

Bugün v1.1.0 sürümünü yayımladık.

Bu sürümde ağırlıklı olarak path traversal açığı yaması, FastAPI/Starlette güvenlik güncellemeleri, istek ID izleme, rate limit, önbellekleme (<10ms hit), Prometheus metriklerinin eklenmesi gibi iyileştirmeler yer alıyor. Önceki sürümlere göre çok daha kararlı çalışıyor.

Bu güncellemede de hâlâ hafif ve self-hosted bir yapıya odaklandık. Teşekkürler.