sisi - Yerel semantik görsel arama CLI aracı

• Üçüncü taraf API olmadan, yerelde semantik görsel araması yapan bir CLI
• Node.js için makine öğrenimi çerçevesi olan node-mlx tabanlı olarak görsel embedding indeksi oluşturur ve arama yapar
• Desteklenen platformlar
  • GPU : Apple Silicon Mac
  • CPU : x64 Mac, x64/arm64 Linux
• sisi index <target> ile belirli bir klasördeki görseller için indeks oluşturma
• sisi search 'cat jumping' ile belirli bir içeriği barındıran görselleri arama

Nasıl çalışır

• İndeks, OpenAI'nin CLIP modeli kullanılarak görsel embedding'leri hesaplandıktan sonra binary JSON olarak kaydedilir
• Görsel arama, sorgu dizesi ile indekslenmiş embedding'ler arasındaki kosinüs benzerliğini hesaplar
• Veritabanı yoktur; her aramada kaydedilmiş tüm embedding'ler üzerinde hesaplama yapılır. On binlerce fotoğraf olsa bile çok hızlıdır
• CLIP modelinin JavaScript implementasyonu olarak frost-beta/clip kullanılır