Vector Database nedir?

• AI uygulamaları Vector Embeddings'e dayanır
  • Embedding'ler AI modelleri tarafından üretilir ve çok sayıda özellik/feature içerdiği için yönetilmesi zordur
  • AI ve ML'de bu feature'lar, kalıpları, ilişkileri ve altta yatan yapıyı anlamak için kritik olan verinin çeşitli boyutlarını temsil eder
• Pinecone gibi vektör DB'leri, bu embedding verilerini optimize ederek saklamak ve sorgulamak için özelleşmiş veritabanlarıdır
• Vektör DB sayesinde AI içinde semantik bilgi arama, uzun süreli bellek gibi gelişmiş işlevler uygulanabilir
  • İçeriği indekslemek için embedding modeli aracılığıyla vektör embedding'leri oluşturulur
  • Vektör embedding'leri vektör DB'ye eklenir. Embedding'in nerede üretildiğine dair orijinal içeriğe referans da dahil edilir
  • Uygulama bir sorgu yaptığında, aynı embedding modeli kullanılarak sorgu için embedding oluşturulur ve bu embedding ile DB aranarak benzer vektör embedding'leri bulunur
  • Bu embedding'ler orijinal içeriğe bağlıdır

Vector Index ile Vector DB arasındaki farklar

• FAISS(Facebook AI Similarity Search) gibi vektör indeksleri de vektör embedding aramasını iyileştirir, ancak bir veritabanının işlevlerine sahip değildir
• Vector DB'nin çeşitli avantajları vardır
  • Veri yönetimi işlevleri: veriyi eklemek, silmek ve güncellemek kolaydır
  • Metadata saklama ve filtreleme: her vektör için metadata saklanabilir
  • Ölçeklenebilirlik: dağıtık ve paralel işleme sunar
  • Gerçek zamanlı güncellemeleri destekler
  • Yedekleme ve koleksiyon işlevleri (yalnızca bazı indeksleri seçerek yedekleme)
  • Ekosistem entegrasyonu: ETL(Spark), analiz araçları(Tableau, Segment), görselleştirme(Grafana) vb. ile entegrasyon. AI araçlarıyla entegrasyon(LangChain, LlamaIndex, ChatGPT Plugins)
  • Veri güvenliği ve erişim yetkisi yönetimi

Vector DB nasıl çalışır? (Yalnızca alt başlıklar çevrilmiştir)

• Algoritmalar: ANN, Random Projection, Product Quantization, Locality-sensitive hashing, Hierarchical Navigable Small World (HSNW)
• Benzerlik ölçümü
• Filtreleme
• Veritabanı operasyonları

Özet

• NLP, bilgisayarlı görü ve diğer AI uygulamalarında vektör embedding'lerin patlayıcı şekilde büyümesiyle birlikte vektör veritabanları ortaya çıktı
• Vektör veritabanları, production senaryolarında vektör embedding'leri yönetirken ortaya çıkan sorunları çözmek için özel olarak tasarlanmıştır
• Mevcut skalar tabanlı veritabanları ve bağımsız vektör indekslerine kıyasla önemli avantajlar sunar