- Bulutta ilk kez yerel vektör desteği sunan büyük ölçekli nesne depolama
- Vektör verisi depolama, yükleme ve sorgulama maliyetlerini %90’a kadar azaltabilir ve subsecond sorgu performansı sunar
- Vektör bucket ve vektör indeks kavramlarını tanıtarak, AI embedding’leri ve RAG gibi üretken yapay zeka iş yükleri için büyük ölçekli vektör verisinin depolanmasını ve aranmasını optimize eder
- Amazon Bedrock, SageMaker, OpenSearch gibi AWS servisleriyle entegre çalışır; maliyet ve performans dengesi kuran vektör yönetimi ile gerçek zamanlı aramayı mümkün kılar
- Altyapı kurmadan; konsol, CLI, SDK ve API ile vektör verisini kolayca depolama, yönetme, sorgulama, dışa aktarma ve entegre etme gibi çeşitli kullanım senaryolarını destekler
Amazon S3 Vectors nedir?
- Amazon S3 Vectors, büyük hacimli vektör veri kümelerini depolayan ve hızlı vektör araması (semantic/similarity search) sağlayan, S3’e özel yeni bir depolama hizmetidir
- Üretken yapay zeka tarafında sık kullanılan vektör (embedding) verilerini verimli biçimde yönetmek üzere tasarlanmıştır
- Vektör bucket adlı yeni bir S3 bucket türü sunar; her vektör bucket içinde en fazla 10.000 adet vektör indeks oluşturulabilir ve her indeks on milyonlarca vektör depolayabilir
- Her vektör için metadata (key-value) eklemeyi destekler; böylece koşullara göre filtreleme sorguları yapılabilir
Maliyet-performans optimizasyonu ve otomasyon özellikleri
- Vektör verisinin yükleme, depolama ve sorgulama maliyetlerini %90’a kadar düşürmek mümkündür
- Veri büyüse bile S3 Vectors bunu otomatik olarak optimize eder; böylece maliyet ve performans sürdürülebilir şekilde korunur
- Cosine/Euclidean uzaklık metrikleri sunar ve AI embedding modelleriyle uyumlu esnek bir arama ortamı sağlar
AWS servisleri ve yapay zeka altyapısıyla entegrasyon
- Amazon Bedrock Knowledge Bases ile yerel entegrasyona sahiptir, SageMaker Unified Studio içinden doğrudan kullanılabilir
- OpenSearch Service ile entegre edilerek, uzun süreli/düşük sıklıklı veriler S3’te tutulabilir; yüksek sıklıklı/gerçek zamanlı aramalar ise OpenSearch’e taşınabilir (serverless vector collection)
- Öneri sistemleri, RAG, belge analizi ve kişiselleştirilmiş öneriler gibi çeşitli yapay zeka uygulamaları için uygundur
Başlıca kullanım şekilleri
Vektör bucket ve indeks oluşturma
- Konsolda Vector buckets menüsünden vektör bucket oluşturulabilir
- Bucket oluştururken şifreleme seçenekleri belirtilebilir (SSE-S3, SSE-KMS)
- Her bucket’a vektör indeks eklenebilir; her indeks için boyut sayısı ve uzaklık metriği tanımlanabilir
Vektör verisi ekleme ve sorgulama
- AWS CLI, SDK, REST API kullanılarak vektör ekleme ve yönetimi yapılabilir
- Amazon Bedrock ile metin embedding’i oluşturulup ardından S3 Vectors’a vektör eklenebilir
- Örnek:
boto3 ile embedding oluşturduktan sonra s3vectors.put_vectors API kullanılarak indekse veri yüklenebilir
- Metadata kullanılarak tür, kategori gibi koşullara göre sorgu yapılabilir
OpenSearch entegrasyonu ve dışa aktarma
- Konsoldaki Export to OpenSearch ile S3 Vector indeksleri OpenSearch’e taşınabilir
- Serverless collection otomatik oluşturulur; böylece gerçek zamanlı vektör arama ve analiz iş yüklerine genişletilebilir
Başlıca özellikler ve desteklenen ortamlar
- S3 Vector bucket’larında şifreleme varsayılan olarak etkindir (SSE-S3), ayrıca KMS seçeneği de desteklenir
- CLI/SDK/REST API üzerinden otomasyon ve programatik kullanım mümkündür
- Şu anda önizleme sunulan bölgeler: ABD doğu/batı, Avrupa (Frankfurt), Asya (Sydney)
Entegrasyon ve kullanım senaryoları
- RAG, ajan belleği, benzerlik/anlamsal arama, akıllı belge analizi, kişiselleştirilmiş öneriler, içeriklerin otomatik analizi gibi birçok sektörel vektör kullanım senaryosunu destekler
- OpenSearch, SageMaker, Bedrock gibi AWS ekosistemi servisleriyle entegre edilerek maliyet açısından verimli ve büyük ölçekte ölçeklenebilen vektör tabanlı yapay zeka çözümleri kurulabilir
Referanslar ve ek kaynaklar
Henüz yorum yok.