- Yapay zeka için tasarlanmış modern bir Python veri çerçevesi kütüphanesi
- Yapılandırılmamış verileri veri kümelerine dönüştürmek ve bunları yerel makinede büyük ölçekte işleyebilmek için oluşturuldu
- Yapay zeka modellerini ve API çağrılarını soyutlamadan veya gizlemeden postmodern veri yığınına entegre eder
Başlıca özellikler
- Source of Truth deposu
- S3, GCP, Azure ve yerel dosya sisteminde yapılandırılmamış verileri yinelenen kopyalar olmadan işler
- Çok modlu veri desteği: görseller, videolar, metin, PDF, JSON, CSV, parquet vb.
- Dosyaları ve meta verileri kalıcı, sürüm kontrollü ve sütun tabanlı veri kümelerinde birleştirir
- Python dostu veri hattı
- Python nesneleri ve nesne alanları üzerinde çalışır
- SQL veya Spark gerektirmeden yerleşik paralelleştirme ve bellek dışı işlem yetenekleri sunar
- Veri zenginleştirme ve işleme
- Yerel yapay zeka modelleri ve LLM API'leri kullanarak meta veri üretir
- Meta verilere göre filtreleme, join ve gruplama yapar. Vektör gömmeleriyle arama sağlar
- Veri kümelerini Pytorch veya Tensorflow'a aktarır ya da yeniden depoya dışa verir
- Verimlilik
- Paralelleştirme, bellek dışı çalışma, veri önbellekleme
- Python nesne alanları için vektörleştirilmiş işlemler: toplam, sayı, ortalama vb.
- Optimize edilmiş vektör arama
Henüz yorum yok.