- Fire-Flyer File System (3FS), yapay zeka eğitim ve çıkarım iş yüklerini işlemek için tasarlanmış yüksek performanslı dağıtık bir dosya sistemidir
- En yeni SSD'ler ve RDMA ağlarını kullanarak paylaşımlı bir depolama katmanı sunar ve dağıtık uygulama geliştirmeyi basitleştirir
Temel özellikler ve avantajlar
- Performans ve kullanılabilirlik
- Ayrık mimari: Binlerce SSD'nin ve yüzlerce depolama düğümünün ağ bant genişliğini birleştirerek, veri yerelliğinden bağımsız olarak depolama kaynaklarına erişim sağlar
- Güçlü tutarlılık garantisi: Tutarlılığı korumak için Chain Replication with Apportioned Queries (CRAQ) kullanır; bu da uygulama kodunu basitleştirir
- Dosya arayüzü desteği: FoundationDB tabanlı işlemsel anahtar-değer deposunu kullanan durumsuz bir metadata servisi sunar. Mevcut dosya arayüzleri kullanıldığından yeni bir depolama API'si öğrenmek gerekmez
- Çeşitli iş yükleri desteği
- Veri hazırlığı: Veri analizi hattı çıktısını hiyerarşik dizin yapısında düzenler ve büyük miktardaki ara çıktıyı verimli biçimde yönetir
- Veri yükleyici optimizasyonu: Veri kümelerini önceden yüklemeye veya karıştırmaya gerek kalmadan, birden çok hesaplama düğümünden eğitim örneklerine rastgele erişim sağlar
- Checkpoint kaydetme: Büyük ölçekli eğitim için yüksek hızlı paralel checkpoint kaydetmeyi destekler
- KVCache tabanlı çıkarım optimizasyonu: DRAM tabanlı önbelleklemeden daha maliyet etkindir; yüksek aktarım hızı ve büyük depolama kapasitesi sunar
Performans testleri
- Maksimum throughput testi
- 180 depolama düğümü (her birinde 2×200Gbps InfiniBand NIC ve 16 adet 14TiB NVMe SSD)
- 500'den fazla istemci düğümü (her birinde 1×200Gbps InfiniBand NIC)
- Yapay zeka eğitim işiyle paralel yürütülen okuma yükü testinde toplam 6.6TiB/s throughput kaydedildi
- GraySort benchmark testi
- 25 depolama düğümü (düğüm başına 2 NUMA domain, 2×400Gbps NIC)
- 50 hesaplama düğümü (192 fiziksel çekirdek, 2.2TiB RAM, 1×200Gbps NIC)
- 110.5TiB veri (8.192 bölüm), 30 dakika 14 saniyede sıralandı; ortalama 3.66TiB/min throughput elde edildi
- KVCache performans testi
- Büyük dil modeli (LLM) çıkarımı sırasında anahtar-değer vektör önbelleklemesiyle gereksiz hesaplama en aza indirildi
- Tepe okuma throughput'u 40GiB/s olarak kaydedildi
- Garbage Collection (GC) çalışırken silme işlemi (IOPS) performans analizini de içerir
- Yüksek performanslı veri işleme, büyük ölçekli genişleyebilirlik ve basit operasyon özelliklerine sahiptir
- Yüksek performanslı veri işleme: DuckDB kullanarak hızlı veri işleme sağlar
- Büyük veri kümeleri desteği: Petabayt (PB) ölçeğinde veri işleyebilir
- Kolay işletim: Uzun süre çalışan servisler olmadan kolayca kullanılabilir
Henüz yorum yok.