Regatta Storage (YC F24): S3’ü yerel gibi bir POSIX bulut dosya sistemine dönüştürmek

• Regatta Storage, S3 uyumlu depolamayı otomatik senkronize olan bir bulut dosya sistemi gibi kullanmayı sağlayan; yerel disk kapasitesini artırmadan büyük ölçekli verilerle çalışmayı hedefleyen bir hizmet
• Spark, PyTorch ve pandas işlerinde S3’teki veri setlerine doğrudan erişim sağlayarak indirme bekleme süresini ve büyük yerel disk hazırlama yükünü azaltmayı amaçlıyor
• Amazon EFS ve Netflix’teki depolama operasyonu deneyimi çıkış noktası oldu; EFS’nin sadeliği ve ölçeklenebilirliğine rağmen yerel diskten NFS’ye geçerken performans sorunları devam etti
• Müşteriler Regatta dosya sistemini NFSv3 ile mount ediyor; Regatta önbellekleme instance’ları müşteri S3 bucket’larına bağlanarak önbelleğe alınmış okuma ve yazmalarda milisaniyenin altında performans sunuyor
• Sunucusuz Jupyter notebook’lar, S3 üzerindeki dağıtık önbellekleme katmanı ve thin-provisioned Ceph önyükleme hacmi yerine kullanılıyor; ileride özel bir dosya protokolü de geliştiriliyor

---

S3 üzerinde yerel benzeri dosya sistemi deneyimi sunmak

• Regatta Storage, kullanıma göre ücretlendirilen bir bulut dosya sistemi ve S3 uyumlu depolama ile otomatik olarak senkronize oluyor
• Spark, PyTorch ve pandas içinde büyük veri setlerini yerel diske indirmeden doğrudan erişilebilen bir akış hedefliyor
• Hizmetin tanıtım videosu YouTube üzerinden izlenebiliyor ve hesap açtıktan sonra ücretsiz denenebiliyor
• Hesapsız deneme sunmamasının nedeni, Hacker News kullanıcılarının tek bir dosya sistemi ve S3 bucket’ını paylaşmasının uygun olmayacağını düşünmeleri

EFS deneyiminden çıkan tasarım arka planı

• Kurucu, Amazon Elastic File System (EFS)’de 8 yıl ve Netflix dahil çeşitli yerlerde büyük ölçekli bulut depolama kurup işletme deneyimine dayanarak Regatta’yı geliştirdi
• EFS, S3 gibi önceden gerekli kapasiteyi tahmin etmeyi gerektirmeyen sadelik ve ölçeklenebilirlik avantajına sahipti, ancak Netflix’te beklendiği kadar yaygın kullanılmadı
  • Pek çok uygulama POSIX dosya sistemine ihtiyaç duyuyordu ve depolama talebi belirsiz olabiliyor veya aniden artabiliyordu
  • Instance veya container ömründen daha uzun süre kalıcı depolamaya ihtiyaç duyulan durumlar da çoktu
  • Yerel sürücüler, olası kullanım miktarına göre fazla provision edilerek boş depolama alanı için de maliyet yaratıyordu
• EFS her iş yüküne uymuyordu
  • Yerel diskten NFS’ye geçildiğinde performans sorunları yaşanabiliyordu
  • Yerel diski geçici alan gibi kullanan uygulamaların, kalıcı depolamada kalan verileri elle temizlemesi gerekiyordu

Regatta’nın çalışma şekli ve önbellek modeli

• Regatta, uygulamayla birlikte otomatik ölçeklenen, kullanıma göre fiyatlandırılan bir dosya sistemi olarak tasarlandı
  • Yerel dosya formatıyla S3’e otomatik senkronize olarak mevcut veri setlerine bağlanabiliyor
  • Son kullanılan dosya verileri de doğrudan S3 üzerinden kullanılabiliyor
  • Aktif kullanılmayan veriler Regatta önbelleğinden çıkarılıyor; böylece yalnızca arka uç S3 depolama maliyeti ödeniyor
• Şu anda müşteriler Regatta dosya sistemini Regatta’nın önbellekleme instance filosuna NFSv3 ile bağlayıp mount ediyor
  • Regatta instance’ları arka planda müşteri S3 bucket’larına bağlanıyor
  • Önbelleğe alınmış okuma ve yazmalarda milisaniyenin altında performans sunuyor
  • Dayanıklı önbellek sayesinde bağlı tüm dosya istemcilerine güçlü tutarlılığa sahip bir dosya sistemi görünümü sağlıyor
  • Dizin yeniden adlandırma gibi zor işlemleri hızlı ve dayanıklı biçimde işleyip ardından S3 bucket’ına eşzamansız olarak yayıyor

İlk kullanım örnekleri ve sonraki adım

• İlk kullanıcılar Regatta’yı, yapay zeka araştırmacıları için sunucusuz Jupyter notebook sunucuları, S3 üzerinde düşük gecikmeli dağıtık önbellekleme katmanı ve thin-provisioned Ceph önyükleme hacmi yerine kullanıyor
• Geliştirilmekte olan özel dosya protokolü, küçük dosya iş yüklerinde yerele yakın performans ve dağıtık veri işlerinde Lustre benzeri scale-out performansı sunmayı hedefliyor

[GN⁺]

Hacker News görüşleri

• Rclone ile Regatta Storage arasındaki fark, dosya sistemi üzerinde değişiklik yapan işlemlerde Regatta'nın güçlü tutarlılık sağlamak için yüksek hızlı bir önbellek katmanı kullanmasıdır. Rclone'da paralel istemciler arasında tutarlılığı garanti eden bir katman yok

  • Regatta Storage, dosya sistemi üzerinde değişiklik yapan işlemlerde güçlü tutarlılık sağlamak için yüksek hızlı bir önbellek katmanı kullanıyor
  • Rclone'da paralel istemciler arasında tutarlılığı garanti eden bir katman yok

• YC'den çıkan en havalı ürünlerden biri ve nasıl çalıştığına dair çeşitli sorular var

  • 10GB yerel diskte 50GB aralığındaki veriler işlenirken performans düşüşü olup olmayacağı merak ediliyor
  • AWS dışındaki diğer bulutlarda da yüksek hız elde edilip edilemeyeceği merak ediliyor
  • FUSE ve NFS mount kullanım şekline dair sorular var
  • Clickhouse veya Postgres'in Regatta volume üzerinde çalıştırılıp çalıştırılamayacağı merak ediliyor
  • open source konusundaki düşünceler merak ediliyor
  • Birden fazla sunucuya mount edilip edilemeyeceği ve bunun sınırlarının ne olduğu merak ediliyor

• GCP Filestore kullanarak DuckDB host eden biri, Regatta'nın fiyatı ve performansı hakkında bilgi istiyor

  • 10 TiB instance için fiyat ve performans bilgisi isteniyor

• SQLite/DuckDB/parquet için yedek disk olarak ilgi çekiyor ve instance yerel NVMe storage üzerinde önbelleğe alınmış okumalar isteniyor

  • NFS ile elde edilemeyen kilitleme ve paylaşımlı bellek özellikleri gerekiyor
  • Bu, user space'te doğrudan uygulanabilir ama o durumda S3 kullanılırdı

• NFS'yi protokol olarak kullanmanın iyi bir fikir olduğu düşünülüyor

  • IBM'de benzer konseptte şifreli bir dosya sistemi yazma deneyimi yaşanmış
  • Dosya sistemini mount ettiğinizde tüm verinin "zaten oradaymış" gibi görünmesi büyüleyici geliyor

• AWS'nin bu ürünü kopyalayıp daha düşük fiyata sunma ihtimali konusunda endişe var

• 2008'de Adobe CEO'sunun önünde, iPhone ile çekilen bir fotoğrafın Mac'te otomatik olarak dosya olarak görünmesini sağlayan bir demoyu başarıyla yapma deneyimi paylaşılmış

  • FUSE kullanılarak Adobe'nin dağıtık nesne deposuyla iletişim kuran yerel bir FUSE uygulanmış
  • Dropbox'ın çıkışıyla birlikte dağıtık sistemler üzerine Ar-Ge çalışmalarına başlanmış

• Lambda + SQLite + Regatta kullanarak gerçek zamanlı ACID SQL storage kurulup kurulamayacağı merak ediliyor

• Dosya güncelleme çakışmalarının nasıl ele alındığı net değil

  • Örneğin iki kullanıcının farklı bilgisayarlarda aynı dosyayı güncellemesi durumunda son dosyanın ne olacağı merak ediliyor

• s3fs, rclone, goofys gibi dikkat çekici alternatifler var