Launch HN: Regatta Storage (YC F24) – S3’ü yerel benzeri POSIX bulut dosya sistemine dönüştüren teknoloji

• Regatta Storage’a giriş

  • Regatta Storage, sınırsız kapasite sunan, yerel benzeri performans ve S3 uyumlu depolamaya otomatik senkronizasyon destekleyen yeni bir bulut dosya sistemidir
  • Spark, Pytorch, pandas gibi araçlarla S3’teki büyük veri kümelerine anında erişim sağlar
  • Bir hesap oluşturarak hizmeti ücretsiz deneyebilirsiniz

• Geliştirilme arka planı

  • Kurucu, Amazon EFS ve Netflix’te bulut depolama sistemleri kurup işletme deneyimine dayanarak Regatta’yı geliştirdi
  • EFS’nin sadeliğini ve ölçeklenebilirliğini sevse de Netflix’te EFS kullanımı azdı
  • İş yükleri yerel diskten NFS’ye taşındığında performans sorunları ortaya çıktı
  • Regatta, bulut depolama pazarında blok veya dosya depolamayla çözülemeyen sorunları çözmek için geliştirildi

• Regatta’nın özellikleri

  • Kullanıma dayalı fiyatlandırmaya sahip, uygulamalarla birlikte otomatik ölçeklenen bir bulut dosya sistemi
  • S3 ile yerel dosya biçiminde otomatik senkronize olur; böylece mevcut veri kümelerine bağlanabilir ve dosya verilerini doğrudan S3’ten kullanabilir
  • Kullanılmayan veriler Regatta önbelleğinden kaldırılır, böylece yalnızca S3 depolama maliyeti ödenir
  • Küçük dosya iş yükleri için yerel benzeri performans ve dağıtık veri işleri için Lustre benzeri ölçek performansı sağlayan özel bir dosya protokolü geliştiriliyor

• Teknik uygulama

  • Müşteriler Regatta dosya sistemini NFSv3 üzerinden mount eder ve önbellekleme instance’ı müşterinin S3 bucket’ına bağlanır
  • Alt milisaniye düzeyinde önbelleğe alınmış okuma ve yazma performansı sunarken güçlü tutarlılığı korur
  • Dizin yeniden adlandırma gibi karmaşık işlemleri hızlı ve güvenilir biçimde gerçekleştirir ve bunları S3 bucket’ına asenkron olarak yayar

• Kullanım örnekleri ve beklentiler

  • Yapay zeka araştırmacıları için sunucusuz Jupyter notebook sunucuları kurmakta kullanılıyor
  • S3 üzerinde dağıtık bir önbellekleme katmanı olarak kullanılarak ortak dosyalara düşük gecikmeyle erişim sağlanıyor
  • Ceph boot volume’unun yerini alarak maliyet tasarrufu sağladı
  • Kullanıcı geri bildirimleri ve gelecekteki yönelimlere dair fikirler memnuniyetle karşılanıyor; topluluğun görüşleri bekleniyor

[GN⁺]

Hacker News görüşleri

• Rclone ile Regatta Storage arasındaki fark, dosya sistemi üzerinde değişiklik yapan işlemlerde Regatta'nın güçlü tutarlılık sağlamak için yüksek hızlı bir önbellek katmanı kullanmasıdır. Rclone'da paralel istemciler arasında tutarlılığı garanti eden bir katman yok

  • Regatta Storage, dosya sistemi üzerinde değişiklik yapan işlemlerde güçlü tutarlılık sağlamak için yüksek hızlı bir önbellek katmanı kullanıyor
  • Rclone'da paralel istemciler arasında tutarlılığı garanti eden bir katman yok

• YC'den çıkan en havalı ürünlerden biri ve nasıl çalıştığına dair çeşitli sorular var

  • 10GB yerel diskte 50GB aralığındaki veriler işlenirken performans düşüşü olup olmayacağı merak ediliyor
  • AWS dışındaki diğer bulutlarda da yüksek hız elde edilip edilemeyeceği merak ediliyor
  • FUSE ve NFS mount kullanım şekline dair sorular var
  • Clickhouse veya Postgres'in Regatta volume üzerinde çalıştırılıp çalıştırılamayacağı merak ediliyor
  • open source konusundaki düşünceler merak ediliyor
  • Birden fazla sunucuya mount edilip edilemeyeceği ve bunun sınırlarının ne olduğu merak ediliyor

• GCP Filestore kullanarak DuckDB host eden biri, Regatta'nın fiyatı ve performansı hakkında bilgi istiyor

  • 10 TiB instance için fiyat ve performans bilgisi isteniyor

• SQLite/DuckDB/parquet için yedek disk olarak ilgi çekiyor ve instance yerel NVMe storage üzerinde önbelleğe alınmış okumalar isteniyor

  • NFS ile elde edilemeyen kilitleme ve paylaşımlı bellek özellikleri gerekiyor
  • Bu, user space'te doğrudan uygulanabilir ama o durumda S3 kullanılırdı

• NFS'yi protokol olarak kullanmanın iyi bir fikir olduğu düşünülüyor

  • IBM'de benzer konseptte şifreli bir dosya sistemi yazma deneyimi yaşanmış
  • Dosya sistemini mount ettiğinizde tüm verinin "zaten oradaymış" gibi görünmesi büyüleyici geliyor

• AWS'nin bu ürünü kopyalayıp daha düşük fiyata sunma ihtimali konusunda endişe var

• 2008'de Adobe CEO'sunun önünde, iPhone ile çekilen bir fotoğrafın Mac'te otomatik olarak dosya olarak görünmesini sağlayan bir demoyu başarıyla yapma deneyimi paylaşılmış

  • FUSE kullanılarak Adobe'nin dağıtık nesne deposuyla iletişim kuran yerel bir FUSE uygulanmış
  • Dropbox'ın çıkışıyla birlikte dağıtık sistemler üzerine Ar-Ge çalışmalarına başlanmış

• Lambda + SQLite + Regatta kullanarak gerçek zamanlı ACID SQL storage kurulup kurulamayacağı merak ediliyor

• Dosya güncelleme çakışmalarının nasıl ele alındığı net değil

  • Örneğin iki kullanıcının farklı bilgisayarlarda aynı dosyayı güncellemesi durumunda son dosyanın ne olacağı merak ediliyor

• s3fs, rclone, goofys gibi dikkat çekici alternatifler var