Dağıtık Sistemler için Erasure Coding Teknolojisi

[GN⁺]

Hacker News görüşleri

• rateless fountain code'ların anılmamış olmasına şaşırmış

  • Luby Transform Code ilgi çekici
  • LT code'lar RFC6330'daki RaptorQ kodlamasında kullanılıyor

• Geçmişte önerilmiş bir network coding algoritması var

  • Bir dosya birden fazla yol üzerinden daha hızlı alınabiliyor

• Erasure coding eski bir teknoloji

  • Usenet'in PAR2 dosyalarını hatırlamak gerek

• Erasure coding ile ilgileniyorsanız çok boyutlu durumları düşünmelisiniz

  • Yalnızca spindle'lar değil, rack, oda, veri merkezi, bölge gibi çeşitli arıza alanları boyunca kodlamayı düşünmek gerekir

• Wirehair'i projede kullanmış biri olup olmadığını merak ediyor

  • Wirehair, ideal algoritma performansına ve API'ye sahip
  • Ancak Wirehair, bir spesifikasyon değil, bir fikrin uygulaması
  • Kararlı olsa da güvenilir bir spesifikasyona dönüştürülüp dönüştürülemeyeceği konusunda endişe var

• Ceph'in Erasure Code pool'unun temel teknolojisi

  • Kodlama parametreleri (k, m) sonradan güncellenemiyor
  • Bu esneksizlik yüzünden replikalar hâlâ yüksek erişilebilirlikli, arıza toleranslı veri depolamanın başlıca tercihi

• M of N olayı sırasında oluşturulan ürünün, tüm N erişilebilir olduğunda farklı biçimde kodlanıp kodlanmadığını merak ediyor

  • "N geri yüklendiğinde yeniden kodlama gerekir" anlamına gelen bir bit flag gerekebilir

• Rabin'in Information Dispersal Algorithm'ını hatırlatıyor

  • İlgili makaleye bağlantı verilmiş

• Bunun yalnızca salt okunur veya okuma ağırlıklı işler için mi pratik olduğunu merak ediyor

• Ceph'in dağıtık blob depolama için kullandığı replikasyon stratejilerinden biri