Facebook SQL'i Nasıl Hızlandırıyor

• Presto büyük ölçekte kullanılıyor: 40 bin sunucu, günde yaklaşık 1 ExaByte veri taraması, bunun %80'den fazlası yeni ETL

→ Compute ve Storage'ın ayrılması

• Presto iyi çalışıyordu, ancak daha hızlı sorgular (1 saniyenin altı) için Raptor geliştirildi

→ Yerel SSD'de önbellekleme, dosya düzeyinde metastore

→ Compute ve Storage yeniden birleşti → ölçekleme ve yönetim zorlaştı

• Geçen sonbahardan beri Alluxio'yu değiştirerek Raptor'un yerine geçecek bir çözüm geliştirilmeye başlandı: Alluxio Local Cache

→ Raptor'a benzer performans, ancak yerel SSD'ye önbellek alma zorunluluğu yok

→ Alluxio, birden çok hesaplama motorunu birden çok depolama katmanına bellek tabanlı olarak bağlayan sanal dağıtık dosya sistemi niteliğinde bir ara katman

• Alluxio Local Cache

→ 2.2 sürümünden itibaren resmi sürüme dahil

→ Tüm Alluxio'yu kullanmaya gerek kalmadan Presto Server JVM içine gömülebilen bir kütüphane

• Facebook'un tüm Presto filosunda Raptor neredeyse tamamen kaldırıldı ve Alluxio Local Cache kuruldu

→ Facebook verilerine ORC dosya formatında HDFS arayüzü üzerinden erişilebiliyor

→ Yerel SSD de kullanılıyor, ancak önbellekte yoksa uzak depolamaya da erişilebiliyor

→ Presto'da yaklaşık %30~%50 performans artışı

→ Raptor'a kıyasla uzak depolama erişimi %57 azaldı

→ Alluxio Cache'in isabet oranı %90'ın üzerinde

→ 6 ay içinde Raptor'un tamamen kaldırılması planlanıyor