- Tam yönetilen bir hizmet olarak iş akışı (WAAS) sunan, genel amaçlı ve yatay ölçeklenebilir bir workflow orchestrator
- Veri pipeline'ları ve makine öğrenimi model eğitim pipeline'ları gibi büyük ölçekli iş akışlarını yönetir
- Yeniden deneme, kuyruklama, iş dağıtımı gibi iş akışı yaşam döngüsünün tamamını denetler
- Çeşitli biçimlerde iş mantığı paketlerini destekler (
Docker image'ları, notebook'lar, bash script'leri, SQL, Python vb.)
- Yalnızca DAG (Directed Acyclic Graph) değil, hem asiklik olmayan hem de döngüsel iş akışlarını da destekler
foreach döngüsü, alt iş akışları, koşullu dallanma gibi çeşitli yeniden kullanılabilir pattern'ler içerir- JSON biçiminde esnek ve güçlü orkestrasyon tanımları
- Temel özelliklerde (yazar, sahip bilgisi, çalıştırma ayarları) tutarlılığı korur
- Her iş akışı değişikliğinde yeni sürüm oluşturur; izleme ve kolay geri alma mümkündür
- Netflix'te veri bilimciler, veri mühendisleri, makine öğrenimi mühendisleri, yazılım mühendisleri, içerik üreticileri ve iş analistleri dahil binlerce kullanıcı bu hizmeti çeşitli kullanım senaryoları için kullanıyor
- Hizmetin varlığı 2 yıl önce duyurulmuştu, bu kez açık kaynak olarak yayınlandı
- ETL pipeline'ları, ML workflow'ları, AB test pipeline'ları gibi çeşitli iş akışı kullanım örneklerini destekler
- Yatay ölçeklenebilirlik sayesinde çok sayıda iş akışını ve her bir iş akışı içindeki çok sayıdaki işi yönetebilir
- Her gün yüz binlerce workflow ve milyonlarca işi zamanlıyor; trafik ani artışlarında bile sıkı SLO'larla çalışıyor
- Netflix içindeki mevcut milyonlarca iş akışını kesinti olmadan Maestro'ya başarıyla migrate etti
- Son 1 yılda çalıştırılan iş sayısı %87,5 arttı
- Günde ortalama yüz binlerce iş çalıştırıyor ve yoğun günlerde yaklaşık 2 milyon işi tamamlıyor
1 yorum
Bu kez açık kaynak olarak yayımlanırken yazılan tanıtım metnini yapay zeka özetlemiş galiba: Maestro: Netflix'in iş akışı orkestratörü
Ama Maestro adını taşıyan şeyler gerçekten fazla, haha
Maestro - Linux ile uyumlu Rust tabanlı çekirdek
Maestro - mobil uygulama otomasyonu UI test framework'ü