Yerelde hızlıca geliştirdikten sonra bulutta büyük ölçekte çalıştırmak istediğinizde, kod değişikliği yapmadan çalışmayı sağlayan bir Infrastructure yığını. Notebook ile üzerinde çalışılan kod/veri/dependency gibi unsurları snapshot olarak oluşturup S3 veya dosya sistemine kaydederek workflow’u resume etme ya da geçmiş sonuçları reproduce etme gibi işleri mümkün kılar.
2 yorum
Neden MetaFlow olduğunu görmek için görselle anlatılan https://docs.metaflow.org/introduction/why-metaflow bağlantısına bakabilirsiniz.
Netflix ve AWS tarafından birlikte geliştirildiği için, derin entegrasyona sahiptir.
Local ortamda diske kaydedip notebook kurarak hızlı ve rahat bir şekilde geliştirme yapabilir,
AWS'ye taşıdığınızda ise aşağıdaki servisleri kullanarak büyük ölçekte çalıştırabilirsiniz.
Metadata - RDS veya Metaflow Metadata Service https://github.com/Netflix/metaflow-service
Datastore - AWS S3
Compute - AWS Batch https://aws.amazon.com/batch/
Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/
Scheduling - Step Functions https://aws.amazon.com/step-functions/
Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/
Gerçek makine öğrenimi/veri bilimi kütüphaneleri olarak PyTorch, Tensorflow, Scikit-Learn hangisini kullanırsanız kullanın, hepsiyle entegrasyon mümkündür.