Airflow’u büyük ölçekte işletirken öğrenilen dersler

Shopify bunu veri çıkarma, makine öğrenimi modeli eğitimi, Apache Iceberg tablo bakımı ve DBT tabanlı veri modelleme gibi işler için kullanıyor

1. Bulut depolama kullanıldığında dosya erişimi yavaş olabilir
   → GCS + NFS ile performansı iyileştirme
2. Meta veri hacmi büyüdüğünde Airflow operasyonları yavaşlayabilir
   → Retention politikası kullanarak 28 gün olarak ayarlama
3. DAG’leri kullanıcılar ve ekiplerle ilişkilendirmek zor olabilir
   → Merkezi bir meta veri deposu kullanma
4. DAG yazarları çok fazla yetkiye sahip olur
   → DAG policy kullanma
5. Tutarlı yük dengelemesini garanti etmek zordur
   → Trafik patlamalarını azaltmak için standartlaştırılmış zamanlamalar oluşturma
6. Birden fazla kaynak çekişmesi noktası vardır
   → Pools, Priority Weight, Celerey Queue ve Isolated Workers kullanma