Kendi kullanım senaryom için Airflow gerçekten en iyi seçenek mi, bir bakalım

• Airflow’a çok fazla alternatif var; bu yüzden kendi kullanım senaryom için Airflow’un gerçekten en iyi çözüm olup olmadığını (hatta geçerli bir çözüm sayılıp sayılmayacağını) net biçimde doğrulamak gerekiyor
• İlgili yazıda bahsedilen alternatifler
  • Prefect
  • Dagster
  • Cadence
  • Temporal

[hmkim]

Ayrıca cwl, wdl, nextflow, snakemake vb. de var

[kbumsik]

Sorun şu ki, belli bir ölçekte bizzat deneyimlemeden önce Airflow'nun gerçekten size uygun olup olmadığını öngörmek pek kolay değil.
Bu kadar popüler olmasına rağmen, önceden fark etmesi zor bazı tuzakları var gibi görünüyor.

Etkinlik tabanlı DAGrun tetikleme eksikliği, kolay olmayan yerel geliştirme (airflow standalone 2.2'de geldiği için biraz daha rahatladı), dinamik olmayan DAG yapısı, iç çalışma mantığını iyi bilmiyorsanız jinja template kullanmayıp Variable'ı yanlış kullanmaya çok açık olması gibi şeyler...

Bir sonraki projede bir kez de Dagster'ı deneyimlemek istiyorum.