- Farklı kaynaklardan veri toplama, SQL ve Python ile veri dönüştürme ve veri kalitesi kontrolleri ekleyerek uçtan uca akış kurmaya yönelik birleşik bir çerçeve
- Bunu tek bir yapıda dbt + Airbyte + Great Expectations benzeri şekilde sunuyor
- Go ile yazılmış bir CLI ve onunla entegre çalışan VS Code eklentisinden oluşuyor. VS Code içinde hat oluşturma, yönetme ve dağıtım mümkün
- Veri toplama için
ingestr kullanılıyor
ingestr, Python ile yazılmış ayrı bir açık kaynak CLI; veri kaynakları arasında kolay kopyalama işlemlerini yönetiyor- Desteklenenler: AWS Athena, Databricks, DuckDB, Google BigQuery, Microsoft SQL Server, Postgres, Redshift, Snowflake, Synapse, Pager
- SQL ve Python kullanarak veri dönüştürme (dbt'ye benzer)
- Python ortam yönetimi için
uv kullanılıyor. İzole şekilde çalıştırıyor
- Veri kalitesi kontrolleri yerleşik olarak geliyor
- Jinja şablonlarını destekliyor
dry-run desteği sayesinde veri hattını baştan sona doğrulamak mümkün- Yerel makinede, EC2 instance'larında ve GitHub Actions üzerinde çalışabiliyor
- Ortam değişkenleriyle secret injection desteği
- Çeşitli tablo/görünüm materialization stratejilerini destekliyor; incremental tablolar dahil
Henüz yorum yok.