Bruin - Go ile yazılmış birleşik veri hattı açık kaynağı

• Farklı kaynaklardan veri toplama, SQL ve Python ile veri dönüştürme ve veri kalitesi kontrolleri ekleyerek uçtan uca akış kurmaya yönelik birleşik bir çerçeve
  • Bunu tek bir yapıda dbt + Airbyte + Great Expectations benzeri şekilde sunuyor
• Go ile yazılmış bir CLI ve onunla entegre çalışan VS Code eklentisinden oluşuyor. VS Code içinde hat oluşturma, yönetme ve dağıtım mümkün
• Veri toplama için ingestr kullanılıyor
  • ingestr, Python ile yazılmış ayrı bir açık kaynak CLI; veri kaynakları arasında kolay kopyalama işlemlerini yönetiyor
  • Desteklenenler: AWS Athena, Databricks, DuckDB, Google BigQuery, Microsoft SQL Server, Postgres, Redshift, Snowflake, Synapse, Pager
• SQL ve Python kullanarak veri dönüştürme (dbt'ye benzer)
• Python ortam yönetimi için uv kullanılıyor. İzole şekilde çalıştırıyor
• Veri kalitesi kontrolleri yerleşik olarak geliyor
• Jinja şablonlarını destekliyor
• dry-run desteği sayesinde veri hattını baştan sona doğrulamak mümkün
• Yerel makinede, EC2 instance'larında ve GitHub Actions üzerinde çalışabiliyor
• Ortam değişkenleriyle secret injection desteği
• Çeşitli tablo/görünüm materialization stratejilerini destekliyor; incremental tablolar dahil