Amphi - Açık kaynak Python ETL

• Çeşitli kaynak ve formatlardan veriyi çıkarmak, hazırlamak ve düzenlemek için tasarlanmış Python tabanlı ETL
  • Hem yapılandırılmış hem de yapılandırılmamış dosyaları destekler (CSV, Parquet, PDF, Word, HTML vb.)
• Hem veri bilimcilerin hem de veri mühendislerinin sezgisel bir low-code arayüzle pipeline’ları kolayca geliştirebilmesini ve aynı zamanda her yerde dağıtılabilecek Python kodu üretebilmesini hedefliyor
  • GUI ile veri pipeline’ları tasarlayıp on-premise/bulut fark etmeksizin her yere dağıtılabilecek yerel Python kodu üretir
• Dosyadan veritabanına veri entegrasyonu, veri bilimi ve LLM tabanlı sistemler için veri çıkarma ve hazırlama ile API alma ve zenginleştirme işlemlerinde üstün performans gösterir

[xguru]

Hacker News görüşleri

• Amphi, yapılandırılmış ve yapılandırılmamış veriler için düşük kodlu bir ETL aracı; dosya entegrasyonu, veri hazırlama, veri migrasyonu ve yapay zeka işleri için veri pipeline'ları oluşturmada faydalı. Python kodu üretiyor, bu yüzden her yerde deploy edilebiliyor.
• Veri işlerini alan dışı kişilerin kolayca yapabilmesini sağlamak her zaman iyi bir şey değil. Python ve SQL yazmak zorsa, başka bir iş düşünmek daha iyi olabilir.
• Başlık değiştirilmeli. Açık kaynak değil, Elastic License v2 lisanslı.
• Açık kaynak değil. Başlık yanıltıcı.
• ETL kısaltmasını bilmeyenler için web sitesine bir açıklama eklemek iyi olabilir.
• Açık kaynak Python ETL araçları olarak dlthub.com ve hub.meltano.com daha iyi seçenekler. Meltano'yu gerçekten kullanıyorum ve memnunum.
• Amphi'nin pandas benzeri rapidsai dask_cudf framework'ünü destekleyip desteklemediğini merak ediyorum.
• Fikir iyi ama dokümantasyondaki yüksek seviyeli soyutlama hatalı. Veri pipeline'ında tablo gibi davranan şeyleri tanımlayabilmeli ve dönüşümler uygulayabilmelisiniz. Ücretsiz bir araç olması ise takdire değer.
• Dagster'dan memnunum ama Amphi de ilginç görünüyor.
• Amphi gibi bir aracın nasıl ortaya çıktığını merak ediyorum. Zaten birçok açık kaynak Python ETL aracı varken, bunun belirli bir sorunu çözmek için mi yapıldığını yoksa bir tutku projesi mi olduğunu öğrenmek isterim.