Flat Data - GitHub'ı veri ETL aracı ve deposu olarak kullanmak
(octo.github.com)- Git Scraping tekniğini kullanarak hafif veri tabanlı uygulamaların kolayca geliştirilmesine yardımcı olan bir proje
→ Kendi altyapınızı kurmadan Data ETL oluşturup kullanma
- 3 bileşen
→ Flat Action : veri çekme/dönüştürme işlemlerini yapan GitHub Action
→ Flat Editor : Flat Data Workflow'u düzenlemek için GUI (VS Code eklentisi)
→ Flat Viewer : repoda saklanan Flatfile'ı görüntüleyip filtreleyebileceğiniz/paylaşabileceğiniz web sitesi
Flat Data kullanım şekli
- Flat Action ile HTTP veya SQL sorgusu (MySQL, Postgres, SQLite, MongoDB vb.) üzerinden veri alma
→ Hisse senedi/kripto fiyatları, Excel to CSV, COVID Dashboard vb. verileri alıp GitHub repo'suna vb. kaydetme
- Veri dönüştürme
→ GitHub Action ile postprocess yapıp yeni bir dosya olarak kaydetme
- Veri görselleştirme
→ Herhangi bir GitHub adresine sadece flat ekleyerek veriyi gösteren bir GUI aracı sağlıyor : https://flatgithub.com/the-pudding/data
Flat Data'nın yapılma nedeni
-
Verileri kullanmak için genellikle dağıtık sistemler ve büyük altyapılar gerekir
-
Geliştiricilerin bu tür verilere kolayca erişebilmesi için veri edinme/arıtma işlerini GitHub Actions ile yapmalarına yardımcı olmak
-
Karmaşık bağımlılıklar, kütüphaneler, paket yöneticileri, altyapı vb. hakkında bilgi sahibi olmadan veriyi repo'da saklama
- Bu proje, GitHub OCTO (Office of the CTO) geliştirici deneyimi ekibinin yürüttüğü bir deneydir; GitHub'ın resmî ürünü değildir. MIT lisanslıdır.
1 yorum
Simon Willison’ın ortaya koyduğu Git Scraping tekniğini GitHub benimseyip harika bir ürüne dönüştürmüş
Simon, TIL (Today I Learned)’i GitHub indeksinde saklama ipucuyla da tanınıyor.