Flat Data - GitHub'ı veri ETL aracı ve deposu olarak kullanmak

 (octo.github.com)
9 puan yazan xguru 2021-05-20 | 1 yorum | WhatsApp'ta paylaş
<p>- Git Scraping tekniğini kullanarak hafif veri tabanlı uygulamaların kolayca geliştirilmesine yardımcı olan bir proje<br /> → Kendi altyapınızı kurmadan Data ETL oluşturup kullanma<br /> - 3 bileşen<br /> → Flat Action : veri çekme/dönüştürme işlemlerini yapan GitHub Action<br /> → Flat Editor : Flat Data Workflow'u düzenlemek için GUI (VS Code eklentisi)<br /> → Flat Viewer : repoda saklanan Flatfile'ı görüntüleyip filtreleyebileceğiniz/paylaşabileceğiniz web sitesi <br /> <br /> Flat Data kullanım şekli<br /> 1. Flat Action ile HTTP veya SQL sorgusu (MySQL, Postgres, SQLite, MongoDB vb.) üzerinden veri alma <br /> → Hisse senedi/kripto fiyatları, Excel to CSV, COVID Dashboard vb. verileri alıp GitHub repo'suna vb. kaydetme<br /> 2. Veri dönüştürme <br /> → GitHub Action ile postprocess yapıp yeni bir dosya olarak kaydetme <br /> 3. Veri görselleştirme <br /> → Herhangi bir GitHub adresine sadece `flat` ekleyerek veriyi gösteren bir GUI aracı sağlıyor : https://flatgithub.com/the-pudding/data<br /> <br /> Flat Data'nın yapılma nedeni<br /> - Verileri kullanmak için genellikle dağıtık sistemler ve büyük altyapılar gerekir <br /> - Geliştiricilerin bu tür verilere kolayca erişebilmesi için veri edinme/arıtma işlerini GitHub Actions ile yapmalarına yardımcı olmak <br /> - Karmaşık bağımlılıklar, kütüphaneler, paket yöneticileri, altyapı vb. hakkında bilgi sahibi olmadan veriyi repo'da saklama<br /> <br /> * Bu proje, GitHub OCTO (Office of the CTO) geliştirici deneyimi ekibinin yürüttüğü bir deneydir; GitHub'ın resmî ürünü değildir. MIT lisanslıdır. </p>

İlgili okumalar

1 yorum

 
xguru 2021-05-20
<p>Simon Willison’ın ortaya koyduğu Git Scraping tekniğini GitHub benimseyip harika bir ürüne dönüştürmüş<br /> - Git Scraping - web değişikliklerini Git Repo’ya kaydetmek https://tr.news.hada.io/topic?id=3008<br /> <br /> Simon, TIL (Today I Learned)’i GitHub indeksinde saklama ipucuyla da tanınıyor.<br /> - GitHub Actions ile TIL README indeksini otomatik oluşturmak https://tr.news.hada.io/topic?id=1936</p&gt;