AWS RedShift CI/CD Kurulum Hikâyesi

 (medium.com)
3 puan yazan xguru 2020-02-18 | 2 yorum | WhatsApp'ta paylaş

Here Mobility'nin veri mühendisleri ve analistler için Database CI/CD'yi nasıl kurduğu.

  • Mevcut durumda analiz ekibi, S3 veri gölündeki verileri PySpark ETL ile RedShift'e gönderiyordu. Bunun için gereken SQL betikleri de analiz ekibinin sorumluluğundaydı.

  • PySpark kodu uygulama CI/CD sürecini takip ettiği için sorun yoktu, ancak RedShift'e yönelik SQL kodlarında test etme/sürümlendirme/izleme zordu.

  • Sürüm kontrolü ve kod doğrulaması yapan, Jenkins pipeline'ına entegre olan ve otomatik olarak RedShift'e dağıtım yapan RedShift'e özel bir CI/CD aracı olan redCI geliştirildi.

  • redCI - Python koduyla Redshift ve Postgres'e bağlanıp PSQL uyumlu betik dosyalarını okuyup çalıştırabiliyor. Redshift sözdizimini PSQL'e dönüştürüyor. Bu sayede unit test çalıştırılabiliyor.

  • Gerçek uygulama sırasında ortaya çıkan sorun: RedShift, Postgres 8 tabanlı olsa da desteklediği fonksiyonlar farklı olduğu için sorun çıkabiliyor; bunu dönüştürdükten sonra Docker ile ayağa kaldırılan Postgres üzerinde çalıştırarak çözdüler.

İlgili okumalar

2 yorum

 
xguru 2020-02-18

Here, eskiden Navteq'ti; ardından Nokia tarafından satın alındı ve şimdi de Alman Audi/BMW/Daimler AG konsorsiyumunun satın aldığı bir harita/konum bilgisi hizmeti şirketidir.
 
xguru 2020-02-18

redCI’nin kendisini açık kaynak olarak yayımlasalar iyi olurdu, ama görünüşe göre henüz o aşamaya gelmemişler.