DuckDB üzerinde dplyr tarzı bir pipeline denedim
(duckdb.org)DuckDB’yi analiz işlerinde kullanırken
yalnızca SQL ile de yeterince çok şey yapılabildiğini hissettim.
Ancak kişisel olarak,
SQL kullanırken analiz süreci uzadıkça
giderek daha fazla CTE kullandığım bir örüntü tekrarlanıyordu.
Ara durumlara isim verip sabitlemezsem
bu sorguyu hangi düşünce sırasıyla kurduğumu
kendim bile kolayca gözden kaçırabiliyordum.
dplyr söz diziminin aklıma gelme nedeni
R’yi uzun süredir kullanan biri olduğum için,
filter → mutate → group_by → summarise gibi
tabloları adım adım işleyen dplyr söz dizimi
zihnimde sürekli yer etmeye devam etti.
Aynı iş SQL ile de yapılabiliyor,
amma düşünce sırasını kodun içine olduğu gibi bırakmak açısından
bana biraz kullanışsız geldi.
Bu yüzden DuckDB üzerinde küçük bir deney yaptım
R runtime’ını yeniden eklemek istemedim,
öte yandan bu hissi sadece açıklamayla aktarmak da zordu;
bu yüzden DuckDB extension biçiminde, dplyr tarzı bir pipeline’ı
SQL’e dönüştüren küçük bir deney hazırladım.
Şu anda yalnızca aşağıdaki düzeyi kapsıyor.
select,filter,mutatearrangegroup_by,summarise- temel toplulaştırma fonksiyonları
Join’ler veya karmaşık yeniden yapılandırmalar (pivot vb.) henüz ele alınmıyor.
Bu, tam dplyr uyumluluğunu hedefleyen bir proje de değil.
Şimdilik benim kişisel rahatsızlığımdan yola çıkan bir deney;
benzer dertleri yaşamış olanların görüşlerini de merak ediyorum.
Henüz yorum yok.