16 puan yazan GN⁺ 2025-05-04 | 2 yorum | WhatsApp'ta paylaş
  • DuckDB'nin jeouzamsal genişletme özelliği, SQL tabanlı basit bir arayüzle jeouzamsal verilere erişim engelini çarpıcı biçimde düşürüyor
  • Bu sayede genel veri analistleri bile iki satır kodla jeouzamsal analiz yapabilir hale geldi
  • 2023 sonundan bu yana 'geospatial' aramalarına ilgi hızla arttı ve bu, DuckDB'nin genişletmesinin yayımlandığı dönemle örtüşüyor
  • Overture Maps gibi yeni jeouzamsal projelerin yaygınlaşmasının da DuckDB'nin etkisini yansıtan bir sonuç olduğu değerlendiriliyor
  • DuckDB ekibi, karmaşık bağımlılıkları ve GIS araç entegrasyonunu içeride çözerek kullanıcı deneyimini sadeleştiriyor

DuckDB jeouzamsal alanı nasıl değiştirdi?

  • Yazar, yakın zamanda düzenlenen Cloud-Native Geospatial Conference 2025 etkinliğine katılarak jeouzamsal verinin yaygınlaşmasını tartıştı
  • Temel soru, jeouzamsal verinin daha fazla endüstriye nasıl yayılabileceğiydi ve bu tartışmanın merkezinde DuckDB vardı
  • 2023 sonuna kadar 'geospatial' anahtar sözcüğünün arama hacmi durağandı, ancak DuckDB'nin jeouzamsal genişletmesi çıktıktan sonra hızla yükseldi
  • DuckDB'nin etkisini destekler biçimde, Google Trends'te DuckDB ve geospatial anahtar sözcükleri birlikte yükseliş gösterdi
  • Elbette nedensellik kesin olarak söylenemez, ancak yazar bu korelasyonu anlamlı buluyor

Yalnızca iki satırla jeouzamsal analiz mümkün

install spatial;   
load spatial;  
  • Geçmişte çok sayıda paketin kurulması ya da derlenmesi ve ayrıca bir veritabanı altyapısının oluşturulması gerekiyordu
  • Buna karşılık DuckDB, tek bir SQL arayüzüyle jeouzamsal analiz ortamını tamamlıyor
  • Sonuç olarak, SQL bilen herkes kolayca erişebiliyor ve IT altyapısı yükü de azalıyor

Overture Maps de DuckDB sayesinde mi?

  • Yazar, Overture Maps Foundation'ın başarılı benimsenmesinin DuckDB olmadan mümkün olup olmayacağını sorguluyor
  • DuckDB olmasaydı, jeouzamsal veriyle çalışmanın ilk giriş engeli çok yüksek olurdu diye tahmin ediyor

Hacker News'teki ek tartışmalar

  • DuckDB geliştiricisi Max, PROJ DB, GDAL, QGIS gibi FOSS GIS araçlarının içeride bundle edilerek bağımlılıkların kaldırıldığını vurguladı
  • Bu sayede WASM gibi farklı platformlarda karmaşık kurulum süreçleri olmadan kullanılabiliyor
  • Ayrıca vektörleştirilmiş out-of-core execution, sütun bazlı sıkıştırılmış depolama gibi yüksek performans özellikleri de entegre durumda
  • Son dönemde yeni bir geometry engine geliştirilmesi ve spatial join optimizasyonu da dev branch'e eklendi

Sonuç

  • DuckDB, karmaşık jeouzamsal araçların kurulumu ve birbirine bağlanması sorunlarını ortadan kaldırıyor ve her şeyi SQL ile birlikte sunuyor
  • Bu sayede jeouzamsal verinin yaygınlaşmasına belirleyici katkı yapan bir yazılım olarak değerlendiriliyor

2 yorum

 
zihado 2025-05-05

DuckDB fena gidiyor

 
GN⁺ 2025-05-04
Hacker News görüşü
  • DuckDB'yi seviyorum ve çoğunlukla coğrafi mekânsal analiz yapıyorum. Genelde coğrafi alanları Uber H3 altıgenleriyle bölüyor, Haversine mesafesi hesaplıyor, geometrik alan hesaplıyor ve bir noktanın hangi geometriye ait olduğunu belirliyorum. Bu işlevlerin hepsi zaten geopandas veya postgis'te vardı, bu yüzden DuckDB'nin mekânsal eklentisi yeni bir şey sunmuyor

    • Ancak DuckDB motoru, yerel masaüstünde büyük ölçekli parquet/geoparquet dosyalarıyla doğrudan çalışmayı mümkün kılıyor. Bu açıdan geopandas'tan üstün. Yaşam kalitesini artırıyor
    • DuckDB, Hilbert eğrisi ve Uber H3 desteği gibi sıra dışı coğrafi mekânsal özelliklere izin veren bir eklenti mimarisine sahip
  • Eskiden çeşitli açık kaynak paketlerini kurmak veya derlemek, yol konumlarını dikkatle not etmek ve uzmanlaşmış bir veritabanı kurmak gerekiyordu. Bu, genel veri çalışanlarının denemeyebileceği ya da BT departmanının desteklemeyebileceği kadar iş yükü demekti

    • "CREATE EXTENSION postgis;" komutunu 10 yılı aşkın süredir kullanıyorum. PG, MySQL, Oracle, MS SQL Server ve SQLite'ta uzun zamandır mekânsal eklentiler var. DuckDB kurulum kolaylığında gerçek bir fark yaratmıyor
  • "import geopandas" da var ve epey uzun süredir kullanılıyor. İğnelemeyi bir kenara bırakırsak, DuckDB'nin özel kılan şeyin ne olduğunu merak ediyorum. Yazar gerçek örnekler gösterseydi iddiasını daha iyi anlayabilirdim

  • Coğrafi mekânsal uygulamalar üzerinde çalışırken beni en çok heyecanlandıran yazılım Felt. Geliştiricilerin harita ve veri kaynağı kimlik doğrulama/yetkilendirmesini kontrol edebilmesi için araçlarını genişletip tenant izolasyonunu ve özel verilere erişimi mümkün kılmasını umuyorum. Bu, coğrafi mekânsal teknolojinin tüketici uygulamalarına entegre edilme biçiminde devrim yaratabilir

    • Bu yazı, bunun ne kadar niş bir pazar olduğunu kabul etmiyor. Koordinat sistemleri, projeksiyonlar, dönüşümler vb. hakkında çok fazla eğitim gerekiyor. Mümkünse pek çok özel haritalama aracını Felt ile değiştirmek isterim. Böylece tarayıcıda görüntüleme ve manipülasyon koduna odaklanmak yerine temel coğrafi mekânsal süreçlere odaklanabilirim. Bu, bakımını yapmak gereken LOC açısından neredeyse aynı hatta daha büyük
    • Başka bir yorumda da belirtildiği gibi, burada anlatılan DuckDB DX temelde PostGIS ile aynı
  • "geospatial install" ifadesinin, "pip install geopandas" ile kıyaslandığında sadelik açısından oyunun kurallarını değiştiren bir şey olduğunu düşünmüyorum

    • İkisi de tek satır
  • 'load extension postgis'den çok daha mı basit? geos ve gdal her zaman biraz uğraştırıcıydı ama docker'ın bunların hepsini soyutladığını hissediyorum. 'docker pull postgis' oldukça kolay. DuckDB'nin sunduğu diğer şeylere aşina değilim

  • Benzer bir projeyi tanıtmak için yorum bırakıyorum. Polars için bir coğrafi mekânsal eklenti üzerinde çalışıyorum. Henüz kararlı değil (oldukça yaklaştı), ama şimdiden neredeyse tam özellikli durumda (arka uç olarak GEOS ve PROJ kullanıyor, yani GeoPandas ile denk)

  • Veri setleri ne kadar büyük? Şirketimde finansal işlem ve raporlama verileri için DuckDB kullanmayı deniyoruz. Veri setleri S3 üzerinde yaklaşık 500GB CSV ve DuckDB bununla başa çıkamıyor

  • DuckDB ve GEOS lisanslarıyla ilgili endişelerim var. İlki MIT lisansı, ikincisi ise LGPL 2.1

    • Bu, bazı derlemelerin LGPL 2.1'i ihlal ettiği karmaşık durumlar doğuruyor. Örneğin kapalı kaynak uygulamalarla statik bağlantı
  • DuckDB coğrafi mekânsal işler için harika ama son 10 yılın en önemlisi mi? O kadar çok farklı araç kategorisi var ki benim için zirveye çıkmıyor. QGIS, postGIS (hâlâ standart), ArcGIS Online (hâlâ standart), mapbox gibi JS haritalama araçları (ben deckgl tercih ediyorum), COG, geopackage, geoparquet gibi yeni veri türleri, fotogrametri araçları, 3D tiles, gdal ve pdal, shapely gibi temel kütüphaneler ve daha fazlası var.