Apache Superset - Veri Keşfi ve Görselleştirme Platformu

 (superset.apache.org)
5 puan yazan GN⁺ 2024-02-27 | 1 yorum | WhatsApp'ta paylaş
  • Apache Superset, veri keşfi ve görselleştirmeyi tek yerde ele alan açık kaynaklı bir analiz platformudur; farklı uzmanlık seviyelerindeki kullanıcıların verilerle grafikler ve panolar üzerinden çalışmasını sağlar
  • Kodsuz görselleştirme oluşturucu ile SQL IDE’yi birlikte sunarak iş kullanıcılarının ve SQL kullanıcılarının verileri kendi yöntemleriyle keşfetmesine olanak tanır
  • SQL tabanlı veritabanlarına bağlanır; petabayt ölçeğindeki bulut yerel veritabanları ve motorlardan da yararlanabilir
  • Mevcut veri altyapısı üzerinde çalışan hafif ve ölçeklenebilir bir yapıyı hedefler; ayrı bir veri alma katmanı gerektirmez
  • 40’tan fazla görselleştirme, eklenti tabanlı genişletme, önbellekleme, Jinja şablonları, pano filtreleri ve semantik katman ile self-servis analiz akışlarını destekler

Veri Keşfi ve Görselleştirme Platformu

  • Apache Superset™, açık kaynaklı bir veri keşfi ve görselleştirme platformudur
  • Hızlı, hafif ve sezgisel kullanım sunmayı öne çıkarır; basit çizgi grafiklerinden ayrıntılı coğrafi-uzamsal grafiklere kadar çeşitli görselleştirmeleri destekler
  • Kullanıcılar verileri kodsuz görselleştirme oluşturucu veya SQL IDE üzerinden keşfedebilir
  • SQL tabanlı veritabanlarına bağlanabilir; modern bulut yerel veritabanları ve petabayt ölçeğindeki motorlar da kapsama dahildir
  • Mevcut veri altyapısından yararlanan hafif ve yüksek ölçeklenebilir bir mimariye sahiptir; ek bir veri alma katmanı gerekmez
  • 40’tan fazla önceden yüklenmiş görselleştirme türü sunar ve eklenti mimarisi ile özel görselleştirmeler de oluşturulabilir

Rollere Göre Dokümantasyon ve Topluluk

  • User Docs: Analistler ve iş kullanıcıları için dokümantasyon; veri keşfi, grafik oluşturma, pano oluşturma ve veritabanı bağlantılarını kapsar
  • Administrator Guide: Superset kurulum ve işletiminden sorumlu ekipler için dokümantasyon; kurulum, yapılandırma, güvenlik ve veritabanı sürücülerini kapsar
  • Developer Guide: Superset’e katkıda bulunan veya temel özellikler geliştiren mühendisler için dokümantasyon; REST API, genişletmeler ve katkı iş akışlarını kapsar
  • Community: Slack, GitHub, e-posta listeleri ve planlanan buluşmalar gibi topluluk kaynakları sunar

Self-Servis Analiz Özellikleri

  • Superset, panolar, Chart Builder, SQL Lab ve Datasets aracılığıyla etkileşimli panolarda verileri keşfetme ve içgörü bulma akışını destekler

  • Görselleştirme ve Pano Oluşturma

    • 40’tan fazla önceden yüklenmiş görselleştirme sunar
    • Hem sürükle-bırak hem de SQL sorgularını destekler
    • Grafik ve pano yükleme sürelerini azaltmak için veri önbellekleme sağlar
    • Jinja şablonları ve pano filtreleriyle etkileşimli panolar oluşturulabilir
    • CSS şablonlarıyla grafikler ve panolar markanın görünümüne uygun biçimde özelleştirilebilir

  • Analiz Genişletme Özellikleri

    • SQL veri dönüşümleri için semantik katman sağlar
    • cross-filter, drill-to-detail ve drill-by ile daha derin veri analizini destekler
    • Geçici veri keşfi için virtual datasets kullanılabilir
    • feature flags üzerinden yeni özelliklere erişilebilir

Kullanan Kuruluşlar

  • Superset, verileri keşfetmek ve görselleştirmek için kendisini kullanan binlerce şirket olduğunu belirtir
  • Kullanan kuruluş örnekleri olarak Xnet Mobile, UserGuiding, Preset, PlaidCloud, VLMedia ve Cirrus Assessment bağlantıları gösterilir

İlgili okumalar

1 yorum

 
GN⁺ 2024-02-27
Hacker News yorumları

  • Superset’i çok memnun kalarak kullandım; Tableau’nun yerine geçirdikten sonra geri dönmeyi hiç düşünmedim
    Superset Embedded SDK ile uygulamaya nasıl gömüleceğini anlamam biraz zaman aldı. Bu SDK, uygulamanın kimlik doğrulamasını kullanarak Superset panolarını kendi uygulamanızın içine koymanızı sağlıyor; çalışma biçimi, Superset sayfasını içeren bir iframe’i ana uygulamaya eklemek
    https://github.com/apache/superset/tree/master/superset-embe...
    Superset, yüksek kaliteli ve iyi bakımı yapılan grafik kütüphanesi ECharts üzerine kurulu
    https://echarts.apache.org/examples/en/#chart-type-linesG
    Topluluk yol haritası da açık
    https://github.com/apache/superset/projects?query=is%3Aopen
    Preset.io’ya ve ekibin projeye katkı verip onu iyi durumda tutmasına büyük saygı duyuyorum
    https://preset.io/blog/
    Superset kaynak kodu okunması ve anlaşılması kolay; bu sayede grafik yükünü azaltan gelişmiş önbellekleme teknikleri de uygulanabiliyor. Kusursuz bir BI yok ama birkaç yıldır izledikten sonra, ileride de amaçlandığı gibi çalışacak bir proje olduğuna güvenim oluştu; ayrıca bir gün bazı paketlerinin çeşitli görselleştirme ve veriyle uğraşma işlerinde yeniden kullanılabileceği de düşünülebilir
    Görselleştirmeye genelde önce ECharts ve basit bir React sarmalayıcısıyla başlıyor, power user’lar için bir alt alanda Superset’i çalıştırıp hangisinin daha iyi uyduğuna bakıyorum. Aynı görünüm korunursa kullanıcı deneyimi oldukça iyi oluyor

    • Açık kaynak BI aracı Evidence da ECharts kullanıyor; harika bir kütüphane. Sürüm kontrolüne uygun görselleştirme bildirim söz dizimi oluşturmada çok yardımcı oldu
      https://evidence.dev
      Önceki HN tartışması: https://news.ycombinator.com/item?id=35645464 (97 yorum)
    • Veri görünürlüğü ve yetkileri nasıl ele aldıklarını merak ediyorum. Çoğu tabloda yalnızca belirli kullanıcıların veya grup ID’lerinin görmesi gereken veriler var ve normalde bu katmandan uygulama sorumlu oluyor. Superset’in özelliklerini kullanıcılara açmak güzel olurdu ama güvenlik katmanını oluşturmak epey zahmetli olacak gibi
    • ECharts harika. https://github.com/openobserve/openobserve üzerinde birkaç ay Plotly kullandıktan sonra ECharts’a geçtik ve çok memnunuz
    • Keşke bu tür uygulamalar grafik gibi şeyleri SVG gömme olarak sunmaya başlasa. iframe çok zahmetli
    • Superset’i hiç kullanmadım. Tableau’dan daha iyi olduğunu düşündüğün noktaları birkaç örnekle daha açıklayabilir misin, merak ediyorum

  • Birkaç yıl önce Superset’i denemiştim; şimdi değişmiş olabilir ama sezgisel kelimesini ona en son yakıştırırdım
    Başka BI araçlarında birkaç dakikada çözebileceğim şeyleri Superset’te kelimenin tam anlamıyla saatlerce aramak zorunda kalmıştım. Üstelik arada temel kavram adlarını değiştirip çevrimiçi belgelerin yarısını tutarsız hale getirmeleri de yardımcı olmadı. O dönemde birlikte kullandığım şirket arkadaşlarım da benzer hissetmişti

    • Superset ne kullanımda ne de yapılandırmada sezgiseldi. Sonunda Metabase kurduk; çünkü tek bir jar olarak çalıştırılabildiği için başlamak çok kolaydı
      İş kullanıcıları da sevdi, ben de memnun kaldım; dahili h2 veritabanı yerine Postgres backend bağlayıp yönetmek de kolaydı
    • Dürüst olmak gerekirse, çoğu Apache projesini anlatırken sezgisel kelimesi en son kullanacağım kelime olur
    • Superset’te benzer bir deneyim yaşadım. Metabase’in daha iyi olduğuna katılıyorum; ama veriye farklı bir yaklaşım arıyorsanız Definite’a (https://www.definite.app/) da bakmaya değer. Daha çok “kutudan çıkan veri yığını” gibi
      Yerleşik veri ambarı olarak bir DuckDB veritabanı çalıştırıp verileri yükleyebiliyor; 500’den fazla bağlayıcıyla ayrı ETL olmadan Postgres, Stripe, HubSpot, Zendesk gibi verileri otomatik içeri alabiliyor
      Anlamsal katmanda boyutları, ölçümleri ve join’leri tek yerde tanımlıyor; desteklediği her kaynak için önceden oluşturulmuş modeller de var. Örneğin Stripe modelinde MRR, churn oranı gibi ölçümler zaten bulunuyor
      Basit bir BI yaklaşımıyla istediğiniz veri tablosunu oluşturuyor, ardından o tablodan görselleştirme üretiyorsunuz. Sorular için mike@definite.app adresinden iletişime geçilebilir
    • Superset’i kısa süredir kurcalıyorum ve katılıyorum. SQL’de kolay olan işler Superset’te rahatsız edici derecede zor ya da belirsiz
      Belgeler de en iyi ifadeyle zayıf
    • Ben kullandığımda hızlı da değildi
      Aksine düzinelerce Python runtime hatası ve sayısız kusurla doluydu. Şu an Metabase doğru cevaba daha yakın

  • Superset veya Metabase gibi tam kapsamlı BI araçları, hedeflenen kullanım senaryolarında harika
    Ama ana kullanım amacınız teknik olmayan son kullanıcılar için ara sıra yarı etkileşimli raporlar hazırlamaksa ve standart grafikler ile tablolar çoğunlukla yetiyorsa fazla gelebilir. Özellikle SQL’e aşinaysanız ve kaynak veri kaynağına erişiminiz varsa bu daha da geçerli
    Bu durumlarda SQLPage ve Evidence çok işime yaradı. SQL’i hızlıca yazıp temiz ve profesyonel görünen bir web UI’a dönüştürerek son kullanıcıya sunmak kolay. Evidence statik üretilen bir site, SQLPage ise canlı veritabanına bağlanan bir web uygulaması
    SQLPage: https://sql.ophir.dev/
    Evidence: https://evidence.dev

  • Superset’i seviyorum
    2017’den beri iki iş yerinde üretim ortamına alıp kullandım; şu anki iş yerim büyük bir şirket
    Genel amaçlı veritabanı tabanlı dashboard sistemi olarak en iyisi olduğunu düşünüyorum. Tableau veya Power BI’a para vermeyi düşünmüyorum
    Airflow için de aynı şey geçerli

    • Airflow için de aynı şeyin geçerli olmasının ne anlama geldiğini pek anlamadım

  • Wikipedia’nın Superset instance’ını kullanarak Wikipedia’nın iç veritabanlarını sorgulayabilirsiniz
    https://superset.wmcloud.org
    https://phabricator.wikimedia.org/T169452
    Eskiden bununla özel istatistikler oluşturmuştum
    https://github.com/altilunium/wikiidmon

  • İlgili yazılar. Başka neler var merak ediyorum
    Open source Business intelligence platform made with Python - https://news.ycombinator.com/item?id=29368664 - Kasım 2021 (49 yorum)
    Apache Superset 1.1 - https://news.ycombinator.com/item?id=27439939 - Haziran 2021 (28 yorum)
    The Apache Software Foundation Announces Apache Superset as a Top-Level Project - https://news.ycombinator.com/item?id=25905277 - Ocak 2021 (1 yorum)
    Apache Superset is an enterprise-ready business intelligence web application - https://news.ycombinator.com/item?id=21133931 - Ekim 2019 (7 yorum)

  • Superset güçlü ama neden küçük pürüzleri düzeltmediklerini merak ediyorum. Örneğin spinner piksellerinin hizasız olması, tablo hücre değerlerinin kopyalanamaması veya tablodaki sayılar için sabit genişlikli font kullanılmaması gibi şeyler. Ürünün içinde böyle yüzlerce küçük can sıkıntısı var

    • Düzeltmeye çalışıyoruz. Rahatsız eden yerler varsa elbette PR ve issue da kabul ediyoruz
      İnsanların istediği yeni özellikleri yapmak ile sürekli ortaya çıkan bu görsel sorunları düzeltmek arasında her zaman denge kurmamız gerekiyor

  • Superset ve Metabase’i ikisini de kullanmış biri var mı merak ediyorum. Birkaç projede Metabase kullandım ve oldukça iyiydi. Superset daha güçlü de görünüyor
    Küçük veri kümeleriyle BI için de kullanmaya değer mi merak ediyorum

    • Şu anki şirkette Metabase kullanıyoruz; Superset konusunda da birkaç yıl öncesine dayanan epey deneyimim var
      Metabase’i seçme nedenimiz tablo join desteğinin olmasıydı. Ben kullandığımda Superset’te join yoktu; sonradan eklendi mi bilmiyorum. Görünüm olarak da Metabase biraz daha cilalı duruyor
      Yine de kişisel olarak Superset’i çok daha fazla tercih ederim. Metabase’i kullanılabilir hale getirmek için birçok özelliği kapatmam gerekti; “the_table”ı “The Table” diye göstermesinden, model ile “soru” arasındaki opaklığa kadar sürekli rahatsız ediyordu. Bir soruyu değiştirmeye çalıştığımda her seferinde yeni soru oluşturmaya çalışması da sinir bozucuydu
      Özellikle çok sayıda sorunun veri kaynağını değiştirmek istediğimde, Metabase’in yeni soru oluşturmadan bunu temiz bir şekilde değiştirmenin bir yolunu sunmaması büyük sorundu
      Ayrıca Metabase’te serialization ancak para ödeyip self-host ederseniz mümkün. Zaten self-host ederken tam olarak neye para verdiğimi bilmiyorum ve bu epey rahatsız edici
      https://www.metabase.com/docs/latest/installation-and-operat...
      Yine de tablo join’i yapılabiliyor. Bazen tek başına bu bile Metabase’e katlanmaya değer
    • Yaklaşık 60 gün önce yazdığım şeyi yeniden aktarırsam: Yakın zamanda Superset, Metabase ve Lightdash’i hızlıca karşılaştırdım; üçünün de açık kaynak olduğunu ve hosting seçenekleri bulunduğunu gördüm. Hepsinin ciddi zayıflıkları vardı ama sonunda Lightdash’i seçtik
      Superset, yalnızca veri görselleştirme açısından bakıldığında en iyisi; ancak mevcut bir yıldız şeması varken iş kullanıcıları için self-servis BI aracı olarak neredeyse işe yaramaz hissettirdi. Superset’te join’lerin nasıl yapılacağına ilişkin bu issue, stalebot’un ortalığı karıştırması da dahil olmak üzere Superset BI’ın zorluklarını tek bakışta gösteriyor
      https://github.com/apache/superset/issues/8645
      Metabase oldukça iyi ve düşük maliyetli BI’ı hızlıca kurmak isteyen startup’lar için kesinlikle doğru tercih. Hâlâ güçlü biçimde tablo merkezli bir bakış açısı var ama basit görselleştirmeden çok BI için yapılmış hissi veriyor
      Lightdash’in YAML, front-end’de yapılan pivot ve simetrik agregasyon eksikliği gibi büyük kusurları var; ama Looker’dan açıkça etkilenmiş ve iş kullanıcılarına doğrudan kullanılabilir tablo grupları sunmak kolay. Google satın almadan önce Looker’ı sevmiştim; bizim iş kullanıcılarımız yıldız ve kar tanesi şeması terimlerini bilmese de bu tür yapılara aşinaydı ve Lightdash’i mevcut veri ambarımızın üstüne koymak kolaydı
    • Açıkçası Metabase, Superset’ten daha kullanıcı dostu. Buna karşılık Superset çok daha özgür bir lisansa sahip; bu yüzden Superset’i özelleştirmek veya veri uygulamaları yapmak isteyenler için ideal
    • Metabase iyi. Oracle Database ile birlikte kullanıyoruz

  • Şirkette Metabase çok kullanılıyor. Ama bu tür araçların hepsinin zayıf göründüğü nokta, yüzlerce dashboard ve soruyu düzenleme biçimi
    İçinde wiki gibi bir şey olup gezinme yapısını daha iyi kurabilsek güzel olurdu. İyi bir yöntem bilen var mı merak ediyorum

    • Tamamen katılıyorum
      Yardımcı olan yöntemlerden biri, Metabase’i kendi veritabanına bağlayıp sorgular üzerine sorgular yazmak
      select *
      from report_card
      where dataset_query ilike '%' || {{query}} || '%'
      Yazar veya son çalıştırılma zamanı gibi metaverileri de join edebilirsiniz
      Collection dizin yapısını temiz ve tutarlı tutmak için gerçekten uğraşıyoruz ama yine de hâlâ zor
    • https://datahubproject.io/integrations’a bir bakmak iyi olabilir. Bugün ilk kez duydum ama oldukça umut verici görünüyor. LinkedIn’den ayrılmış bir açık kaynak proje ve Metabase dahil birçok entegrasyonu var
    • Bunu görünce aklıma bir fikir geldi. Metabase SQL sorgularını sonuçların ya da sorgunun kendisinin benzerliğine göre gruplayamaz mıyız diye düşünüyorum
      Bir başka yöntem de LLM ile sorguları özetleyip, etiketleyip, gruplandırarak daha kolay bulunur hâle getirmek olabilir

  • Tek başına veri analizi yapan biri için de Superset’in uygun bir araç olup olmadığını merak ediyorum
    Örneğin birkaç sqlite veritabanım var ve sadece sorgular ile grafikler geliştirmek istiyorum. Tableau, Power BI ve Superset’e baktım; hepsi tek kullanıcı için epey ağır göründü ve yerel kurulumları da çok kolay görünmedi
    Tek kullanıcı için iyi bir yazılım ya da bu tür ağır araçları daha rahat çalıştırmanın bir yolu varsa öneri almak isterim

    • Veri analizi yapıyorsanız, bahsettiğiniz üç aracın pek yardımcı olacağını sanmıyorum
      Bu ürünleri, hazırlanmış veri kümelerini kullanıcılara güzel şekilde gösteren veri görselleştirme ve raporlama araçlarına daha yakın görüyorum. Ciddi analiz için daha az uygunlar
      Superset veya Tableau’yu iyi bilmiyorum ama Power BI kurum genelinde kullanıldığı için ona aşinayım. Power BI ile yapabileceğiniz istatistikler oldukça temel. Sayım, ortalama, minimum, maksimum gibi özetlerin ötesine geçince pek kolay değil
      Veri analizi için SAS veya R kullanıyorum. Bu yazılımlar çok değişkenli regresyon, zaman serisi tahmini, temel bileşen analizi, kümeleme analizi gibi işleri yapabiliyor ve grafik özellikleri de var
      İkisi de biraz eski usul sayılır. 2000’lerin başından beri kullanıyorum; günümüzdeki yaklaşım Python gibi görünüyor. Kurumumuzdaki yeni veri bilimi çalışanlarının neredeyse tamamı Python kullanıyor; özellikle Pandas ve Seaborn(https://seaborn.pydata.org/) gibi kütüphaneler çok kullanılıyor
      Kurumumuzdaki Power BI uzman kullanıcıları genelde finans veya HR tarafında; maliyet rakamlarında drill-down yapmak ya da KPI’ları ve temel metrikleri yönetime etkileşimli biçimde göstermek için çok kullanıyorlar
    • Tableau üçü içinde en iyisi, en güçlüsü, en olgunu; özellikleri en eksiksiz olanı ve kullanımı da en kolay olanı. Bildiğim kadarıyla 30 günlük deneme sürümü sunuyor
      Tek kullanıcılı bir uygulama olarak kullanılabilir; geliştirdiğiniz bir uygulamanın parçası olarak içine yerleştirmediğiniz sürece bu şekilde kullanmanız yeterli