- "self-serve dashboards" pratikte iyi çalışmıyor. Çünkü mühendisler veya veri bilimciler, iş kullanıcıları için sorgu yazmaya ve panolar hazırlamaya çok zaman harcıyor.
"self-serve BI" neden çalışmıyor
- Tek gerçek "self-serve BI" aracı SQL'dir. Ancak çoğu "self-serve BI" sağlayıcısı SQL'i başka bir şey gibi göstermeye çalışıyor.
- İş paydaşlarının veriyi sorgulamasının önündeki tek engel SQL sorgusu yazmak değil. Verinin ne anlama geldiğini, nereden geldiğini, nasıl hesaplandığını anlamıyorlar; ayrıca sonuçları nasıl yorumlayıp doğrulayacaklarını da bilmiyorlar.
Deneme 1: geleneksel "açılır menü ve onay kutusu" yaklaşımı
- Bu arayüz, yalnızca "fareyle SQL" denemesinden ibaret. SQL'den daha iyi değil; hatta daha yavaş, daha az güvenilir, daha kısıtlı ve başka araçlara genellenebilir değil.
- CFO gibi biri bu arayüzü kullanarak veriyi sorgulamayacaktır. Çünkü veriyi anlayabileceği bağlam yoktur ve sonuçlar konusunda güven duyamaz.
Deneme 2: text-to-SQL yaklaşımı
- LLM'ler doğal dili SQL'e çevirmede neredeyse fazla başarılı. Soru uygun olmasa bile bir sorgu üretmeye çalışacaktır.
- Teknik kişiler, sorunun uygun olmadığını fark eder ve daha fazla bağlam ister. Mevcut veri türlerini açıklar ve doğru, faydalı sorular oluşturmak için iş tarafıyla birlikte çalışır.
- LLM'ler "self-serve BI" için gerçek çözüm olabilir, ancak şu anki halleriyle değil. Daha fazla bağlama ihtiyaçları var; belirsizliği ifade etmede ve daha fazla bilgi istemede daha yetkin olmaları gerekiyor.
Gerçekte işe yarayan şey
- "self-serve BI" sorunu SQL değil, verinin bağlamı ve anlamıdır. Çözüm, arayüzden bağımsız olarak insanlara sorguladıkları veri hakkında eğitim vermektir.
- Teknik ekibin tüm bilgiyi dokümante etmesi ciddi bir ek yük yaratır ve hızla güncelliğini yitirir.
- "self-serve BI" için gerçek çözüm, teknik olmayan kişiler için BI'ı "self-serve" hale getirmek değil; teknik kişilerin daha iyi araçlar kullanarak iş paydaşlarını daha verimli desteklemesini sağlamaktır.
Daha iyi araçlar için öneriler:
- LLM'leri iş paydaşlarına değil, teknik kişilere verin.
- Python, R gibi rahat oldukları araçlarla veriyi özgürce işleyebilmelerini sağlayın.
- Teknik kişilerin yaptıkları işi kolayca paylaşabilmesini sağlayın. Notebook'lar ve iç veri uygulamaları; container'lar, bağımlılıklar ve altyapıyla uğraşmak zorunda olduğu için paylaşılması zordur.
1 yorum
Hacker News görüşü
BI araçlarının sorunu: BI araçlarını kullanırken sorgudaki join biçiminin yanlış ayarlanması nedeniyle verilerin hatalı gösterildiği bir deneyim yaşandı. Bu da SQL'i iyi bilmeyenler için oluşturulan soyutlama katmanına olan güveni sarstı.
Text-to-SQL'in faydası: Geliştiriciler için hâlâ faydalı, ancak geliştirici olmayanlar veritabanı yapısını yeterince anlamadıkları için yanlış sorgular üretme ihtimali taşıyor.
Kurumların yetersizliği: BI araçları ve yapay zeka araçlarının hataları ile yanlış bilgiler içeren raporlar gerçekten kullanılıyor ve bu durum daha önce Dilbert karikatüründe de benzer şekilde eleştirilmişti.
İş kullanıcılarının öğrenebilmesi: İş kullanıcılarının veri modeli ile açılır menüler arasındaki ilişkiyi anlayamayacağını varsaymak yanlış. Sorun, veri modelleyicilerin alanı yeterince iyi anlamamasından kaynaklanıyor.
Veri sunma deneyimi: 24 yıllık veri sunma deneyimine göre, kullanıcıların yalnızca küçük bir kısmı araçları gerçekten kullanıyor ve yöneticiler KPI panolarını tercih ediyor.
Metabase'in avantajları: Metabase, BI araçları arasında iyi bir arayüz sunuyor; GUI ile oluşturulan SQL'i saf SQL'e dönüştürebildiği için teknik seviyesi düşük kişiler de kolayca kullanabiliyor.
Self-servis BI'ın sınırları: Self-servis BI'ın sınırlarını kabul etmek ve SQL'i iş kullanıcılarına göstermeyen özelleştirilmiş panolar oluşturmak çözüm olarak görülüyor.
Metabase kullanım deneyimi: Metabase kullanırken, teknik olmayan kullanıcılara 'office hours' aracılığıyla kullanım eğitimi verilmesi sayesinde pek çok talep mühendislik ekibine gitmeden çözüldü.
SQL kullanımının ironisi: Üst düzey yöneticilerin SQL sorguları çalıştıramaması ironik. SQL aslında yöneticilerin verileri kolayca sorgulayabilmesi için oluşturulmuştu.
ETL'nin zorluğu: BI'dan çok ETL tarafında teknik olmayan kullanıcıların verilerle çalışması daha zor. AWS Glue geliştirirken, teknik kullanıcıların sorunları debug edebilmesine yardımcı olacak araçlara ihtiyaç olduğu fark edildi.