- Veri analitiği geliştiricilerini değiştirme hayali, SQL'den yapay zekaya 50 yıldır tekrar ediyor; araçlar değişse de uzman ihtiyacı ortadan kalkmıyor
- Her dönemin araçları gerçekten üretkenliği artırdı, ancak iş anlayışı ve modelleme yargısı gerektiren temel işler otomatikleşmedi
- Self-service, semantic layer ve analytics engineering, erişilebilirliği genişletti ama yeni uzman rolü biçimleri de yarattı
- Yapay zeka tabanlı araçlar, kod üretim hızını büyük ölçüde artırdı; ancak neyin yapılacağına karar veren düşünme süreci insanın sorumluluğunda kaldı
- Veri işindeki darboğaz, yazı yazma ya da araçlar değil; düşünme ve yargıdır ve bu, 50 yıldır değişmeyen bir gerçektir
- Bu yazı, "Her 10 yılda bir tekrarlanan geliştiriciyi değiştirme hayali" yazısından ilham alınarak veri tarafına uyarlanmış bir derlemedir
Tekrarlanan desen: Neden hep aynı hayal ortaya çıkıyor?
- Her 10 yılda bir yeni bir araç ortaya çıkıp veri platformu kurmayı basitleştirerek uzman bağımlılığını azaltmayı vaat ediyor
- İş birimleri, verinin yavaş sunulmasından memnun değil; veri ekipleri ise bitmek bilmeyen talepler altında ezilmeye devam ediyor
- Bu döngünün 50 yıldır tekrar etmesinin nedeni, veri analizi işinin özündeki yapıda yatıyor
1974: SQL ve ‘İngilizce konuşan veritabanı’nın doğuşu
- SQL, geliştirici olmayanların da veri sorgulayabilmesi için tasarlandı; ancak pratikte karmaşık join ve aggregation mantığını anlamak gerekiyordu
- İş kullanıcılarının doğrudan sorgu yazdığı ideal gerçekleşmedi ve yeni uzman rolleri ortaya çıktı
- Veriye erişim kolaylaştı ama uzmanlık hâlâ gerekliydi
1980'ler: OLAP ve dördüncü nesil dillerin vaadi
- Veri yapısını iş dünyasının düşünme biçimine uydurursak kullanıcıların analizi kendilerinin yapabileceği yaklaşımı yaygınlaştı
- MOLAP sunucuları finans ve planlama ekiplerine gerçek üretkenlik sağladı
- Boyutsal tasarım, performans optimizasyonu ve entegrasyon işleri için yine uzman bilgi gerekiyordu
- Araçlar değişti ama uzman rolü yalnızca biçim değiştirdi
1990'lar: Veri ambarı ve boyutsal modelleme
- Boyutsal modelleme, karmaşıklığı ETL katmanında gizleyip kullanıcı analizini basitleştirme girişimiydi
- Büyük yatırımlara rağmen birçok proje gecikti ya da başarısız oldu
- İş kuralları ve istisnaları doğru biçimde modelleme işi, otomasyona kapalı bir alan olarak kaldı
2000'ler: Semantic layer ve self-service BI
- Semantic layer, teknik terimleri iş diline soyutladı
- Self-service BI, görselleştirmeye erişimi büyük ölçüde artırdı
- Tanım uyuşmazlıkları ve veri karmaşası yeni sorunlar olarak ortaya çıktı
- Merkezi yönetim ve yönetişim yeniden önem kazandı
2010'lar: Analytics engineering ve ELT
- Bulut veri ambarlarının yaygınlaşmasıyla SQL tabanlı dönüşümler mümkün hâle geldi
- Analistler veri pipeline'ının bir bölümünü doğrudan kurabilir oldu
- dbt, test, dokümantasyon ve sürüm kontrolü gibi geliştirme pratiklerini veri alanına taşıdı
- Proje ölçeği büyüdükçe mimari ve yargının önemi korunmaya devam etti
Yapay zeka çağı: Ne değişti, ne aynı kaldı?
- Yapay zeka, niyeti koda dönüştüren mekanik işleri çok hızlı yapıyor
- Boyutsal tasarım türü seçimi, metrik tanımı ve iş tarafındaki uzlaşma hâlâ insan yargısı gerektiriyor
- Geliştirme hızı arttı ama toplam proje süresi yine düşünme ve koordinasyona harcanıyor
- Geri bildirim döngüsünün kısalması ve yinelemeli iyileştirmenin mümkün hâle gelmesi en büyük değişim oldu
Değişmeyen kısıt: Düşünmenin karmaşıklığı
- Veri ambarı, işin bir modelidir ve bunun doğru anlaşılması şarttır
- Basit görünen bir talebin arkasında çok sayıda tanım ve istisna bulunur
- Bu karmaşıklık, araçlarla ortadan kaldırılamayan bir alandır
Veri liderleri için anlamı
- Asıl soru, aracın uzmanı değiştirip değiştirmediği değil; uzmanın üretkenliğini ne kadar artırdığıdır
- Tekrarlayan işleri azaltıp yüksek katma değerli yargılara odaklanmayı sağlayıp sağlamadığı değerlendirilmelidir
- Yeni araçlar, yeni teknik yetkinlikler gerektirir
Bu hayal neden sürüyor?
- Uzmanları ortadan kaldırma hayali, araç inovasyonunu tetikleyen bir güç olarak işledi
- Hayal tam olarak gerçekleşmedi ama süreç içinde somut değer üretti
- Yapay zeka da uzmanların yerini almıyor, ancak onları daha verimli kılıyor
İleriye dönük yön
- Yeni araçları reddetmek için bir neden yok, ancak beklentiler gerçekçi biçimde ayarlanmalı
- Asıl yatırım yapılması gereken şey araçlar değil, işin karmaşıklığını anlayan insanlardır
- Veri analizi, sonuçta iş anlayışını sorgulanabilir bir biçime dönüştürme işidir
- 50 yıldır değişmeyen gerçek, en büyük darboğazın yargı ve düşünme olmasıdır
Henüz yorum yok.