Veri Kalitesi Üzerine - Temel İlkeler

Verinin doğuştan gelen bir kalitesi yoktur; belirli bir kullanım senaryosunda verinin yarattığı değer arttıkça kalitesinin de yüksek olduğu söylenebilir.

Veri kalitesi dört düzeyden oluşur: tekil veri, tüm derlem, amaca uygunluk ve iş sonucu. Alt düzeyler üst düzeyleri mümkün kılar; üst düzeyler ise alt düzeylere yatırım yapmak için gerekçe sağlar.

Doğru gelir verisi muhasebe için uygun olabilir, ancak gerçek zamanlı yönetim ya da gelecekteki geliri tahmin etmek için uygun olmayabilir. Bu nedenle aynı verinin kalite değerlendirmesi kullanıcıya ve amaca göre değişir.

Yalnızca nitelik denetimlerine odaklanmak, kusursuz veri üretip yine de iş değeri yaratamamakla sonuçlanabilir. Buna karşılık yalnızca sonuçların peşinden gidip temel kaliteyi görmezden gelmek, sürdürülebilir olmayan sistemler doğurabilir.

Veri kalitesi yönetimi, veriyi temizlemekle sınırlı kalmamalı; verinin kullanımı → kararların değişmesi → iş sonuçları yolunu ölçmeyi ve sonuçlara göre yatırımı ayarlamayı da kapsamalıdır.

Standart tanımlar neden yeterli değil?

ISO 8000, kaliteli veriyi belirtilen gereksinimleri karşılayan veri olarak tanımlar; ancak bu, doğru olduğu kadar pratik karar vermede yardımcı olmayan döngüsel bir tanımdır.

ISO 25012 veri kalitesini doğruluk, tamlık, tutarlılık vb. dahil 15 nitelikle tanımlar.

Tekil verinin durumunu denetlemek için yararlıdır, ancak söz konusu verinin gerçek kullanım amacına ve iş sonuçlarına katkı sağlayıp sağlamadığını ele alamaz.

Aynı veriyi farklı uygulayıcıların farklı değerlendirmesinin nedeni, kalitenin farklı düzeylerini ve farklı kullanım amaçlarını esas almalarıdır.

Veri kalitesi veri değerinden doğar

Verinin içkin bir değeri yoktur; değeri, o veriyle ne yapılabileceği belirler.

Veri varlıklarının fiyatı nasıl belirlenir
başlığında kullanılan mantık kaliteye de uygulanabilir.

Veri kalitesi, verinin değerini artıran bir özelliktir.

Veri değeri kullanım biçiminin bir fonksiyonu olduğundan, veri kalitesi de kullanım biçimine göre belirlenir.

Kaliteyi artırmanın amacı, veriyle daha fazla iş yapmak, aynı işi daha iyi, hızlı ve ucuza yapmak ya da eskisinden farklı işleri mümkün kılmaktır.

1. düzey: Tekil veri kalitesi

Ayrıntı düzeyi kalite (granular quality), veritabanı kaydı, cümle, soru-cevap çifti ya da etiketlenmiş örnek gibi tekil veri birimlerini değerlendirir.

Başlıca değerlendirme nitelikleri arasında doğruluk, hassasiyet, güncellik, biçim uygunluğu, iç tutarlılık, makullük, kaynak, yorumlanabilirlik ve güvenilirlik yer alır.

Her nitelik, başka kayıtlara bakmadan tekil birim üzerinden değerlendirilebilir.

Ancak tüm değerlendirmeler kullanım bağlamını varsayar.

Neye göre doğru kabul edileceği

Hangi zamana göre güncel sayılacağı

Hangi şekilde kullanılabilir olduğu

Hangi bağlamda tutarlı olduğu belirlenmelidir.

Gelir verisinde tekil kalite

Sözleşme şartları, yenilemeler, indirimler, tek seferlik gelir ve tekrarlayan gelir yanlış yorumlanırsa tekil gelir kalemleri daha baştan hatalı olabilir.

Doğru kaydedilmiş olsa bile pazaryeri gelirinin brüt (gross) mü yoksa net (net) mi tanınacağı, iş yapısına göre değişir.

Değeri doğrudan sağlayıp fiyatı belirleyip hizmet sorumluluğunu da üstlenip üstlenmediğine

Alıcı ile satıcıyı buluşturan bir aracıya daha yakın olup olmadığına göre değerlendirme değişir.

Denetçiler de farklı sonuçlara varabilir; bu yüzden doğruluğun kendisi de kullanım amacından ve muhasebe bağlamından ayrı düşünülemez.

2. düzey: Tüm veri kümesinin kalitesi

Tüm tekil kayıtlar doğru olsa bile bu, tüm derlem kalitesinin (aggregate quality) yüksek olduğunu garanti etmez.

Tüm düzeyde şu nitelikler değerlendirilmelidir:

Kapsam ve eksik olup olmadığı

Tekilleştirme

Veri ayrıntı düzeyi

Temsil gücü ve denge

Kayıtlar ve etiketler arasındaki tutarlılık

Dağılım ve toplulaştırma istatistikleri

Veri miktarı ve yeterlilik

Zamansal süreklilik

Diğer verilerle birleştirilebilirlik

Zaman ve mekâna bağlı drift

Bu nitelikler tekil veride görünmez; tüm verinin ilişkilerinde ve dağılımında ortaya çıkar.

Verinin tamamının mevcut olup olmadığı, yeterince temizlenip temizlenmediği, gerçeği yansıtıp yansıtmadığı, zaman ve mekân içinde istikrarlı olup olmadığı doğrulanmalıdır.

Gelir verisinde bütünsel kalite

Tekil gelir olayları doğru kaydedilmiş olsa bile şu sorunlar kalabilir:

Geçmiş verinin ortasında gelir tanımı değişmiştir

Bazı gelirler eksiktir

Aynı gelir iki kez hesaplanmıştır

Farklı toplulaştırma sonuçları birbiriyle uyuşmuyordur

Mevcut müşterileri kusursuz yansıtan veri, muhasebe ve raporlama için yüksek kaliteli olabilir; ancak gelecekteki müşteri kompozisyonundan farklıysa genişleme geliri tahmini için düşük kaliteli olabilir.

Bir veri kümesinin temsil gücü, verinin kendisine göre değil, uygulanmak istenen hedefe göre değerlendirilmelidir.

3. düzey: Amaca uygunluk

Amaca uygunluk (fitness for purpose), veri niteliklerinden çok veri ile gerçek uygulama arasındaki etkileşimi değerlendirir.

Finansal tablolar reklam kampanyaları için uygun değildir; müşteri profilleri hisse senedi analizi için uygun değildir. Ancak kullanım amacı değiştiğinde her biri vazgeçilmez veri olabilir.

Bilgisel uygunluk

Verinin çözülmek istenen soruya cevap verip veremediğini değerlendirir.

İlgililik, uygunluk, yeterlilik ve gereklilik buna dahildir.

Verinin doğru olması ile ihtiyaç duyulan bilgiyi sağlaması farklı konulardır.

Operasyonel uygunluk

Verinin gerçek ortamda etkili biçimde kullanılıp kullanılamayacağını değerlendirir.

Erişilebilirlik, lisans ve mevzuata uyum, birlikte çalışabilirlik, riske karşı getiri buna dahildir.

Bilgi yeterli olsa bile ihtiyaç duyulan anda erişilemiyorsa ya da hukuken kullanılamıyorsa amaca uygun değildir.

Gelir verisinde amaca göre farklar

Ay sonu gelirini kusursuz şekilde kesinleştirmek için iyi bir finans ekibinin bile birkaç güne ihtiyacı vardır; ancak CEO, gelirin beklentiden saptığı ay içinde yatırım, maliyet azaltma, işe alım ya da işten çıkarma kararı vermek zorunda kalabilir.

Denetçi için yüksek kaliteli olan kesinleşmiş gelir, gerçek zamanlı operasyonlar için fazla geç gelen veri olabilir.

Ayrıntılı finansal veriler bile kullanıcı bazlı ihtiyaçlarla uyuşmayabilir.

Yönetim kurulu temel özeti ister

CMO pazarlama katkısını ister

Satış ekibi prim tutarını ister

Finans ekibi için kaliteyi artıran ayrıntılar, nüanslar, uyarılar ve çeşitli analiz eksenleri, diğer kullanıcılar için kullanılabilirliği tam tersine azaltabilir.

4. düzey: İş sonucu kalitesi

Tekil kalite, bütünsel kalite ve amaca uygunluğun hepsi mükemmel olsa bile verinin gerçek iş değeri yaratacağı garanti değildir.

İş sonucu kalitesi (business-outcome quality), verinin şirket sonuçlarını ne kadar iyileştirdiğini değerlendirir.

Değerlendirme puanında artış

Şirket gelirinde elde tutma oranının artması

Riske göre ayarlanmış getirinin iyileşmesi

Müşteri dönüşüm oranının yükselmesi vb. hedefler olabilir.

Üç soruya ayrılabilir:

Veri gerçekten kullanıldı mı?

Kullanımdan sonra ne değişti?

Bu değişim yatırım yapmaya değer miydi?

Kullanımın ve sonucun ölçülmesi

Verinin kullanılıp kullanılmadığı benimseme oranı, karar alma üzerindeki etkisi ve davranıştaki değişim miktarıyla ölçülür.

Sonuç değişimi, önce ve sonrası arasındaki fark, doğru katkı payı ve değişimin önemi üzerinden değerlendirilir.

Değişimin değeri yatırım getirisi, sonucun ne zaman ortaya çıktığı, kalıcılığı ve riski de dikkate almalıdır.

Yüksek kaliteli gelir verisinin başarısız olduğu durumlar

Doğru, önyargısız ve kullanıcı ihtiyaçlarına uygun gelir verisine dayanarak satış prim sistemini değiştirmek bile beklenen iş sonucunu vermeyebilir.

Satış ekibi yeni formülü optimize etmeye çalışırsa şu davranışlar ortaya çıkabilir:

Hızlandırılmış ödül almak için gelecekteki geliri öne çeker

Marjı zedeleyen indirimler sunar

Uzun vadeli değeri yüksek zor sözleşmeler yerine kolay kapanan düşük kaliteli sözleşmelerin peşinden gider

Verinin kendisi tüm alt düzeylerde yüksek kaliteli olsa bile, onu kullanan sistem ve davranış değişiklikleri iş değerini yok edebilir.

En üst düzeyde, verinin kendisini daha fazla temizlemekten çok şu süreçler gerekir:

Verinin yaratacağı değeri daha iyi hipotezlerle tanımlamak

Veri kullanımından davranışa ve sonuca giden yolu ölçümlemek

Gerçek sonuçlara göre yatırımı azaltmak ya da artırmak

Kalite merdiveni

Dört düzey birbirinden kopuk kontrol listeleri değil; sıralı ve birbirine bağımlı bir merdivendir.

Amaca uygunluğa ve iş sonucuna ulaşmak için önce tekil verinin ve tüm verinin kalitesi sağlanmalıdır.

Tersine, alt düzeylerdeki kalite tek başına değer yaratmaz; yatırım gerekçesi için üst düzey sonuçlara ihtiyaç vardır.

Alt basamaklarda, nitelik denetimlerine fazla kapılıp iş kullanım senaryosunu unutup unutmadığımız kontrol edilmelidir.

Üst basamaklarda, sonuçlara fazla odaklanıp temel veri hijyenini görmezden gelip gelmediğimiz kontrol edilmelidir.

Mevcut standartların başarısız olma biçimleri

ISO 25012 tarzı yaklaşım, çok sayıda kalite niteliğini ölçüp yine de işi iyileştirmeyen bir kontrol listesi tuzağına düşebilir.

ISO 8000 tarzı yaklaşım, iyi sonuç üreten veri iyi veridir tanımında kalır ve somut olarak neyin iyileştirilmesi gerektiğini söyleyemez.

Kalite merdiveni, alt düzeylerdeki uygulanabilir denetimleri üst düzeydeki değer yargısıyla tek bir yapı içinde birleştirir.

Farklı düzeylerde ortaya çıkan çatışmalar

Veri kalitesi tartışmaları, farklı merdiven basamaklarından konuşulduğunda sıkça ortaya çıkar.

Veri operasyon mühendisi doğru etiketlere ve kayıt durumuna öncelik verir; ancak ilgili veri iş içinde hiç kullanılmayabilir.

CEO ideal operasyon modelini ve iş sonuçlarını önemser; ancak bu model güvenilmesi zor girdi verilerinin üzerine kurulmuş olabilir.

Bir sorunla karşılaşıldığında bir taraf ayrıntılı veri düzeltmeleri arar, diğer taraf yeni strateji arar; ancak bunlardan hiçbiri tek başına tüm sorunları çözmez.

Düzeyleri atlamanın üç yolu
Lansman başarısızlığı

Alt düzeylere aşırı odaklanıp tekil kaliteyi, bütünsel kaliteyi ve amaca uygunluğu kusursuz hale getirmesine rağmen hiç iş değeri yaratamayan durumdur.

Alt düzeyler somut, ölçülebilir ve doğrudan iyileştirmesi kolay olduğu için kurumların en kolay odaklandığı yerlerdir.

Ölçülebilir çok sayıda kalem olduğu için, gerçek performans yerine veri düzenleme işi hedef haline gelebilir.

Temel başarısızlığı

Alt düzeyleri görmezden gelip doğrudan iş değerini optimize etmeye çalışılan durumdur.

Hedef net ve geri bildirim döngüsü yeterince hızlıysa geçici olarak işe yarayabilir.

Doğruluk, kaynak ve güncellikte sorunlar olsa bile sonuç iyi olduğu sürece yeterlidir yaklaşımı genellikle sürdürülebilir değildir; sonunda temel verideki sorunlar ortaya çıkar.

Kaynağı kalite kanıtı olarak kullanmak

Güvenilir bir dış kaynak, tekil veri ve tüm veri kalitesini içeriden doğrulama ihtiyacının yerine kısmen geçerek iç doğrulama yatırımını azaltabilir.

Belirli bir sektöre uzmanlaşmış bir tedarikçi seçmek, amaca uygunluk doğrulama yükünü de azaltabilir.

Ancak iş değerini veriyi satın alan kuruluşun kendisi yaratmalıdır.

Veri kaynağına duyulan güven otomatik olarak oluşmaz.

Zaman, kaynak ve tekrarlanan sonuçlarla oluşur.

Veri çalışmaya devam ettiği sürece korunur.

Beklenen sonuçları üretmezse hızla zayıflar.

Sonraki adım

Veri kalitesi, verinin kendisinde bulunan mutlak bir özellik değil; kullanım amacı ve değer yaratma sürecinde ortaya çıkar.

Etkili kalite yönetimi, dört düzeyin tamamını kontrol etmeyi ve tek bir düzeyde takılı kalmamayı gerektirir.

Devam yazısında, yapay zekanın mevcut veri kalitesi sezgilerini nasıl değiştirdiği ele alınacak.