- Üretken yapay zeka güvenilir verilerle çalışmadığında analiz sonuçlarına güvenmek de zorlaştığı için veri yönetimi, teknik destek işinden stratejik bir temel işleve yükseldi
- İlk dönemde uygulama geliştiricilerinin veri yapısını da üstlendiği aşamadan veritabanı tasarımcısı/yöneticisi, CIO ve CDO gibi rollere ayrışıldı; veri bütünlüğü ve şirket genelinde tutarlı anlayış başlıca sorunlar haline geldi
- Yapılandırılmış verilerde veri modeli ve veritabanı doğrudan değiştirilirken, üretken yapay zeka ortamında LLM’e giren metinlerin seçilip temizlenmesi yoluyla dolaylı kontrol sağlanır
- Yapılandırılmamış metinler için geleneksel veri modeli yerine ontoloji/taksonomi gerekir; bunun şirket mantıksal veri modeli (ELDM) ile birleştirilmesi ve sürekli güncellenmesi gerekir
- Veriler çeşitli sistemlere/PC’lere/internete dağıldıkça fiziksel merkezileştirme imkânsız hale geldi; şirket ölçeğindeki anlamı ELDM ile bütünleştiren anlamsal merkezileştirme önem kazandı
Uygulama geliştirme işinden başlayan veri yönetimi
- İlk bilgisayar sistemlerinde uygulama geliştiricileri gereksinim toplama, metodolojiye uyum, programlama ve testin yanı sıra sistemin kullanacağı verileri ve bunların yapısını da tanımlıyordu
- Veri tasarımı bağımsız bir şirket işlevi değil, geliştirme sürecine dahil birçok görevden biriydi
İşlem işleme ve veritabanı uzman rollerinin ortaya çıkışı
- İşlem işleme sistemleri yaygınlaştıkça yanıt süresi, sistem erişilebilirliği ve işlem yürütme bütünlüğünün veritabanı tasarımına yansıtılması gerekiyordu
- Bu gereksinimleri uzmanlıkla ele alan veritabanı tasarımcısı ortaya çıkınca veri yönetimi bağımsız bir iş olarak görülmeye başlandı
- İşlem işleme veritabanlarının hızla artmasıyla birden çok veritabanını kontrol edip koordine eden veritabanı yöneticisi gerekli hale geldi
Veri bütünlüğü sorunu ve veri ambarı
- Birbirine bağlı çok sayıda uygulamada aynı veri öğesi tekrar tekrar saklandıkça, farklı konumlarda farklı değerlere sahip olma sorunu ortaya çıktı
- Şirketlerin sorunu veriye sahip olmaktan, hangi veriye güvenileceğini belirlemeye dönüştü
- Yalnızca uygulama ve teknoloji eklemek bütünlük sorununu çözmedi; aksine sorunu büyüttü ve hızlandırdı
- Teknik bir düzeltme değil, operasyonel veriler ile analitik verileri ayıran mimari bir çözüm gerekli hale geldi; bunun sonucunda veri ambarı ortaya çıktı
Veri modeli ve yapılandırılmış veri ortamı
- Operasyonel verileri analitik verilere ve veri ambarına dönüştürmek için bugün var olan veya ileride gerekecek veri türlerini soyutlayan bir veri modeli gerekir
- Operasyonel sistemler ve veri ambarı, her kaydın biçiminin aynı, içeriğinin farklı olduğu yapılandırılmış veri ortamlarından oluşur
- Uygulamaların, veritabanlarının ve işlem işleme veritabanlarının yapılandırılmış verileri veritabanı yönetim sistemi (DBMS) ile yönetilir
- İşlem sistemlerindeki arızalar ATM’ler ve havayolu rezervasyon sistemleri gibi gerçek iş süreçlerini ve müşterileri doğrudan etkiledikçe doğru, kararlı sistemlerin ve veri yönetiminin değeri arttı
Yapılandırılmış veri yöneticisinin işleri
- Veri modelini oluşturduktan sonra ekonomik koşullar, rekabet, teknoloji, hukuk ve pazar değişikliklerine göre sürekli bakım yapar ve modeli değiştirir
- Veritabanı tasarımında normalizasyon ilkelerini izler, ancak işlem işleme performansı için gereken düzeyde denormalizasyon uygular
- Veri yöneticisi, sistemin hedefleri ve performans gereksinimleri doğrultusunda normalizasyon ile denormalizasyon arasında denge kurar
- Veri modeline dayanarak veritabanını tanımlayan DDL’i yazar
- İşlem işleme ekipmanının ne zaman kapasite sınırına ulaşacağını öngören kapasite planlaması yapar
- Veritabanı etkinliğini ve veri büyümesini sürekli izler
- Bir sorun saptandığında ilgili veri modeline veya veritabanına doğrudan erişip değişiklik yapan doğrudan kontrol yöntemini kullanır
Yapılandırılmamış/metin verilerinin genişlemesi
- Şirketlerde yapılandırılmış verilerin yanı sıra geniş kapsamlı yapılandırılmamış/metin verileri bulunur; şirket verilerinin %90’a kadarının metin olduğu yönünde tahminler de vardır
- Önemli şirket bilgilerinin kayda değer bir bölümü metin biçiminde bulunduğundan, veri yönetimi organizasyonunun bunları da birlikte yönetmesi gerekir
- Yapılandırılmış veri ile metin verisi, yapı ve yönetim yöntemi açısından temelden farklıdır
Metin ortamında ontoloji ve taksonomi
- Metin ortamına geleneksel yapılandırılmış veri modelini olduğu gibi uygulamak zordur
- Yapılandırılmış verilerde veri modelinin üstlendiği rolü metin ortamında ontoloji/taksonomi (ontology/taxonomy) üstlenir
- İki model karşılık gelen roller üstlense de yapıları ve yönetim teknikleri büyük ölçüde farklıdır
- Yapılandırılmış veri modelleme ve yönetim tekniklerini metne olduğu gibi uygulamak uygun değildir ve pratikte neredeyse hiç sonuç vermez
LLM girdi metninin seçilmesi ve temizlenmesi
- Üretken yapay zeka ortamında en önemli veri yönetimi işi, ham metni LLM’e girmeden önce incelemektir
- Şirket işleriyle ilgisi olmayan gereksiz metinlerin LLM’e girmemesi için bunlar kaldırılmalıdır
- Gereksiz metinler kaldırıldığında her sorgu çalıştırıldığında işlenmesi gereken veri azalır ve maliyet tasarrufu sağlanır
- Yalnızca işle ilgili metinler kaldığında LLM’in neyi ifade ettiği ve ele aldığı alan netleşir
ELDM ve yapılandırılmış/yapılandırılmamış verilerin bağlanması
- Üretken yapay zeka ortamındaki veri yöneticisi, ontoloji/taksonomiyi şirket genelindeki ELDM (Enterprise Logical Data Model) ile birleştirmelidir
- ELDM, geleneksel yapılandırılmış veri modeli ile metin ortamındaki ontoloji/taksonomiyi bütünleştirmek için kullanılır
- Şirketin iş gereksinimleri değiştiğinde ontoloji/taksonomi de birlikte güncellenmelidir
Dış metin toplama ve sürekli bakım
- Önce internet gibi kaynaklardan geniş kapsamlı ham metin seçilmelidir
- Ardından seçilen metin içinden şirket işleriyle ilgili verileri yeniden ayıklayan iki aşamalı seçim süreci gelir
- İş ortamı ve dünyadaki koşullar sürekli değiştiği için ontoloji/taksonominin sürekli izlenmesi ve yönetilmesi gerekir
- Değişen koşullar ile sınıflandırma sisteminin birbirine uyumlu kalması için yinelenen bakım gerekir
LLM üzerinde dolaylı kontrol
- Yapılandırılmış veri yöneticisi veri modelini ve veritabanını doğrudan değiştirebilir; ancak üretken yapay zeka ortamında LLM’in kendisini aynı şekilde doğrudan kontrol edemez
- Üretken yapay zekanın sonuçlarını kontrol etmenin yolu, LLM’e hangi metnin girileceğini yönetmektir
- Bu nedenle üretken yapay zeka veri yönetimi, doğrudan düzeltmeden çok girdi verilerinin seçimi ve temizlenmesi yoluyla dolaylı kontrole yakındır
Şirket organizasyonunda veri yönetimi rolünün değişimi
- Başlangıçta veri yönetimi, sistem geliştiricilerinin yaptığı birçok işten biriydi; ayrı bir şirket organizasyonu veya pozisyon yoktu
- İşlem işleme önemli hale geldikçe veritabanı tasarımı bağımsız bir iş olarak ayrıldı ve veritabanı tasarımcısı rolü ortaya çıktı
- Veritabanlarının hızla çoğalması ve yönetilecek veri öğelerinin artmasıyla veritabanı yöneticisi rolü genişledi
- Birden çok sistemdeki verilerin birbiriyle tutarsız olması sorunu büyüdükçe, şirket ölçeğinde bilgi entegrasyonundan sorumlu CIO (Chief Information Officer) ortaya çıktı
- Yapılandırılmış veriler ile metin verilerini bütünleştirerek şirket verilerini bütünsel olarak anlama ihtiyacı doğdukça bu rol CDO (Chief Data Officer) rolüne evrildi
- Veri biçimleri çeşitlendikçe yönetimin karmaşıklığı ve önemi, kullanım fırsatları ve zorlukları birlikte artar
Fiziksel merkezileştirmeden anlamsal merkezileştirmeye
- Şirket genelinde verileri ve anlamlarını tutarlı biçimde anlayabilmek için merkezi bir veri anlayışı çerçevesi gerekir
- İlk dönem bilişimde merkezileştirme, veritabanlarını büyük ana bilgisayarlarda toplamak anlamındaki fiziksel merkezileştirme demekti
- Daha sonra veriler kişisel bilgisayarlar, internet ve şirket sistemleri gibi birçok konuma dağıldıkça fiziksel merkezileştirme imkânsız hale geldi
- Veriler dağıldıkça internet ve şirket içinde aynı nesnenin aynı anlamla anlaşılmasını koordine etme ihtiyacı daha da büyür
- Merkezileştirmenin odağı, verinin saklandığı konumdan verinin anlamı ve tanımına kaydı
- ELDM, veriler birden çok fiziksel konumda bulunsa bile şirket düzeyindeki ortak veri anlamını merkezden korumanın bir aracı olarak kullanılır
Henüz yorum yok.