Yapay zeka çağında Modern Data Stack neden önemli

• 2021'den 2023'ün başına kadar veri teknolojileri alanında, özellikle Modern Data Stack, teknoloji sektöründeki en hareketli ve en çok dikkat çeken alanlardan biriydi
• 2023'ün sonlarında ChatGPT'nin ortaya çıkmasıyla ilgi yapay zekaya kaydı ve veri altyapısına dair tartışmalar bir ölçüde geri planda kaldı
• Ancak yapay zeka gerçek iş akışlarına entegre olmaya başladıkça şu iki nokta netleşti:
  • Karmaşık yapay zeka iş akışları, veri mühendisliğinin derslerinden aktif biçimde yararlanmalı
  • LLM'lerin düzgün çalışabilmesi için analitik iş akışlarında üretilen verilere erişebilmesi gerekir

Yapay zeka ile veri altyapısı arasındaki gerçek bağlantı

• LLM ne kadar akıllı olursa olsun, doğru bilgiye erişemiyorsa doğru yanıt veremez
• Bilgi Reddit gönderileri, iç dokümanlar, veri ambarları ve benzeri yerlere dağılmışsa LLM bunlara erişemez
• İyi haber şu ki artık LLM'lerin farklı bilgi kaynaklarına erişmesini sağlayan protokoller ve standartlar ortaya çıkıyor
• Ancak hangi bilgilerin sunulacağı, bu bilgilerin doğru olup olmadığı ve erişim izinlerinin nasıl ayarlanacağı gibi konular hâlâ çözülmesi gereken sorunlar

Bilgi kaynağına göre LLM entegrasyonunun avantajları ve zorlukları

• LLMs + internet araması

  • Avantajlar: Kamusal web verilerini entegre ederek güncel gerçek dünya bilgisini kolayca kullanmayı sağlar (ör. iyi restoran araması)
  • Sorunlar:
    • SEO için optimize edilmiş içerikler LLM'lerde de iyi performans gösterdiği için güvenilirliği düşük bilgiler üst sıralara çıkabilir
    • Örneğin "2025'in en iyi yastığı" diye aradığınızda güvenilir bir yanıt bulmak zor olabilir → LLM için de durum aynıdır

• LLMs + iç dokümanlar (Notion, Slack vb.)

  • Avantajlar:
    • Karmaşık organizasyonlarda ekipler arası iş birliği bilgilerini, politikaları ve planları tek bakışta görmeyi sağlar
    • NotionAI gibi araçlar, LLM'lerin potansiyelini iyi gösteren örneklerdir
  • Sorunlar:
    • Dokümanların güncel olup olmadığını anlamak zordur
    • Aynı soruya çelişkili sonuçlar çıkabilir
    • Bu nedenle yalnızca dokümanların kendisi değil, doküman güvenilirliğine ilişkin metadata da gerekir

• LLMs + yapılandırılmış veri ve metrikler

  • Avantajlar:
    • Konuşma tabanlı bir arayüz üzerinden SQL olmadan da karmaşık veri analizi yapılabilir
    • Aşina olunan verilerle çalışırken adeta süper güç kazanmış hissi verir
  • Sorunlar:
    • Kurum genelinde tutarlı tanımlar kullanılıyor mu?
    • Yöneticiler sonuçlara güvenip bunları gerçek karar alma süreçlerinde kullanabilir mi?
    • Erişim kontrolü ve veri yönetişimi doğru şekilde ayarlanmış mı?
    • Text-to-SQL sürekli gelişse de, gerçekçi uygulanabilirlik ve güvenilirlik sağlamak hâlâ bir zorluk

LLM için üç veri entegrasyonu örneği

• Örneğin bir restoran zincirinin CEO'su yeni bir bölgeye açılmayı değerlendiriyorsa, şu bilgilerin tamamından yararlanabilir:
  • İç dokümanlar: Kurumun stratejisini ve planlarını anlamak
  • Yapılandırılmış veri: Finansal durumu ve müşteri verilerini analiz etmek
  • İnternet araması: İlgili bölgenin pazar bilgisini ve benchmark verilerini araştırmak
• Teoride son derece faydalı bir yaklaşım olsa da pratikte birçok sistemi geçici biçimde birbirine bağlamak gerekir ve tek bir küçük hata bile genel yargıyı etkileyebilir

Modern Data Stack'in gerçek değeri

• Yapay zekanın yükselişinden hemen önce veri merkezileştirme, standardizasyon ve yönetişim için Modern Data Stack'in popülerleşmesi basit bir tesadüf değildi
• Bu altyapı tam da LLM çağının temeliydi
• Modern Data Stack, yalnızca dashboard kurmanın ötesinde, tutarlı ve güvenilir veri iş akışları ile arayüzler için bir platformdur
• Artık yapay zeka bu ekosistemle etkileşime girmeye başladıkça veri altyapısının önemi yeniden öne çıkıyor

Veri profesyonellerinin bundan sonraki rolü

• Veri profesyonelleri artık yalnızca veri analizi yapmakla sınırlı değil:
  • LLM'lerin kullanabileceği güvenilir veri ortamları kurmak
  • Yönetişim ve erişim kontrolünün uygulandığı sistemler tasarlamak
  • Yapay zeka sistemleri devreye alınırken istikrarı ve güvenilirliği sağlamak
• Bu alan, büyük bir fırsat olduğu kadar ciddi bir sorumluluk da taşıyor
• Bugün birçok kurum LLM sistemlerini gerçek iş süreçlerine uyguluyor ve somut etki yaratmanın mümkün olduğu bir dönemdeyiz

Sonuç

• Modern Data Stack, yapay zeka çağında da geçerliliğini koruyan bir altyapı ve artık doğrudan yapay zeka sistemleriyle bağlanmaya başlıyor
• Yapılandırılmış veri, yapılandırılmamış dokümanlar ve gerçek dünya bilgisini birleştiren yapay zeka iş akışları zaten mümkün ve daha da gelişmesi bekleniyor
• Bu sistemleri doğru yönde tasarlamak ve birbirine bağlamak, veri topluluğunun görevi