Üretken AI'nin rahatsız edici vadisi üzerine bir değerlendirme

• Üretken AI, diğer teknolojilerden farklı olarak şaşkınlık yaratma gücüne sahip
  • Bu bazen iyi bir şeydir, ama bazen olmayabilir
  • Bu tür teknoloji deneyimlerinin merkezinde beklenti yüklü sorular vardır
    • "Bu gerçekten beklediğim şey mi? Çıktı yeterince iyi mi? Yoksa beni kandırıyor mu?"
• Teorik olarak üretken AI geliştikçe bu sorunun daha az önemli hale gelmesi gerekir, ancak gerçekte daha 'insansı' hale geldikçe tekinsiz ve rahatsız edici olabilir
  • Bu da robotikte uzun süredir "rahatsız edici vadi (uncanny valley)" olarak tanımlanan duruma düşmesine yol açar
• Bunu daha büyük veri kümeleri ya da daha iyi eğitimle düzeltilebilecek bir şey diye görmezden gelmek isteyebiliriz; ancak teknolojiye ilişkin zihinsel modellerimizdeki karışıklığı anlattığı sürece bu, "kabul edilip çözülmesi gereken bir sorun"dur

Zihinsel modeller ve anti-pattern'ler

• Zihinsel model, UX ve ürün tasarımında önemli bir kavramdır; ancak AI topluluğu tarafından da daha aktif biçimde benimsenmelidir
  • Gündelik hayatta çoğu zaman belirgin görünmez: çünkü AI sistemleri hakkında varsayımda bulunmak günlük bir örüntüdür
• AI kodlama asistanlarının popülerliği artarken, kaçınılması gereken iki pratik olarak "AI tarafından üretilen koda karşı rehavet" ve "pair programming'in üretken AI ile ikame edilmesi" işaret ediliyor
  • Her ikisi de bu teknolojinin "gerçekte nasıl çalıştığına" ve "sınırlarını kabul etmeyen hatalı zihinsel modellere" dayanıyor
  • Bu araçlar ne kadar ikna edici ve 'insansı' hale gelirse, teknolojinin gerçekte nasıl çalıştığını ve sunduğu 'çözümlerin' sınırlarını kabul etmek o kadar zorlaşır
• Üretken AI'yi dünyaya sunanlar için de riskler benzer, hatta daha belirgin olabilir
  • Amaç genellikle ikna edici ve kullanılabilir bir şey üretmektir; ancak kullanıcıyı yanlış yönlendirir, aldatır ya da rahatsız ederse değerini yitirir
  • EU AI Act gibi, deepfake üreticilerinin AI tarafından üretilmiş içerik etiketi kullanmasını zorunlu kılan yasaların ortaya çıkması şaşırtıcı değildir
• Benzer sorunlar yalnızca AI ve robotikte değil, cross-platform mobil uygulama geliştirmede de vardır
  • Farklı platformların kullanım biçimleri farklı olduğu için toplam deneyim tasarımının da değişmesi gerekir
  • Aynı şekilde üretken AI'de de farklı bağlamlar ve kullanım senaryoları farklı varsayımlar ve zihinsel modeller doğurur; kullanıcıların rahatsız edici vadiye düştüğü noktalar da değişir
  • Bu ince farklar, LLM çıktısına dair deneyimi ve algıyı değiştirir
• Büyük miktarda sentetik veriye ihtiyaç duyan ilaç araştırmacıları için mikro düzeyde doğruluk önemli olmayabilir; ancak hukuki belgeleri anlamaya çalışan bir avukat için doğruluk son derece önemlidir
  • Rahatsız edici vadiye düşmek, bir adım geri çekilip beklentileri yeniden değerlendirme sinyali olabilir

"Mevcut üretken AI'ye ilişkin zihinsel modeller ve kavramlar, göz ardı edilebilecek ikincil sorunlar değil; temel tasarım sorunlarıdır"
Ken Mugrage & Srinivasan Raguraman

Bakış açısını değiştirmek

• Üretken AI'nin rahatsız edici vadisi bir sorun olabilir, ama aynı zamanda teknolojinin sınırlarını hatırlatan bir araçtır
• Bunu ele almak için sektör genelinde ilginç girişimler oldu
  • Pennsylvania Üniversitesi'nden Prof. Ethan Mollick, AI'nin iyi bir yazılım olarak değil, "oldukça iyi insanlar" olarak anlaşılması gerektiğini savunuyor
    • AI, insanlar gibi kendine özgü güçlü ve zayıf yönlere sahip olduğu için hangi görevlerin ona verilebileceğini anlamak zordur
    • Bir kullanım kılavuzu olmadığı için, AI'nin neyi iyi yaptığını öğrenmenin tek yolu onunla birlikte çalışarak öğrenmektir
  • Yani üretken AI'nin neler yapabileceğine ve nerede etkili olduğuna dair beklentiler geçici ve esnek olmalıdır
  • Belirli varsayımlar ve beklentiler üzerine düşünmek, rahatsız edici vadinin üstesinden gelmenin bir yolu olabilir

Kara kutuyu açmak

• Yalnızca bir zihniyet değişimi istemek yeterli değildir
  • Bu ilk adımdır; ancak üretken AI hakkında farklı düşünmeye ve zihinsel modellerin ortaya çıkardığı zorlukları aşmaya yardımcı olacak pratikler ve araçlar da vardır
• Bunun bir örneği, son Technology Radar'da ele alınan "LLM'lerden yapılandırılmış çıktı elde etmek" tekniğidir
  • Prompt verirken belirli bir formatta yanıt vermesini isteyerek ya da fine-tuning ile uygulanabilir
  • Instructor gibi araçlar sayesinde bunu yapmak artık eskisine göre daha kolay
  • Beklentiler ile LLM çıktısı arasında daha güçlü bir hizalama sağlama avantajına sahiptir
    • Beklenmedik ya da tam uymayan şeyler çıkma olasılığı hâlâ vardır, ama bu teknik sorunu bir ölçüde giderir
• Bunun dışında başka teknikler de vardır
  • Retrieval-augmented generation, genel olarak zahmetli 'context window' kontrol işini daha iyi yönetmenin bir yoludur
  • Bu tekniklerin başarısını değerlendirebilen ve ölçebilen çerçeve ve araçları görmek sevindirici
    • Ragas, doğruluk ve ilgililik gibi konularda AI geliştiricilerine metrikler sunan faydalı bir kütüphanedir
    • DeepEval da Radar'da tanıtıldı
• Ölçüm önemlidir; ancak LLM'lere ilişkin yönergeleri ve politikaları düşünmek de önemlidir
  • Bu nedenle LLM Guardrails incelenmesi öneriliyor
  • Ayrıca bu modellerin içinde gerçekte neler olup bittiğini daha iyi anlamaya yönelik adımlar atılmalıdır
    • Bu kara kutuları tamamen açmak imkânsız olabilir; ancak Langfuse gibi araçlar sayesinde ekipler ve kurumlar çalışma biçimine dair daha net bir bakış kazanabilir
    • Bu da bu teknolojiyle ilişkimizi yeniden kurmaya, zihinsel modelleri değiştirmeye ve rahatsız edici vadiye düşme olasılığını azaltmaya büyük ölçüde yardımcı olabilir

Kusur değil, fırsat

• "Üretken AI araçlarının Kambriyen patlaması" diye tanımlanan bu araçlar, sektörün merkezindeki kişilerin üretken AI'yi yeniden düşünmesine ve daha iyi ürünler geliştirmesine yardımcı olabilir
• Ancak daha geniş dünya için bu çalışma görünmez kalacaktır
  • Bu nedenle, üretken AI'yi daha iyi kontrol etmenin ve anlamanın yollarını aramak için araç zincirini geliştirmeye ek olarak, mevcut zihinsel modellerin ve üretken AI kavramının kendisinin temel bir tasarım sorunu olduğunu kabul etmek önemlidir
  • İlerlerken göz ardı edilebilecek ikincil bir sorun değildir

"Üretken AI'nin rahatsız edici vadisi, düzeltilmesi gereken bir sorun değil; bu teknolojiden gerçekten ne istediğimizi ve ne beklediğimizi yeniden değerlendirmek için bir fırsattır"