AI ajanları neden sürekli başarısız oluyor — sorun modelde değil, ‘dünya (World) tasarımında’
(dev.to)LLM tabanlı AI ajanlarını gerçekten geliştirince,
bir noktadan sonra hep benzer bir duvara çarparsınız.
- Modelin açıkça daha akıllı hale geldiğini görürsünüz
- Ama çalıştırma sürekli kararsızdır
- Neden öyle davrandığını açıklayamazsınız
- Aynı girdide bile sonuçlar değişir
Bu yüzden genelde şu sonuca varılır.
“Model hâlâ yetersiz. Daha büyük bir model deneyelim.”
Ama aslında çeşitli deneme yanılmalardan sonra fark ettiğim şey,
sorunun özünün modelin zekâsı değil,
ajanın çalıştığı ‘dünya (World)’nın tasarlanmamış olmasıydı.
Sorunun özü: dünya yalnızca modelin kafasının içinde
Birçok ajan mimarisinde
durum, kurallar ve eylem olasılıkları gibi şeylerin
hepsi örtük biçimde modelin akıl yürütmesinin içine gömülüdür.
Yani,
- Nelerin mümkün olduğu
- Belirli bir eylemin neden başarısız olduğu
- Durumun ne zaman değiştiği
bunların hepsini modelin “hatırlamasını ve akıl yürütmesini” bekleriz.
Bu yapıda
model ne kadar iyi olursa olsun
debug etme, yeniden üretilebilirlik ve açıklanabilirlik sağlamak zordur.
Bakış açısını değiştirmek: World-Centric Architecture
Bu yüzden bu yazıda bakış açısını tersine çevirip,
model merkezli (Intelligence-Centric) değil
dünya merkezli (World-Centric) bir ajan tasarımını öneriyorum.
Temel fikir basit.
- Dünya, modelin dışında açıkça var olmalı
- Durum, Snapshot olarak sabitlenmeli
- Durum değişikliği yalnızca Patch/Apply adlı tek bir yol üzerinden gerçekleşmeli
- “Bu eylem mümkün mü?” sorusu yapısal olarak hesaplanmalı
Ve en önemli ilke şu cümlede yatıyor.
> Zekâ yürütmez, yalnızca öneride bulunmalıdır
Model, “neyi denemek istediğini” önerebilir,
ama durumu gerçekten değiştirme yetkisine sahip değildir.
Bu neden önemli?
Bu yapıda ilginç bir şey olur.
- İmkânsız eylemler yürütme aşamasına hiç ulaşamaz
- Başarısızlık, “model aptal olduğu için” değil yapısal nedenlerle açıklanır
- Hatta eylem seçimi rastgele olsa bile sistem bozulmaz
Çünkü
tutarlılık (correctness), modelin akıl yürütmesiyle değil,
dünyanın kuralları ve durum modeliyle güvence altına alınır.
Bence bu, araştırma demolarından çok
“işletilebilir bir sistem”e yakın bir yaklaşımdır.
Bu yazı ne değil
- Yeni bir ajan framework'ü eğitimi ❌
- Model performansı karşılaştırması ❌
- Prompt engineering üzerine bir yazı ❌
Bunun yerine,
> “AI ajanlarını neden bu kadar kararsız inşa ediyoruz?”
sorusunu ortaya atmak istedim.
Bu yaklaşımın
mevcut state machine, workflow engine, DSL ya da PL perspektifinden
nasıl göründüğünü de merak ediyorum.
“Sonuçta bu, neye indirgeniyor?”
bakış açısından görüş ve eleştirilere de açığım.
Henüz yorum yok.