LLM'lerin karar vermesine veya iş mantığını yürütmesine izin vermeyin

Temel iddia: LLM'den mümkün olduğunca çabuk çıkın ve içinde uzun süre kalmayın

• LLM'e karar verme ya da iş mantığını emanet etmemelisiniz → doğruluk ve kararlılık yetersizdir
• Çoğu durumda LLM, yalnızca kullanıcı ile uygulama API'si arasındaki arayüz rolünü üstlenmelidir
• Temel mantık özel sistemler veya motorlar tarafından yürütülmeli; LLM ise sadece kullanıcı isteğini API çağrısına dönüştürmeli ve sonucu yeniden doğal dile çevirmelidir

Neden?

• Satranç botu örneği: Kullanıcı WhatsApp üzerinden "filimle atı al" diye gönderir → LLM satranç tahtasının durumunu koruyup oyunu oynayabilir, ancak güvenilirlik, performans ve bakım açısından pek çok sorun vardır

• Performans: LLM'in satranç oynama becerisi etkileyici olsa da, yine de uzman bir satranç motoruna (ör. Stockfish) kıyasla daha yavaştır ve doğruluğu daha düşüktür

• Hata ayıklama ve ayar zorluğu: Neden böyle bir karar verdiğini anlamak zordur; bu yüzden istenen şekilde çalışacak biçimde düzeltmek güçtür

• Diğer sorunlar:

  • LLM çıktısını test etmek zordur
  • Matematikte veya rastgele sayı üretiminde performansı düşüktür
  • Sürüm yönetimi ve denetim zordur
  • Durumu doğal dilde tutma yaklaşımı kırılgandır
  • API ücretleri, hız sınırları gibi sorunlar ortaya çıkar
  • Güvenlik sınırları belirsizleşir

Farklı örneklerle doğru rol ayrımı

• Oyunda "oyuncu X'e vorpal kılıcıyla saldırmak istiyorum" → LLM yalnızca bunu attack(player=X, weapon="vorpal_sword") biçimine çevirip oyun mantığına iletmelidir
• Müzakere ajanı → LLM müzakere kararını vermez; kullanıcının girdisini paketleyip müzakere motoruna iletir ve sonucu aktarır
• Rastgele yanıt üretimi → Seçimi LLM yapmamalı, dışarıdaki bir rastgele fonksiyon tarafından ele alınmalıdır

LLM'in iyi yaptığı işler

• LLM'ler dönüştürme, yorumlama ve iletişim konusunda uzmanlaşmıştır
• Örnekler:
  • "orka kılıçla vur" → attack(target="orc", weapon="sword") biçimine dönüştürme
  • { "error": "insufficient_funds" } → "Yeterli altının yok" diye doğal biçimde açıklama
  • Kullanıcının girdisinin savaş komutu mu, envanter kontrolü mü, yoksa yardım isteği mi olduğunu sınıflandırabilme
  • İnsan kavramlarını iyi anlama (ör. blade = sword, smash = attack)
• Esas nokta karmaşık muhakeme ya da durum yönetimi değildir → sadece kullanıcının niyetini sisteme bağlayan bir köprü görevi görmesidir

Gelecek görünümü ve değişmeyen ilke

• Teknoloji çok hızlı gelişiyor; bugün mümkün olmayan şeyler yakında mümkün hâle gelebilir
• Ancak LLM'in çözemeyeceği yapısal sorunların kalmaya devam etmesi muhtemeldir:
  • LLM kullanılmayan mantık daha kolay anlaşılır; bakım ve sürüm yönetimi daha kolaydır
  • Çalıştırma maliyeti de daha düşüktür
• Gelecekte de aynı şekilde, LLM arayüz rolüne odaklanmalı ve temel mantık özel sistemlere bırakılmalıdır

[GN⁺]

Hacker News görüşü

• İki tür mantık vardır

  • 1. Doğası gereği doğru ve katı olması gereken mantık
  • 2. Bilgisayarların doğası gereği bugüne kadar bu şekilde olan mantık

• 1 numaralı tür; güvenlik, finans, matematik gibi alanlara karşılık gelir

• 2 numaralı türün AI tarafından ikame edilme olasılığı yüksektir

• Aynı uygulamanın farklı bölümleri 1 veya 2 için uygun olabilir

• Yakın zamanda bir hackathon'da eğitim amaçlı bir oyun geliştirdim

  • Oyunu üretmek ve çalıştırmak için LLM kullandım, ancak oyunun akışı iyi değildi
  • Sonuç olarak oyun durumunu yönetmek için çok sayıda Python kodu ve çeşitli prompt'lar kullandım
  • LLM'leri büyük bir sistemin küçük parçaları olarak kullanmak en iyisidir

• LLM'ler mantığı uygulamamalıdır

  • Mantık, optimizasyon ve kısıt programlama ayrı tekniklerdir
  • Modern mantığın kurucusu George Boole'dur ve kendisi Geoffrey Everest Hinton'ın büyükbabasıdır

• LLM'lerin yeteneklerini anlamak zordur

  • Okurlar basit yanıtlar ister
  • LLM'ler basit bir durum makinesi yazmakta zorlanabilir
  • Araştırma makaleleri popülerlik kazanıyor ve 2025'e kadar bile LLM'leri tamamen anlayan kimse olmayacaktır

• LLM yanıtlarının hızlı ve ucuz olması gerekiyorsa kısa prompt'lar ve küçük modeller kullanılmalıdır

  • Pek çok bilgi, büyük modellerin kullanılacağı varsayımına dayanıyor
  • Geleneksel bir UI daha iyi bir seçim olabilir

• Yalnızca LLM'lerle test yapmak zordur

  • Kişisel tarz, etkileşimi etkiler
  • Bakım maliyeti yüksek olabilir
  • Bunu API çağrılarına dönüştürmek daha mantıklıdır

• LLM'leri iş mantığında kullanmak risklidir

  • Dil işleme için uygundurlar

• AI ile üretilmiş görseller kullanılarak makaleler özetlenebilir