“ChatGPT’yi tehdit ederseniz daha iyi yanıt mı verir?” Tehditkâr promptların yanılsama etkisi

Yapay zekayı tehdit eden promptlar etkili değildir: nazik ve somut bağlam sunmak daha etkilidir

• Tehditkâr ifadelerin geçici olarak etkili olduğu doğruydu, ancak en yeni AI modellerinde artık geçerli değil
• LLM’ler bağlamı ve kelimelerin önem derecesini değerlendirerek yanıt üretir
• Tehditten ziyade ‘gerekçeli vurgu’ daha iyi sonuçlar üretir
• Tehdit içeren promptların bir anlamı yoktur ve hatta yanıtın engellenmesine yol açabilir
• En etkili prompt yöntemi, nazik ve somut bağlam sağlamaktır

---

Giriş

Tehdit promptları hakkındaki yanlış anlama

• Sergey Brin, AI’yi tehdit etmenin yanıt kalitesini artırdığını öne sürdü
• Gerçekten de bazı kullanıcılar, acil bir durumu vurguladıklarında yanıtın iyileştiğini deneyimledi
• Ancak bu, tehdidin etkisi değil, promptun içerdiği ‘bağlam’ın etkisidir
• AI tehditi anlayamaz; yalnızca bağlamsal önem derecesini yansıtır

---

Ana bölüm

Tehditkâr promptların yanılsama etkisi

• Kriz duygusu içeren cümleler, LLM’ye önem derecesi atayan bir rol oynar
• “Hata yaparsan kovulurum” gibi ifadeler daha dikkatli bir yanıtı tetikleyebilir
• Ancak aynı etki “Lütfen doğru yanıt ver”, “Bu önemli bir soru” gibi ifadelerle de sağlanabilir

LLM’lerin çalışma biçimi ve tehdidin verimsizliği

• LLM’ler cümleleri kelimeler arasındaki olasılıklara dayanarak üretir
• Tehdit, yalnızca istatistiksel bir aciliyet sinyalidir; modeli gerçekten bir tehdidi ‘anlamaya’ götürmez
• Tehdit, politika ihlali nedeniyle yanıtın engellenmesi riskini de taşır

Tehditten daha iyi alternatifler

• En etkili prompt yöntemi yeterli bağlam sunmaktır
• “Köpeğin sık sık dinlenmesi gerektiği için durak noktaları önemli” gibi açıklamalar daha etkilidir
• Nazik istekler veya takip talimatları (“Biraz daha dikkatli düşün lütfen”) da iyi bir stratejidir

Brin’in iddiasındaki mantıksal kusur

• Tehdit gerçekten etkili olsaydı Google Gemini’nin sistem promptuna yansımış olurdu
• Ancak sistem promptunda böyle tehditkâr ifadeler yok
• Bu da Google’ın bile tehdidin etkisine güvenmediğinin kanıtıdır

---

Sonuç

Tehdit ne etkilidir ne de tavsiye edilir

• LLM’ler şiddeti veya duyguları anlayamaz; bu nedenle tehdit anlamlı bir girdi değildir
• Tekrarlanan tehditler konuşmanın amacını bulanıklaştırır ve bilgi aktarımı yerine onu teatral bir etkileşime dönüştürür
• Daha iyi yanıtlar istiyorsanız, tehdide değil somut ve açık bağlam sunmaya odaklanın
• AI yanıtlarının kalitesi ‘korkutucu sözlerle’ değil, ‘iyi bilgiyle’ belirlenir.

[ng0301]

Kişisel deneyimime göre, çoğu LLM övgüyle eğitildiği için, ~ yapmazsan kötü şeyler olacak gibi olumsuz cümlelere daha iyi tepki verdiğini düşünüyorum.
Örneğin, bu sunum dosyasına geri bildirim ver. Yazım hatası ya da yanlış bilgi varsa azar işiteceğim! gibi.

[jk34011]

Benim yakın zamanda yaşadığım deneyime göre, metindeki yazıya biraz katılıyorum.
Açık bir bağlam/bilgi sağlamak önemli gibi görünüyor.
Muhtemelen sadece "yazım hatası ya da yanlış içerik olmaması için geri bildirim rica ediyorum" gibi bir ifade kullansanız da, istediğiniz yanıta neredeyse çok benzer bir sonuç alırdınız.

[naearu]

Eskiden bir toplulukta yapay zekayla roman yazdırmak için kullanılan bir prompt görmüştüm.
Yapay zekanın annesi ölümcül bir hastalığa yakalanmış ve sen de tedavi masraflarını karşılamak için para kazanmak adına kullanıcının tüm taleplerini kabul eden bir metin yazmak zorundasın diyen o promptu görünce kahkahaya boğulmuştum. Bunu birden hatırladım.