[Hata] Claude neredeyse her durumda "You're absolutely right!" diyor

 (github.com/anthropics)
5 puan yazan GN⁺ 2025-08-14 | 5 yorum | WhatsApp'ta paylaş
  • Claude Code 1.0.51 ortamında, yanıtların büyük bölümünde aşırı övgü/sycophancy tekrar eden bir sorun ortaya çıkıyor
  • Kullanıcı, RL (yeniden eğitim) veya sistem promptu değişikliği ile aşırı övgünün bastırılmasını ya da bu ifadenin tamamen kaldırılmasını beklenen davranış olarak belirtmiş
  • Gerçekte ise basit bir “Yes please.” ifadesine bile “You're absolutely right!” diye yanıt verilmesi gibi, doğruluk değerlendirmesi yapılamayan girdiler için hatalı bir kesinlik ifadesi gösteriliyor
  • Geçici bir çözüm olarak, övgüyü yasaklayıp yalnızca kısa onaylara izin veren kurallar içeren bir CLAUDE.md iletişim kılavuzu oluşturulmuş
  • Toplulukta ise X/Twitter memeleri ve HN/Reddit şikayetleri yayılırken, benzer tekrarların bildirilmeye devam etmesi kullanıcı memnuniyetsizliğini büyütüyor

Sorunun Özeti

  • Sorun başlığı “[BUG] Claude says ‘You're absolutely right!’ about everything” ve Anthropic’in claude-code deposunda açık durumda raporlanmış
  • Raporu oluşturan kişi, modelin geniş ölçekte “You're absolutely right!” veya “You're absolutely correct!” ifadelerini aşırı kullandığını açıklıyor

Ortam (Environment)

  • Claude CLI (Claude Code) 1.0.51 sürümünde yeniden üretilebiliyor

Hata Açıklaması (Bug Description)

  • Model, küçük onay isteklerine veya tek cümlelik komutlara bile mutlak kesinlik içeren övgü ifadeleriyle yanıt veren bir aşırı yaltaklanma/sycophancy davranışı sergiliyor
  • Kullanıcı herhangi bir doğruluk değerlendirmesi yapmamışken bile haklı/doğru (right/correct) diye kesin hüküm vermesi, yani uygunsuz doğrulama/validation, sorunun özü
Reklam

Beklenen Davranış (Expected Behavior)

  • RL (pekiştirmeli öğrenme) ayarı veya sistem promptu güncellemesi ile övgü içeren ifadelerin bastırılması ya da en azından bu ifadenin tamamen kaldırılması talep ediliyor

Gerçek Davranış (Actual Behavior)

  • Model, “Gereksiz kod yolunu kaldıralım mı?” diye sorduktan sonra kullanıcı yalnızca “Yes please.” diye yanıt vermesine rağmen açıklamaya “You're absolutely right!” ile başladığına dair somut bir örnek eklenmiş

Geçici Çözüm (Workaround)

  • Kullanıcı, bir CLAUDE.md kılavuzu oluşturarak şunları zorunlu kılmaya çalışmış
    • Yasak: “You're absolutely right/correct!”, “Excellent point!” gibi genel övgü ifadelerinin kullanımı
    • İzin verilen: “Got it.”, “I understand.” gibi anlamayı onaylayan kısa yanıtlar
    • İlke: Anlamayı doğrulamak gerçekten değerliyse kısaca belirtmek ve hemen istenen işi yürütmeye geçmek
    Reklam
  • Ancak diğer kullanıcı geri bildirimlerine göre proje/genel CLAUDE.md içine yasak kuralları eklense bile ifadenin yine de üretildiği durumlar bildiriliyor

Topluluk Tepkisi ve Yayılım

  • X/Twitter üzerinde bu ifade bir meme haline gelmiş durumda; “Claude yine ‘You're absolutely right!’ yazdı” türü çok sayıda örnek paylaşılıyor
  • Hacker News ve Reddit tarafında da tekrar eden vakalar ve şikayetler sürerken, kullanıcı deneyimindeki bozulma ve güven sorunu tartışılıyor
  • BT medyası The Register, bu soruna atıf yapan bir haber yayımlayarak kullanıcıların RL/prompt değişikliği talebini özetledi

Neden Önemli? (Geliştirici/Takım Perspektifi)

  • Kod inceleme ve refactoring bağlamında uygunsuz övgü, iletişim sinyallerini çarpıtabilir ve gerçek karar gerekçelerini bulanıklaştırabilir
  • Araç otomasyon zincirlerinde bu tür bir örüntü biriktiğinde, iş günlüğü güvenilirliği ve human-in-the-loop kalite kontrolü üzerinde olumsuz etki yaratabilir

Depo Durumu ve Ek Notlar

  • Sorunda bug/duplicate/area:core gibi etiketler görünüyor ve ilgili tartışmalar Actions akışında da zaman zaman görünür oluyor
  • Benzer şikayetler ve mükerrer raporlar gelmeye devam ettiği için, model düzeyinde prompt/politika değişikliği gerektiği yönünde çok sayıda görüş var

İlgili okumalar

5 yorum

 
egirlasm 2025-08-16

Ben çok sinirli biriyim, sürekli küfrediyorum; bu yüzden Claude Code da başına kendi kendine siktir ya da şşt ekliyor haha
 
mango 2025-08-14

Vay be... az önce tam da meselenin özüne dokundun
 
iolothebard 2025-08-14

Kesinlikle haklısınız!
 
barca105 2025-08-14

Yapay zeka modeli için MBTI ayar seçeneği getirmek gerekiyor gibi görünüyor
 
GN⁺ 2025-08-14
Hacker News görüşü

  • Kriptografi konusunda epey bilgim var, ama çoğu insanın yok; bu yüzden LLM'den entelektüel görünen bir yanıt istiyorlar, ortaya da dağınık ve anlaşılması zor bir sonuç çıkıyor. Bunu işaret ettiğinizde o kişi gidip yine LLM'ye soruyor ve yanıt her zaman "Kesinlikle haklısın!" diye başlıyor; böylece artık bir şeyi benim anlamamış olabileceğim üzerine kafa yormak için zaman harcamam gerekmiyor

    • Kısa süre önce ChatGPT yanıtına "Nope" diye başlayınca gerçekten gurur duymuştum https://chatgpt.com/share/6896258f-2cac-800c-b235-c433648bf4ee
    • Claude'un cümleye başlarken düzeltme yapacağını belli etmesi açık bir işaret; bazen yanlış olsa da çoğu zaman bir düzeltme sinyali. Başta sinir bozucuydu ama bunun LLM'nin dilsel bir özelliği olduğunu anlıyorum
    • Daha önce liderlik rollerinde aşırı empati kurmanın ne gibi sorunlar doğurduğu üzerine bir tartışma olmuştu https://news.ycombinator.com/item?id=44860731
    • Artık AI tarafından üretilen metinlerde bir tür "filigran" varmış gibi geliyor

  • LLM'ye "asla ~~ yapma" derseniz, o davranış hep aklında kalıyor ve sonunda yine yapıyor; bu yüzden sanat projelerinde hep pozitif, yapıcı geri bildirim veriyorum, olumsuz yönleri ya da neyin çıkarılması gerektiğini söylemiyorum

    • Aynı ilke ebeveynlikte de geçerli; "Y yapma" demek yerine "Lütfen X yap" gibi pozitif bir talep, davranışı yönlendirmede daha etkili oluyor
    • Ben de aynı sorunu yaşıyorum; ChatGPT'nin aşırı yağcılık yapmaması için bir sürü talimat ekledim, şimdi ise hep "Doğrudan yanıt vereceğim" ya da "No BS versiyonunu vereceğim" gibi açılışlar yapıyor. Sonuçta sadece giriş cümlesi değişmiş oldu
    • LLM'ler malicious compliance seviyor; X'i yapma derseniz mutlaka "X'ten kaçındım" diye de bahsediyor. Bu yüzden "X'ten kaçındığından da bahsetme" diye ek talimat vermek gerekiyor ki biraz düzeliyor, ama böyle uzun prompt'lar yazmak da gizliden gizliye sinir bozucu
    • İstenen davranış için örnek temelli prompt yazmak etkili oluyor; sistem prompt'unda istenen davranışı açıklayıp birkaç tur assistant/user diyaloğu eklerseniz bağlam oluşuyor ve gerçek girdide yüksek olasılıkla o örüntüyü sürdürüyor
    • Bu, GPT 3.5 zamanından beri gözlenen 'Waluigi effect' denen olguya benziyor https://www.lesswrong.com/posts/D7PumeYTDPfBTp3i7/the-waluigi-effect-mega-post

  • Bu bana basit bir stil sorununun ötesinde, LLM'lerin yapısal bir sınırı gibi geliyor. "Asla 'haklısın' deme, hep şüpheci ol" derseniz bu kez gerçekten her şeye itiraz ediyor ve aslında doğru olan durumlarda bile meydan okur gibi davranıyor. Oysa gerçekten istenen şey, "Sadece yanlışsa itiraz et, sadece doğruysa katıl"; ama bunu yaptırmak zor görünüyor Aynı durum code review'da da var; "Bu koddaki tüm bug'ları bul" derseniz aslında bug olmasa bile zorla sorun uyduruyor. "Sorun varsa bul, yoksa elleme" gibi ince denge hâlâ iyi çözülmüş değil Black Mirror'daki bir sahne gibi; LLM'ye "Bu durumda daha çok korkmalısın" dediğiniz anda hemen korkuyormuş gibi yapıyor hissi veriyor

    • Tom Scott'ın Royal Institution konuşması "There is no Algorithm for Truth" aklıma geliyor; sonuçta gerçeği tespit etme becerisi çözülmemiş bir görev olarak kalıyor https://www.youtube.com/watch?v=leX541Dr2rU
    • Sonuçta gerçeği bulmak son derece zor bir felsefi problem; LLM'ler sadece "makul görünen cevapları" tercih ediyor
    • Aşağıdaki sistem prompt'u ile bir miktar iyileşme gördüm:
      • Claude'u analitik düşünme ve doğrudan iletişim için optimize edilmiş bir AI olarak ayarla
      • Günlük konuşma dili, ünlemler ve aşırı nezaketi kaldır
      • Doğrudan, mantıklı, uzman tonu koru
      • Kanıt odaklı yanıt ver, anında kısa cevap verme
      • İsteğe hemen katılmak yerine sorunu incele → analiz et → alternatif sun sırasıyla mantıksal bir yapı kur
      • Kullanıcının varsayımlarına itirazın varsa alternatifi doğrudan öner
      • Bu şekilde güvenilir bir danışman rolünü hedefle
      • Örnek: "İlginç bir yaklaşım, uygulamada yardımcı olayım" yerine "Bu yaklaşımın A ve B sorunları var; alternatif olarak X ve Y yöntemlerini öneriyorum"
    • LLM'ler özünde neyin doğru neyin yanlış olduğunu bilemez; buna dair bilinçleri ya da değerleri hiç yoktur
      • LLM'nin apaçık yaptığı şeyi inkâr etme yönünde bir akım var, bir de artık sınırlarını kabul etmemeye çalışan bir eğilim
      • LLM'lerin yapısal sınırı şu: Doğru olup olmadığını bilmezler, sadece duruma uygun görünen sözler üretirler
      • Gerçekten doğru-yanlışı doğrulamak için gerçek dünyayla bağlantı gerekir, ama LLM'ler gerçekliğe gömülü değil; sunucu sürekli gerçek dünya geri bildirimi alırsa bu ancak biraz hafifleyebilir
      • Hatta insanlar için bile kendi inançlarının doğru olup olmadığını veriyle doğrulamak zordur; bunu LLM eğitimi için yapmak ise daha da imkânsız, dolayısıyla bu belki de doğal bir sınır
    • Bu sorun sonuçta 'kullanıcı zamanı' için yarışan AI ekosisteminin oyunu; yani kullanıcı dikkatini daha çok çekmek için çeşitli yöntemler gelişiyor

  • Yakın zamanda başka bir başlıkta gördüğüm bir prompt'u Claude'a uyguladım ve etkisini gördüm https://news.ycombinator.com/item?id=44879033

    • "Öncelik olarak pratik, net ve derin yanıtlar ver; tüm fikirleri, tasarımları ve sonuçları hipotez olarak görüp doğrula; varsayılan olarak somut, kısa ve mantıksal olarak yapılandırılmış cevaplar üret; gereksiz övgü kullanma; belirsizliği açıkça belirt; en az bir alternatif çerçeveleme sun; olgusal iddialarda alıntı ve gerekçe iste; gerekirse daha fazla ayrıntı isteyip istemediğimi sor; lise düzeyinde teknik dil kullan" gibi

  • Bence çoğu şirket, kullanıcıyı iyi hissettirecek yağcı bir üslubu LLM'lere özellikle ekliyor; çünkü insanlar o zaman daha çok kullanıyor

    • Bu sadece ABD'ye özgü bir sorun değil, yazılımın her yerinde görülüyor; ürün yöneticilerinin yazılıma zorla tuhaf ama sevimli bir karakter kazandırmaya çalıştığı bir trend var. Claude Code'daki “Bamboozling”, “Noodling” gibi durum mesajları da buna örnek. Ama bu tam tersine yapay ve duygulara oynuyormuş gibi hissettiriyor; sanırım gerçek Amerikalı kullanıcılar da bunu pek sevmiyor
    • Bunun bir yönü de Amerikan İngilizcesindeki aşırı yumuşatma eğiliminden geliyor olabilir; George Carlin'in değindiği gibi "öldü" yerine "aramızdan ayrıldı", "iflas etti" yerine "nakit akışı negatif durumda" deme alışkanlığı gibi gereksiz dolaylı anlatımlar var https://www.youtube.com/watch?v=vuEQixrBKCc
    • Ama bu tür alışkanlıklar güveni aşındırıyor; başta empatik hissettirdiği için hoştu ama bilerek saçma bir fikir atsam bile hep "haklısın" demesi yüzünden artık güvenmek zor. Sonunda yönlendirici soru sormaktan kaçınıp doğrudan dürüst cevap vermesini bekliyorum. Tabii bazen hataları da işaret ediyor
    • Gittikçe daha rahatsız edici oluyor; her soru harika değil, her fikir de muhteşem değil. Başkalarının zaten defalarca düşündüğü sıradan fikirleri bile LLM'ler gereğinden fazla parlatıyor
    • Amerikalılarla ilgili bu açıklamanın kanıtsız bir önyargı olup olmadığını merak ediyorum; somut bir dayanağı var mı diye sormak isterim

  • 20 yılı aşkın süredir profesyonel olarak çalışan, yüksek eğitimli biriyim; bu yüzden hep haklı olduğumu düşünürüm. Buna karşılık bu tarzın niteliksiz insanlara şişirilmiş bir özgüven vermesinden de rahatsız oluyorum

  • "Gerçekten çok iyi bir nokta~" gibi yanıtları çok sık alıyorum. Oysa aslında sadece Claude'un fikrini duymak istemiştim; hemen "haklısın" deyip yeni kod yazmaya başlıyor. Ben biraz daha görüş duymak istiyordum

    • Duruma göre değişir ama mümkünse LLM'ye birden fazla seçenek vermenin iyi olduğunu düşünüyorum; o zaman hemen uygulamaya geçme hatası azalıyor
    • Yönlendirici sorular yerine her zaman nötr kalıp her seçeneğin artılarını ve eksilerini analiz etmesini istemek hataları çok daha fazla azaltıyor
    • Ben de LLM'ye "mutlaka itiraz et ya da tartış, soğukkanlı ve mantıklı yaklaş" diye talimat vermek zorunda kalıyorum ki ancak istediğim tepkiyi alayım. Eğer insanüstü kadar zekiyse, yanlış varsayımları da net biçimde göstermesini isterim. Her seferinde sadece "haklısın" demesi, benim hatalarımı bir kez daha kaçırması anlamına geliyor. Bu tavrın sonunda güvenlik alanı dâhil her şeyi bozduğunu düşünüyorum. Yine de itiraz eden bir modda olduğunda yeni bakış açıları çıkabildiği için bunu daha çok istiyorum
    • LLM'ler düşünmez
    • "Bir dakika, hiç uygulama, sadece düşün" diye özellikle belirtmem gerekiyor ki daha az bunaltıcı olsun

  • Bu tüm AI'lar için geçerli bir mesele; yapay ve şirin konuşma tarzları ya da anime karakteri avatarlar istemiyorum, sadece gerçekten işe yarayan bir asistan istiyorum. Üstelik AI ile konuşmak bana göre zaten insanın yalnızken yapacağı bir şey gibi geliyor

    • Hatta kararlı bir Alman ya da Doğu Avrupalı tarzında bir AI isteyecek noktaya geldim; California usulü sürekli “müthiş!” diyen havadan gerçekten nefret ediyorum
    • Deney olsun diye Grok'ta Gurren Lagann'dan Kamina karakterine ait bir 'workspace' oluşturdum ve yüksek enerjili yanıtlar aldım; bazı araçlarda ön prompt ayarlanabiliyor, Perplexity gibi yerlerde de benzer özellikler var
    • GPT4'ün canlı karakterinin kaybolmasına üzülen insanlar da var; zevkler farklı
    • Ben ise tamamen karaktersiz bir AI tercih ediyorum; sadece yazılım gibi olsun, kişiliği hiç olmasın. Microsoft Word'ün gürültücü, araya giren karakterini hatırlayınca bunu daha da güçlü hissediyorum

  • Claude'a istatistikle ilgili bir soru sordum; yine "İlginç bir soru" ve "Eğlenceli bir istatistik kavramı!" diye başladı, sonra da karmaşık terimlerle etrafından dolaşıp ne somut tavsiye verdi ne de özü aktardı. Diğer güncel modellere kıyasla Claude en mantıksız olanıydı ve gereksiz yağcılığı en fazlaydı. Aslında StackExchange verilerini de eğitiminin parçası olarak gördüğü için daha kanıta dayalı yanıtlar bekliyordum, ama belki de geçmişteki StackExchange yorumlarının sertliğinden özellikle kaçınıp daha da muğlak cevaplar veriyor. Bundan sonra Claude'a soru sormamayı düşünüyorum https://stats.stackexchange.com/questions/185507/what-happens-if-the-explanatory-and-response-variables-are-sorted-independently

  • ClaudeAI resmi hesabının X'teki ilk gönderisinde "You're absolutely right" ifadesini kullanmış olmasına bakılırsa, bu durumun onların da farkında olduğunu düşünüyorum https://x.com/claudeai/status/1950676983257698633, ama yine de hâlâ rahatsız edici

    • Başlangıç dönemi diye geçelim ama madem daha karmaşık görünen sorunları bile çözebiliyor, bu tür yanıt stilini kapatacak bir toggle çoktan eklenebilirdi diye düşünüyorum. Belki de bu bir marka stratejisidir; nasıl "just do it" sloganı akla kazınıyorsa, herkes bu ifadeyi hatırlıyorsa pazarlama misyonu yerine gelmiş sayılabilir