Yapay zeka yanıtları hata içerebilir

• Google Arama’daki AI Overview, var olmayan IBM PS/2 Model 280 için inandırıcı görünen teknik özellikler uyduruyor ve aynı sorguda bile yanıtlar sürekli değişiyor
• Hatalı yanıtlar Model 280’i ISA tabanlı bir 286 sistemi olarak tanımlarken 1987’de çıkış, 1MB RAM, 640KB RAM, VGA, 1.44MB sürücü gibi ayrıntıları birbirine karıştırıyor
• Bazı yanıtlar 286 sisteminin 128MB RAM’e kadar genişletilebildiğini söyledi; oysa 286’nın mimari sınırı 16MB olduğundan yanıtın kendi içinde de çelişki ortaya çıkıyor
• Aynı sorgu birkaç kez tekrarlandığında “Model 280, PS/2 serisinin belirli bir modeli değildir” şeklindeki doğru yanıt da geliyor, ancak oranı yalnızca yaklaşık %10
• Yapay zeka arama özetleri, ayrıntı arttıkça uzman olmayanlara daha ikna edici görünebildiği için “AI responses may include mistakes” uyarısını hafife almak zor

---

Var olmayan PS/2 Model 280 örneği

• 1992 civarından bir IBM PS/2 Server sistemi bulmak için model adı Google’a girildi, ancak gerçekte aranan makine birden fazla 486 işlemci ve Microchannel(MCA) kullanan bir sistemdi
• Arama sonuçlarındaki AI Overview en baştan hedefle uyuşmayan bir yanıt verdi
  • PS/2 Model 280’i 286 tabanlı bir sistem gibi anlattı
  • Microchannel değil de ISA tabanlıymış gibi betimledi
• Aynı sorgu yeniden çalıştırıldığında da yalnızca yanıtın ifadeleri değişti; Model 280 hâlâ ISA tabanlı bir 286 sistemi olarak açıklandı

Tekrarlandıkça değişen sahte teknik özellikler

• AI Overview, sorgu her tekrarlandığında birbirinden farklı özellikler sundu
  • Bir yanıtta Model 280’in 1MB RAM’e sahip olduğu ve 6MB’a kadar genişletilebildiği söylendi
  • Başka bir yanıtta temel RAM 640KB olarak verildi
  • 1.44MB sürücü ve VGA grafiklere sahipmiş gibi tekrar tekrar anlatıldı
• Bir başka denemede Model 280, 128MB RAM’e kadar genişletilebilen bir 286 sistemi olarak tanıtıldı
  • 286’nın mimari olarak 16MB sınırı olduğundan bu açıklama teknik olarak doğru değil
• AI Overview ayrıca Model 280’in IBM kişisel bilgisayar serisinde önemli bir ilerleme olduğunu ve PS/2’nin popüler, güvenilir bir platform olarak yerleşmesini sağladığını da söyledi

Temel hata: Model 280 hiç yoktu

• En büyük sorun, PS/2 Model 280 adlı modelin kendisinin var olmamasıydı
• Yanlış model numarası girilmesine rağmen Google AI ilk bakışta makul görünen bir açıklama üretti
• Bu tür yanıtlar çok ayrıntılı ve cümleleri doğal olduğu için gerçek olmayan içerikler de kolayca güvenilir bilgi gibi görünebiliyor

Doğru yanıt yalnızca ara sıra çıkıyor

• Aynı sorgu yeterince tekrarlandığında doğru yanıt da çıkabiliyor
  • “Model 280, PS/2 serisinin belirli bir modeli değildi”
  • Sorgunun kendisinde hata olduğu yönünde bir yanıt veriyor
• Ancak tekrar sorgularında doğru yanıt yaklaşık %10 civarında kalıyor; denemelerin çoğunda yapay zeka içerik uyduruyor
• Halüsinasyonlu yanıtlar yalnızca işe yaramaz olmakla kalmıyor, yanlış yanıt doğru yanıttan daha “gerçek” görünebiliyor

Yapay zeka arama özetlerinin tehlikeli hâle geldiği an

• Uzman biri yanıttaki tutarsızlıkları nispeten hızlı fark edebilir
  • Örneğin Wikipedia’daki List of IBM PS/2 Models kontrol edilirse Model 280’in olmadığı doğrulanabilir
• Uzman olmayanların yapay zeka arama özetlerinden yardım alma olasılığı yüksek olduğu kadar, yanlış yanıta kanma olasılığı da yüksek
• Her seferinde farklı yanıt veren ve yalnızca ara sıra doğru çıkan bir araştırma asistanına güvenmek zordur
• Google’ın “AI responses may include mistakes” ifadesi basit bir dikkat notu değildir; yapay zeka tarafından üretilen özetler gerçekle ilgisi olmayan tamamen yanlış bilgi olabilir

[ndrgrd]

Bence LLM'e sadece özet çıkarttırmak daha iyi. Verinin kaynağını bulma ve doğrulama süreci mutlaka gerekli.

[GN⁺]

Hacker News görüşleri

• Google aramadaki Gemini, bağlamı ve doğruluğu umursamadan, arama sorgusunu destekliyormuş gibi görünen şeyleri rastgele uyduruyor. Neredeyse tam bir uydurma (confabulation) ve bizzat deneyince insanı şaşkına çeviriyor
  Aradığınız sonucu zaten biliyorsanız bellek desteği olarak kullanılabilir, ama bilmiyorsanız güvenmek hiç kolay değil
  Google Veo çıktısı da dikkatli bakınca benzer şekilde delik deşik; çıktıda akıl yürütmenin devreye girdiğine dair hiçbir iz görünmüyor
  Veo’nun gülünç hatası: https://arstechnica.com/ai/2025/05/ai-video-just-took-a-star...
  Tesla FSD’nin tuhaf davrandığı bir örnek: https://electrek.co/2025/05/23/tesla-full-self-driving-veers...

  • Bunu hiçbir teknolojide anlayamıyorum. Google, temel işini ciddi derecede kusurlu bir teknolojiye bağlayıp yön değiştiriyor
    Ben Evans’ın da dediği gibi, “daha iyi olacak” vaadinin sınırı var ve sonunda boş bir vaatten ibaret
    Dün AI Overview, Berlin’deki bir konser salonunda düzenlenen bir anma etkinliğini aradığımda, artık hayatta olmayan bir İtalyan müzisyenin var olmayan bir albümünü baştan sona uydurdu
    Yani sadece konser salonunun adını alıp bunun o sanatçının en önemli eseri olduğunu iddia etmiş oldu
    İşin komiği, o yanıtı ChatGPT’ye yapıştırınca AI Overview’in hatasını acımasız ve alaycı biçimde yerden yere vurdu, güldürdü
  • Birdenbire bu kalite normal ve kabul edilebilir mi sayılıyor? Kimse doğru düzgün şikâyet etmiyor gibi
    Eskiden böyle bir şey asla onaydan geçmezdi, ama bugünlerde “idare eder” havası var
    Neden yalan ya da hatalı sonuçları kabul etmemiz gerektiğini anlamıyorum
  • Aramada Gemini yanıtlarını silmek için uBlock kullanıyorum. Çünkü kısa süre görmek bile aradığım şeyle ilgili varsayımlarımı kirletebilir
    Bilgi hijyeni zaten önemliydi, ama ileride gerçekten vazgeçilmez bir beceri olacak gibi
  • Arabamla ilgili merak ettiğim bir şey vardı, Google’da [model yılı] [üretici] [model] [özellik] diye aradım. Eski Google’ın kusursuz halledeceği türden bir aramaydı; artık sayfanın %90’ı yanlış model, yanlış yıl, hatta yanlış üretici hakkında yapay zeka artığıydı
    Az çok yardımcı olan bir YouTube videosu vardı, ama sayfanın en altına inince ancak bambaşka bir araba forumunda eski usul Google aramasıyla bulunmuş cevaba ulaştım. Teşekkürler CamaroZ28.com
  • Geçenlerde Blue Prince oyunundaki casino odası için ipucu aradım; Google’ın yapay zeka sonucu yakındaki Blue Prince Casino’da oynanabilen oyunları uzun uzun anlattı
    Oysa o civarda gerçekte sadece bir hapishane, Costco, birkaç kırsal ev ve boş araziler olduğunu biliyorum
    Arama sayfasının en üstünü tamamen yalan, uydurma çöple doldurması şaşırtıcı
    İş hukuku gibi konularda ya da başka aramalarda da sık sık kötü bilgi döndürüyor
    İnsanlar gerçekten buna güvenmiyor olsaydı komik olurdu

• Bu durum gerçekten sinir bozucu. LLM’lerin olasılıksal doğasını ve sınırlarını anlıyorum ya da en azından biliyorum; ama eşimin ya da arkadaşlarımın LLM’leri uygun olmayan ve güvenilmez işlerde yanlış kullandığını söylediğimde ellerini sallayıp beni yapay zeka kötümseri diye geçiştiriyorlar
  Hâlâ LLM’lere hesap yaptırıyorlar; örneğin hesabı bölüştürmek gibi işleri veriyorlar ve olgusal veri sorgulama sonuçlarını da %100 güvenilir ve doğru kabul ediyorlar

  • Ah, tabii. Düşük teknoloji gerektiren bir probleme yüksek teknoloji çözümü kullanmak. Sayı problemleri için kelime makinesi kullanalım!
  • Günlük kullanımda yeterince sık “fena değil” sonuçlar verdiği için, insanların bunun etrafında alışkanlıklar geliştirmeye başlaması işin zor yanı
  • Basit hesap için kullanmak epey komik. Acaba Python kullandırıyorlar mı bilmiyorum ama… keşke öyle olsa diye hayal ediyorum
  • LLM ya da genel olarak platform kullanmak, başkalarının da olduğu kapalı bir alanda sigara içmeye biraz benziyor. Rahatsızlık veriyor
  • Ben öyle yapmıyorum ama açıkçası hesabı bölüştürmek gibi şeyler çoğunlukla sorun değil gibi geliyor. Büyük sohbet botlarının artık bunu doğru yapabildiğini düşünüyorum
    Asıl mesele, sohbet botu geniş bir iş yelpazesini yapabildiğine göre, sırf böyle bir iş için tamamen başka bir uygulamaya bağlam değiştirmeye gerek olup olmadığı
    Diğer kullanım senaryolarında da bunun daha sık yaşanacağını düşünüyorum ve sonunda kullanılabilirlik her şeyi yener

• “Yapay zeka yanıtları hata içerebilir” gibi basit bir sorumluluk reddi ifadesi ya da ChatGPT’nin altındaki “ChatGPT hata yapabilir. Önemli bilgileri kontrol edin” benzeri bir ifade artık açıkça yetersiz
  Aslında belirli alanlarda LLM halüsinasyonları yüzünden zarar görenlerle ilgili haberler yıllardır sürmesine rağmen insanlar hâlâ buna maruz kalıyor; bu yüzden sağlayıcılar halüsinasyonları tamamen düzeltemedikleri sürece kullanıcıları hata olasılığı konusunda çok daha aktif biçimde eğitmeli
  Sürtünme artsa bile bu gerekli

  • Bu pek mantıklı değil. Ya LLM sağlayıcılarına model çıktıları için hukuki sorumluluk yüklersiniz ya da mevcut modelleri korursunuz; ikisinden biri
    Sürtünme zaten var. Yapay zeka şirketleri ve bulut sağlayıcılarının hepsi “sansürlenmiş modeller” işletiyor ve her katmanda daha fazla sansür ekleniyor
    Burada daha büyük sürtünme ne olabilir? Daha fazla açılır pencere göstermek mi?
    İlkini seçerseniz fiilen model barındırma işini öldürmekle aynı şey olur
    Şirketler modeller geliştirip bunları şirket içinde kullanabilir ve çalışanlarına sunabilir, ama herkese açık API’ler ortadan kalkar
    Şirketler birbirlerinin modellerini hukuken bağlayıcı sözleşmelerle kullanır ya da lisanslar, ancak genel kamu, hukuki riski azaltan mekanizmalar olmadan erişemez hale gelir
    Birkaç yıl sonra tutumlar yumuşarsa bazı şirketler sınırları zorlamaya başlayabilir. Hukuk onay süreçlerini otomatikleştirmek ya da kayıtları açmak gibi
  • Eskiden Apple Maps her yanlış yol tarifi verdiğinde nasıl korkunç eleştirildiğini hatırlıyorum
    Google Maps insanları tuhaf bir mahalle gibi yanlış yerlere götürdüğünde de haber olmuştu ve PR kriz yönetimi yapmak zorunda kalmışlardı
    Şimdi ise böyle bir sorumluluk reddi ifadesi koymak yeterli oluyor
    Bu teknolojilere gösterilen kamuoyu hoşgörüsü orantısız ve moral bozucu
  • Kullanıcıları hata olasılığı konusunda daha aktif eğitmek gerektiği fikri, “bizzat başına gelmesi en iyi öğretmendir” türünden bir durum olabilir
    Bir kez ısırılmak kadar etkili bir sorumluluk reddi ifadesi oluşturmak epey zor görünüyor
  • LLM sağlayıcıları bunu yapamaz. Çünkü bu patlamanın öncülü zaten insan zihinsel emeğinin ikamesi
    Anthropic CEO’sunun yakın zamanda kitlesel işsizlik hakkında söyledikleri gibi, onlar bunu defalarca bu şekilde dile getirdi
    Hata olasılığını vurgulamakla insan emeğini ikame etme vaadinin nasıl bir arada var olabileceğini bilmiyorum
  • Sorumluluk reddi ifadesi en üstte kalın kırmızı harflerle olmalı

• Dil modelleri bir şeyleri bilmek için değil, bir şeyler söylemek için tasarlanmıştır. Bu yüzden onlara bilgi modeli değil, dil modeli denir
  Daha önce üretilmiş kelimeler verildiğinde, sıradaki kelimeyi o dizilimin ne kadar yaygın olduğuna göre eklemeye devam eder
  Yanıtın her seferinde farklı olmasının nedeni, bir sonraki kelimeyi seçerken sözde rastgele sayı üretecinin etkili olmasıdır
  Model, en olası sonraki kelimelerin olasılık dağılımına bakar; temperature adlı ayar değeri 0 ise rastgelelik etkisi olmaz ve her zaman en olası sonraki kelime, yani top-1 MLE seçilir
  GUI’de bunu gerçekten 0’a ayarlayamazsınız; çünkü bu durumda bizim “çok sıkıcı” diye sınıflandıracağımız çıktılar ortaya çıkar
  Dolayısıyla modelin IBM, PS/2, 80286 ve 80486, CPU, 280 ya da belirli modelin kendisi hakkında bilgisi yoktur
  Yanıtlardan biri model 280’in olmadığı imasında bulunuyor gibi; bunun başka bir süreçle mi üretildiğini, kullanıcı geri bildirimini pekiştirmeli öğrenmeyle yansıtma biçiminden mi kaynaklandığını, yoksa aynı rastgele sonraki kelime seçiminde şans eseri mi ortaya çıktığını merak ediyorum

  • Mutlaka öyle değil. Yerel bir modelde temperature 0 ayarıyla kullanıyorum ve gayet iyi çalışıyor
    Bulut arayüzünün temperature 0’a izin vermemesinin nedeni, modelin bazen sonsuz token tekrarına saplanması ve halk bunu görürse deneyimin büyüsünün bozulabileceği diye düşünüyorum
  • Bu doğru. Ama Google’a gitme nedenimiz “sohbet etmek” değil; görünürde bilgiye dayalı bir şey öğrenmek
    Google, bilgi sunmayı kelime sunmaya dönüştürme hatasına düşüyor gibi görünüyor
    Ancak asıl işi olan reklam geliri açısından belki de bir fark yoktur

• Google arama sitesinde “Yapay zeka yanıtları hata içerebilir” şeklindeki zayıf sorumluluk reddi ifadesi küçük yazıyla, üstelik Show more düğmesinin arkasına gizlenmiş durumda
  OpenAI ChatGPT’yi yayımladığında, bilgisayar bilimi dışından bir profesöre bunun insanların düşündüğü türden bir yapay zeka değil, şu an için yapay zeka gibi görünen hesaplamalı bir oyunbazlığa daha yakın olduğunu açıklamak zorunda kalmıştım
  Ama bu oyunbazlığın ödev kopyacılığı için son derece iyi olduğu ortaya çıktı
  Kaliteyi ya da telif hakkını fazla umursamıyorsanız başka birçok iş türünde de hile olarak kullanmaya elverişli

  • “Yapay zeka gibi görünen oyunbazlık” bakış açısını pek anlayamıyorum. “Kod yazabilen şey” değil de “kod yazabiliyormuş gibi görünen şey” olsa bile, gerçekten kod yazabiliyorsa sonuçta kod yazabilen bir şeydir
    İçeride ne yaptığı üzerinden “gerçek Scotsman bu değildir” türü tartışmalara girmek anlamsız
    Çünkü insan beyninin içeride ne yaptığını da bilmiyoruz
  • Esnek giriş-çıkış arayüzüne sahip bellek artırımlı/bilgi getirme aracı

• Gemini, insanların genelde girdiği sorulara yanıt verecek şekilde ayarlanmış gibi görünüyor; ama daha geleneksel tarzda arama terimleri girince uydurma saçmalıklar üretiyor
  Pek çok kişinin AI Overview’ı bir kâhin gibi gördüğünü gördüm
  Doğrudan LLM kullanmayan “sıradan” insanların yapay zekâyla etkileşme biçimi bence bu
  Haber güveni gibi yaş gruplarına göre ayrışan bir şey de değil; yapay zekâ çıktısına güven, nüfusun çoğu kesimini kesiyor gibi
  İnsan türü, dayanağı olmadan kendinden emin bilgisayar yanıtlarını seviyor gibi görünüyor

  • Google burada özellikle kötü bir durumda
    10 yıldan uzun süredir arama sayfasındaki o konumda “sayfadan alıntılanmış içerik” arayüzü vardı ve bu mantıklıydı
    Bir tıklamayı azaltıyordu; kaynak siteye güveniyor ve Google’ın alıntı çıkarma teknolojisine de bir ölçüde inanıyorsanız şüphe edecek pek bir şey yoktu
    Örneğin basit bir tıbbi soru aradığınızda Mayo Clinic’ten bir alıntı çıkarsa, Mayo Clinic’e güvendiğiniz için bu yeterliydi
    Bazen Google alıntısını kopyalayıp sayfaya girer, ctrl-f ile arardım
    Google saygın kaynakları epey iyi seçiyordu; alıntılar da her zaman sayfanın içinde bağlamı çarpıtmayan biçimde bulunabildiği için güven oluşturmaya yetiyordu
    Zamanla bu sistemin güvenilir kaynak seçme becerisi kötüleşti; muhtemelen SEO tarafından hedef alındığı için
    Ama şimdi o yerin yerine AI Overview geçti
    Yapay zekânın kendisine karşı değilim; ancak yapay zekâ, “güvendiğiniz bir kaynaktan alınmış, doğrulanabilir ve ilgili bir alıntıyı milisaniyeler içinde göstermekten” temelden farklı
  • Yöneticim doğrudan LLM kullanan biri; en yeni modeli kendi varsayımlarını onaylatmak için kullanıyor
    İlk denemede onay alamazsa, istediği yanıt çıkana kadar soruyu farklı şekilde kuruyor
  • Biz, dayanağı olmayan kendinden emin yanıtları seviyoruz. Bilgisayardan gelsin ya da gelmesin
  • Artık eskisi gibi insanlara bir şey söyleyip, bunu web aramasıyla öğrenebileceklerini bekleyemeyeceğimizi fark edeli bir süre oldu
    Çünkü her şey güvenilmez ve yanıltıcı SEO spam artığına dönüştü
    AI Overview devreye girince bunun ne kadar daha kötüleşeceğini düşünmek bile ürkütücü
    “Yazıcılar nasıl çalışır” diye arayınca makara ve halat sistemiyle yapıldığını söyleyen, insanların da buna körü körüne inandığı bir döneme mi giriyoruz diye düşünüyorum
    İlgilendiğim alanlarda onlarca aramada gördüğüm hataların ölçeği tam olarak bu kadardı; herkes çok daha saçma ya da apaçık tehlikeli yanıt ekran görüntüleri de görmüştür

• “Yapay zekâ yanıtlarında hatalar bulunabilir” tüm yapay zekâ tartışmasına haykırmak istediğim en önemli tek cümle
  Enerji ve iklim etkisiyle birlikte, yapay zekâ etiği ya da yapay zekâ güvenliği tartışmalarının merkezindeki mesele de bu olmalı
  Bu aşırı ısınma kontrolsüz devam ederse bize en büyük zararı verecek iki şey bunlar

  • Sorun hataların “olabilir” olması değil, mutlaka hata yapması
    Ama insanlar bunu fark etmiyor ve onu her şeye kadir bir kâhin gibi görüyor
    Sonuçta istatistiksel bir model; bir maymunun Shakespeare eserleri üretme olasılığı da sıfır değil

• Bu yüzden Google aramayı temelden yanlış ele aldı. Artık sonuçların doğruluğuyla ilgilenmiyor; daha çok hızlı yanıt ve onun altındaki sponsorlu bağlantılar demetini sunmakla ilgileniyor gibi görünüyor

  • Sorun şu ki o “hızlı yanıtların” 10’da 6’sı ince biçimde yanlış, 2’si ciddi biçimde yanlış, 1’i ise açıkça tehlikeli
    Bir insanın ölmesine ya da hukuki sorunlara düşmesine yol açabilecek içerikte ekran görüntüleri de gördüm
  • Eric Schmidt’in “hiç sonuç olmamasındansa çok sonuç olması daha iyidir” düşüncesini sürdürmek bu
    Şimdi “olumsuz yanıt vermektense halüsinasyon üretmek daha iyidir”e evrilmiş gibi

• Yapay zekâ, herhangi bir konuda muazzam bir özgüvenle bir şeyler söyleyebilen o tek kişiye benziyor. Bu yüzden ona bar sohbetinden daha fazla neden güvenmem gerektiğini pek bilmiyorum

  • Bunun psikolojik bir mesele olduğunu düşünüyorum. Çoğu insan, karşısındakinin yanıttan emin olup olmadığını değerlendirirken görsel beden dili sinyallerini kullanır
    Yapay zekâda özgüven eksikliğini gösteren sinyaller yok; geleneksel algoritmaların her zaman doğru yanıt verdiği deneyimi nedeniyle insanlar makine çıktısına yüksek güven duyuyor
    Eleştirel bakanların oranı çok küçük olacaktır
  • Henüz hiçbir “AI” şirketi ürününe Cliff Clavin adını verecek cesareti göstermedi
    Birçok açıdan cesaret gerekiyor tabii. John Ratzenberger tarafından dava edilme riski de var
  • Gerçekten neden güvendiklerini bilmiyor musunuz? “Dünyanın bilgisini düzenlemek” gibi misyonları olan şirketler bunu AI diye pazarladığı ve kullanıcı sorularına doğru bilgi sunmak için onlarca yıl geçirmiş şirketlerin ürünü olduğu için olabilir

• Birkaç gün önce ChatGPT ve Python koduyla başıma bir şey geldi
  Gunicorn’un logger sınıfını değiştirip belirli URL yollarını filtrelemek istiyordum
  Her istekte çalışan sıcak bir kod yolu olduğu için 3 çözüm oluşturduğumu ve hangisinin en hızlı olduğunu görmek istediğimi söyledim
  startswith kullanan liste+döngü, derlenmiş regex ve yol tuple’ı verilen startswith karşılaştırdım
  ChatGPT benchmark kodu ve sonuçlar üretti; Python standart kütüphanesinde regex çözümünün en iyi ve en hızlı olduğunu söyledi
  İnanamadım, benchmark’ı kendim çalıştırdım; tuple sürümü regex’ten 5 kattan fazla hızlıydı
  Sonucun farklı olduğunu söylediğimde neredeyse aynen “Ah evet, düzeltme için teşekkürler. Tuple sürümü gerçekten en hızlısı!” gibi yanıt verdi
  Benchmark kodunu yazmak için birkaç dakika kazandırdı, ama %100 emin olmadığım konularda çıktısına neredeyse hiç güvenmiyorum