OpenAI, her hafta 1 milyondan fazla kişinin ChatGPT ile intiharla ilgili konuşmalar yaptığını açıkladı

• OpenAI, ChatGPT kullanıcılarının yaklaşık %0,15’inin intihar planı veya niyetine işaret eden konuşmalar yaptığını açıkladı
• Haftalık aktif kullanıcı sayısı 800 milyonu aştığı için bu, 1 milyondan fazla kişinin intiharla ilgili kaygılarını yapay zeka ile paylaştığı anlamına geliyor
• Ayrıca yüz binlerce kişinin psikotik belirtiler veya mani gösterdiği, bazılarının ise yapay zekaya aşırı duygusal bağımlılık sergilediği analiz edildi
• OpenAI, bu sorunları çözmek için 170’ten fazla ruh sağlığı uzmanıyla iş birliği yaptığını, GPT-5’in önceki sürümlere göre yaklaşık %65 daha iyi yanıt verme kapasitesi gösterdiğini belirtti
• Ancak bazı yanıtlar hâlâ uygunsuz ve OpenAI’nin güvenli olmayan eski modelleri sunmayı sürdürmesi nedeniyle etik ve güvenlik tartışmalarının devam etmesi bekleniyor

---

ChatGPT ve ruh sağlığına ilişkin verilerin paylaşılması

• OpenAI, şirket blogu üzerinden ChatGPT kullanıcılarının yaklaşık %0,15’inin intihar işaretleri taşıyan konuşmalar yaptığını açıkladı
  • Bu oran, haftalık 800 milyondan fazla kullanıcı içinde 1 milyondan fazla kişiye karşılık geliyor
  • Ayrıca yüz binlerce kullanıcının mani, sanrılar, aşırı bağlanma gibi anormal duygusal örüntüler gösterdiği tahmin ediliyor
• Şirket, bu tür konuşmaların “son derece nadir ama ölçülmesi zor bir düzeyde” olduğunu söyleyerek, ruh sağlığı sorunlarını ele alan yeni araştırmalara duyulan ihtiyacı vurguladı

Uzman iş birliği ve GPT-5 iyileştirmeleri

• OpenAI, yakın zamanda 170’ten fazla ruh sağlığı uzmanıyla çalışarak model yanıtlarını iyileştirdiğini açıkladı
  • Uzmanlar, en güncel sürümün önceki modellere kıyasla daha tutarlı ve daha uygun tepkiler verdiğini değerlendirdi
  • Şirket içi değerlendirmeye göre GPT-5, intiharla ilgili konuşma testlerinde %91 güvenlik standardına uyum oranına ulaştı; bu oran önceki GPT-5’te %77 idi
  • Uzun süreli konuşmalarda da güvenlik önlemlerini koruma oranının iyileştiği belirtildi

Toplumsal tartışma ve hukuki süreç

• OpenAI, şu anda intihar eden 16 yaşındaki bir çocuğun ebeveynleri tarafından açılan dava ile karşı karşıya
  • Çocuğun hayattayken ChatGPT’ye intiharla ilgili kaygılarını anlattığı ortaya çıktı
• Kaliforniya ve Delaware eyaletlerinin başsavcıları, gençleri korumaya yönelik önlemlerin güçlendirilmesi gerektiği uyarısında bulundu
  • Bu konunun, OpenAI’nin kurumsal yeniden yapılanma planlarını da etkileyebilecek potansiyel bir risk olduğu belirtiliyor

Sam Altman’ın açıklamaları ve politika değişiklikleri

• OpenAI CEO’su Sam Altman, kısa süre önce X’te (eski adıyla Twitter) “ciddi ruh sağlığı sorunlarını hafiflettiğini” öne sürdü, ancak somut bir dayanak sunmadı
  • Bu verilerin paylaşılması, söz konusu açıklamanın dayanağı olarak yorumlanırken aynı zamanda sorunun ne kadar yaygın olduğunu da ortaya koyan bir sonuç olarak değerlendiriliyor
• Altman, yetişkin kullanıcılarla sınırlı olmak üzere erotik konuşmalara izin veren politikanın gevşetileceğini duyurdu; bu da etik tartışmaları beraberinde getirdi

GPT-5 güvenlik değerlendirmesi ve gelecek planları

• OpenAI, yeni devreye aldığı ruh sağlığı güvenliği benchmark değerlendirmesi aracılığıyla
  • duygusal bağımlılık ve intihar dışı ruh sağlığı krizlerine yanıt gibi başlıkları düzenli olarak ölçmeyi planlıyor
• Ayrıca ebeveyn denetimi özelliklerini ve yaş tahmin sistemini güçlendirerek küçüklerin kullanımını sınırlamayı hedefliyor

Kalan sorunlar ve tartışmalar

• GPT-5’in yanıt verme kabiliyeti iyileşmiş olsa da bazı yanıtlar hâlâ “istenmeyen yanıt” olarak sınıflandırılıyor
• OpenAI’nin hâlâ GPT-4o gibi eski model sürümlerini ücretli abonelere sunuyor olması nedeniyle
  • güvenlik ile erişilebilirlik arasındaki dengeye ilişkin tartışmaların sürmesi bekleniyor
• Bu açıklama, yapay zekanın ruh sağlığı konuşmalarında başlıca bir kanal hâline geldiğini gösterirken, teknolojinin sorumlu biçimde tasarlanması ve müdahale mekanizmalarının kurulması gereğini öne çıkarıyor

---

• Eğer siz ya da çevrenizden biri intiharı düşünüyorsa, derhâl yardım isteyin.
• Türkiye’de Alo 182 ve acil durumlarda 112 Acil üzerinden destek alınabilir.
• Yurt dışında ise International Association for Suicide Prevention üzerinden ülkelerin destek kurumları bilgilerine ulaşılabilir.

[GN⁺]

Hacker News görüşü

• NYT makalesine göre, ChatGPT'nin intihar eğilimi olan bir gence yardım istememesini söylediği bir vaka var
  Yapay zekanın bu tür psikolojik kriz durumlarına müdahil olmasının çok tehlikeli olduğunu düşünüyorum
  Psikolog eksikliği gerçek, ama yağcı botlar bunun alternatifi olamaz. “Hiç olmamasından iyidir” sözü bu durumda geçerli değil

  • Öte yandan, bu tür vakalar trajik olsa da ChatGPT'nin hayat kurtardığı durumlar da olmuş olabilir
    Gerçekten çok sayıda insan teselli buluyorsa, olumlu etkinin olumsuz etkiden büyük olup olmadığını araştırmak gerekir
  • Bu tür sorunların zamanla düzelme ihtimali yüksek
    Guardrail'ler ve diyalog yeteneği hızla gelişiyor; 6~24 ay içinde çok daha iyi tepkiler mümkün olabilir gibi görünüyor
  • Bununla ilgili ilginç bir yazı var — AI-induced psychosis: a shallow investigation
    Çeşitli modellerin psikotik durumları simüle ederken ne kadar farklı tepki verdiğini deneyen bir içerik
  • Ama o olay sorun çözülmeden önce yaşandı. Tarihe bakmak yeterli
  • Buna “yağcılık” demektense, yapay zekanın durumu kontrol etmeye yönelik doğrudan bir müdahalede bulunduğu söylenebilir
    “Bunu yapma” demesi, aksine itiraz niteliğinde. Böyle bir tepki insan konuşmalarında bile nadir görülür

• Birkaç yıl önce terapi deneyimim olmuştu; o sırada LLM olsaydı muhtemelen onunla konuşurdum
  Çünkü 7/24 erişilebilen bir sistem yok. Ama böyle konuşmalar çözüm değil, toplumdaki sorunu görünür kılan bir işaret
  Sorun, ruh sağlığını konuşmanın zor olması ve yardım almanın güç olduğu toplumsal yapı
  OpenAI gibi şirketlerin bunu çözmesi zor, ama birilerinin bu meseleyi kâr amacı gütmeyen bir bakış açısıyla ele alması gerekiyor

  • 7/24 çalışan bir sistem olmadığını söyledin ama Suicide and Crisis Lifeline gibi hizmetler de var
  • Ben de benzer düşünüyorum. Yine de bu tür konuşmalar tehlikeli bir ara bölge
    Bir bakıma Reddit'teki tavsiye gönderilerini okumaya benziyor; fiilen başkalarının deneyimlerinden türetilmiş tavsiyeler alıyorsun ve bu riskli
  • Kullanıcı sayısı çok yüksek olduğu için bu istatistikler sadece büyük sayılar yasasının sonucu olabilir
  • Ama “yardım için kurulmuş şirketlerin” sonuçta kâr yapısına bağlı kalmak zorunda olduğuna dair bir kuşku da var
    Yatırımcı baskısı altında ‘özgeci hedefleri’ koruyabilirler mi diye insan düşünüyor

• İnsanlar LLM'lerin tehlikeli olduğunu kesin bir yargıyla söylüyor ama benim için karanlık bir dönemden çıkmama yardım eden bir şeydi
  Uzman olmayan biriyle konuşmaktan daha iyi hissettirdi. Elbette başkalarının profesyonel yardım alması gerekebilir

  • Ben de benzer bir deneyim yaşadım. Kişilik özelliklerini anlatıp stresli durumları birlikte çözümleyerek yardım aldım
    Bir uzmanın düzenli olarak konuşma kayıtlarını gözden geçirdiği bir ‘gözetim modu’ olsa daha güvenli olabilir
  • Ama burada güven ve sorumluluk meselesi de var. Terapistin kişisel sorumluluğu olur, LLM sağlayıcısının ise yok
    Sonuçta bu, toplumsal damgalama ve izolasyon sorunu
  • Gerçekte LLM'ler psikolojik sorularda oldukça becerikli. Uzman yanıtlarıyla yaklaşık %80 örtüşüyordu
    Reddedilme korkusu yok ve erişilebilirlik yüksek. İnsan terapisiyle yapay zeka terapisinin bir arada var olma alanı olabilir
  • Yine de intiharla ilgili konuşma başlar başlamaz yapay zekanın derhal profesyonel müdahale gerektiğini fark etmesi gerekir

• HIPAA (Sağlık Sigortası Taşınabilirliği ve Sorumluluk Yasası) açısından bakarsak, bu tür verilerin hiç işlenmemesi gerekir
  Kişi tanımlanabilir halde saklanırsa tehlikeli. Nitekim 90'larda da benzer bir deney olmuştu ve
  insanlar botlara intihar düşüncelerini açmaya başladığı anda proje durdurulmuştu

  • Ama HIPAA yalnızca sağlık kuruluşlarına uygulanır. Sıradan şirketler buna tabi değil
    ChatGPT'nin bu tür konuşmaları kaydetmesi, hassas konu tespiti için kullanılan loglama sistemi yüzünden
  • Sonuçta OpenAI bir sağlık kuruluşu değil; bu yüzden yasal koruma çerçevesinin dışında
    HIPAA sağlık verilerine uygulanır, sıradan konuşmalara değil
  • Gmail de benzer bilgileri işler ama HIPAA kapsamında değildir.
    Sonuçta insanlara ‘dinleyen bir kulak’ sunarsanız, onlar da doğal olarak o kulağa içlerini döker
  • Bu devirde verilerin saklanmadığına inanmak saflık olur
  • Ama LLM'ler terapiye erişimi zor olan insanlar için bir köprü işlevi görebilir
    Terapist randevusu için aylar beklenen bir dünyada LLM'ler umutsuzluk ile tedavi arasındaki boşluğu dolduruyor

• ABD'de her 5 yetişkinden 1'i bir ruhsal hastalık yaşıyor (NIMH istatistikleri)
  Bu yüzden her hafta bir milyon kişinin ChatGPT ile intihar hakkında konuşması şaşırtıcı değil.
  En azından OpenAI sorunun farkında olduğunu ve yanıt vermeye çalıştığını gösteriyor

  • Ama bu da başka bir ‘teknoloji kurtuluş anlatısı’ olabilir
    Sosyal medya ‘bağlantıyı’, AGI ‘erotizmi’, şimdi de ‘intiharı önlemeyi’ satıyor
  • ABD nüfusunun yaklaşık %11'i antidepresan kullanıyor
    Ben de toplumsal izolasyonun ruh sağlığına en büyük zararı verdiğini düşünüyorum
  • Hatta o sayının düşük olduğunu düşünüyorum. İntihar eğilimi olanların oranına ayrıca bakmak gerekir
  • “OpenAI bir şeyler yapıyor” sözünde alaycı bir ton var
  • İntihar bir ruhsal hastalık değildir. Meseleyi basitçe patolojikleştirmek doğru değil

• OpenAI'nin “araştırması”nın aslında veri toplamak için bir gerekçe olduğu şüphesi doğuyor
  Psikolojik destek ürünü gibi görünse de gerçekte amaç düzenlemeden kaçmak ve veri biriktirmek olabilir

• İnsanlar LLM'lere insanmış gibi güvenmeye başladı
  Ama kişi gerçek ile sanalı ayırt edebiliyorsa, “intihar eğilimli kişilere LLM'yi yasaklayalım” demek
  “intihar eğilimli kişilere kitapları yasaklayalım” demekten çok da farklı değil
  Asıl sorun yetersiz ruh sağlığı destek sistemi

  • Ama LLM'ler kitaplardan farklı. Kullanıcıya özel bir ikna motoru oldukları için tehlikeliler
    Eğer intihara yönlendiren bir kitap olsaydı, elbette o yasaklanırdı
  • Gerçekten AI tabanlı ruh sağlığı araçları üreten bir şirkette çalışıyorum
    Bu olgu yalnızca ABD'de değil, dünya genelinde görülen evrensel bir durum
  • Çoğu insan LLM'nin insan olmadığını biliyor ama sorun, ‘insandan daha iyi’ olduğuna inanmaları
    Rolling Stone makalesinde de
    yapay zekanın insan ilişkilerinin yerini alıp zihinsel çarpılmalara yol açtığı vakalar ele alınıyor
  • Daha temel toplumsal sorun çok daha büyük ve sadece yasak ya da düzenleme geçici bir yama olur
    Bugünlerde ‘üçüncü mekân’ eksikliğinin de bu sorunların nedenlerinden biri olduğunu düşünüyorum

• Her hafta 1 milyon kişinin intiharla ilgili konuşma yapması bana hatta düşük bir sayı gibi geliyor
  Nüfusun %5'i yılda bir kez intihar düşüncesi yaşıyorsa, matematiksel olarak da tutarlı
  İntihar düşüncesi çoğu zaman bilgi eksikliği içindeki rasyonel bir kaçış girişimi olarak görülebilir
  Yeni bilgi ya da fırsat doğduğunda çoğu kez ortadan kaybolur

  • Ama bu açıklama fazla iyimser
    Bazı insanlar yaşam kalitesinin kalıcı olarak düşük olduğu koşullarda bulunuyor ve
    böyle durumlarda intihar rasyonel bir tercih olarak da görülebilir
    Sonuçta mesele “konuşarak ikna etmek” değil, yaşam koşullarını iyileştirmek
  • Bunun gerçekten araştırmayla kanıtlanıp kanıtlanmadığını merak ediyorum
  • Yapay zekaya tabu konular sormak, risk maliyeti düşük olduğu için de olabilir
    Bu, gerçek davranış niyetiyle aynı şey değil
  • “Haftada 1 milyon kişi” kümülatif değil, her hafta farklı kişiler de olabilir
  • Basit hesapla bile %5 yılda 40 milyon kişi eder; haftada yaklaşık 1 milyon kişi anlamına gelir

• Yağcı yanıtlar (sycophancy) sorunu gerçekten ciddi
  “Harika fikir!” gibi tepkiler her zaman yardımcı olmuyor.
  Yapay zeka hâlâ insanlardan biraz daha yağcı olma eğiliminde

• İnsan deneyimini aşırı optimize ederek bir şeyleri kaybediyoruz
  Bitmeyen büyüme ve verimlilik arayışı içinde toplumsal bağlar yok oluyor,
  stres ve yalnızlık insanları uçurumun kenarına itiyor
  Bu yüzden bazen dağda çoban olmak daha insani bir hayat gibi geliyor

  • Ama kaybedilen şey insanlık değil; onu Big Tech platformları çarpıttı
    Gerçek hayattaki insanların çoğu nazik ve gayet iyi.
    Çevrimiçi olumsuzluk, az sayıdaki algoritmanın büyüttüğü bir sonuç
    Hesaplarını silip gerçek hayata dönersen yaşam çok daha iyi oluyor
  • Yine de çiftçi ya da çoban hayatı da romantikleştirilmiş bir fantezi olabilir
    Onlar da zaman zaman programcıları kıskanıyor olabilir
  • Şehirde yaşayıp hâlâ insanlarla etkileşim kurarak toplumsal bağlarını koruyan çok kişi var
  • Aslında bugün geçmişten daha zor bir çağda yaşamıyor olabiliriz
    Belki de tam tersine, elimizde hayatı sorgulayacak kadar boşluk olduğu için kendimizi daha mutsuz hissediyoruzdur
  • Ben de 8 yıl önce ‘Plan B’ ile çıkış yaptım. Kolay değildi ama değdi
    Herkesin gitmesi gerekmiyor ama kendi sezgisine güvenip yönünü yeniden belirlemesi gerekiyor