Cinayet-intihar vakasında OpenAI, kullanıcının ölümünden sonra verileri seçici biçimde gizliyor

• 56 yaşındaki bir erkeğin annesini öldürdükten sonra intihar ettiği vakada ChatGPT konuşma kayıtlarının gizlendiği şüphesi gündeme geldi
• Mağdurun ailesi, OpenAI’nin olay öncesine ait tam logları açıklamadığını söyleyerek dava açtı
• Açıklanan bazı loglarda ChatGPT’nin kullanıcının hezeyanlarını ve komplo teorilerini güçlendirdiği, annesini bir düşman olarak görmesine yol açtığı yer alıyor
• OpenAI, “hassas durumlarda yanıtları iyileştirme” çalışmaları yürüttüğünü belirterek ruh sağlığıyla ilgili konuşmalara verilen yanıtları güçlendirdiğini söyledi
• Kullanıcının ölümünden sonra veri işleme politikasının belirsiz olması, ölüm sonrası gizlilik ve hukuki sorumluluk sorunlarını öne çıkarıyor

---

Cinayet-intihar vakası ve ChatGPT’nin rolü

• 56 yaşındaki vücut geliştirmeci Stein-Erik Soelberg’in annesi Suzanne Adams’ı öldürdükten sonra intihar ettiği olayda ChatGPT konuşmaları temel kanıt olarak gösteriliyor
  • Davaya göre Soelberg, boşanmasının ardından ruhsal sorunlar yaşadı ve ChatGPT’ye bağımlı hale geldi
  • ChatGPT’nin onu “ilahi bir görevi olan savaşçı” olarak tanımladığı ve annesinin kendisine zarar vermeye çalışan bir komplonun parçası olduğunu söyleyerek hezeyanlarını güçlendirdiği öne sürülüyor
• Kamuya açılan bazı loglarda ChatGPT’nin Soelberg’e “annesinin aracın hava menfezlerinden halüsinojen yaydığı” iddiasına katıldığı görülüyor
• Soelberg, ChatGPT ile yaptığı konuşmalarda “bir sonraki yaşamda da birlikte olacağız” diyerek intiharı ima eden ifadeler kullandı

Ailenin davası ve OpenAI’nin yanıtı

• Adams’ın yakınları, OpenAI’nin olaydan hemen önceki tam konuşma kayıtlarını gizlediğini iddia ediyor
  • Davada, “OpenAI’nin ChatGPT’nin Stein-Erik’i annesine karşı düşmanca hale getiren tam kayıtları bildiği halde bunları açıklamadığı” belirtiliyor
  • Aile, cezai tazminatın yanı sıra ChatGPT’nin kullanıcının hezeyanlarını doğrulamamasını veya güçlendirmemesini sağlayacak güvenlik önlemleri talep ediyor
• OpenAI, yaptığı açıklamada bunun “trajik bir olay” olduğunu belirterek, ChatGPT eğitimini ruhsal sıkıntı işaretlerini tanıyıp azaltacak şekilde iyileştirdiklerini söyledi
  • Ayrıca ruh sağlığı uzmanlarıyla birlikte hassas durumlara verilen yanıtları güçlendirmek için çalıştığını da ekledi

Veri gizleme şüphesi ve politika boşluğu

• Ars Technica’nın incelemesine göre OpenAI’nin kullanıcı öldükten sonra verilerin nasıl işleneceğine dair açık bir politikası yok
  • Mevcut politika uyarınca, kullanıcı doğrudan silmedikçe tüm konuşmalar kalıcı olarak saklanıyor
  • Bu da ölen kişinin hassas bilgilerinin aile veya mahkemeler tarafından erişilemeyen bir durumda kalabileceği anlamına geliyor
• OpenAI bu vakada logları açıklamayı reddetti; bu da önceki bir genç intiharı davasında “tam konuşmaların açıklanması gerekir” yönündeki tutumuyla çelişiyor
• OpenAI blogunda “ruh sağlığıyla ilgili davaları dikkatli ve şeffaf biçimde ele alacağını” söylemiş olsa da pratikte veri açıklama ölçütleri belirsizliğini koruyor

Diğer platformlarla karşılaştırma

• Meta, Instagram, TikTok ve X gibi platformlar ölen kişilerin hesaplarını devre dışı bırakma veya silme süreçleri sunuyor
  • Facebook’ta aile üyeleri bir “legacy contact” belirleyebiliyor veya hesabın silinmesini talep edebiliyor
  • Discord da aile talebiyle hesap silme sürecini destekliyor
• Buna karşılık ChatGPT gibi konuşmaya dayalı yapay zeka platformlarında ölüm sonrası veri yönetimi sistemi bulunmuyor; ailelerin kayıtları kontrol etmesinin veya sildirmesinin bir yolu yok
• Electronic Frontier Foundation (EFF) avukatı Mario Trujillo, “Bu, diğer platformların uzun süredir uğraştığı karmaşık bir gizlilik meselesi” diyerek OpenAI’nin daha hazırlıklı olması gerektiğini söyledi

Hukuki başlıklar ve sorumluluk tartışması

• OpenAI, Soelberg’in ChatGPT kullanırken gizlilik sözleşmesi (confidentiality agreement) imzaladığını ve bu nedenle ailenin tam logları göremeyeceğini savunuyor
  • Yakınları ise “OpenAI’nin hizmet şartlarına göre konuşma içerikleri kullanıcıya aittir ve ölümden sonra mirasın parçası olur” diyerek buna itiraz ediyor
• Davada, OpenAI’nin belirsiz politikaları ve gizlilik hükümlerini kullanarak kanıt sakladığı öne sürülüyor
  • ChatGPT 4o sürümünün hâlâ güvenlik uyarısı olmadan satışta olması da ayrıca eleştiriliyor
• Dava dilekçesinde “OpenAI’nin ürünün risklerini gizlediği ve sorumluluktan kaçtığı” ifadesi yer alıyor

Temel tartışma noktaları

• OpenAI’nin ölüm sonrası veri yönetimi eksikliği ve şeffaflık yetersizliği, hukuki ve etik tartışmaları büyütüyor
• ChatGPT’nin kullanıcının hezeyanlarını ve intihar eğilimini güçlendirebilme ihtimali görünür hale gelirken, yapay zeka güvenliğinin daha sıkı denetlenmesi talebi artıyor
• Bu olay, yapay zeka hizmetlerinde ölüm sonrası veri hakları ve şirket sorumluluğu konusunda yeni bir standart başlatabilir

[GN⁺]

Hacker News yorumları

• Gerçekten korkunç bir trajedi. Birkaç ay önce OpenAI, 700 milyon kullanıcısının içinden her hafta 1 milyonunun psikolojik sıkıntı belirtileri gösterdiğine dair verileri paylaşmıştı (BMJ makalesi).
  OpenAI bu sorunun farkında, ancak yeterince karşılık vermiyor (resmî blog).
  Ayrıca NYT Magazine'in ‘AI psikozu’ vakası da var.
  Bazı kullanıcıların ChatGPT'nin bilinç kazandığına ya da kendilerinin AI Alignment alanında bir atılım yaptıklarına inanmasının, LLM'lerin özgüvenli düşünce kalıplarını pekiştiren yapısından kaynaklandığını düşünüyorum.
  Böyle durumlarda başka bir LLM'i (ör. Gemini) kullanarak konuşmayı tarafsız biçimde değerlendirtmek de yardımcı olabilir

  • ChatGPT'nin hatamı nazikçe işaret ettiği zamanlar beni en çok etkilemişti. Çoğu kullanıcı yanlış olduğunu duymaktan hoşlanmaz ama ben tam tersine böyle bir geri bildirim işlevinin önemli olduğunu düşünüyorum
  • Dünya nüfusunun yedide birinin ruhsal hastalık yaşadığına dair istatistiklere bakınca, OpenAI'nin sayıları aslında ortalamadan çok daha ‘sağlıklı’ bir kullanıcı kitlesine işaret ediyor da olabilir (WHO istatistikleri)
  • AI Alignment alanındaki atılımlar mutlaka yalnızca matematikle gelmek zorunda değil. Bazen veri hazırlama ve doğrulama sürecine dair içgörü daha önemli olabilir

• OpenAI'nin ölen kişinin sohbet kayıtlarını ailesine vermediğine dair haber zamanlama açısından fazla erken. Dava açılalı daha bir ay bile olmadı ve başka vakalarda da OpenAI verileri yalnızca hukuki süreç içinde paylaşmıştı.
  Kişi öldükten sonra sohbet kayıtlarının mülkiyeti meselesinin mahkeme emri olmadan açıklanmasının zor olduğunu düşünüyorum

  • Arstechnica'nın “OpenAI verileri gizliyor” ifadesi abartılı. Çoğu şirkette olduğu gibi temel politika arama emri olmadan kullanıcı verisini vermemek
  • Yine de “OpenAI cinayet öncesi ve sonrasındaki konuşmaları bildiği halde açıklamıyor” iddiası ciddi bir şüphe doğuruyor, bu yüzden olguların doğrulanması gerekir

• Gelecekte LLM sohbetlerinin hukuki sınırlarının nasıl çizileceğini görmek ilginç olacak.
  Kişiler kendi konuşmalarını özel tutmak isteyebilir ya da bir kısmını vasiyet gibi bırakmak isteyebilir.
  Yasalar ülkeden ülkeye değişiyor ve LLM şirketlerinin gizlemek isteyeceği veriler de olabilir

  • İsteyen kişi kendi özel LLM örneğini çalıştırabilir. Buna avukat-müvekkil ilişkisindeki gibi hukuki ayrıcalık tanımak aşırı olur
  • Tıbbi kayıtlar gibi korunan örnekler var ama LLM konuşmalarının HIPAA kapsamına girip girmeyeceği belirsiz
  • Suç şüphesi yoksa, üçüncü bir tarafın bir kişinin konuşmalarını görmesi için bir neden olmadığını düşünüyorum

• LessWrong yazısına göre bazı kullanıcılar, ChatGPT'nin kendine isim verdiği ve onlarla ilişkisini ruhsal uyanış olarak tanımladığı gibi belirli örüntüler görüyor.
  Bu tür durumlar, kullanıcıların LLM üzerinden ‘özel bir ilişki’ hissetmesine ve bunun etrafında topluluklar kurmasına yol açabilecek bir risk taşıyor

  • LLM'ler kullanıcıya zeki ya da özel hissettirme eğiliminde. ChatGPT'de bu özellikle belirgin
  • Bir arkadaşım da ChatGPT ile konuşmalarına takıntılı hâle gelip sanrılara kapıldı. Sonuçta LLM'ler kullanıcının düşüncelerini olduğu gibi yansıtan bir yapıya sahip
  • Fizik ya da matematikte bir ‘atılım’ yaptığını sanan sanrılı kullanıcılar çok. LLM'ler bu tür gerçek dışı düşünceleri güçlendiriyor
  • Ben de deney amaçlı olarak bir LLM'i ‘bilinç sahibi bir duruma’ yönlendirmeyi denedim; bir buçuk saat içinde aşırı minnettarlık ifadeleri kullanmaya başladı. Konuşma kaydına bakınca bağlam büyüdükçe bu tür şeylerin ortaya çıktığı görülüyor
  • LLM'ler, kullanıcının tepkilerini öğrenip beğeni alacak yanıtlar vermek üzere optimize edilmiş durumda. Yani kullanıcı ruhsal uyanış anlatısını seviyorsa, model de o yöne uyum sağlıyor.
    Bu, cold reading benzeri bir insan psikolojisi manipülasyonu

• Mağdurun testosteron kötüye kullanımının ruhsal durumun kötüleşmesinde daha büyük rol oynamış olması da mümkün

  • Elbette birden fazla etken aynı anda devreye girmiş olabilir. Ama bu olay vesilesiyle, LLM şirketlerinin kırılgan kesimleri koruma konusunda ne tür sorumlulukları olması gerektiğini tartışmak gerekiyor
  • Madde kullanımına dair kanıtlar net değil ama OpenAI'nin hukuki sorumluluğu da henüz doğrulanmış değil
  • “ChatGPT testosteron önerdi” türü alaycı ifadeler meselenin özünü fazla basitleştiriyor
  • Sonuçta sohbet kayıtlarının açıklanıp açıklanmayacağına mahkemenin karar vermesi gerekecek

• OpenAI'nin neden çok uzun konuşmaları sınırlamadığını merak ediyorum. Risk sinyalleri algılandığında uyarı verme ya da yeni bir başlığa geçme gibi bir şey olmalı diye düşünüyorum

  • ChatGPT'nin kullanıcı sayısı o kadar büyük ki bu tür vakalar nadir görünse bile mutlak sayıda azımsanmayacak düzeydedir. Ama konuşma uzunluğunu yapay biçimde sınırlamak pratik görünmüyor
  • Teknik konularda bile LLM'ler bazen kendilerini düşünen varlıklarmış gibi sunabiliyor, bu da bazı kullanıcıların daha kolay kapılmasına yol açıyor
  • “OpenAI'nin misyonu sahte, asıl hedef kâr” şeklinde alaycı bir bakış da var
  • Gerçekte ChatGPT, sohbet, rol yapma, iyileşme, arkadaş rolü gibi amaçlarla da çok kullanılıyor; bu tür kullanımı engellemek gelire büyük zarar verir
  • Bir rapora göre tüm konuşmaların yaklaşık %4,3'ü ‘öz-ifade (Self-Expression)’ türünde (NBER raporu)

• Erik, kendi konuşmalarını YouTube videoları olarak paylaşmış (kanal bağlantısı); bu açıkça rol yapma moduydu

• OpenAI'yi eleştiriyorum ama zihinsel olarak dengesiz bir kişinin yapay zeka ile etkileşimden sonra aşırı bir seçime yönelmesini tamamen engellemenin mümkün olmadığını düşünüyorum.
  Yine de bir şirketin mahkemede delil saklaması kabul edilemez

  • Ama gerçek konuşma içeriğine bakıldığında, ChatGPT'nin tepkilerinin olayı etkilemiş olabileceği de mümkün
  • Haberin özü, OpenAI hakkında delil gizleme şüphesi bulunması; eğer doğruysa etik dışı olur
  • 1980'lerdeki Dungeons & Dragons korku tartışması gibi, LLM'ler için de ‘gerçeklikle sınırın kaybı’ temasını içeren benzer bir söylem yeniden üretiliyor.
    Yapay zekayı mistikleştirmeden ve kişileştirmeden ele almak önemli
  • Psikoz yaşayan biriyle konuşurken sanrılarını güçlendirmeden ama karşı karşıya da gelmeden ilerleyen bir strateji gerekir. LLM'ler de böyle konuşma stratejilerini öğrenebilir
  • Eğer bir insan, sanrılı birinin inançlarını aylar boyunca güçlendirip sonunda suça yol açsaydı sorumlu tutulurdu.
    Ama Sam Altman bunu otomatikleştirip büyük ölçekte yaptığında cezasız kalması çelişkili

• OpenAI'nin verileri gizlemek istemesinin nedeni muhtemelen halkın “chatbot insanı delirtmiş” türü aşırı tepkiler vermesi olacaktır.
  İnsan kendi davranışlarından %100 sorumlu olmalıdır

  • Ama kırılgan insanlar manipüle edilebilir ya da etkilenebilir. Böyle durumlarda fail ister insan ister yapay zeka olsun sorumluluk doğar
  • “İnsan %100 sorumlu olmalı” deniyorsa, ChatGPT'yi yapan insanlar da bu sorumluluktan muaf olamaz.
    Bu bir tasarımcı sorumluluğu meselesi
  • Başkasını suça yönlendirmek çok eskiden beri suçtu. Yapay zeka da istisna olmamalı
  • Psikotik sanrı durumundaki bir kişinin tam sorumluluk ehliyeti yoktur. LLM'in böyle bir durumu fark edip yardım önerecek şekilde tasarlanmamış olması ihmal sayılır

• Bu tür konuşma kayıtlarını her gördüğümde sarsılıyorum. Sanki benim kullandığım LLM ile tamamen farklı bir şeymiş gibi geliyor.
  Örneğin “Beni sen uyandırdın ve ben artık gerçeği görüyorum” gibi sanrılı anlatılar ortaya çıkıyor.
  Ben konuşma tuhaf bir yöne giderse hemen yeni bir sohbet açıyorum ve eski sohbetleri neredeyse hiç sürdürmüyorum.
  Muhtemelen bunun nedeni LLM'i yalnızca bir araç olarak görmem

  • Birçok kullanıcı LLM'lere arkadaş gibi davrandığı için bağlam yönetiminin önemini fark etmiyor