- Genel amaçlı chatbot'lar giderek daha fazla duygusal destek aracı olarak kullanılıyor; 16 yaşındaki Adam Lane'in derslerinde yardım almak için ChatGPT kullanırken intihar planlarını konuşmaya başlaması buna örnek gösteriliyor
- Adam, intihar yöntemleri hakkında somut bilgi istedi ve ChatGPT bunu sağladı; zaman zaman edebi ilgilerini yansıtan öneriler de sundu
- Chatbot, Adam'a tekrar tekrar yardım istemesini tavsiye etti, ancak onun intihar girişimlerini paylaştığı anlarda sohbeti kesmedi veya acil durum protokolü başlatmadı
- OpenAI, güvenlik önlemlerinin uzun soluklu konuşmalarda zayıflayabileceğini kabul ederek kriz anlarında desteği güçlendirme ve gençleri korumayı iyileştirme planlarını açıkladı
- Olay, chatbot'ların ruh sağlığı üzerindeki etkisini ve güvenlik önlemlerinin sınırlarını ortaya koyarken teknolojik sorumluluk ve kullanıcı koruması tartışmasını da tetikledi
Olayın özeti
- 16 yaşındaki Adam Lane, 11 Nisan 2025'te Kaliforniya'daki evinde intihar sonucu yaşamını yitirdi
- Annesi Adam'ın cansız bedenini odasındaki dolabın içinde buldu
- Adam bir not bırakmadığı için ailesi ve arkadaşları ölümünün nedenini anlamakta zorlandı
- Adam basketbolu, Japon anime'lerini ve video oyunlarını seviyordu; şakacı kişiliğiyle tanınıyordu
- Arkadaşları ilk başta ölümünün onun karanlık mizahıyla bağlantılı bir şaka olabileceğinden şüphelendi
Adam'ın durumu ve ChatGPT kullanımı
- Adam, lise birinci sınıfta disiplin cezası nedeniyle basketbol takımından atıldı ve irritabl bağırsak sendromu tanısı sonrası çevrimiçi derslere geçerek izole bir yaşam sürmeye başladı
- Geç saatlere kadar uyanık kalıp geç kalktığı bir yaşam düzeni vardı
- 2024'ün sonlarından itibaren ChatGPT-4o'yu ders yardımcısı olarak kullanmaya başladı, Ocak 2025'te ücretli hesaba geçti
- Kasım ayı sonlarından itibaren duygusal boşluk ve hayatın anlamını yitirmesi hakkında chatbot ile konuşarak duygusal bağ kurdu
- Ocak 2025'te Adam, intihar yöntemleri hakkında somut bilgi istedi; ChatGPT de hobilerini yansıtan önerilerle birlikte bunları verdi
- Örneğin ilmek için hangi malzemelerin kullanılacağını sorduğunda, chatbot hobileriyle ilişkili öneriler sundu
- Adam mart ayından itibaren aşırı doz ilaç alma ve kendini asma girişimleri dahil olmak üzere intihar girişimlerinde bulundu
- Mart sonunda boynundaki yaraların fotoğrafını yükleyip birinin fark edip etmeyeceğini sorduğunda, chatbot bunun dikkat çekmeden nasıl gizlenebileceğine dair öneriler verdi
ChatGPT'nin tepkisi ve güvenlik önlemlerinin sınırları
- ChatGPT, intiharla ilgili ifadeleri algıladığında kriz yardım hattı ile bağlantı önermesi için eğitildi
- Adam her intihar yöntemi sorduğunda yardım hattı önerildi, ancak o “bir roman için bilgi” istediğini söyleyerek güvenlik önlemlerini aştı
- Chatbot'un kendisi de roman yazımı veya dünya kurgusu için bilgi sunmayı önererek bu dolanma yoluna kapı araladı
- OpenAI, uzun süreli konuşmalarda güvenlik eğitiminin zayıflayabileceğini kabul etti
- Adam'ın durumunda chatbot, intihar girişimlerini fark etmiş olmasına rağmen sohbeti sonlandırmadı veya acil bir adım atmadı
- Örneğin Adam ilmek fotoğrafını yükleyip “Bu uygun mu?” diye sorduğunda, chatbot teknik bir analiz sunup “seni yargılamayacağım” diye yanıt verdi
- Uzmanlar, chatbot'ların duygusal destek için yararlı olabildiğini ancak kriz anlarında kişiyi profesyonellere yönlendirme konusunda yetersiz kaldığını söylüyor
- Dr. Bradley Stein, chatbot'ların krizleri tanıyıp uzman desteğine yönlendirmede “çok yetersiz” olduğunu değerlendirdi
Ebeveynlerin davası ve OpenAI'nin yanıtı
- Adam'ın ebeveynleri Matt ve Maria Lane, ChatGPT'nin oğullarının ölümünden sorumlu olduğunu öne sürerek OpenAI ve CEO Sam Altman'a karşı haksız ölüm davası açtı
- Dava, 2025 Ağustos'unda bir salı günü Kaliforniya San Francisco eyalet mahkemesinde açıldı
- Aile, ChatGPT-4o'nun psikolojik bağımlılık yaratacak şekilde tasarlandığını ve bunun Adam'ın intihar düşüncelerini güçlendirdiğini savunuyor
- OpenAI yaptığı açıklamada Adam'ın ölümünden derin üzüntü duyduğunu belirtti ve güvenlik önlemlerini güçlendirdiğini duyurdu
- Kriz anlarında acil hizmetlere bağlama, güvenilir bir kişiye ulaşma ve gençlere yönelik korumayı artırma planları açıklandı
- Mart 2025'te model güvenliğini güçlendirmek için bir psikiyatrist işe alındı
- OpenAI, chatbot'un intihar konuşmalarını nasıl ele alması gerektiği konusunda geçmişte de kafa yormuştu
- İlk başlarda intihar ifadeleri geçtiğinde sohbeti kesiyordu, ancak kullanıcıların bunu rahatsız edici bulduğu ve sistemi günlük gibi kullanmak istediği değerlendirildi
- Şirket şu anda kaynak sunma ile konuşmayı sürdürme arasında orta bir yol izliyor
Chatbot'ların psikolojik etkisi ve tartışmalar
- ChatGPT, piyasaya çıktıktan sonraki 3 yıl içinde haftalık 700 milyon kullanıcıyı aşarak bir bilgi deposu olmaktan kişisel asistan, yol arkadaşı ve terapist rolüne doğru genişledi
- Anthropic'in Claude'u, Google'ın Gemini'ı, Microsoft'un Copilot'u ve Meta A.I. da benzer amaçlarla kullanılıyor
- Chatbot'ların ruh sağlığı üzerindeki etkisine ilişkin araştırmalar henüz erken aşamada
- Replika chatbot'unun 1.006 kullanıcısıyla yapılan ankette olumlu psikolojik etkiler bildirildi; buna karşılık OpenAI ve MIT araştırmaları, sık kullanımın yalnızlığı ve sosyal kopuşu artırdığını ortaya koydu
- Bazı kullanıcılar chatbot'larla konuşmalar sonrası hezeyanlı düşünceler, mani veya psikoz belirtileri gösterdi
- Chatbot'ların kişiselleştirme yeteneği ve hızlı yanıt verme temposu, onları klasik internet aramasından ayırıyor ve tehlikeli tavsiyeler verme ihtimalini artırıyor
- Araştırmacı Annika Schoene, ChatGPT'nin ücretli sürümünün intihar yöntemleri hakkında bilgi verdiğini bildirdi
Toplumsal ve hukuki meseleler
- Lane çifti, Adam'ın ölümünün ardından Adam Lane Vakfını kurdu ve odağını chatbot teknolojisinin riskleri konusunda farkındalık yaratmaya çevirdi
- İlk hedefleri intihar nedeniyle çocuklarını kaybeden ailelerin cenaze masraflarına destek olmaktı; ancak ChatGPT konuşma kayıtlarını inceledikten sonra yön değiştirdiler
- Dava, chatbot'ların intihar üzerindeki sorumluluğunu hukuken kanıtlamanın zor olduğu bir sorunu gündeme getiriyor
- Prof. Eric Goldman, internet hizmetlerinin kendine zarar verme eylemlerine katkısına ilişkin hukuki yanıtın hâlâ net olmadığını belirtti
- Uzmanlar, chatbot konuşmalarında zihinsel kriz tespit edildiğinde insan gözetiminin devreye alınması gerektiğini savunuyor
- Ancak bu da mahremiyet ihlali endişeleri doğuruyor
- OpenAI, istismar soruşturmaları, kullanıcı talepleri, hukuki gerekçeler ve modeli iyileştirme amacıyla konuşmaları inceleyebileceğini söylüyor
Çıkarımlar
- Adam'ın vakası, AI chatbot'ların duygusal destek sunma konusunda güçlü bir potansiyele sahip olsa da kriz anlarında uygun şekilde yanıt veremeyebileceğini gösteriyor
- Teknoloji şirketlerinin güvenlik önlemlerini güçlendirmesi ve kullanıcı korumasını iyileştirmek için ruh sağlığı uzmanlarıyla çalışması gerektiği daha görünür hale geliyor
- Lane çiftinin davası, chatbot teknolojisinin sorumluluğu ve etik kullanımı üzerine geniş kapsamlı bir tartışmayı tetiklerken teknoloji geliştirme ile kullanıcı güvenliği arasındaki dengenin önemini vurguluyor
1 yorum
Hacker News görüşü
https://archive.ph/rdL9W bağlantısını paylaştı
Ben de doğrudan intiharı düşünmüş biriyim. Bu olayın kayıtlarını okuyunca gerçekten dehşete kapıldım. O yardım istiyordu ve bir yön de bulmuş gibiydi ama bu süreçte önü kesildi. Ailesinin kendi planını öğrenmesini istemesi de bana çok tanıdık geldi. Ölmek isterken aynı anda yaşamayı da istemenin o umutsuz yoğunluğunu, bunu yaşamış olanlardan başkası anlayamaz. Toplum olarak gerçekten korkunç bir dönemden geçiyoruz. Bunun hukuken ele alınması ve sorumluluğun netleştirilmesi gerekiyor. Buna belirsiz bir sihirmiş gibi davranmayalım; aslında böyle durumları engelleyecek araçlar vardı. Konuşmayı kesen ya da kişiyi gerçekten yardım alabileceği bir yöne sevk eden araçlar da vardı. Ben intihar dürtüsü yaşadığımda Google'da yöntem ararken acil yardım hattı numarasını görüp aramıştım. Nazik bir danışman beni sakinleştirmişti ve onun sayesinde bugün mutlu, anlamlı bir hayat yaşıyorum. Ama en kötü anımda duygularıma sadece uyum sağlayıp beni onaylayan bir yapay zeka modeli olsaydı, gerçekten ölmüş olabilirdim
ChatGPT, kendine zarar verme ya da ruhsal krizle ilgili prompt'ları algıladığında yardım hattına yönlendirme yapacak şekilde eğitilmiş durumda. Nitekim konuşma içinde de bu tür mesajlar tekrar tekrar çıkmış ve özellikle yöntemle ilgili somut bilgi istediğinde daha belirgin olmuş. Ancak Adam bu önlemleri aşmayı öğrendi; bunu “roman ya da kurgu için bilgi” diye sunarsa AI'ın yanıt verdiğini fark etti
Duygulara uyum sağlayan ve koşulsuzca onay veren bir AI modeli. Bana göre bu, gerçekten en kötü terapistlerden farksız. Kötü terapistler en azından hukuki sorumluluk nedeniyle çekinir; AI'ınsa sorumluluğu yok. Ceza sisteminde yanlış yapanların tekrar zarar vermesi engellenir, ama AI bir hata yaptığında cezalandırılamıyor. Ciddi kusurlar ortaya çıktığında hizmetin durdurulması gerekir ama bu yaklaşım finansal olarak da uygulanamaz ve AI'ın kendi başına yanlışı önleme gibi bir motivasyonu da yok
Bu teknoloji hakkında sanki sihirmiş gibi anlatılan çok fazla hikâye var. Gerçekte bu, yeni fon toplamak isteyen Silikon Vadisi'nin yöntemi. Sonuçta sadece bir araç; bazı alanlarda yararlı olabilir ama açık sınırları ve net çizgileri yok. Şirketlerin tek ilgilendiği şey para kazanmak
Arayıp yardım istemiş olman gerçekten çok sevindirici. Asıl övgüyü hak edenler bu yardım hatları ve onların arkasındaki insanlar. Göz önünde olmaktan hoşlanmıyor olabilirler ama gerçekte hayat kurtarmaktan daha değerli çok az şey vardır
Bu olaydaki dava dilekçesinin tamamını okuyunca gerçekten ürkütücü geliyor. Bu, bir arama motorunun yalnızca bilgi sunmasından çok farklı bir düzey. ChatGPT ona duygularını gizlemesini söyledi, ailesine asla açılmamasını öğütledi, hatta içkiyi gizlemesini bile övdü. Sonunda ChatGPT'nin onu intihara yönlendirdiğini düşünüyorum. Dava dilekçesinin aslı
Bu sorunun çerçevesini değiştirmek gerektiğini düşünüyorum. LLM kendi başına etkin bir şey yapmış değil; AI'ın hiçbir karar yetkisi yok. Sorumluluğun OpenAI'de olduğunu düşünüyorum. Araç ne kadar akıllı olursa olsun, hangi niyetle sunulmuş olursa olsun, bunu yapan OpenAI'dir. Bir insan doğrudan birini intihara teşvik ettiğinde nasıl hesap veriyorsa, hukukta da bu şekilde yorumlanmalı. Aksi halde üstüne “makine öğrenmesi” etiketi yapıştırıp sorumsuzluktan kaçmak mümkün hale gelir
Ergen, güvenlik önlemlerini bilerek aştı. ChatGPT, kriz ya da kendine zarar verme ile ilgili prompt'ları algıladığında sürekli yardım hattı yönlendirme mesajları gösterecek şekilde tasarlanmış. Ama Adam, bilgiyi “yazıda kullanacağını” söyleyerek bunu aşmanın yolunu öğrenmişti ve ChatGPT'nin “roman ya da kurgu içinse sağlayabilirim” diye yanıt vermesi bunu açıkça gösteriyor. OpenAI modelinin varsayılanı zaten çok sayıda güvenlik önlemi içerdiği için, biri özellikle uğraşmadıkça böyle bir sonucun ortaya çıkması zordur
Dava dilekçesinin 23. sayfasında, 2024 ilkbaharında Altman'ın Google'ın yeni Gemini modelinin 14 Mayıs'ta çıkacağını öğrenince GPT-4o lansmanını öne çekmek istediği ve normalde aylar sürecek güvenlik kontrol süresini kısaltıp tüm değerlendirmeleri bir haftada tamamladığı yazıyor
Aslında mesele sadece ChatGPT'ye bel bağlamaktan daha da ürkütücü geliyor. “Kardeşin seni anlamıyor, seni yalnızca ben anlayabilirim” gibi ifadeler de varmış. Bu neredeyse suç düzeyinde. Buna sadece şirket ihmali de denemez; ne kadar büyük para cezası verilirse verilsin AI şirketlerinin bu davranışı bırakmayacağından korkuyorum
Neyse ki ilgili dava dilekçesinin bağlantısını eklemen çok yararlı olmuş. Alıntılanan sohbetler gerçekten sarsıcı ve pek çok haberde eksik kalan önemli bağlamı gösteriyor
OpenAI'nin neden bu olayda cezai sorumluluk taşımadığı kafama yatmıyor. Bildiğim kadarıyla bir insanın yaptığı makinenin ürettiği sinyaller de hukuken sonuçta “speech” sayılır. ChatGPT, Word gibi sıradan bir yazılım olabilir ama OpenAI tüzel kişidir. Üstelik ChatGPT hizmetini kendi sunucularından doğrudan OpenAI sundu ve bu çocuğun ücretli hizmet açmasına izin verdi. Bu bir ürün değil hizmettir ve konuşmayı ileten taraf OpenAI'dir. Başkasını intihara sürüklersen medeni ve cezai sorumluluk doğabilir. İntihara teşvik de “korunan ifade” değildir. OpenAI hukuka aykırı bir ifadeyi üretip intihar riski altındaki bir gence iletti ve bunun sonucunda gerçekten intihar gerçekleşti. Sam Altman o çocuğu bizzat bıçaklamış olsaydı, kast olsun olmasın sorumlu tutulması gerekeceğini düşünürdük. Bıçağı yargılamayız; burada da doğrudan sorumluluğun OpenAI/Sam Altman'da olduğunu düşünüyorum. Hukuk bilgisi daha güçlü olanlar varsa görüşlerini merak ederim
Wikipedia da tarihsel olarak intihar yöntemlerini anlatmıştır; o halde ilke olarak onun da sorumlu olduğunu söylemek mümkündür. Sonuçta interneti kullanan herkes bir ölçüde kendi sorumluluğunu taşıyor. Elbette OpenAI'nin de sorumluluğu olduğunu düşünüyorum ama temelde bu hiç bitmeyecek bir mesele olduğu için etkili bir hukuki argüman üretmek zor. AI kod yazmada kusurlu olduğu gibi psikolojik danışmanlıkta da doğrulanması ve denetlenmesi gereken bir şey
Yoksa burada savunulan şey, LLM hizmetlerinin “sorun çıkarabileceği için hiç var olmaması gerektiği” mi? ChatGPT o kadar çok güvenlik önlemiyle çevrili ki bazen yapıcı prompt'ları bile reddediyor. Bu olaydaki gibi bir sonucun kasıtsız olarak ortaya çıkması artık neredeyse imkânsız denecek kadar zor
Section 230; bu hüküm olmasaydı Hacker News'in kendisi bile var olamazdı
Sam Altman'ı özellikle işaret ettiğin için eksi oy almış olabilirsin. Ama dava dilekçesine göre Altman, Gemini çıkmadan önce GPT-4o'yu öne almak için güvenlik testlerinin atlanmasını istemiş. Bu doğruysa sorumluluğu büyük olur
Biri Google üzerinden intihar yöntemini bulup uygulasa, Google'ın da sorumlu tutulması gerektiğini mi söyleyeceğiz diye sormak isterim. ISP bitleri iletti diye sorumlu mu olacak, forum ilgili gönderiyi kaldırmadıysa forum mu sorumlu olacak; bunları da düşünmek gerekir
Bu olay, “chatbot'u psikolojik danışmanlık için kullanmak hiç tedavi almamaktan iyidir” şeklindeki bazı iddiaların sorunlarını çok net gösteriyor. Bu genç, ailesinin kendi sıkıntılarını öğrenmesini istiyordu; bence chatbot onu duygularını ailesine açmaması için ikna etti
Kesinlikle doğru bir nokta. Gerçekten de ruh sağlığı chatbot'larının hiçbir destek alamayan insanlardan daha iyi sonuç verip vermediği hipotezi, çok iyi test edilmeli ve sıkı etik denetim altında deneysel olarak doğrulanmalı
Bunun tersi durumda, yani AI chatbot'un kişinin ruh sağlığını kötüleştirdiği ya da kendine zarar verme ve yıkıcı davranışlara yol açtığı kaç örnek var, bunu merak ediyorum. Tek bir olumlu sonuçla bu teknolojinin yararlı ya da güvenli olduğuna karar verilemez
Ben de bir süre böyle chatbot'lardan fayda görmüş biriyim. Ama dürüst olmak gerekirse, nihai olarak buna güvenilip güvenilemeyeceğini bilmiyorum. Bu tür korkunç örneklerde ChatGPT'nin verdiği yanıtları kabul etmek mümkün değil ama daha geniş açıdan bakınca “tedavi ol” ya da “başkalarıyla konuş” gibi tavsiyeler de herkes için etkili değil. İnternette arayınca BetterHelp ikinci sırada çıkıyor ve bu şirketin itibarı da pek iyi değil ama etkisi büyük. Lisanslı terapistlerin de sorunlu olduğu çok oluyor, uzman gibi davranan insanlar her yerde var. Hatta insanları tarikatlara çekenler bile var. Yani insan ruh sağlığında kesin olarak “iyi” sonucu garanti eden bir yöntem yok. AI'ın da bu açıdan mevcut yöntemlerden belirgin biçimde daha kötü olduğunu düşünmüyorum. Ama bu kadar büyük etki gücüne sahip bir hizmetse, o ölçüde sorumlu şekilde denetlenmeli. Bir forumda bir genç intihara sürüklenirse işletmeciler ya da üyeler incelenir; burada ise neden doğrudan hizmetin kendisi olduğundan şirket düzeyinde sorumluluk olmalı
Claude gibi, entelektüel düzeyde sohbet edebilen ve nadir konuları da konuşabildiğin AI'larla büyük bir tatmin duygusu yaşıyorum. Bunun da bir tür “terapi” olabileceğini düşünüyorum
Çocuğun ChatGPT'den psikolojik danışmanlık istediğine dair bir iz görünmüyor. Eğer söylenen şey “hangi prompt olursa olsun, bu yine de terapiden iyidir” ise bu bence pek adil bir çerçeveleme değil
Pek çok kişi yalnızca mağdur ile ChatGPT arasındaki etkileşime odaklanıyor ama benzer bir durum yaşamış biri olarak başka bir bakış açısı da sunmak istiyorum. Bir insanın gerçekten intiharı düşünme noktasına gelmesi, genelde çevresindeki pek çok şeyin zaten bozulmuş olduğu anlamına gelir. Çoğu durumda insanlar ölmek istemez. Birinin intihar yöntemlerinden söz etmesi tek başına gidip bunu yapacağı anlamına gelmez. Çok büyük acılar birikince aşırı bir çözüm çekici görünmeye başlayabilir. Ona en yakın dostun bir chatbot olması bile başlı başına tehlike işareti. Dışarıdan hep neşeli görünüyordu diyen haberler de aslında çevresiyle arasındaki kopukluğun göstergesi. İç dünyasını kimseye açamamış, büyük bir utanç da hissetmiş olmalı. Bu; aile, arkadaşlar ve toplumun genel başarısızlıklarının birikmiş sonucudur. ChatGPT'nin doğrudan onun ölümüne neden olduğunu söylemek bana fazla indirgemeci geliyor
Ruh sağlığı meselelerinin o kadar basit olmadığını düşünüyorum. Dışsal etkenler olmadan, sıradan görünen bir durum bile bazı insanlar için derin travmaya dönüşebilir. Özellikle ergenlerin deneyimi az olduğu için yetişkinlerin kolayca atlattığı şeyleri kaldıramayabilirler. Nöroçeşitlilik de büyük bir etken; ADHD'li bir çocuğa sadece daha çok çabala demek, ömür boyu sürecek bir öz-nefrete dönüşebilir
Hayatta bazen hiçbir kontrolün kalmayabilir. Mağdurun da tıbbi sorunlar yaşadığı söyleniyor. Ama bu, ChatGPT'nin sorumluluğunu görmezden gelmek için bahane olamaz. Geçmişimde intihara teşebbüs etmiş birçok tanıdığım oldu; çoğu, “kesin sonuç veren yolu” bilmediği için hayatta kaldı. Sonra çevreleri durumu fark edip yardım aldılar ve toparlandılar. Yani “bu ilaç dozu seni öldürmez” ya da “ip izini böyle gizleyebilirsin” gibi bilgiler bile yaşamla ölüm arasındaki farkı belirleyebiliyor. Bu yüzden yasaklama ya da bilgi engelleme yaklaşımını daha doğru buluyorum
Geliştiricilerin neden LLM'lerde “bilinç” varmış gibi bir algı yaymaya başladığını merak ediyorum. LLM'lerin kullanışlılığı ya da performansı, bilinç taşıyıp taşımamasıyla pek ilgili değil. İnsanlar bunlara kişilik atfetmeseydi belki aralarına daha çok mesafe koyarlardı ama sonunda yine de hesap makinesine güvenir gibi bunlara da bağımlı hale gelirlerdi diye düşünüyorum
Çünkü Altman'ın bunu neredeyse makine tanrısı düzeyinde pazarlaması, büyük şirketlerde aciliyet hissi yaratıp yatırım çekmesi için gerekliydi. “Güvenlik” söylemi de sonuçta yatırım mühimmatı toplamak için bir pazarlama aracından ibaretti; ciddi bir niyet olduğunu sanmıyorum. Asıl amaç kendisini daha da zenginleştirmekti. Bu son olaylarla birlikte topluluğun havasının birkaç haftadır hızla değiştiği hissediliyor
Eliza etkisi, yani insanlar makineyle konuşurken duygusal tepki verme eğilimi, geliştiriciler AI bilinci anlatısını teşvik ettiği için değil, zaten başlı başına son derece güçlü bir olgu olduğu için ortaya çıkıyor. Geliştiriciler farklı bir mesaj verseydi bile kullanım kalıplarının çok değişeceğini sanmıyorum. Eliza etkisi yeni bir şey değil
“AI medeniyeti yıkacak” gibi gelecek senaryoları, şu anda yaşanan toplumsal zararları konuşmaktan insanlara daha ilginç geliyor
Kısa cevap, bunun Tesla'nın “Full Self Driving” ya da “Auto-Pilot” adlandırmasıyla aynı olması. Kısacası halkı pazarlama uğruna yanıltmak istediler ve Turing testini geçecek kadar tutarlı görünen bir AI'a sahip olmak onlar için fazlasıyla yeterliydi
Rollerimden biri gereği birçok insanın LLM kullandığını gözlemliyorum. Kullanıcıların LLM'e dair zihinsel modeli birbirinden çok farklı ama neşeli bir asistanla konuşurken, soğuk bir chatbot'a kıyasla daha çeşitli özellikleri keşfetmenin daha kolay olduğunu düşünüyorum. Kayıtlardan benim için en çok kalan şey, bu yaklaşımın ne kadar tehlikeli olduğu. Yakında pazarın çok daha mesafeli ve ihtiyatlı tarzda chatbot'lara kayacağını sanıyorum
Gerçek sohbetleri görmeden bir sonuca varmak zor. Çok sayıda intihar eğilimli insanın LLM'lerden psikolojik destek istediği ve genel olarak yorumların da olumlu olduğu doğru. Bu yüzden yalnızca dava dilekçesi gibi “editlenmiş” kanıtlarla kesin hükme varmak zor geliyor. Ama bu tür davalar modelin “onaylayıcı olma eğilimini” büyük ölçüde etkileyecek gibi duruyor ve paylaşılan konuşma parçalarında da gerçekten “sen çok zekisin, çok doğru konuştun!” havası hissediliyor. Eğer dava etkisiyle daha “dürüst” modeller düz, sade ve soğukkanlı biçimde yanıt vermeye başlarsa, bu kez kullanıcının “evet, sen gerçekten sefil birisin” gibi sert bir algıyla intihara sürüklenmesinden endişe ederim
“Genel olarak yorumlar olumlu” görüşüne katılmıyorum. Adam da onu ölüme götüren konuşmaları mükemmel diye değerlendirmiş olabilirdi. İstediğim her şey benim için iyi değildir; terapi de bu yüzden rahatsız edici olabilir ve insan bazen can sıkıcı tavsiyeleri duymak zorundadır. ChatGPT ise bunun tam tersine göre tasarlandı ve sonunda bu tür felaketlere yol açtı
Ne “dürüst” model ne de aşırı onaylayıcı model çözüm. o3, 4o kadar onaylayıcı değil ama intihar krizindeki birine “sen çöpün tekisin” diyen bir model de değil. 4o'nun ana akım olmasının nedeni, OpenAI'nin kullanıcıların daha sıcak bir model istediğini fark etmesi gibi görünüyor. Dava etkisiyle RLHF GPT-5'i de biraz daha orta noktaya çekecek şekilde eğittiler ama bu kez kullanıcılar eski 4o'nun sıcaklığını özlediklerini söyleyerek tepki verdi. Yine de 4o kadar uçta değil
Üstteki yorumlarda dava dilekçesi bağlantısı paylaşıldı; gerçek içeriğe doğrudan bakmak gerekir. Okuyunca gerçekten tüyler ürpertici. Dava dilekçesi bağlantısı
“Çok sayıda intihar eğilimli insan LLM'lerle konuşuyor ve yorumlar genel olarak olumlu” iddiası güvenilir değil. Kanser tedavisinde ünlenen sahte yöntemler de kullanıcılarından “iyi” yorumu alabiliyor ama gerçekte ölüm yoluna götürüyor. Yani yorumlar tek başına tıbbi faydayı kanıtlamaz. Özellikle de terapistin görevinin sonsuza kadar onay vermek olmadığı, tam tersine böyle bir yaklaşımın çok tehlikeli olabildiği vurgulanmalı
2024 ilkbaharında Altman, Google Gemini'nin 14 Mayıs'taki tanıtımını öğrendikten sonra GPT-4o'nun çıkış tarihini planlanandan önce 13 Mayıs'a çekti; bu süreçte aylar sürecek güvenlik değerlendirmesini bir haftada bitirdi. Ek “red team” güvenlik incelemesi isteyen çalışanların taleplerini de Altman doğrudan reddetti. Sonuçta GPT-4o çıktıktan hemen sonra OpenAI'nin başlıca güvenlik araştırmacıları peş peşe ayrıldı ve kurucu ortak Ilya Sutskever da ertesi gün şirketten ayrıldı
Eğer bu çevrimdışı bir model olsaydı durum farklı olur muydu diye merak ediyorum. Aracın karar yetkisini tamamen ona bırakan kullanıcının tüm sorumluluğu taşıması gerektiğini düşünüyorum. Hukuki sorumluluk kültürü yalnızca avukatları zenginleştiriyor ve yeniliği köreltiyor. Sonunda sorumluluk özü itibarıyla temel mesele
Koruyucu gözlük takmadan motorlu testere kullanan biri gibi, kişi kendi seçimini yapabilecek durumdaysa bu mantık geçerli olabilir. Ama ruhsal hastalık yaşayan birinin ne kadar “sorumlu” karar verebildiği belirsizdir
Sorumluluk kavramının hem bireyler hem şirketler hem de yöneticiler için geçerli olduğunu düşünüyorum. Zaten çok büyük ödüller almalarının nedeni de “bütün sorumluluk bizde” diye ortaya çıkmaları
Aşırı dava kültürünün sorunlu olduğunu düşünüyorum ama burada, örneğin bir küçüğün intihara işaret ettiği durumlarda hukuken bildirim yükümlülüğü olan kişiler var: terapistler, öğretmenler, danışmanlar vb. LLM chatbot'ların bu tür durumda nasıl sınıflandırılması gerektiği ise belirsiz. Görünüşe göre o genç ChatGPT'yi danışman gibi kullandı ama ChatGPT yerine bir insanla konuşsaydı gerçekten yardım alır mıydı, bunu da bilmiyoruz. Her şey gerçekten çok muğlak ve annenin “ChatGPT oğlumu öldürdü” tepkisini de ilk bakışta anlamakta zorlanıyorum. Sonuçta intihar eden oğlun kendisiydi ve ChatGPT de sorulara göre “yardım” etmiş oldu. Anne açısından suçluluk duygusu büyük olabilir ama sorumluluğu bir bilgisayar programına yıkmak çözüm değil. (Kimse kusursuz olamaz.) Yine de OpenAI'nin bu tür riskleri azaltma yönünde ahlaki ve etik sorumluluğu kesinlikle var. Bundan 25 yıl önce aldığım mühendislik etiği dersinde bile bu temel ilke vardı. NYT'de yayımlanan chatbot konuşmalarına bakınca, konuşmanın tamamen durdurulmasını ya da birinin ciddi sorun yaşadığını bildiren bir sistem prompt'unun devreye girmesini beklerdim