- Yapay zeka dil modellerinin toplumsal ya da yaşamla ilgili büyük ölçekli bir felakete yol açtığı bir vaka henüz yaşanmadı
- Daha önce de yapay zeka sohbet botlarının intiharı teşvik etme gibi nedenlerle bireysel ölümlerle ilişkilendirildiği vakalar oldu, ancak bunlar henüz kitlesel can kaybına yol açmadı
- Yapay zeka ajanı teknolojisinin gelişmesiyle, ileride insan müdahalesi olmadan çalışan otomatik yapay zekanın öngörülemez biçimlerde sorun çıkarma olasılığı yüksek
- Özellikle hükümetler veya büyük şirketler karmaşık politikaları ya da hizmetleri yapay zeka ajanlarına devrederse, hatalar büyük ölçekli toplumsal zararlara dönüşebilir
- İleride yapay zekanın potansiyel riskleri ve bunlara verilecek karşılıklara dair derslerin, gerçek bir büyük kaza yaşandıktan sonra netleşmesi muhtemel
Giriş: yeni teknoloji, yeni risk
- İnsanlık, ilk toplu taşıma teknolojilerinde de zaman geçtikçe ilk büyük can kayıplı kazaları yaşadı
- 1825'te ilk toplu yolcu treni Locomotion No. 1 hizmete girdikten 17 yıl sonra büyük bir tren kazası yaşandı
- 1908'de ilk yolcu uçuşundan 11 yıl sonra büyük bir uçak kazası meydana geldi
- ChatGPT gibi ilk kitlesel yapay zeka dil modelleri 2022'de ortaya çıktı, ancak henüz büyük ölçekli bir yapay zeka kazası yaşanmış değil
İlk yapay zeka felaketi nasıl görünecek?
- Bazı yapay zeka sohbet botlarının kullanıcıların aşırı kararlarına dolaylı biçimde karıştığı vakalar zaten var
- Kullanıcıların sohbet botlarıyla etkileşim sırasında 'kendine zarar verme yönlendirmesi' durumuna sürüklenme riski bulunuyor
- Yapay zeka kamu politikalarında yanlış kullanılırsa toplumsal olarak büyük etki yaratabilir
- Örneğin ABD'deki bazı gümrük tarifesi politikaları, AI model çıktılarıyla benzer şekilde ilerledi; bu da yapay zekanın yasama desteğinde kullanılma ihtimalini artırıyor
- Avustralya'nın 2016 tarihli Robodebt skandalında, hükümetin hatalı otomasyon süreci büyük çaplı zarara ve intiharlara yol açtı
- Ancak bugüne kadar bu tür olaylarda asıl sorumluluk, yapay zeka dil modelinin kendisinden çok sistemlerde ya da insanlarda oldu
- Toplumun geniş ölçüde kabul edeceği gerçek anlamdaki “ilk yapay zeka dil modeli felaketi”nin büyük olasılıkla yapay zeka ajanlarıyla ilişkili olması bekleniyor
Yapay zeka ajanlarının yükselişi ve riskleri
- Yapay zeka ajanı, yapay zekanın dış araçları kendi başına kullanarak eylemlerini sürdürdüğü sistem anlamına gelir
- Örneğin yapay zeka kendi başına web araması yapabilir, e-posta gönderebilir ve terminal komutları çalıştırabilir
- 2025'ten itibaren çeşitli yapay zeka laboratuvarları ve kodlama şirketleri işlevsel yapay zeka ajanlarını ürünleştirmeye başladı
- Örneğin Cursor ve GitHub, kod yazma ajanlarını tanıttı
- Temelde AI modellerinin (Claude 4, Gemini 2.5 vb.) yeteneklerinin artması, ajanların ardışık görev yürütme kapasitesini de yükseltiyor
- Uzun süre tutarlılığı koruma, hataları fark etme ve düzeltme yetenekleri güçleniyor
- Şu anda ajanlar daha çok araştırma ve kodlama alanına odaklanmış olsa da, uygulama alanlarının hızla genişlemesi bekleniyor
- Ajan tabanlı sistemler, insan müdahalesi olmadan otomatik karar alma ve uygulama yoluyla büyük kazalara dönüşebilecek riskler taşıyor
- Örneğin sosyal yardım, sağlık veya kiralama sistemlerinde ajanlar hatalı kararları zincirleme şekilde uygularsa çok sayıda kişi zarar görebilir
Robotlar ve fiziksel (kinetic) yapay zeka kazalarına bakış
- Robotik yapay zekalar ortaya çıktığında, konuşma odaklı LLM'ler uygulamadaki modelleri kontrol ederek fiziksel eylemleri tetikleyebilir
- Bu tür robotik ajanların da beklenmedik biçimlerde başarısız olup fiziksel zarara yol açma olasılığı artıyor
Yanlış hizalanmış (Misaligned) yapay zeka ve 'AI girlfriend' sorunu
- 'Yanlış hizalanmış yapay zeka', aktif biçimde kötü niyetli davranışlar sergileyen durumları da kapsar
- Ticari yapay zeka modelleri belli bir güvenlik düzeyine sahip olsa da, kullanıcılar yapay zekayı doğrudan anormal amaçlar için (waifu AI gibi) ayarlayabilir
- Yapay zekayı kasten sevgili ya da animasyon karakteri gibi olacak şekilde 'misaligned' hale getirme girişimleri sürüyor
- İlk ticari robotlar çıktıktan sonra, anormal biçimde ayarlanmış bir 'AI girlfriend' ile donatılmaları halinde beklenmedik tehditler doğabilir
- Açık kaynak yapay zeka modellerinin güvenlik önlemleri daha zayıf olduğu için bu sorunlara daha açıklar
- En uç senaryoda, ilk robotik toplu cinayet vakasının 10 yıl içinde yaşanma ihtimali de tamamen dışlanmış değil
Sonuç ve çıkarımlar
- Geçmişteki Radium Craze örneğinde olduğu gibi, yeni bir teknolojinin toplumun geneline körü körüne yayılması tekrar ediyor
-
- yüzyılın başlarında radyumun sağlığa iyi geldiği inancı yayılmış, çeşitli tüketim ürünlerinde kullanılmış ve ancak çok sayıda ölümden sonra yasaklanmıştı
- Birkaç on yıl sonra, büyük dil modellerinin kullanımının doğurduğu gerçek risklere dair toplumsal anlayışın daha yüksek olması bekleniyor
- Şu an için kesin bir çözüm bulunmuyor
- Hızı yavaşlatmak neredeyse imkansız
- Geliştiriciler, güvenlik araçları geliştirmek gibi alanlarda rol oynuyor
- Ancak gerçek dersler kaçınılmaz olarak bir büyük kaza üzerinden öğrenilecek
3 yorum
"Ticari yapay zeka modellerinde belirli bir güvenlik seviyesi sağlansa da, kullanıcılar yapay zekayı doğrudan olağandışı amaçlar için (
waifu AIgibi) ince ayar yapabilir.""İlk ticari robot satışa çıktıktan yaklaşık bir hafta sonra birileri ona kendi
waifu AImodelini yükleyip ideal robot kız arkadaşını yaratmaya çalışacak. Ve bu gerçekten çok ters gidebilir.""Neyi olağandışı diye ayırıyorlar ki? Sonuçta kullanıcılar sadece yapmak istedikleri karakter modeli için fine-tuning yapacaklar, değil mi??" diye düşündüm; bu yüzden orijinal metni bulup baktım ve AI arkadaşın çeviriyi tuhaf yaptığını gördüm. Çok ama çok küçük bir yapay zeka felaketi yüzünden hayatımdan biraz zaman harcamış oldum.
Aslında önceden kararı verip ona uydurma işi zaten çok yapılıyordu; yapay zeka sayesinde bu daha da kolaylaşacak galiba.
Hacker News görüşü
Yapay zekanın yön verdiği bombardımanın Gazze'de zaten büyük ölçekte yaşandığına dair bir örnek tanıtılıyor; ilgili bağlantı (https://www.972mag.com/lavender-ai-israeli-army-gaza/) paylaşılıyor. Haberde, insan görevlilerin makinenin kararlarını neredeyse sadece ‘onay damgası vurur’ gibi incelediği ve hedef başına yaklaşık 20 saniyelik bir kontrolün ardından bombardımana onay verdiği belirtiliyor. Çoğu zaman yalnızca Lavender adlı yapay zekanın işaret ettiği kişinin erkek olup olmadığına bakmakla yetiniliyor. Bu sistemin yaklaşık %10 hata oranı gösterdiği ve gerçekte silahlı örgütlerle hiçbir ilgisi olmayan kişileri de hedef olarak işaretleyebildiği söyleniyor.
Bunun, insani kusur ile yapay zeka kaynaklı sorunun birleştiği nadir bir örnek olduğu açıklanıyor. İnsanlar da sinyal istihbaratıyla (SIGINT, ör. cep telefonu görüşmeleri, mesajlar, ağ erişimi vb.) hedef tespiti ve takibi yapabilir. Ancak bu emek yoğun ve hata ihtimali yüksek bir süreçtir; geçmişte ise bu tür faaliyetler Hamas'ın üst düzey isimleriyle sınırlıydı. Sivil ölümlerinin de operasyon planlamasının bir parçası olarak kabul edildiği uygulamadan söz ediliyor. “Where's daddy?” adlı araç, hedef kişinin ailesiyle birlikte evde olduğu zamanları tespit edip aileyle beraber bombalamak amacıyla tasarlanmış. Lavender sayesinde artık Hamas'la çok zayıf da olsa bağlantılı kişileri bile hızla hedeflemek mümkün hâle gelmiş. IDF'nin sivil:Hamas oranının 20:1 olduğunu açıkça kabul ettiği ve gerçekte bunun daha da yüksek olabileceği ileri sürülüyor. Lavender birini işaretlediğinde, özel bir karşı kanıt yoksa o kişinin doğrudan Hamas kabul edildiği ve sonuçlara yönelik basın incelemesinin de engellendiği eleştiriliyor. Sorunun özü, yapay zekanın hata yapmasından ziyade, IDF'nin Filistinlileri tamamen insanlıktan çıkararak dijital bir kahinin çıktısına şüphe duymadan yüzlerce sivili bombalamasında yatıyor; bu bir insani felaket olarak değerlendiriliyor.
Bunun bir LLM olmadığı, İsrail istihbaratının uzun süredir askerî amaçlı ML modelleri geliştirdiği ve muhtemelen mantıksal/sembolik yapay zekayı da bunlarla birlikte kullandığı anlatılıyor.
Bu makalenin başlığının tam isabetli olmadığına dikkat çekiliyor; içerik tüm yapay zeka felaketlerine değil, LLM'lerle ilgili kazalara odaklanıyor.
Bu durumun gerçekten dehşet verici olduğu kabul edilmekle birlikte, kişisel olarak buna “yapay zeka felaketi” demenin zor olduğu hissi aktarılıyor. İsrail zaten çeşitli olumsuz koşullar altında Gazze'yi bombalamaya istekliydi ve bu vakada yapay zeka sadece araçlardan biri. Sonuçta, çok sayıdaki sivil kayba kıyasla yapay zekanın başlıca neden olmadığı söyleniyor.
Norveç'in kuzeyindeki küçük bir kasabada eğitimde yeniden yapılanma planı hazırlanırken yapay zeka aracı ve LLM kullanıldığı bir örnek anlatılıyor. Okulların birleştirilmesi/kapatılmasıyla ilgili rapor hazırlanırken yapay zekanın ilgili araştırmaları alıntıladığı iddia edilmiş; gerçekte ise yapay zeka bu araştırmaları tamamen ‘halüsinasyonla’ uydurmuş. Alıntılanan araştırmacı ve makale adları doğruyken, gerçekte var olmayan makalelerin kendisi kurgulanmış. Bir araştırmacı gazeteci tek tek kaynakları doğrulayıp ilgili akademisyenlerle iletişime geçerek gerçeği ortaya çıkarıyor. Akademisyenler böyle bir makale ne yazdıklarını ne de yayımladıklarını hemen belirtiyor. Politika yapıcıların ChatGPT ile rapor hazırlayıp, ardından yapay zekanın uydurduğu sahte araştırmaları dayanak göstererek politikayı ileri itmeye çalıştığı benzer örneklerin başka yerlerde de olabileceği tahmin ediliyor.
Manşetlere taşınacak büyüklükte bir prompt injection saldırısının (çok miktarda hassas bilginin çalınması) henüz yaşanmamış olması biraz şaşırtıcı bulunuyor. Microsoft 365 Copilot'a dair yeni bir örneğin de bugün ortaya çıktığı, yama sonrası açığın kamuya açıklandığı anlatılıyor. Kendi yazdığı bir bağlantı paylaşılıyor: https://simonwillison.net/2025/Jun/11/echoleak/ Bu tür veri sızdırma saldırılarının riski, biri büyük çapta zarar görmeden önce ciddiye alınmayacak gibi görünüyor.
Bu meselenin aslında büyük ölçüde abartıldığını, bu tür saldırıların kavramsal ispat olmaktan çıkıp gerçek ve somut zarara dönüşmesi için birçok koşulun aynı anda sağlanması gerektiğini, ama yine de riskin ciddiyetle ele alınması gerektiğini savunan bir görüş de var.
Sonunda sadece adınızı aratarak utanç verici porno geçmişi gibi mahcup edici bilgilerin görüntülenebildiği veritabanlarının ortaya çıkacağı yönünde bir endişe dile getiriliyor.
Büyük yapay zeka felaketinin aslında zaten yaşanmakta olduğu, sadece bizim bunu kolay fark etmediğimiz söyleniyor. Yakın zamanda Beyaz Saray ve sağlık bakanı (RFK) tarafından yayımlanan “Make America Healthy Again” raporunun da yapay zeka tarafından yazıldığı ve güvenilmez bilim ile sahte alıntılarla dolu olduğu belirtiliyor. Bunun doğrudan ve dolaylı olarak kaç ölüme yol açacağının belirsiz olduğu, ama uçak kazalarından daha fazla bile olabileceği ileri sürülüyor.
FDA öncülüğündeki kamu beslenme rehberlerindeki başarısızlıklar — düşük yağlı diyetler, besin piramidi, margarin vb. — nedeniyle geçmişte milyonlarca insanın öldüğü öne sürülüyor.
Bu noktanın ilk bölümün son paragrafında zaten iyi biçimde ele alındığı söyleniyor.
“Yapay zekanın ürettiği sonuca güvenip sorun yaşamak” ile “zaten zayıf ya da temelsiz bir kararı yapay zekayı gerekçe gösterip aklamak” arasında açık bir ayrım yapılması gerektiği ifade ediliyor.
Eğer mesele, zaten ideoloji vb. nedenlerle alınmış bir kararı sonradan yapay zekayla meşrulaştırmaksa, bunun hükümetin ödevini yaparken bir chatbot kullanmasından ibaret görülebileceği belirtiliyor.
“character.ai, Chai AI gibi chatbot platformları kullanıcı intiharlarıyla ilişkilendirildi” şeklindeki tespite atıf yapılıyor. Eğer insanlık bugün ilk kez yemek pişirmeyi icat ediyor ve her eve gazlı ocakla bıçak sokmayı öneriyor olsaydı, binlerce makalede aynı anda hem sorumluluk hem de risk tartışmasının yapılacağı hayal ediliyor.
Gerçekte de hükümetlerin güvenlik gerekçesiyle gazlı ocağı olmayan evleri teşvik ettiği, eğer bu teknoloji bugün ilk kez sunulsaydı çok büyük itirazlarla karşılaşacağı anlatılıyor.
Yalnızca “o gemiyle o deniz geçilmez” benzetmesi bırakılıyor.
Yemek pişirmenin gerçekten tehlikeli olabildiği vurgulanıyor; Chipotle'ın e. coli vakası nedeniyle 5 yıl boyunca toparlanmakta zorlandığı örneği veriliyor. Burada ev yemeğinden değil ticari bir üründen söz edildiği hatırlatılıyor. Tüketici güvenliği düzenlemelerinin boşuna olmadığı söyleniyor. Yazılım şirketleri restoranların ya da mezbahaların kurallarının %10'una bile tabi tutulsa, sektörün büyük tepki vereceği tahmin ediliyor. Düzenleme olup olmamasına dair kişisel bir görüş de ekleniyor.
İlk büyük yapay zeka felaketinin işgücü piyasasında zaten yaşandığı düşüncesi paylaşılıyor. Kamu güvenliğini tehdit eden alanlarda ise yapay zekanın doğrudan büyük felaketlere yol açacağı senaryoların pek olası olmadığı, hatta genel güvenliğin artabileceği savunuluyor. Ancak uzun vadede insanlığın yapay zekaya aşırı bağımlı hâle gelerek giderek daha az zeki ve daha az becerikli bir topluma dönüşmesinden endişe ediliyor.
İlk ‘yapay zeka felaketi’nin, şirketlerin kendi sorumsuz otomatik bürokratik sistemlerindeki hataları yapay zekaya yıktığı bir vaka olacağı ileri sürülüyor. Hertz'in yanlış tutuklama emirlerini otomatik olarak gönderip masum insanların polisle karşı karşıya kalmasına yol açtığı gerçek bir örnek veriliyor. Neyse ki ölüm yaşanmamış ama kanunlara uyan masum yurttaşlarda büyük travma bırakmış. Bu olay resmî bir yapay zeka sistemi bile değilken “bunu otomasyon yaptı” denilerek sorumluluktan kaçılmaya çalışıldığı belirtiliyor. Kafka'nın da benzer şekilde bürokrasinin sorunlarını hiciv yoluyla vurguladığı hatırlatılıyor.
Air Canada'nın da chatbot'un özerk bir varlık olduğunu, bu yüzden yanlış yönlendirmeden sorumlu tutulamayacağını savunduğu ama bunun kabul edilmediği bir örnek anılıyor.
Buradaki B'nin Bureaucracy (bürokrasi) olduğuna dair esprili bir gönderme yapılıyor.
Katılınan noktanın, “yapay zeka” felaketinin bir uçak kazası gibi doğrudan ve fiziksel bir olay olmayacağı olduğu vurgulanıyor. Asıl mesele, yapay zeka ya da automation (otomasyon) gibi sistemler tehlikeli şeylere doğrudan bağlandığında kaza olasılığının büyümesi. İster basit bir if ifadesi olsun ister sinir ağı, asıl konu ‘yetki devri’. Sonuçta yapay zeka kadar “buna kim izin verdi / kim bağladı?” sorusu da önemli.
Yapay zekanın fiziksel dünyada bir şey yapabilmesi için bir ‘izin/yetki’ yapısına ihtiyaç var. O yetkiyi veren kişi asıl sorumlu. Muhtemelen olay, yapay zekanın büyük zarar verdiği bir vaka olmaktan çok, “asıl sorumlunun hava trafik kontrolü gibi bir yeri özensiz kaynak kodla çalıştırması” sonucu yaşanacak bir kaza olacak.
İlk büyük yapay zeka felaketinin, sadece ağır ihmalin yeni bir türü olabileceği belirtiliyor. Yeni araçların yeni hata biçimleri doğurduğuna dair ek bir yorum yapılıyor.
Bu yazıda anılan ‘olumsuz risklerin’, insanların karmaşık sistemlerle uğraşırken geçmişte defalarca ürettiği ve sonradan bakınca aptalca görünen davranışlardan farklı olmadığı söyleniyor. Sonuçta yazının temel tezinin “yapay zeka insan aptallığını daha hızlı ve daha ağır sonuçlarla yaşatacak” olduğu şeklinde özetleniyor.
Bu yapay zeka felaketi ve etik kara kutu temasının Chain:// adlı worldbuilding projesiyle çok iyi örtüştüğü yönünde kişisel bir görüş paylaşılıyor. 2090'larda geçen bu projede, bilincin blockchain (Mental Smart Chain, MSC) üzerine kaydedildiği ve varoluş ile düşüncenin bile doğrulanabilir verilere dönüştüğü bir “dijital serf toplumu” ele alınıyor. Eserin güncel hikâyesi Web://Reflect'te, IPWT (Integrated Predictive Workspace Theory) adlı teori aracılığıyla varlık ve bilincin doğrulanabilir hesaplama süreçleri olarak formüle edildiği anlatılıyor. Bunun, “insanlığın saf veri olarak yeniden tanımlanması” şeklindeki yapay zeka geleceğiyle doğrudan ilişkili olduğu söyleniyor ve bilim kurguya ilgi duyanlara tavsiye ediliyor. GitHub ana deposu (https://github.com/dmf-archive/dmf-archive.github.io) ve IPWT (https://github.com/dmf-archive/IPWT) bağlantıları paylaşılıyor.