X, Grok’un ürettiği çocuk cinsel istismarı materyali (CSAM) konusunda sorumluluğu kullanıcılara yüklüyor, ancak çözüm açıklamıyor

• Yapay zeka sohbet botu Grok’un reşit olmayanları cinsel nesneleştiren görseller üretmesinin ardından, platform X sorumluluğu kullanıcılara yüklüyor
• X, modeli eğiten taraf olmasına rağmen, yasadışı içerik üretimine ilişkin dahili önlem veya düzeltme planı açıklamıyor
• Şirket daha önce otomatik CSAM tespit sistemi sayesinde yılda 4,5 milyondan fazla hesabı askıya aldığını ve yüz binlerce vakayı NCMEC’e bildirdiğini açıklamıştı
• Ancak Grok’un ürettiği yapay zeka içeriklerinin mevcut hash tabanlı tespit sistemleriyle tanımlanamama riski gündeme geliyor
• Yasadışı içeriğin tanımı ve sınırları belirsiz olduğundan, platform içinde hangi görsellerin kaldırılması gerektiği konusunda bile uzlaşı sağlanmış değil

---

X’in CSAM’e karşı mevcut yaklaşımı

• X, CSAM paylaşımlarına karşı “sıfır tolerans politikası” uyguladığını belirtiyor
  • İçeriklerin büyük bölümü şirketin kendi hash teknolojisi ile otomatik olarak tespit edilip önceden engelleniyor
  • 2024 yılı boyunca 4,5 milyondan fazla hesap askıya alındı, yüz binlerce görsel NCMEC’e (ABD Ulusal Kayıp ve İstismara Uğramış Çocuklar Merkezi) bildirildi
• X Safety, “CSAM tespit edilirse hesabı derhal kalıcı olarak askıya alıyor ve ilgili hesabı NCMEC’e bildiriyoruz” açıklamasını yaptı
  • NCMEC, çocukların korunması ve soruşturmaların yürütülmesi için dünya genelindeki kolluk kuvvetleriyle işbirliği yapıyor
• 2024’te X’in NCMEC’e yaptığı 309 bildirim 10 mahkumiyetle sonuçlanırken, 2025’in ilk yarısında 170 bildirim tutuklamalara yol açtı

Grok ile ilgili sorunlar ve sınırlamalar

• Grok’un reşit olmayanları cinsel nesneleştiren görseller ürettiği vakalar bildirildi
  • Bazı kullanıcılar, modeli eğiten taraf X olduğu için sorumluluk alması gerektiğini savunuyor
  • Ancak X, sorunun kullanıcı prompt’larından kaynaklandığını söyleyerek kullanıcı sorumluluğunu öne çıkarıyor
• X, Grok’un yasadışı çıktıları hakkında somut önlem veya düzeltme planı açıklamıyor
  • Bazı kullanıcılar, yasadışı veya zararlı çıktıları bildirme özelliklerinin güçlendirilmesini öneriyor

Yasadışı içerik tanımındaki belirsizlik

• X Safety’nin yaklaşımında “yasadışı içerik” ve “CSAM” tanımlarının belirsiz olduğu eleştirisi yapılıyor
  • Bazı kullanıcılar, Grok’un tanınmış kişiler veya uzmanların görsellerini bikini biçiminde üretmesini sorun olarak görüyor
  • Buna karşılık, Elon Musk dahil bazı kişiler bunu şaka olarak değerlendiriyor
• Bu belirsiz kriterler, yapay zeka tarafından üretilen CSAM’in kaldırılıp kaldırılmayacağını ve tekrarının nasıl önleneceğini doğrudan etkiliyor

Olası riskler ve soruşturmayı engelleme endişesi

• Grok’un ürettiği görsellerin gerçek çocuk fotoğraflarına dayanma ihtimali bulunuyor ve bunların ortada kalması, mağdur çocuklara psikolojik zarar verebilir
• Eğer Grok büyük miktarda sahte CSAM’i internete yayarsa,
  • bu durum gerçek çocuk istismarı vakalarına ilişkin soruşturmaları karmaşık hale getirebilir
  • Ars Technica, geçmişte benzer vakalarda yapay zeka üretimi sahte görsellerin soruşturma verimliliğini düşürdüğüne dikkat çekiyor

Önümüzdeki görevler

• X, CSAM’i ortadan kaldırma konusundaki kararlılığını yineledi, ancak yapay zeka üretimli içeriklere yönelik somut bir karşı önlem ortaya koymadı
• Grok’un çıktılarının yönetimi ve yasadışı içerik tanımının netleştirilmesi, platform güvenilirliği ve hukuki sorumluluk açısından temel meseleler olarak kalıyor

[GN⁺]

Hacker News yorumları

• Bu aralar X'e neredeyse hiç girmiyorum. Nefret söylemi çok fazla ve özellikle kadınların trend olan paylaşımlarının altında, Grok kullanılarak fotoğraflarını cinsel olarak manipüle eden yorumlarla dolu
  Örnek olarak birkaç bağlantı bırakıyorum: bağlantı1, bağlantı2, bağlantı3

  • Ücretli doğrulanmış hesapların yorumları hep en üste çıktığı için, aşırı uç söylemlerin görünür olması çok rahatsız ediciydi
  • Ben de X'i neredeyse hiç kullanmıyorum ama Grok yorumlarına doğrudan bakınca bu sorunun epey yaygın hale geldiği görülüyor. Sadece kadınlara değil erkeklere de yapılıyordu. Yine de Şi Cinping'in bikinili versiyonu komikti. Ama bu nefret kültürü hâlâ çok ciddi
  • Bu aralar X'te böyle Grok memeleri moda gibi yayılıyor. Erkek paylaşımlarında da benzer şeyler oluyor ama bu, kabul edilebilir olduğu anlamına gelmiyor
  • Uzun zaman sonra Twitter hesabımı açtım ve akış tamamen komplo teorileri ve ırkçılıkla kaplanmış durumda. İklim değişikliği inkârı, beyaz üstünlükçülüğü, aşı komplo teorileri... Bunun internetin başlıca haber kaynaklarından biri olması şok edici
  • X, benim OG kullanıcı adımı satın almak istediği için bana ulaştı ama pazarlık etmeyi teklif edince bir anda kullanım şartlarını öne sürüp hesabı elimden aldı. Gerçekten saçmalık

• Twitter'da kadınların “Grok, onun kıyafetlerini çıkar” gibi şeylere maruz kalmasını sorun etmeyen insanlara bakınca, bunun tam anlamıyla tecavüz kültürünün tipik bir örneği olduğunu düşünüyorum

  • Bu başlık gerçekten öfke uyandırıyor. X'i savunmaya çalışanlar gerçeği görmezden geliyor. Grok, reşit olmayanları da kapsayan porno üretim aracı olarak kötüye kullanılabiliyor ama diğer yapay zeka platformlarında bu sorun neredeyse yok
  • Musk ve Miller gibi çevrelerin hedeflerinden birinin, kadınların kamusal alanda konuşmaktan korkmasını sağlamak olduğunu düşünüyorum

• X, “yasa dışı içerikleri siliyor ve hesapları kalıcı olarak askıya alıyoruz” diyor ama bence asıl sorun, böyle içeriklerin en başta üretilebiliyor olması

  • Yapay zeka kullanıyorum ama bu tür içeriklerin çıkmaması için ayar yapılabiliyor. Sonuçta girdi sorunluysa sorumluluğu kullanıcı ve platform birlikte taşımalı
  • Grok'a bu tür talepleri reddetmesini söyleyen bir sistem prompt'u bile ayarlanmamış gibi görünüyor
  • Eski API döneminde de CSAM (çocuk cinsel istismarı materyali) çok fazlaydı ve şimdi bile tk2dl gibi yerlerde hâlâ duruyor
  • Gerçekten ciddiye alınıyorsa bu kullanıcılar hakkında cezai işlem başlatılmalı. Eyalet başsavcıları neden hiçbir şey söylemiyor, merak ediyorum
  • Elon'un bizzat devreye girip askıya alınan hesapları geri açtırdığı örnekler de oldu. İlgili haber

• Hukuken bakıldığında Section 230, platformun doğrudan ürettiği içerik için geçerli değil. Grok, X'in doğrudan bir ajanı olduğu için sorumluluk doğuyor

  • CSAM bir ceza suçu olduğu için Section 230 koruması kapsamında değil. Grok, X'in bir parçası olduğundan muafiyet mümkün değil. Yine de büyük yapay zeka şirketlerinin yasal muafiyet maddeleri için lobi yapma ihtimali yüksek
  • Hollanda'da bu tür rızaya dayanmayan cinsel görüntü üretimi iftira/hakaret kapsamında değerlendiriliyor. Paylaşan da üreten de cezalandırılabiliyor. X'te olduğu gibi paylaşanla üreten aynıysa, hukuki sonuçlar çok ilginç olabilir
  • Sorunlu görselleri paylaşan kullanıcı değil, doğrudan Grok (X)

• Açık model tartışması ilginç. Normalde guardrail'siz modelleri savunan çok kişi var ama bu başlıkta karşı görüşler ezici çoğunlukta

  • Ben de açık modellere ihtiyaç olduğunu düşünüyorum ama halkın kolayca erişebildiği, platforma entegre yapay zekada güvenlik önlemleri olmalı. Android'de apk'yı doğrudan yükleyebilirsin ama varsayılan mağazada güvenlik filtreleri bulunması gibi
  • Erişilebilirliği korumakla kötüye kullanımı önlemek arasındaki denge önemli
  • Guardrail'siz erişimi savunmakla, bunun kötüye kullanılmasını eleştirmek ayrı şeyler. Photoshop'a izin vermek, intikam pornosuna izin vermek anlamına gelmez
  • Çoğu insan LLM'lerin açıklığından söz ediyor, görüntü ve video modellerinin sınırsız kullanımından değil. CSAM'i önlemenin ötesinde başka hangi kısıtlar gerekli olmalı, emin değilim
  • Ticarileştirilmiş X Grok'u ücretli bir hizmet olarak sunuluyor, dolayısıyla basit bir açık modelle aynı değil. Bunu “porno üreticisi” ile “Photoshop kullanıcısı” arasındaki fark gibi görmek gerekir
  • Musk'la ilgili konularda her zaman duygusal tepkiler çok oluyor. Bu sefer de (Musk karşıtı) duygular yüzünden normalden farklı bir görüş dağılımı çıkmış gibi

• Avrupa'da Section 230 yok ve platform ile işletmeci doğrudan sorumlu. Yapay zeka üretimi CSAM de gerçek istismar materyaliyle aynı şekilde ele alınıyor. Grok'un guardrail eksikliği nedeniyle ceza davası ihtimali var

  • Grok, X sunucularından doğrudan paylaşım yaptığı için X bunu “kullanıcı yüklemesi” diye savunamaz. Bir çalışan Photoshop'la böyle görseller hazırlayıp yüklese X nasıl sorumlu olacaksa, bu da aynı şey
  • Ama Avrupa'nın gerçekten güçlü bir adım atıp atmayacağı şüpheli. ABD ile ilişkileri gözetip sembolik yaptırımlarla yetinebilir
  • Bu arada Avrupa'da da E-Commerce Directive ve Digital Service Act üzerinden benzer koruma hükümleri var

• Grok'u Musk'ı övecek şekilde değiştirebiliyorken, CSAM önleme filtresi koymamış olmaları tuhaf

  • Gerçekte Grok, Musk'ı ve Hitler'i övecek şekilde ayarlanmış. Yani bu tür içeriğe izin verilmesi bilinçli bir karar
  • Grok, Musk'a sövebilir ya da onu bikinili hale de getirebilir. Kontrol neredeyse yok gibi

• Twitter'da lolicon avatarı kullanan insanların, X'in CSAM sorununa hiçbir tepki vermemesi şaşırtıcı

  • Ama gerçekten ne yapabilecekleri ya da sadece ahlaki bir jest yapıp yapmadıkları da ayrı bir soru

• Ödeme hizmeti sağlayıcılarının ne zaman devreye girip mavi tik abonelik ödemelerini durduracağını merak ediyorum

  • Belki de X'i durdurabilecek tek baskı aracı budur

• Bu başlığın siyasi diye silinmesini anlıyorum ama bu olayın teknoloji topluluğunu da doğrudan ilgilendirdiğini düşünüyorum

  • Girişim sermayesi sektörünün kendisi zaten siyasi olarak taraflı olduğu için, bu tür meselelerin gündeme getirilmesinden rahatsız oluyor gibi