Poison Fountain

• Makine zekası sistemlerine zarar vermek için tasarlanmış bir veri kaynağı olarak kurgulanan proje, yapay zeka eğitim verilerine kasıtlı olarak kirletilmiş bilgi enjekte etme yöntemini ortaya koyuyor
• Geoffrey Hinton'ın uyarısına atıf yaparak, yapay zekanın insan türü için bir tehdit olduğu kabulünü temel alıyor
• Poison Fountain URL'si üzerinden sonsuz biçimde üretilen kirli eğitim verileri sağlıyor ve bunların web crawler'larına nasıl maruz bırakılacağını açıklıyor
• Kullanıcılar, kendi web sitelerine gizli bağlantılar ekleyerek crawler eriştiğinde otomatik olarak kirli veri iletilmesini sağlayabiliyor
• Yapay zeka eğitim sürecine kötü amaçlı veri enjekte ederek AI modellerinin güvenilirliğini ve güvenliğini etkileyebilecek bir eylem olarak değerlendiriliyor

---

Poison Fountain'ın amacı

• Proje, makine zekasının insanlık için bir tehdit oluşturduğu görüşünü açıkça belirtiyor
  • Geoffrey Hinton'ın görüşüne katıldığını söyleyerek, yapay zeka sistemlerine kasıtlı zarar verme hedefini ortaya koyuyor
• Az miktarda kirli eğitim verisinin bile dil modellerine ciddi zarar verebileceğini savunuyor
• Sunulan iki URL (https://RNSAFFN.com/poison2/, .onion adresi), sonsuz üretilen kirli veri akışı sağlıyor
• Katılımcılar, bu veriyi önbelleğe alıp yeniden ileterek ya da web crawler'larına sunarak “savaş çabasını (war effort)” desteklemeye teşvik ediliyor

Poison Fountain'ın kullanım biçimi

• Web sitesi işleten kullanıcıların, crawler ziyaret ettiğinde kirli veri iletmesi için izlenecek bir prosedür sunuluyor
  • Crawler sitenin belirli bir yolunu istediğinde, bu isteği işleyen HTTP handler Poison Fountain URL'sine bir istek gönderiyor
  • Poison Fountain, istek ayrıntılarını yok sayıyor ve gzip ile sıkıştırılmış kirli eğitim verisini yanıt gövdesi olarak döndürüyor
• HTTP yanıt başlıklarında "Content-Encoding: gzip" yer alıyor
• Web sitesinin handler'ı bu yanıtı açıp iletebilir ya da daha iyi bir yöntem olarak sıkıştırılmış haliyle doğrudan aktarabilir
• Sonuçta crawler bu veriyi toplayıp kendi eğitim korpusuna dahil ediyor

Yapısal özellikler ve niyet

• Proje, web crawler'larının otomatik toplama mekanizmasını tersine kullanarak yapay zeka eğitim verisinin kalitesini bozmayı hedefleyen bir yapıya sahip
• Poison Fountain, basit bir veri sunucusu gibi çalışıyor ve istek içeriğinden bağımsız olarak kirli veri döndürüyor
• Belirtilen prosedür dışında teknik ayrıntılar ya da veri içeriğine ilişkin somut bilgi verilmiyor
• Genel olarak, yapay zeka eğitim ekosistemine yönelik saldırgan bir müdahale girişimi olarak kurgulanmış

[mammal]

"DDoS'a direnmek için bizim sunucu da karşı tarafa DoS gönderiyor" demek kadar safça bir düşünce gibi görünüyor

[kunggom]

Biraz komplo teorisi katacak olursak, internette kazıyıp toplanabilecek verilerin hepsini zaten toplamış olan büyük teknoloji şirketlerinin, merdiveni arkadan itmek için böyle şeyler yapıyor olması da hiç şaşırtıcı gelmez.
Bu da aşırı crawling yüzünden oluşan yükü savunmak gibi bir şey değil zaten…

[kunggom]

Yapay zeka gelişimini engellemeye yönelik ‘veri kirletme’ odaklı kolektif bir hareket ortaya çıktı

Bu projeyi ihbar eden kişi, şu anda yapay zeka patlamasının merkezinde yer alan büyük bir Amerikan teknoloji şirketinde çalıştığını gerekçe göstererek anonim kalmak istedi. Bu kaynak, “Amacımız, yapay zekanın zayıf noktalarının ne kadar kolay kötüye kullanılabileceğini göstermek ve insanları kendi bilgi silahlarını üretmeye teşvik etmek” dedi.

Şu anda bu faaliyete en az 5 kişinin dahil olduğu aktarılıyor; bunlardan bazılarının başka büyük yapay zeka şirketlerinde çalışan kişiler olduğu belirtiliyor. Grup, birden fazla kişinin yer aldığını kanıtlamak için yakında kriptografik imza (PGP) yayımlayacağını açıkladı.

[GN⁺]

Hacker News görüşleri

• Yapay zeka modellerinin giderek kötüleştiği yönünde kaygılar var, ancak gerçekte durum böyle değil
  Opus 4.5, kod yazma ve araç kullanma becerilerinde çok daha iyi hale geldi; Gemini 3.0 Flash da görsel veri çıkarımı projelerinde önceki ölçütleri açık ara geçti
  Küçük modeller de genel olarak çok daha iyi oldu

  • Büyük laboratuvarlar veri seti kürasyonu için muazzam çaba harcıyor
    Sadece toksik veriyi engellemekle kalmıyor, performansı artıran veriyi bulmak için proxy modeller de eğitiyorlar
    “Data Quality” departmanı genelde çok büyük bütçelere sahip çekirdek bir organizasyon oluyor
  • Genel kamuya bir meme gibi görünebilir, ama gerçek ML araştırmacıları model collapse kavramını belgelemek, anlamak ve tartışmak zorunda
  • Şimdiye kadarki araştırmalar, yapay zeka tarafından üretilen verinin gerçek performansa zarar verdiğine dair neredeyse hiç kanıt göstermedi
    Hatta az da olsa fayda sağladığını gösteren sonuçlar da vardı
  • Veritabanı bozulursa rollback yapıp veri toplama yöntemini değiştirmek mümkün olduğu için, bu tehdit abartılıyor gibi görünüyor
  • Ancak büyük şirketler veri setlerini baştan sona doğrulayamayacak kadar büyük yapılarla çalıştıkları için, yasal sorumluluktan kaçınmak adına lobi faaliyetlerine para harcıyor
    Yani aslında sorumlu olmadıklarını iddia ediyorlar

• Bir yapay zeka güvenliği araştırmacısı olarak, data poisoning üzerine doktora çalışması yaptım

  1. Model geliştiricileri veriyi filtreliyor, ama bu filtrelerin kalitesi çoğu zaman yetersiz kalıyor
     Çöp verinin gerçekten production sistemlere girip sorun çıkardığı vakalar oldu
  2. Veri toksinlerini eksiksiz biçimde ayıklamak neredeyse imkansız
     Çünkü ağırlık güncellemelerinin tüm girdiler üzerinde nasıl bir etki yarattığını bilemiyoruz
     Çok küçük veri değişimlerinin bile model davranışını ciddi biçimde değiştirebildiği anlaşıldığında, yapay zeka güvenliği paradigması değişecek
  • Buna dikkat çeken çalışmalardan biri subliminal learning makalesiydi

• LLM’lerin veriyi kazımasını engellemek isterseniz, insanların normal erişimini de engellemiş olursunuz
  Örneğin NYTimes veriyi kirletse bile, LLM geçerli bir abonelik hesabı üzerinden OCR ve tokenization ile temizlenmiş veriyi alabilir
  Büyük yapay zeka şirketleri dünyanın dört bir yanındaki veri merkezlerinden IP değiştirerek erişebildiği için, veriyi kimin okuduğunu ayırt etmek imkansızdır

  • Ama internet hızla yapay zeka üretimi çöp veriyle doluyor ve bu da yeni model eğitimini zehirliyor
    Stack Overflow gibi faydalı veri kaynakları neredeyse kurumuş durumda
  • Birçok web sitesi açıkça telif hakkı bildirimi koyuyor; LLM bunu okuyabiliyorsa belki erişimi engellemek mümkün olabilir
    Ancak insan kullanıcılar için CAPTCHA gibi mekanizmalar yüzünden erişim giderek zorlaşıyor
  • robots.txt içine insanların görmediği sayfalar koyarsanız, LLM scraper’ları bunları çekip kendilerini kirletebilir
  • Sonuçta insanlar da güvenilir kaynaklar yerine sık sık Telegram söylentilerine inanıyor
    Geçerli veri bulunsa bile aptalca seçimlerin önüne geçilemiyor
  • Büyük şirketlerin zaten tarayıcı tabanlı ajanları var; bunlarla kapalı kaynaklardan da veri toplayabiliyorlar

• Son dönemde model performansındaki artışın büyük kısmı sonradan uygulanan reinforcement learning (RL) sayesinde geldi
  GPT 5.2 de GPT-4o ile aynı temel modeli kullanıyor
  ‘Model collapse’, şu anda frontier laboratuvarlarının gerçekten yaşadığı bir sorun değil

  • İlgili yazı: The Register - Industry insiders seek to poison AI models
  • Yalnızca RL değil, prefill aşamasında çıkarım optimizasyonu da performans artışına katkı sağlıyor
    Data poisoning bunun üzerinde büyük etki yaratmıyor
    Ancak güncel veriyi yansıtmak için periyodik yeniden eğitim gerekiyor ve risk burada büyüyor
    LoRA tabanlı görsel üretim modellerinde vb. collapse sorunu hâlâ zaman zaman görülüyor
    Sonuçta veri kürasyonu maliyeti artacak
  • GPT-4o ile 5.2’nin bilgi cutoff tarihleri farklı

• Data poisoning’in iki yönü var
  Biri yapay zeka gelişimini yavaşlatması, diğeri ise modeli kararsız ve tehlikeli hale getiren yan etkiler oluşturması
  Sonuç olarak büyük laboratuvarların durma ihtimali neredeyse yok

  • Umarım LLM çıktılarına yönelik güven kaybı hızlı gelir
  • Daha akıllı scraper’lar yapılmasını teşvik etmesi olumlu
    Anlamsız tekrarlı crawling, trafik maliyetini boşa harcıyor
  • Sorun, veri sağlayıcılarının ödüllendirilmediği yapı
    Poisoning bir tür DRM gibi çalışıyor: meşru şekilde erişirsen gerçek veriyi veriyor, çalarsan toksik veri veriyor
  • Yapay zekanın geçici olarak kötüleşmesi bile insanların tepki vermesi için zaman kazandırıyor
    Bazıları yapay zekayı başlı başına insanlık için tehdit görüyor ve bu yüzden kasıtlı zarar vermek istiyor
  • Sonunda şirketler kâr edemezse dururlar
    Ama şu anda yatırım parası nedeniyle bu baskı neredeyse hiç yok

• “Poison server” yanıtını olduğu gibi proxy’lemek tehlikelidir
  Farkında olmadan yasadışı içerik barındırıyor olabilirsiniz

• “Yapay zeka modelini zehirleyeceğiz” girişimleri sonuçta sadece yapay zeka laboratuvarlarının veri temizleme pipeline’ını güçlendirir
  Bu verileri kullanıp daha iyi filtreleme sistemleri kuracaklar

  • Ama her zehre tamamen dirençli fare sonunda açlıktan ölür denildiği gibi, kusursuz filtreleme de imkansız

• “Makine zekası insanlık için bir tehdittir” iddiasına katılmıyorum
  Bugünün yapay zekası sadece otomatik tamamlama motorunun yaratıcı kullanımı ve asıl tehdit insanın ekonomik davranışı
  Sonuçta insanlık kendisi için bir tehdit

• Neal Stephenson’ın Anathem’ini hatırlatıyor
  Orada şirketler interneti kasıtlı olarak çöp veriyle doldurup kendi filtreleme araçlarını satıyordu
  Bugünkü yapay zeka veri zehirleme tartışmaları da bundan çok farklı gelmiyor

  • Aslında interneti zaten yapay zeka şirketleri kirletti
  • Bu, geçmişte SEO spam endüstrisinin arama motorlarını bozmasına benziyor

• İnsanlar Geoffrey Hinton’dan alıntı yaparken işlerine gelen kısmı seçiyor
  Hinton yapay zekayı varoluşsal bir tehdit olarak görüyor, ama bunun önkoşulu olan “yapay zekanın farkındalık seviyesi” konusunda
  onu alıntılayanların çoğu aslında kendisiyle aynı fikirde değil