Curl: AI yardımıyla yazılmış geçerli bir güvenlik raporu hâlâ görmedik

• curl projesi, yapay zeka tabanlı güvenlik bildirimlerinin kötüye kullanılması nedeniyle AI kullanan bildiricileri anında engelleme politikası uygulamaya aldı
• Artık tüm güvenlik bildiricileri "AI kullandınız mı?" sorusuna açıkça yanıt vermek zorunda ve AI kullanıldıysa ek doğrulama soruları alacak
• Proje ekibi, AI tarafından yazılan bildirimlerin çoğunun değersiz "AI slop" olduğunu ve gerçekten geçerli tek bir bildirim örneği bile görmediklerini vurguluyor
• HackerOne üzerinden gelen AI suistimali içeren bildirimlerin kontrolden çıktığı değerlendirilirken, bunun adeta DDoS saldırısı düzeyinde bir engelleme girişimi olduğu belirtiliyor
• Sorunun çıkış noktası olan örnek https://hackerone.com/reports/3125832; bu rapor, yanıt politikasının değiştirilmesine neden oldu

[sagee]

Aşağı yukarı benzer düşünüyorum

[imnotarobot]

Bir robot musunuz?

[GN⁺]

Hacker News yorumu

• Milyon dolarlık bir bug bounty programındaki raporları işliyorum

  • AI spam'i ciddi bir sorun
  • LLM üzerinden gelen geçerli bir rapor hiç görmedim
  • İnsanlar bir hata raporunun neden geçersiz olduğunu açıklayan geri bildirimi tekrar LLM'e verip daha da kafa karıştırıcı sonuçlar alıyor
  • "spam olarak kapat" dışında yanıt vermeye değmez
  • Bir gün harika kod güvenliği araçlarının çıkacağına inanıyorum, ama sorun insanların o günün bugün olduğuna inanması
  • Gerçek ile çöpü ayıramayan insanlar endişe verici

• Linke tıklamak istemeyenler için, <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>; hatalı bir curl raporunun en yeni örneği

• Büyük açık kaynak projelerine zafiyet yerleştirmek isteseydiniz, kolay bir yöntem AI kullanarak onların zafiyet raporlarını DDOS edip gerçek raporları bulmayı zorlaştırmak olurdu

  • Sahte raporlar okuyunca gerçek bir insandan çıkmış gibi gelmiyor
  • Takdir görmek amacı yoksa insanların bunu neden yaptığı merak konusu

• Bardağı taşıran commit'i okursanız durumu iyi açıklıyor: <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>;

  • Bunları didik didik incelemek gerçekten sinir bozucu olmalı
  • Burada bir itibar sisteminin işe yarayıp yaramayacağını merak ediyorum
  • AML/KYC sağlayıcısı üzerinden kimliği doğrulanmış kişilere itibar verip, doğru zafiyet buldukça bu itibarı artıran bir sistem öneriyorum
  • AI bu alanın ekonomisini değiştiriyor

• Rapora tıklamadan da hepsinin halüsinasyon olduğunu anlayabiliyorsunuz

  • Hem orijinal patch dosyası hem de segfault tamamen yanlış
  • Bunlar hiçbir doğrulama yapmadan AI üretimi çıktıları rastgele gönderiyor gibi görünüyor

• evilginx önem derecesini yükseltmiş

  • Raporu yazan kişi iş aradığını açıkça belirtmiş
  • ChatGPT kullanarak AI üretimi proje spam'i yapacak insanlar mı arıyorlar diye merak ediyorum

• Çoğu LLM'e kodda güvenlik açığı bulması söylendiğinde tamamen uydurma şeyler üretip getiriyor

  • Yanlış kod yüzünden anlamsız "düzeltmeler" alıyorsunuz
  • Asıl sorun, kullanıcı talebiyle sistemin gerçek etkinliği arasındaki uyumsuzluk

• AI'yi çok kullanan insanlarla etkileşimde en hayal kırıklığı yaratan şeylerden biri sık sık "ChatGPT'ye sordum, o da..." diye başlamaları

  • Eğer chatbotun öğrettiğini anladıysan bunu kendin açıklamalısın; anlamadıysan ya da güvenmiyorsan hiç söylememelisin

• Çözüm basit

  • Güvenlik raporu göndermeden önce raporlayan kişi $10'u escrow'a koyar ve gönderim AI üretimi çöp çıkarsa bu tutar incelemeyi yapan kişiye ödenir

• Karşı görüş olarak, bizde bir CVE var ve fark şu ki kurucu ortaklardan biri agresif bir kernel araştırmacısıydı

  • Sistem ortalama bir insandan daha iyi ayarlanmış durumda
  • curl'ün aldığı hatalı raporların miktarı inanılmaz boyutta
  • Araçlar gerçekten çalışıyor, ama hızlı para kazanmak isteyen çok insan olduğu için gürültüyü filtrelemek gerekiyor