- Açık kaynak kütüphane cURL, yapay zekanın ürettiği anlamsız hata raporlarındaki artışı durdurmak için hata ödül programını sona erdirdi
- Bakım sorumlusu Daniel Stenberg, yapay zeka tarafından oluşturulan raporların çoğunun “tamamen uydurma” olduğunu ve bunları doğrulamanın çok zaman aldığını açıkladı
- cURL, ocak ayı sonundan itibaren ödeme yapmayı durduruyor; bugüne kadar toplam 87 rapor için 101.020 dolar ödendi
- Güvenlik araştırmacısı Joshua Rogers, yapay zeka araçlarını kullanarak gerçekten geçerli raporlar sunmuş olsa da bu kararı “çok akıllıca bir adım” olarak değerlendirdi
- Ona göre asıl motivasyon para değil, itibar ve teknik başarı; diğer projelerin de benzer adımları değerlendirmesi gerekebilir
cURL'nin hata ödül programını sona erdirme kararı
- Açık kaynak kod kütüphanesi cURL, hata raporları için verilen parasal ödülleri durduruyor
- Amaç, yapay zeka tarafından üretilen sahte raporlardaki (AI slop) artışı frenlemek
- Bakım sorumlusu Daniel Stenberg, “AI slop ve hatalı raporlar artmaya devam ediyor; bu seli durduramazsak batmamız kaçınılmaz” dedi
- cURL, ocak ayı sonu itibarıyla ödül ödemelerini sonlandırıyor
- “Gerçekte var olmayan, abartılmış ya da yanlış anlaşılmış bulgular yüzünden çok fazla zaman kaybediyoruz” diye açıkladı
Yapay zeka üretimi raporların sorunu ve etkisi
- cURL'de son dönemde yapay zekanın otomatik ürettiği hata raporları nedeniyle iş yükü ciddi biçimde arttı
- Yapay zeka üretimi raporların çoğunun anlamsız ya da yanlış içerik olduğu ortaya çıktı
- Bu raporları ayıklama süreci zaman alıcı ve bakım ekibi için büyük bir yük oluşturuyor
- Stenberg, 2025'te yayımladığı “Death by a thousand slops” başlıklı yazıda bu sorunu kamuya açık biçimde ele almıştı
Yapay zeka destekli raporların olumlu örnekleri
- Yapay zeka ile üretilen her rapor değersiz değil
- Stenberg, 100'den fazla yapay zeka destekli raporun gerçekten kod düzeltmelerine yol açtığını belirtti
- cURL şimdiye kadar toplam 87 hata raporu için 101.020 dolar ödül verdi
- Ödül programı olmasaydı bazı raporlar hiç bulunamayabilirdi (ek analiz yok)
Güvenlik araştırmacısı Joshua Rogers'ın görüşü
- Joshua Rogers, yapay zeka araçlarını kullanarak açık kaynak projelere çok sayıda geçerli hata raporu sunmuş bir araştırmacı
- Yapay zekanın analiz sonuçlarını gözden geçirip bizzat tamamladıktan sonra gönderim yapıyor
- Rogers, cURL'nin bu kararını “çok daha önce alınması gereken harika bir adım” diye değerlendirdi
- “Bu programın bu kadar uzun sürmesi asıl şaşırtıcı olan şey” dedi
- Ona göre “hata ödülü ortadan kalkarsa bazı motivasyonlar azalabilir ama önemli raporlar yine de gönderilir”
Ödül ile motivasyon arasındaki dengesizlik
- Rogers, “Gerçek motivasyonun itibar (fame) olduğunu, parasal ödülün ise ikincil kaldığını” vurguladı
- cURL'nin en yüksek ödülü 10 bin dolar; ciddi bir açığı bulabilecek uzmanlık seviyesindeki kişiler için bu büyük bir meblağ değil
- Ancak ekonomik dengesizliğe de dikkat çekti
- Aynı ödülün, düşük gelirli bölgelerdeki araştırmacılar için çok daha anlamlı olabileceğini söyledi
- “İsveç'te öğle yemeği parasına denk gelen bir ödül, bazı bölgelerde çok büyük bir tutar olabilir” diye açıkladı
Açık kaynak ekosisteminin ortak sorunu
- Habere göre diğer açık kaynak projeleri de yapay zeka üretimi rapor seliyle mücadele ediyor
- cURL'nin bu kararı, yapay zeka çağında kalite kontrolü ve topluluk yönetimi üzerine yeni tartışmalar başlatabilir (ek açıklama yok)
2 yorum
LLM tabanlı hack amaçlı exploit üretiminin endüstrileşmesi yaklaşıyor
Bununla da bağlantılı olarak, çeşitli alanlarda LLM uygulanmasının artık kaçınılmaz hale geldiği bir dönemin yaklaştığı görülüyor.
LLM kullanan hackerları durdurmak için bile güvenlik doğrulamasını LLM'lere emanet etmek gerekecek gibi görünüyor.
Hacker News görüşleri
Hata gerçekten önemli bir sorun olarak doğrulanırsa iade edilen bir katılım ücreti getirmek bu tür sorunları hızlıca engelleyebilir gibi görünüyor
Bir zamanlar bir banka giriş yönteminde parol+PIN yerine yalnızca PIN ile değişiklik yapılabilen bir açığı bildirmiştim, ama “amaçlanan davranış” denilerek kapatılmıştı
Hastane ya da banka gibi yoğun şekilde regüle edilen kurumların, gerçek güvenlikten çok “uyumluluk şartlarını karşılama”ya odaklandığını öğrendim
Hata ödül programını yürüten taraf iyi niyetliyse, böyle giriş engelleri ya da cezalar kötü niyetli gönderimleri filtreleyebilir
İncelemeyi yapan kişi içeriği yanlış anlayabiliyor ya da kurallar çoğu zaman belirsiz oluyor
Katılım ücreti alınırsa bu risk daha da büyür
Eskiden ben de programı yürüten taraftaydım; berbat raporlar çok fazlaydı, şimdi üstüne AI da eklendiği için muhtemelen daha da kötü durumdadır
Gönderen taraf açısından da adil değerlendirme garantisi almak zor, ayrıca raporun mükerrer çıkma ihtimali de yüksek
Bir zamanlar bir AB bankası yalnızca SHA-1 destekleyen elektronik imza girişine izin veriyordu; bu algoritma zaten 10 yıl önce terk edilmişti
Devlet onaylı kimlik sağlayıcı yazılımı, YubiKey takılıysa doğrudan çöküyordu
Cihaz standarda uygundu ama geliştirici standart dışı varsayımlar yapmıştı
Hatayı bildirdim ama yalnızca “bu bizim sorunumuz değil” yanıtını aldım
Ama rapor göndermek için para ödemek gerekiyorsa ve iade ya da ödül de kesin değilse, bunu başka bir yere satmak daha cazip gelebilir
cURL’den Daniel bu fikri daha önce birçok kez değerlendirmiş, ama sonunda uygulanamaz olduğuna karar vermiş
Sertifikalı ama güvensiz cihazlar uygulamanın tüm özelliklerini kullanabiliyor, ama en güvenli OS olan GrapheneOS “sertifikalı değil” diye kısıtlanıyor
Sonuçta sorun güvenlik değil, sertifikasyon sistemi
Açık kaynak AI’dan en büyük zararı görüyor gibi duruyor
Açık kaynak kodlar model eğitiminde kullanıldı, şimdi de o modeller açık kaynak projeleri spam’le dolduruyor
Ayrıca AI ücretli özellikleri uygulayıp açık kaynak iş modellerini aşındırıyor, sonunda açık kaynak kodun kendisinin yerini bile alabilir
Katkı yapma, bakım, öğrenme, iş birliği ve iş kurma motivasyonunu ortadan kaldırıyor
Hatta kapalı kod üzerinde çalışılan geleneksel istihdam biçimini bile çökertiyor
Sonunda üç Amerikan şirketinin geçmişte yaptığımız işleri abonelik modeliyle yeniden satmak için yarıştığı bir tablo çıkıyor
Eskiden de böyle gösteriş amaçlı katkılar vardı, ama şimdi ölçek tamamen farklı
Eskiden öğrenciler projeleri kendileri bulup katkı yapar, doğal bir filtre oluşurdu; AI devreye girince bu filtre ortadan kalkıyor
Dünya rekabete açıldığında, open-core tabanlı modellerin çökmesi doğal bir şey
Ders kitapları, eğitimler, resmî dokümantasyon gibi kaynaklar da buna dahil
Bir zamanlar eski bir Android cihazdan veri kurtarmak için Claude’a GUI özelliği eklettim ve epey iyi çalıştı
Kod, projenin asıl yönünden saptığı için GitHub’a geri yüklemedim
White-hat hacker açısından hata ödüllerinin parasal karşılığı çok büyük olmayabilir, ama ahlaki bir tercih olarak katılmanın bir anlamı var
Buna karşılık, kötüye kullanılabilir bir açık söz konusuysa daha fazla para veren malware geliştiricilerine de satılabilir
Karşılıklı güven olmadığından kripto para escrow’u, para aklama gibi karmaşık süreçler gerekiyor
Devlet onayı olmadan böyle işlemler yapmak hukuki risk de taşıyor
Sonuçta bu pazarın fiilen işler halde olması zor görünüyor
Hackerone’ın hackerlar için bir itibar sistemi var
Yalnızca doğrulanmış hackerların davet edildiği özel programlar şeklinde işletmek iyi olurdu; neden yapılmadığını bilmiyorum
Sonunda ekosisteme giriş bariyeri fazla yükselebilir
Parasal ödül dışında itibar ya da CVE alma gibi motivasyonlar da var
Stenberg blogunda abartılmış açık vakalarını birkaç kez ele aldı; bazılarında itibar için kasıtlı abartı varmış gibi görünüyordu
Bu tür motivasyonları teşvik tasarımıyla ele almak zor
Bu sorunun arka planını gösteren bir video var → YouTube bağlantısı
Kocaman mikrofon, aşırı jestler, “awesome”, “insane” gibi abartılı ifadelerin tüm konuşmayı domine etmesi yorucu hissettiriyor
“İsveç’te bir öğle yemeği kadar ödül bile düşük gelirli ülkeler için büyüktür” sözü abartılı bir iddia gibi geliyor
Stockholm merkezinde öğle yemeği yaklaşık 200 kron ve böyle bir beceriye sahip birinin bunu ‘büyük para’ olarak görmesi zor
Abartı payı olsa da göz ardı edilemeyecek bir fark
Şirketimizdeki hata ödül programı fiilen tek bir güvenlik e-posta adresinden ibaret, ama günde 100’den fazla spam geliyor
Bunların çoğu AI tarafından üretilmiş sahte pentest raporları ve içleri uydurma açıklar ile yanlış bilgilerle dolu
Hatta bir satış temsilcisi 3 saatlik toplantı ayarlamaya çalışmıştı; raporda var olmayan bir IIS açığı ve imkânsız bir IP adresi yazıyordu
O an gerçekten diyecek söz bulamadım
Eskiden hata bulmak yavaş ve zordu, bu yüzden teşvik gerekiyordu; şimdi ise gerçek hatayı ayıklamak daha zor iş haline geldi
AI bug hunter’lar için “100 taneden 3’ü gerçekten doğru çıkar” diye bir şaka bile var
cURL gibi bir kod tabanındaki açıklar ya da binary exploit’ler konusunda AI henüz bunu yapamıyor
cURL’ün AI üretimi çöp raporlar listesi açık olarak yayımlandı → gist bağlantısı
Tarih Aralık 2023’tü; gerçekten çok bunalmış olmalı
Yine de LLM daha ikna edici geliyor
Bard’dan bir LLM olarak bahsedilmesi tuhaf biçimde eski hissettirdi
cURL’ün buna bu kadar uzun süre sabredip yanıt vermiş olması şaşırtıcı