Yapay zekanın ürettiği curl güvenlik raporu

Hata ödül programı

• Hata ödül programı, güvenlik sorunlarını bildiren hackerlara gerçek para ödülü verir.
• Bazı kişiler kaynak kodda desenler aradıktan veya temel güvenlik tarayıcılarını çalıştırdıktan sonra, ek analiz yapmadan sonuçları bildirip ödül almayı umuyor.
• Ödül programını yürüttükleri yıllar boyunca çöp raporların oranı büyük bir sorun olmadı ve çoğu kolayca tespit edilip göz ardı edilebildi.
• Bugüne kadar hata ödülleri kapsamında 70,000 USD'den fazla ödeme yapıldı ve 415 zafiyet raporundan 64'ünün gerçek güvenlik sorunu olduğu doğrulandı.

Daha iyi çöp daha kötüdür

• Bir rapor daha iyi görünür ve makul noktalara sahipmiş gibi durursa, onu incelemek ve elemek daha fazla zaman alır.
• Güvenlik raporları, bir insanın zaman ayırıp gözden geçirmesini ve anlamını değerlendirmesini gerektirir.
• Çöp raporlar projeye yardımcı olmaz; geliştiricilerin zamanını ve enerjisini verimli işlerden alıp götürür.

Yapay zeka tarafından üretilen güvenlik raporları

• Yapay zeka birçok iyi iş yapabilir, ancak yanlış amaçlarla da kullanılabilir.
• Yapay zekanın güvenlik sorunlarını bulup raporlamada faydalı biçimde kullanılabileceği düşünülebilir, ancak yazar henüz bunun iyi bir örneğini görmedi.
• Şu anda kullanıcılar, curl kodunu analiz etmek ve sonuçları güvenlik açığı raporu olarak göndermek için LLM'leri kullanmaya hevesli.

Yapay zeka çöpünü tespit etme

• Raporu gönderen kişiler İngilizceye tamamen hakim olmayabilir; bu yüzden bazen ne demek istediklerini hemen anlamak zor olabilir.
• Bazen bu kişiler, kendilerini ifade etmek veya çeviri için AI ya da başka araçlardan yardım alır.
• Metnin bazı bölümlerinin AI veya benzeri araçlarca üretilmiş olması tek başına hemen sorun anlamına gelmez.

Örnek A: Kod değişikliğinin ifşa edilmesi

• 2023 sonbaharında CVE-2023-38545 için kamuya açıklama önceden duyuruldu.
• Sorun duyurulmadan bir gün önce bir kullanıcı Hackerone'a şu başlıklı bir rapor gönderdi: Curl CVE-2023-38545 güvenlik açığına ait kod değişikliği internete sızdırıldı.
• Rapor, AI tarzı halüsinasyon kokusu veriyordu: gerçekle bağlantısı olmayan yeni şeyler uyduruyordu.
• Kullanıcı, bu sorunu bulmak için Google'ın üretken yapay zekası Bard'ı kullandığını söyledi.

Örnek B: Arabellek taşması açığı

• Bu vaka daha az belirgin ve daha iyi hazırlanmıştı, ancak yine de halüsinasyondan kurtulamıyordu.
• 28 Aralık 2023 sabahı bir kullanıcı Hackerone'a şu başlıklı bir rapor gönderdi: WebSocket işlemede arabellek taşması açığı.
• Rapor ayrıntılıydı, düzgün İngilizceyle yazılmıştı ve önerilen bir düzeltme de içeriyordu.
• Birkaç soru ve halüsinasyonun ardından, bunun gerçek bir sorun olmadığını fark ettiler ve aynı gün öğleden sonra raporu çözümlenmeden kapattılar.

Bu rapor sahiplerini yasaklama

• Hackerone'da bir proje ile daha fazla iletişimi yasaklamaya yönelik açık bir özellik yok.
• Bir sorun çözülmediğinde araştırmacının "itibarı" düşüyor, ancak bunun tek bir projede bir kez olması çok küçük bir etki yaratıyor.

Gelecek

• Bu tür raporların zamanla daha yaygın hale gelmesi bekleniyor; insanlar AI sinyallerini daha iyi tespit etmeyi ve buna dayanarak raporları göz ardı etmeyi öğrenebilir.
• Bu durum, AI uygun işlerde kullanıldığında talihsiz bir sonuç olabilir.
• Gelecekte gerçekten işe yarayan AI araçlarının ortaya çıkacağına inanılıyor ve AI'ın güvenlik sorunlarını bulmak için kullanılması başlı başına kötü bir fikir değil.
• Buna çok küçük bir miktar (zeki) insan denetimi eklendiğinde, bu araçların kullanımı ve sonuçları çok daha iyi olabilir.

Tartışma

• Hacker news

Katkı

• Görsel: Pixabay üzerinden Haider Mahmood
• AI
• cURL and libcurl
• hackerone
• Security

GN⁺'un görüşü

• Yapay zeka teknolojisindeki gelişmeler, güvenlik alanında da yeni zorluklar ve fırsatlar sunuyor. Yapay zeka güvenlik açıklarını bulmaya yardımcı olabilir, ancak şu anda hatalı raporlar nedeniyle geliştiricilerin zamanını boşa harcadığı durumlar sık görülüyor.
• Güvenlik sorunlarını hızlıca tespit edip çözmek, yazılımın güvenliğini korumak açısından çok önemlidir. Ancak AI tarafından üretilen raporlar arttıkça, bunları etkili şekilde yönetmek için yeni yaklaşımlara ihtiyaç duyuluyor.
• Bu yazı, AI'ın güvenlik alanında nasıl yanlış kullanılabileceğine dair gerçek örnekler sunarak, AI teknolojisinin sorumlu kullanımının ve insan denetiminin önemini vurguluyor.

[GN⁺]

Hacker News yorumları

• Hacker News yorum özeti:

  • LLM'lerin (büyük dil modelleri) belirli bir tonu hakkındaki görüşler:

    LLM'lerin robot bir uşak gibi gelen belirli bir tona sahip olması sorun değil, ancak insanların LLM gibi konuşmaya başlaması endişe verici.

  • LLM tarafından oluşturulan curl ile ilgili güvenlik açığı raporu hakkındaki görüşler:

    İlk başta bunun daha önce gördüğüm bir şeyin tekrarı olduğunu düşündüm, ama aslında başka bir LLM'nin ürettiği sahte bir rapor olduğunu fark ettim.

  • LLM'ler ve bug bounty programlarıyla ilgili kaygılar:

    LLM'lerin bug bounty programlarına gönderdiği sahte raporlar, bu programların yürütülmesini zorlaştırabilir. Programları yalnızca gerçek insanların ve güvenlik araştırmacılarının katılabileceği şekilde daha sıkı yönetmek gerekebilir.

  • LLM'lerin düşük maliyet karşılığında mühendislik zamanını boşa harcatmasıyla ilgili endişe:

    LLM'lerin çok az bir maliyetle büyük miktarda değerli mühendislik zamanını boşa harcayabilmesi kaygı verici.

  • LLM'lerin içerik güvenilirliği üzerindeki etkisine dair içgörü:

    Yazının, en azından bir miktar emek verildiğini gösteren bir kanıt olma özelliği, LLM'ler yüzünden artık daha fazla çaba gerektiren bir şeye dönüştü. Bu durum bug bounty programlarını ve CVE sürecini etkiliyor; gönderim bariyerlerini yükselterek sonuçta daha fazla güvenlik açığının bulunmadan ve düzeltilmeden kalmasına yol açabilir.

  • curl koduna dair teknik analiz:

    curl, kullanıcı tarafından sağlanan veri kullanmıyor ve derleme zamanında sabitlenmiş bir boyuta sahip olduğu için uzunluk kontrolüyle ilgili şikâyet özellikle tuhaf görünüyor. Ayrıca C diline daha hâkim birinin keyval yerel değişkeninin kullanım amacını açıklayıp açıklayamayacağını merak ediyorum.

  • LLM'lerin kod incelemesine yönelik eleştiri:

    dineshsec / dinesh_b'nin Daniel'e strncpy kullanımını öğretmeye çalışması zaman kaybı; ayrıca memcpy kullanmanın strcpy ya da strncpy kullanmaktan daha iyi olduğunu savunuyor. LLM'nin önerileri gerçekten tavsiye edilir türden değil.

  • Siber güvenlik alanında yapay zeka sorununa dair görüşler:

    Yakın zamana kadar siber güvenlik, çöp bilgiye karşı bir ölçüde bağışıklıydı; ancak artık yapay zeka, dolandırıcıların kandırmacalarını daha kolay uygulamasını sağlıyor. Sorun yapay zekanın kendisinden çok etik tarafında ve bir güvenlik raporu sadece "meşru" görünüyorsa kabul görebiliyor.