- Joshua Rogers, kendi geliştirdiği yapay zeka tabanlı araç seti ile curl kod tabanında büyük ölçekli bir potansiyel sorun listesi ortaya çıkardı
- Bu listede önemsiz kod stili kusurlarının yanı sıra küçük hatalar ve potansiyel güvenlik açıkları da yer alıyor
- Bulunan sorunların çoğu küçük hatalar olsa da, 1-2 tanesi güvenlik açısından kritik kusurlar olabilir
- Bunlar daha önce tespit edilmemiş sorunlar olduğu için sonuçlar gerçekten çok değerli
- Bildirilen içerik temel alınarak 22 hata düzeltmesi şimdiden tamamlandı
- Hâlâ bunun iki katından fazla doğrulanmamış sorun kaldığı için inceleme ve düzeltme çalışmaları sürüyor
- Ayrıntılı sorunlar "Reported in Joshua's sarif data" olarak işaretlendi; ilgileniyorsanız ilgili veriyi doğrudan inceleyebilirsiniz
1 yorum
Hacker News yorumu
Kodu doğrudan yazmak veya düzeltmek yerine, koddaki şüpheli noktaları ve daha yakından bakmam gereken yerleri işaret etmesini isterim
Claude'dan 20 bin satırlık C kütüphanemde hata bulmasını istediğimde, dosyaları parçalara ayırıp belirli kod desenlerinde
grepçalıştırıyor ve sonunda sadece benimFIXMEyorumlarımı listeliyor (gülüyor)Aslında basit bir bash betiğinin yapabileceği düzeyde ve oldukça hayal kırıklığı yaratıyor
ChatGPT ise bundan da daha az faydalı; sadece "her şey iyi görünüyor! harika iş! çak bir beşlik~" deyip duruyor
Şimdiye kadar gerçek hataları bulmada geleneksel statik analiz çok daha faydalı oldu, ama statik analizin temiz çıkması mantıksal hata olmadığı anlamına gelmiyor
Bence tam da burada LLM'lerin parlaması gerekiyor
Eğer LLM'den daha faydalı potansiyel hata bilgisi almak için aşırı özelleştirilmiş bir ortam kurmak gerekiyorsa, statik analiz araçlarının da karmaşık ayar istediğinde pek kullanılmaması gibi, sonuçta kullanım değeri düşer
AI'ın kodu yazıp programcının sadece inceleme yapması yönü bir yerde yanlış bir akış gibi geliyor
Tabii "kod satırı sayısı artıyor~" diye satmaya çalışmalarını anlıyorum
Örneğin, "Claude Code'un
FIXME,TODOgibi yorumları görmezden gelip mantıksal hataları etkili biçimde incelemesi için nasıl bir prompt yazmalıyım?" diye soruyorumOrtaya çıkan prompt uzun olduğu için buraya sığmaz ama gist'te paylaşılan örneğe bakabilirsiniz
Sonra o sonucu temel alıp geliştirmeye devam ederek bir ajana da dönüştürebilirsiniz
Ücretsiz denemeden sonra geliştirme ekibimiz içinde çok beğenildiği için resmen kullanıma aldık
Ara sıra yanlış tespitler dışında çok faydalı
Hem PR yazarı hem de inceleyen kişi için ciddi zaman kazandırıyor
Normalde saatler sürecek bir sorunu, aldığımdan ipucuyla çözdüğüm oldu
AI'ın bu şekilde kullanılabilmesi bana çok umut veriyor
"Her şey iyi görünüyor" gibi bir yanıt vermesi biraz şaşırtıcı
Codex CLI içinde kullanınca sık sık şüphelerini dile getiriyor
Gemini 2.5 Pro da bu konuda fena değil
Geçmişe bakmakta fayda var: curl+AI ile ilgili HN arama bağlantısı
Sonuçta mesele, ne yaptığını anlayarak kullanan kişiyle sadece havaya göre kod yazan kişi arasındaki fark gibi görünüyor
Bu, Daniel Stenberg'in geçmişte AI'ın ürettiği özensiz sahte güvenlik sorunlarıyla uğraşmak zorunda kalmasıyla tezat oluşturuyor
HackerOne ile ilgili olarak şunu söylemişti: "AI tarafından üretilmiş çöp issue gönderenleri anında banlıyorum. Bu resmen DDoS düzeyinde bir saldırı. Harcanan zaman için fatura kesmek istiyorum."
Bu yılın ocak ayındaki Daniel blog yazısına da bakılabilir: The I in LLM stands for Intelligence?
size_tiçin yanlışprintfbiçim belirteci kullanımı, derleyicide warning flag'ler düzgün ayarlanırsa zaten tespit ediliyorAI'ın "önemli derleyici warning flag'leri eksik" diye uyarması oldukça faydalı olabilir
Bazı PR'ler muhtemelen dependabot eşleşmeleriyle ilgili ve daha somut PR listesi için "Joshua sarif data" diye aratabilirsiniz: bağlantı
Daniel Stenberg'in izleniminin değişmesini buna bağlıyorum
AI tabanlı SAST teknolojisini benimsemeyi savunan çok kişi var ve buna yönelik ürünler de çıkıyor, ama çoğu hâlâ beklentinin altında
Sadece hayal kırıklığı yaratması bile iyi sayılır; daha kötüsü, yanlış bir güvenlik algısı oluşturup risk yaratabiliyor
AI tabanlı SAST tarayıcılarına dair eleştirel bakış ve gerekçeler burada anlatılıyor
Mevcut araçların çeşitli hataları bulamadığı bir durumda, bu yaklaşımın neden daha etkili olduğunu merak ediyorum
Mastodon bağlantısının, hatalı kod parçası olsa bile bunun gerçekten bir bug olduğunu doğrulamak için kullanıldığı tahmin ediliyor