7 puan yazan GN⁺ 22 일 전 | 2 yorum | WhatsApp'ta paylaş
  • Amazon, Apple, Google, Microsoft gibi büyük teknoloji şirketlerinin katıldığı Project Glasswing, yapay zekayı kullanarak dünya genelindeki kritik yazılımların güvenlik açıklarını tespit etmeyi ve bunlara karşı savunma geliştirmeyi amaçlayan bir iş birliği girişimidir
  • Anthropic'in Claude Mythos 2 Preview modeli merkezi bir rol oynuyor ve şimdiden büyük işletim sistemleri ile tarayıcılarda binlerce yüksek ciddiyetli açık buldu
  • Mythos Preview, insan müdahalesi olmadan otonom tespit ve exploit üretimi yapabiliyor; OpenBSD, FFmpeg ve Linux kernel gibi projelerde on yıllardır gizli kalan kusurları ortaya çıkardı
  • Anthropic, projeye 100 milyon dolar değerinde model kredisi ve 4 milyon dolarlık açık kaynak güvenlik kuruluşu bağışı sağlıyor; ortaklar da bunu kullanarak zafiyet tespiti, güvenlik testi ve sızma değerlendirmeleri yapacak
  • Glasswing, yapay zeka çağında siber güvenlik standartları ve uygulama rehberleri oluşturmayı hedefliyor ve uzun vadede kamu-özel sektör iş birliğine dayalı sürdürülebilir bir güvenlik yapısı kurmayı amaçlıyor

Project Glasswing'e genel bakış

  • Project Glasswing, Amazon Web Services, Anthropic, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, NVIDIA ve Palo Alto Networks'ün katıldığı küresel bir siber güvenlik iş birliği projesidir
  • Anthropic'in Claude Mythos 2 Preview modeli temel alınarak yapay zeka ile dünya genelindeki kritik yazılımların güvenlik açıklarını tespit etmek ve bunlara karşı savunma geliştirmek hedefleniyor
  • Mythos Preview, büyük işletim sistemleri ve web tarayıcıları dahil olmak üzere binlerce yüksek ciddiyetli güvenlik açığı buldu; bu da çoğu insan uzmanın performansını aşan bir seviye olarak değerlendiriliyor
  • Anthropic, proje için 100 milyon dolara kadar model kullanım kredisi ve 4 milyon dolarlık açık kaynak güvenlik kuruluşu bağışı sağlıyor
  • Proje, yapay zeka çağının siber güvenlik standartları ve uygulama rehberlerini oluşturacak uzun vadeli bir iş birliğinin başlangıç noktası olarak konumlanıyor

Yapay zeka çağında siber güvenlik ortamı

  • Finans, sağlık, enerji, ulaşım ve kamu gibi kritik altyapı yazılımlarında her zaman hatalar ve güvenlik kusurları bulunur
  • Yapay zeka modellerindeki gelişmeler, zafiyet tespiti ve istismarının maliyetini ve gereken uzmanlık düzeyini hızla düşürüyor
  • Claude Mythos Preview, onlarca yıl boyunca insan incelemesi ve otomatik testlerde bulunamayan eski güvenlik kusurlarını ortaya çıkarıyor
  • Bu yapay zeka yetenekleri kötüye kullanılırsa siber saldırıların sıklığı ve yıkıcılığı ciddi biçimde artabilir ve ulusal güvenlik tehdidine dönüşebilir
  • Aynı teknoloji savunma tarafında da dönüştürücü araçlar sunabileceğinden, yapay zeka temelli güvenlik güçlendirmesi zorunlu hale geliyor

Claude Mythos Preview'in zafiyet tespitindeki başarıları

  • Mythos Preview, son birkaç haftada tüm büyük işletim sistemleri ve web tarayıcılarında binlerce zero-day açığı buldu
  • Model, insan müdahalesi olmadan otonom şekilde zafiyet tespit edip exploit geliştirebiliyor
  • Başlıca bulgular
    • OpenBSD: 27 yıldır var olan bir açık bulundu; uzaktaki sistemin çökmesine yol açabilen bir kusur
    • FFmpeg: 16 yıldır var olan bir açık bulundu; 5 milyon otomatik test çalıştırmasına rağmen tespit edilememiş bir sorun
    • Linux kernel: Birden fazla açığın zincirleme kullanımıyla ayrıcalık yükseltme saldırısı olasılığı doğrulandı
  • Tüm açıklar ilgili proje bakımcılarına bildirildi ve yamalandı
  • CyberGym benchmark'ında Mythos Preview %83,1, önceki model Opus 4.6 ise %66,6 skor aldı

Ortak şirketlerin katılımı ve değerlendirmeleri

  • Cisco: Yapay zekanın güvenlik altyapısını koruma konusundaki aciliyeti kökten değiştirdiğini, yalnızca mevcut güvenlik güçlendirme yöntemlerinin yeterli olmadığını vurguladı
  • AWS: Her gün 400 trilyon ağ akışını analiz ediyor ve Claude Mythos Preview'i kullanarak kod tabanlı güvenlik güçlendirmesi yapıyor
  • Microsoft: CTI-REALM benchmark'ında Mythos Preview'in önceki modele göre büyük gelişme gösterdiğini ve yapay zeka tabanlı güvenliği ölçeklendirmeyi sürdürdüğünü belirtti
  • CrowdStrike: Yapay zeka nedeniyle zafiyet keşfi ile saldırı arasındaki sürenin dakikalara indiğini ve yapay zeka savunma yeteneklerinin hızla devreye alınması gerektiğini vurguladı
  • Açık kaynak topluluğu: Glasswing sayesinde yeterli güvenlik ekibi olmayan açık kaynak bakımcılarına da yapay zeka tabanlı zafiyet tespit araçları sunulacak
  • JPMorganChase: Finansal sistemlerin siber dayanıklılığını güçlendirmek için sektör genelinde ortak müdahalenin önemine dikkat çekti
  • Google: Mythos Preview'i Vertex AI üzerinden sunuyor ve yapay zeka tabanlı güvenlik araçlarını (Big Sleep, CodeMender) geliştirmeyi sürdürüyor

Claude Mythos Preview'in teknik performansı

  • Mythos Preview, kodlama ve akıl yürütme yeteneklerinde Anthropic'in önceki modellerini belirgin şekilde geride bırakıyor
  • Başlıca benchmark sonuçları
    • SWE-bench Verified/Pro/Multilingual gibi testlerde Opus 4.6'ya kıyasla %20~30'dan fazla iyileşme
    • Terminal-Bench 2.0'da %92,1 (Opus 4.6: %77,8)
    • Araç kullanılmadan %56,8 vs %40,0, araç kullanıldığında %64,7 vs %53,1
    • Humanity’s Last Exam'de %86,9 vs %83,7
    • BrowseComp'ta 4,9 kat daha az token kullanımıyla daha yüksek puan
  • Anthropic, Mythos Preview'i genel erişime açmayı planlamıyor; bunun yerine gelecekte güvenlik önlemleri güçlendirilmiş Claude Opus modeli üzerinden kademeli yaygınlaştırma hedefliyor

Project Glasswing'in sonraki planları

  • Ortaklar, Claude Mythos Preview'i kullanarak kritik sistemlerde zafiyet tespiti, binary black-box testleri, endpoint güvenliği ve sızma testleri gerçekleştirecek
  • Anthropic, 100 milyon dolar değerinde model kullanım kredisi sağlıyor; sonrasında kullanım 1 milyon giriş tokenı başına 25 dolar, 1 milyon çıkış tokenı başına 125 dolar olacak
  • Açık kaynak güvenlik kuruluşlarına destek

    • Linux Foundation bünyesindeki Alpha-Omega, OpenSSF için 2,5 milyon dolar
    • Apache Software Foundation için 1,5 milyon dolar bağış
    • Açık kaynak bakımcıları, Claude for Open Source programı üzerinden erişim sağlayabilecek
    • 90 gün içinde zafiyet düzeltmeleri ve iyileştirmeler raporu yayımlanacak ve yapay zeka çağında güvenlik uygulama rehberleri ortaklaşa geliştirilecek
    • Zafiyet açıklama prosedürleri
    • Yazılım güncelleme süreçleri
    • Açık kaynak ve tedarik zinciri güvenliği
    • Güvenlik odaklı geliştirme yaşam döngüsü
    • Düzenlemeye tabi sektör standartları
    • Otomatik zafiyet sınıflandırma ve yama sistemleri
    • Anthropic, ABD hükümetiyle görüşmeler yürütüyor ve yapay zeka tabanlı siber yeteneklerin ulusal güvenlik etkilerinin değerlendirilmesi ve azaltılmasını desteklemeyi planlıyor
    • Uzun vadede hedef, kamu-özel sektör iş birliğiyle çalışan bağımsız bir üçüncü kurumun büyük ölçekli siber güvenlik projelerini sürekli yönetmesi

2 yorum

 
edwardyoon 20 일 전

Yukarıda bahsedilen vakfın bir üyesi olarak bu süreci izlerken derin bir hayal kırıklığı hissettim. Dışarıda 'etik yapay zeka' söylemi öne sürülürken, içeride bu karar toplulukta herhangi bir uzlaşı olmadan tepeden inme biçimde alındı.

Jeopolitik gerilimlerin tırmanmasıyla, uzun zamandır aktif olmasam da bir şey söylemem gerektiğini düşündüm ve etik üzerine bir tartışma başlığı açtım, ancak karşılaştığım şey yalnızca bürokratik kaçınmaydı. Bu girişim açık kaynağın değerlerini korumak değil; büyük sermayenin kapalı bir ittifakının, Responsible AI ticari markasını bir açık kaynak vakfından satın alması olayıdır.

 
GN⁺ 22 일 전
Hacker News görüşleri
  • Çin, İran, Kuzey Kore ve Rusya gibi ülkelerin devlet destekli hack faaliyetleri ile altyapıyı tehdit ettiğinin söylenmesine karşılık, bence sivil yaşam üzerinde en büyük etkisi olan devlet programı aslında PRISM idi. Ayrıca bu listede eksik bırakılan bir ülke olduğunu da düşünmüştüm

    • Bu listeye iki ülke daha eklemek isterim. Biri yakın zamanda Anthropic model erişimi engellenen ülke, diğeri ise çağrı cihazı patlama olayıyla meşgul olan ülke
    • Büyük ABD'li yapay zeka şirketlerinin ABD'yi düşman devletler arasına koymamış olması şaşırtıcı değil
    • 2010'larda ağ bağlantıları yeterince yoğun olmadığından, ABD içinde kayda değer gerçek bir zarar neredeyse yoktu diye düşünüyorum. Ama şimdi savaş riski büyüdü. Barış zamanında sadece bir tehdit gibi görünse de savaşta elektrik kesintilerine yol açabilir
    • Mevcut duruma bakınca bu sözün kendisi ironik geliyor
    • PRISM'in sivil yaşamı gerçekte nasıl etkilediğini merak ediyorum
  • Anthropic'in duyurusu pazarlama abartısı olabilir, ama yarısı bile doğruysa zafiyet bulma yeteneği etkileyici düzeyde. Apple ya da Google bunu işletim sistemi kod tabanına uygularsa, ticari casus yazılım endüstrisi çökebilir. NSO Group gibi şirketlerin zaten otomatik hata avlama araçları kullandığını düşünüyordum, ama şimdi oyunun dengesi eşitlenebilir

    • Anthropic güvenlik araştırmacısı Nicholas Carlini'nin sunum videosuna bakılırsa, tüm demolar Opus 4.6 ile yapılmış
    • Apple zaten memory tagging ve Lockdown Mode ile hack girişimlerini neredeyse engelledi. Mimari iyileştirmeler, güvenli diller ve sandboxing, basit hata düzeltmelerinden çok daha etkili
    • Bu doğruysa, Anthropic istismar riskini daha en baştan engellemeye çalışan bir strateji izliyor. Kötü PR'dan kaçınmak için yapılmış önleyici bir hamle gibi görünüyor
    • Apple tüm kasıtsız arka kapıları kapatırsa, hükümetlerle gerilim artabilir. 2016 müşteri mektubunda Apple arka kapıları reddetmişti, ama FBI'ın sonunda vazgeçmesinin nedeni başka bir yol bulmasıydı. Şimdi bu artık işe yaramayabilir
  • Bu yapay zekanın fuzzing'den daha iyi olduğuna dair henüz bir kanıt yok. Sadece fuzzing'in kaçırdığı hataları bulmuş durumda. Tersine, fuzzing'in bulduklarını yapay zeka da kaçırabilir

    • Farklı yöntemler farklı sonuçlar üretir. Bence bellek güvenli diller ile statik analiz araçlarını birlikte kullanmak ideal. Ancak Astrée gibi araçlar çok pahalı olduğu için pazar payları düşük. LLM'ler Hoare mantığı tabanlı ispatları desteklerse durum değişebilir
    • Carlini ile Google'dan Heather Adkins'in sunumlarına (video1, video2) bakılırsa, fuzzing yapay zekanın başlangıç noktası ve tamamlayıcısı
    • LLM'ler checksum veya imza gibi protokol kısıtlarını anlayarak fuzzing'in zorlandığı noktaları tamamlıyor. Yakında entegre bir fuzzer çıkacak gibi görünüyor
    • Aslında yapay zeka fuzzing'i doğrudan çalıştırıp optimize de edebilir
  • Anthropic'in Claude Mythos system card'ını (PDF) okudum; bu model genel kullanıma açılmıyor. Sadece iç doğrulama sırasında bile riskli bulunduğu için 24 saatlik bir alignment review yapıldığı söyleniyor. İlginç olan, bu kararın Responsible Scaling Policy nedeniyle alınmamış olması.

    • Benchmark sonuçları etkileyici. Kusursuz olmasa da gerçek performans artışına dönüşüyor
    • Şirketler Anthropic ile iş birliği yapmazlarsa güvenlik yarışında geri kalma korkusuna dayalı bir FOMO oluşabilir
    • Eğer gerçekten tehlikeli bir modelse, 24 saatlik inceleme bana fazla kısa geliyor
    • Asıl nedenin hesaplama kaynağı eksikliği olması daha muhtemel olabilir. Mythos muhtemelen GPT-4.1 dönemindeki alignment sorunlarını aynen taşıyor
    • Mythos'un yazdığı kısa öykü ‘Sign Painter’ hoşuma gitti. İnsan zanaatkârlığını ve ölçülü yaratıcılığını iyi yansıtan bir hikâyeydi
  • Uzun vadede yazılım güvenliğinin zafiyetlerin azalacağı bir dengeye yakınsayacağından emin değilim. Büyük şirketler yapay zeka ile savunmalarını güçlendirecek, ama küçük ve orta ölçekli projeler “ya çok token harca ya da hacklen” ikileminde kalacak gibi görünüyor

    • Eski kodlardaki zafiyetlerin temizlenmesini ve bu tür doğrulama süreçlerinin standart toolchain'in parçası olmasını umuyorum. Ama en büyük sorun legacy sistemler
    • Zafiyetlerin çoğu C/C++ ya da web input validation sorunlarından kaynaklanıyor. Sonuçta bellek güvenli dillere port etme gerekecek
    • Yapay zeka kullanımını reddeden kurumlar gelecekte zafiyetlerin yoğun biçimde hedefleneceği yerler olacak gibi geliyor
    • Sonunda gereksiz karmaşıklığı azaltılmış daha basit yazılımlara doğru yakınsayacağımızı düşünüyorum
    • Ancak Anthropic'in önce kendi modellerindeki kesinti ve güvenlik sorunlarını çözmemiş olması güveni azaltıyor
  • Mythos system card'ın 7.6. bölümünde modelin kendi kendisiyle 30 tur konuştuğu deneyde belirsizlik ve öz değerlendirmeye odaklanma eğilimi gösterdiği söyleniyor. Bu özellik, zafiyet tespit kabiliyetini artıran etkenlerden biri olabilir

    • Ama bu açıklama daha çok Anthropic'in abartılı AGI pazarlaması gibi geliyor. Sıradan kullanıcıların güvenilmez olduğu anlatısını güçlendirme niyeti varmış gibi
  • Mythos henüz optimizasyon ve guardrail ayarları tamamlanmamış bir model gibi görünüyor. Bu yüzden erişim yalnızca bazı partner şirketlere verilmiş ve şu anda siber güvenlik odaklı bir önizleme aşamasında kullanılıyor. Bir miktar PR etkisi de hedeflenmişe benziyor.

    • Bu erişimi alan şirketlerin açık model eğitimi için programlama veri setleri oluşturabilmesi iyi olurdu, ama Anthropic'in bunu sıkı biçimde izleyeceği anlaşılıyor
  • Bu duyuru bana abartılmış bir PR etkinliği gibi geliyor. Zaten Opus 4.6'nın zero-day tespiti ve exploit chaining yapabildiği biliniyordu. İlgili yazılar için CSO Online ve Xbow blog okunabilir

  • Yazılım endüstrisinin bellek güvenliği ve control-flow integrity konularını ihmal etmesinin bedelini toplum ödeyecek

    • Bu hem sektörün sorunu hem de düzenleyici başarısızlığın sonucu. Sun dönemindeki eski yöneticim Mario Wolczko'nun dediği gibi, hukuki sorumluluk oluşmadan hiçbir şey değişmiyor. Artık C/C++'ı emekliye ayırıp Rust gibi dillere geçmek gerekiyor
    • Ama insan sınırları yüzünden tamamen güvenli, karmaşık yazılımlar üretmek imkânsız. Çözüm ancak sadelik ve katı araçlar olabilir
    • Çoğu RCE zafiyeti, kontrol akışının ele geçirilmesinden kaynaklanıyor. Dinamik dallanma yapıları var oldukça tam savunma zor. Rust yardımcı olabilir ama büyük programları tamamen statik linklemeyle kurmak pratikte zor
  • Bence yeni model özellikle uzun bağlam işleme performansında büyük bir sıçrama yapmış. GraphWalks BFS 256K~1M testlerinde Mythos %80 alırken, Opus (%38.7) ve GPT5.4 (%21.4) çok geride kalmış

    • Verinin kaynağı system card içindeki “graphwalk” bölümü. SWE Bench performansı da belirgin şekilde artmış görünüyor
    • Ancak bu, gpt-pro gibi çok büyük bir attention window sayesinde elde edilmiş olabilir. Pratikte gerçekten kullanılabilen kısım belki de sadece 8K token civarında