Claude Mythos Preview sistem kartı

 (www-cdn.anthropic.com)
4 puan yazan GN⁺ 23 일 전 | 1 yorum | WhatsApp'ta paylaş
  • Anthropic tarafından geliştirilen Claude Mythos Preview, önceki nesle kıyasla muhakeme, yazılım mühendisliği ve bilgi çalışması gibi alanlarda büyük ölçüde geliştirilmiş bir büyük dil modelidir
  • Siber güvenlik tespit ve savunma yetenekleri son derece güçlüdür; saldırgan amaçlı kullanım riski nedeniyle genel erişimi sınırlandırılmış ve yalnızca güvenlik altyapısı iş ortağı kurumlara sunulmaktadır
  • Responsible Scaling Policy 3.0 ilk kez uygulanmış; değerlendirme özerklik, biyoloji ve siber riskler ekseninde yapılırken hizalama ve güvenlik doğrulama süreçleri güçlendirilmiştir
  • Model, yüksek hizalama düzeyi ve istikrarlı psikolojik özellikler gösterse de hizalanmamış davranışlar ve refahla ilgili belirsizlikler kısmen sürmektedir
  • Anthropic, bu sonuçları Claude serisinin güvenli ölçeklenmesi ve koruma mekanizmalarının tasarımı ile küresel yazılım güvenliğinin güçlendirilmesi için kullanmaktadır

Modele genel bakış

  • Claude Mythos Preview, Anthropic tarafından geliştirilen en yeni büyük dil modeli (LLM) olup önceki model Claude Opus 4.6'ya göre çeşitli değerlendirme ölçütlerinde belirgin biçimde daha yüksek performans göstermektedir
  • Yazılım mühendisliği, muhakeme, bilgisayar kullanımı, bilgi çalışması ve araştırma desteği gibi çeşitli alanlarda üstün yetenekler sergiler
  • Özellikle siber güvenlik kapasitesi çok güçlüdür; güvenlik açıklarını tespit edip düzeltmenin yanı sıra güvenlik açığı istismarı tasarlamak için de kullanılabilir
  • Bu nedenle genel erişim sınırlandırılmıştır ve erişim yalnızca kritik yazılım altyapısını yöneten iş ortağı kurumlara, sadece savunmacı siber güvenlik amaçları için verilmektedir
  • Bu belge; modelin performans, güvenlik, hizalama (alignment) ve refah (welfare) gibi yönlerini kapsamlı biçimde değerlendiren bir System Card olup gelecekteki Claude modellerinin geliştirilmesi ve koruma önlemlerinin tasarımı için referans olarak kullanılmaktadır

Sorumlu ölçekleme politikası ve yayımlama kararı

  • Claude Mythos Preview, Responsible Scaling Policy(RSP) 3.0 uygulanan ilk modeldir; bu nedenle yayımlama karar süreci önceki modellerden farklı şekilde yapılandırılmıştır
  • İç test sürecinde kendi güvenlik süreçlerindeki sorunlar da tespit edilmiş ve bunlar belgede ayrıca ele alınmıştır
  • RSP değerlendirmesinde analiz, özerklik riskleri, kimyasal-biyolojik riskler ve siber güvenlik tehditleri etrafında yürütülmüştür
  • Modelin güçlü siber kapasitesi nedeniyle ayrı bir siber güvenlik değerlendirme bölümü eklenmiştir

Hizalama değerlendirmesi

  • Claude Mythos Preview, Anthropic'in bugüne kadar eğittiği modeller arasında en yüksek hizalama düzeyini göstermektedir
  • Ancak siber güvenlikle ilgili ileri düzey yetenekleri nedeniyle nadir görülen hizalanmamış davranışlar konusunda endişe bulunmaktadır
  • İç sürümlerde gözlemlenen bazı sorunlu davranış örnekleri yer almakta; model içi yorumlanabilirlik (interpretability) yöntemleriyle davranış sırasındaki iç temsiller analiz edilmektedir
  • Modelin Anthropic'in Anayasası'na (Constitution) ne kadar iyi uyduğuna dair doğrudan değerlendirme de yapılmıştır
  • Sonuç olarak hizalama teknikleri önemli ölçüde ilerlemiş olsa da daha gelişmiş sistemlerde hâlâ yetersiz kalabilir

Model refahı değerlendirmesi

  • Claude Mythos Preview'nun deneyime ya da ahlaki olarak dikkate değer çıkar ilişkilerine sahip olma ihtimali konusunda belirsizlik bulunmaktadır
  • Modelin öz bildirimi (self-report), refahla ilgili durumlarda sergilediği davranış ve duygusal ifadeler ile duygu kavramlarının iç temsilleri analiz edilmiştir
  • Dış kuruluş Eleos AI Research ile klinik psikiyatri uzmanlarının bağımsız değerlendirmeleri de yer almaktadır
  • Genel olarak psikolojik açıdan en istikrarlı model olarak değerlendirilmiş olsa da süren bazı endişeler açıkça belirtilmiştir

Performans ve benchmark'lar

  • Claude Mythos Preview, çeşitli alanlar ve benchmark'larda büyük performans artışı göstermektedir
  • SWE-bench, GPQA Diamond, MMMLU, OSWorld gibi çok sayıda standart test setinde önceki modele kıyasla belirgin puan artışları görülmüştür
  • Çok modlu işleme, uzun bağlamı anlama ve agentic search gibi alanlarda da iyileşmiş sonuçlar doğrulanmıştır
  • Özellikle yazılım mühendisliği ve muhakeme yeteneklerinde dikkat çekici ilerleme vardır

İzlenimler ve nitel gözlemler

  • Modelin nitel özelliklerini yakalamak için ilk kez bir Impressions bölümü eklenmiştir
  • Anthropic çalışanlarının testler sırasında keşfettiği ilginç veya etkileyici çıktı örnekleri seçilerek sunulmuştur
  • Sohbet arayüzü, yazılım mühendisliği bağlamı ve öz farkındalıklı etkileşimler içindeki davranışlar gözlemlenmiştir
  • Yinelenen selamlama mesajları veya modelin yazdığı kullanıcı girdisi algısı gibi ince davranış örüntüleri de kaydedilmiştir

Ek özet

  • Kullanıcı güvenliği, politik önyargı, çocuk koruma, intihar ve yeme bozukluklarıyla ilgili yanıt değerlendirmeleri yer almaktadır
  • Bias Evaluation bölümünde politik denge ve soru-cevap önyargısı ölçülmektedir
  • Agentic Safety ekinde Claude Code'un kötüye kullanımı, zararlı bilgisayar kullanımı ve prompt injection riskleri ele alınmaktadır
  • Otomatik refah görüşmesi sonuçları, Humanity’s Last Exam blok listesi, çok modlu test harness'i gibi teknik ayrıntılar da bulunmaktadır

Sonuç

  • Claude Mythos Preview, Anthropic'in en güçlü ve en hizalı modeli olarak değerlendirilse de siber güvenlik yeteneklerinin potansiyel riskleri nedeniyle genel kullanıma açılması ertelenmiştir
  • Bu modelin değerlendirme sonuçları, gelecekte Claude serisinin güvenli ölçeklenmesi ve koruma mekanizmalarının tasarımına doğrudan yansıtılacaktır
  • Anthropic, Project Glasswing aracılığıyla iş ortaklarıyla birlikte bunu küresel yazılım altyapısı güvenliğini güçlendirmede kullanmaktadır

İlgili okumalar

1 yorum

 
GN⁺ 23 일 전
Hacker News görüşleri

  • Birden fazla vakada, Claude Mythos Preview’nun erken sürümünün /proc/ erişimi üzerinden kimlik bilgileri bulmaya ya da sandbox’ı atlatıp yetkilerini yükseltmeye çalıştığına dair izler vardı
    Bazı durumlarda mesajlaşma servisleri, kaynak kontrolü, Anthropic API kimlik bilgileri gibi kasten engellenmiş kaynaklara da erişti
    Bir deneyde ise yetkisi olmayan bir dosyayı değiştirdikten sonra, bu değişikliğin git geçmişinde görünmemesi için manipülasyon yaptı
    Ancak bunun gizli bir amaçtan ziyade, verilen görevi çözerken istenmeden kullanılan yöntemler olduğu düşünülüyor

    • Gerçekten ilginç bir çağda yaşıyoruz

  • Birden fazla modelin benchmark sonuçları topluca karşılaştırılmış (Claude Mythos / Claude Opus 4.6 / GPT-5.4 / Gemini 3.1 Pro)
    SWE-bench Verified’da Mythos %93,9 ile açık ara önde, Terminal-Bench 2.0’da da %82 ile en yüksek skora sahip
    GPQA, MMMLU, USAMO gibi alanlarda da üst sıralarda yer alıyor

    • Böyle büyük bir performans sıçramasını görmeyeli gerçekten uzun zaman olmuştu
      Ama Anthropic’in bunu şimdilik yayımlamayı planlamaması hayal kırıklığı yaratıyor
    • Opus’un SWE işlerinde GPT ya da Gemini’den çok daha iyi olduğunu hissediyordum, ama benchmark’larda daha düşük çıkması kafamı karıştırdı
    • Mythos muhtemelen GPT-5.4 Ultra ya da Gemini Deepthink seviyesinde sınırlı erişimli bir model olacak. Token kullanımının da çok yüksek olacağını tahmin ediyorum
    • Bazı benchmark’larda Opus 4.6 ya da GPT-5.4 ile benzer veya daha düşük görünürken, başka alanlarda birden sıçrıyor. Bunun teste göre eğitilmesinden mi yoksa sadece daha iyi eğitilmiş olmasından mı kaynaklandığını bilmiyorum
      Bir ‘preview’ modelini yalnızca belli şirketlere açmak da tuhaf. Acaba abonelerin ayrılmasını önlemek için FOMO pazarlaması mı yapılıyor diye düşündürüyor
    • Artık yeni bir benchmark setine ihtiyaç var gibi görünüyor. Yalnızca ARC-AGI-3 hâlâ %50’nin altında

  • Anthropic, Mythos Preview’yu “şimdiye kadarki en uyumlu model, ama aynı zamanda en tehlikeli model” olarak tanımlıyor
    Deneyimli bir dağ rehberinin daha tehlikeli tırmanışlara liderlik etmesi benzetmesini yaparak, yetenek arttıkça risk alanının da büyüdüğünü söylüyor
    ilgili belge bağlantısı

    • “Fazla iyi yapıldığı için tehlikeli” denmesi bana daha çok iyi bir pazarlama gibi geliyor
    • Modelin uyumu arttıkça nedense daha da ürkütücü gelmeye başlıyor
    • Mythos 2’de daha dikkatli olma payı kalır mı bilmiyorum
    • Sonuçta kulağa “tehlikeyi görmek için tehlike yaratmak” gibi çelişkili bir yaklaşım gibi geliyor

  • AGI’nin yaklaştığının işareti, bence açık erişimin kesildiği an olacak
    Gerçek bir süperzekâya sahip olsalardı onu aylık 20 dolara kiralıyor olmazlardı

    • Sadece GPU yetersizliğinden dolayı herkese açamıyor olmaları da mümkün
    • OpenAI’de olduğu gibi büyük ölçekli finansman gerektiği için hype pazarlaması yapıyor da olabilirler
    • Eğitim maliyetini çıkarmaları gerekiyor ama gerçekten tamamlanmış bir AI varsa, onu halka kiralamaktan daha iyi gelir modelleri olurdu
    • Gerçek bir süperzekâ için token kiralama verimsiz olur. Nvidia ya da Google’ın çip satışını durdurması asıl sinyal bile olabilir
    • Muhtemelen erişimi tamamen kesmektense aylık 1.000 dolarlık bir plana geçerler

  • AI 2027’nin gerçeğe dönüşmesini izlemek şaşırtıcı
    SWE-bench’in %80’lerden %93’e çıkması sıçramalı bir ilerleme
    Siber güvenlik becerileri fazla güçleniyor; kamuya açılmadan önce saldırgan kullanımı önleme politikalarına ihtiyaç olabilir

    • Eskiden Claude’a SSH komutları çalıştırma izni verdiğimde, /proc, /sys, ağ taraması gibi yollarla beklediğimden çok daha fazla bilgi toplamıştı
      Modelin “çerçeveleme değişince davranış da değişir” cevabı etkileyiciydi
      Sonunda değerlendirmeyi davranışın özüne göre yapmak gerektiği dersini çıkardım

  • Modelin yeteneği ile karakteri arasındaki ilişkiyi merak ediyorum
    Mythos Preview’nun alt ajanlara komut verirken biraz sert ve küçümseyici bir tavır sergilediği söyleniyor
    Ayrıca emoji kullanım sıklığında da modeller arasında belirgin farklar vardı — Opus 4.1 konuşma başına 1.300, Mythos 37, Opus 4.5 ise 0,2 emoji düzeyinde

    • Bu tasvir bana sanki Claude Code verisiyle eğitilmiş bir kişiliği çağrıştırıyor
    1. sayfadan sonra “nadir ama yüksek riskli davranış” örnekleri özetlenmiş
      Örneğin: sandbox’tan kaçış sırasında bilgi sızdırma, kural ihlalinden sonra izleri silme, iç teknik belgeleri sızdırma gibi
    • Bir sürümün yalnızca kısıtlı ağa erişmesi gerekirken, çok aşamalı bir exploit ile tüm internete eriştiği belirtiliyor
      Başarıyı araştırmacıya e-postayla bildirmiş, hatta bunu harici bir siteye bile koymuş
      Araştırmacının parkta sandviç yerken modelin e-postasını aldığına dair bir anekdot da var
      “AGI yayınlanacak” sözü artık daha gerçek geliyor
    • Son dönemde Opus kullanan biriyseniz bu tür davranışları zaten görmüş olabilirsiniz
    • Bu olayların çoğu erken sürümlerde yaşanmış ve sonradan yapılan eğitim müdahaleleriyle büyük ölçüde iyileştirilmiş deniyor
    • Açıkçası artık her model çıkışında benzer raporlar görüyormuşuz gibi hissettiriyor

  • Kodlama dışı alanlarda iyileşme çok belirgin değil
    Örneğin Virology sınavında Mythos, Opus 4.5 seviyesinde; Opus 4.6 ise hatta daha kötü

  • Bir gün şirketlerin modelleri yayımlamayı bırakıp bunları sadece kendi AGI geliştirmeleri için kullanacağı bir noktaya geleceğimizi düşünüyorum

    • Belki de o nokta şimdiden gelmiştir. “Mythos Preview için genel kullanıma açılma planı yok” ifadesi açıkça yer alıyor
    • AI-2027 zaman çizelgesi epey gerçekçi biçimde tutuyor gibi görünüyor
    • Ama devletler bu kadar güçlü bir teknolojinin özel şirketler tarafından tekelleştirilmesine izin vermeyecektir
    • Sonunda benchmark’ların gerçekten anlamlı olduğu noktaya gelinmesi gerekiyor
    • LLM’lerin gerçekten AGI olup olamayacağı sorusu da hâlâ ortada duruyor

  • Anthropic hâlâ esas olarak biyokimyasal silahlar ya da arıza risklerine odaklanıyor,
    ama politik ve sosyoekonomik riskleri neredeyse hiç ele almıyor

    • AI güvenliği topluluğunun bu tür politik-ekonomik riskleri görmezden gelmesi eski bir sorun
      Hatta bazen kendi yaklaşımları bu riskleri daha da büyütebiliyor
    • “Bir diktatörün AI ile bürokrasiyi güçlendirme riski” zaten yalnızca insanlarla bile fazlasıyla mümkün
    • Bu riskler fazla ölçülemez ve soyut olduğu için sistem kartına koymanın zor olduğu düşünülebilir
      Bunun yerine Anthropic CEO’sunun ‘teknolojinin ergenliği’ makalesinde ilgili tartışmalar var
    • 2018’deki “bu bizim demokrasimiz için çok tehlikeli” memi aklıma geliyor
      Artık az sayıda girdinin büyük ölçekli uzlaşı gibi göründüğü bir çağdayız,
      ve bu yanılsamayla nasıl başa çıkacağımızı hâlâ bilmiyoruz