1 puan yazan GN⁺ 3 시간 전 | 3 yorum | WhatsApp'ta paylaş
  • Tehlikeli yetenekleri olmayan açık ağırlıklı modeller, şirketler, geliştiriciler ve araştırmacılar için değer sağlayan bir kamusal maldır; Anthropic bunların tüm bir kategori olarak yasaklanmasına karşı çıkıyor
  • Temel ulusal güvenlik kaygısı, yayımlama biçiminin kendisi değil; otoriter hükümetlerin yapay zeka üstünlüğü, güçlü modellerle yapılan siber ve biyolojik saldırılar ile hizalama sorunudur
  • Açık ağırlıklar, güvenlik önlemleri uygulamayı ve kullanımı izlemeyi zorlaştırır; dağıtıldıktan sonra geri çağrılamadıkları için riski artırabilir, ancak ABD şirketlerinin kullanımını yasaklamak da kötü niyetli aktörleri durdurmakta etkili olmayabilir
  • Alternatif olarak Çin'e yüksek performanslı çip ve üretim ekipmanı ihracatının engellenmesini, endüstriyel ölçekte damıtmanın engellenmesini ve açık ya da kapalı tüm modelleri kapsayan yetenek temelli zorunlu güvenlik testlerini destekliyor
  • Açık ağırlıkların savunmacılar için avantajlı olduğunu peşinen varsaymamak; özellikle biyolojideki saldırgan-savunmacı asimetrisi dahil riskleri, yayımdan önce ampirik testlerle değerlendirmek gerektiğini savunuyor

Açık ağırlıkların topyekûn yasaklanmasına neden karşı çıkılıyor

  • Bazı ABD'li yetkililerin, ABD şirketlerinin Çin menşeli açık ağırlıklı modelleri kullanmasını yasaklamayı değerlendirdiğine dair haberlerin ardından, birçok teknoloji şirketi açık ağırlıkları destekleyen bir açık mektubu imzaladı
  • Anthropic, işi korumak için yasak istediği yönündeki eleştirileri reddediyor ve açık ağırlıklı modeller kategorisinin tamamının yasaklanmasını hiçbir zaman savunmadığını söylüyor
  • Tehlikeli yetenekleri olmayan açık ağırlıklı modeller, çalıştırmak için gereken bilgi işlem maliyeti dışında ek bir ücret olmadan şirketlere, geliştiricilere ve araştırmacılara değer sağlayan bir kamusal maldır
  • Korumacı bir yasak, başlıca ulusal güvenlik tehditlerini çözmeden yalnızca ABD'li yapay zeka şirketlerini rekabetten koruma etkisi yaratabilir

İki ulusal güvenlik tehdidi

  • Otoriter hükümetlerin yapay zeka üstünlüğü

    • En büyük kaygı, Çin Komünist Partisi (CCP) dahil otoriter hükümetlerin ABD'den daha güçlü yapay zeka modelleri geliştirerek kalıcı askerî üstünlük elde etmesi ya da bunları kendi vatandaşlarını aşırı biçimde baskılamak için kullanmasıdır
    • Tek tehdit yalnızca Çin Komünist Partisi değil, ancak otoriter hükümetler içinde en güçlü tehdit olarak değerlendiriliyor
    • ABD hükümeti de aynı sorundan endişe duyuyor
    • Başkan Yardımcısı Vance, otoriter rejimlerin yapay zekayı çalıp kullanarak askerî, istihbarat ve gözetim kapasitelerini güçlendirdiği uyarısında bulundu
    • 2026 Yıllık Tehdit Değerlendirmesi, diğer büyük güçlerin yapay zeka ilerlemelerinin ABD'nin ekonomik rekabet gücünü ve ulusal güvenlik üstünlüğünü tehdit ettiğini değerlendiriyor
    • Bu tehditte, modelin açık ağırlıklı olup olmaması veya ABD şirketleri tarafından kullanılıp kullanılmaması önemli değil
    • En tehlikeli modeller, gizlice eğitildikten sonra yalnızca Halk Kurtuluş Ordusu'nun drone'larına veya Devlet Güvenlik Bakanlığı'nın gözetim ve baskı sistemlerine sunulan modeller olabilir
  • Siber-biyolojik saldırılar ve hizalama sorunu

    • İkinci kaygı, güçlü yapay zeka modellerinin siber ve biyolojik saldırılar için kötüye kullanılması ya da ciddi hizalama sorunları yaratmasıdır
    • Menşe ülkeden bağımsız olarak, açık ağırlıklı modellerin potansiyel riski kapalı modellere göre daha yüksek olabilir
    • Açık ağırlıklarda güvenlik önlemleri uygulamak veya kullanım davranışlarını izlemek son derece zordur
    • Ağırlıklar yayımlandıktan sonra geri alınamaz ve güvenlik önlemleri de kaldırılabilir
    • Kopyalar indirilebilir, yeniden dağıtılabilir veya izlenemeyen özel sistemlerde çalıştırılabilir
    • UK AI Security Institute raporu, tehlikeli yeteneklere sahip açık ağırlıklı modellerin yayımlanmasının sürekli ve geri döndürülemez kötüye kullanım riski yarattığını değerlendiriyor
    • ABD'deki meşru şirketlerin kötü niyetli aktör olma ihtimali düşük olduğundan, ABD şirketlerinin model kullanımını yasaklamak bu riskleri doğrudan engellemez

Yüksek performanslı çipler ve üretim ekipmanının kontrolü

  • Çin'e yüksek performanslı çipler ve çip üretim ekipmanları satılmamalı; çip temini için kullanılan kaçakçılık ve dolaylı yollar da engellenmeli
  • Çin'in yerli üretim kapasitesi sınırlı; ölçekleme yasalarına göre ABD yapımı çipler olmadan ABD'den daha güçlü modeller üretilemeyeceği değerlendiriliyor
  • Çip kontrolleri, otoriter hükümetlerin ABD'den daha güçlü modeller üretmesine dair ilk tehdidi en verimli ve doğrudan şekilde engeller
  • ABD yasalarının kapsamı dışında güçlü modeller eğitilmesini zorlaştırarak siber-biyolojik saldırı ve hizalama risklerini de dolaylı olarak azaltabilir
  • ABD Adalet Bakanlığı, ileri yapay zeka teknolojilerini Çin'e yasa dışı şekilde ihraç etmeye veya kaçırmaya çalışan birden çok vakayı açıkladı; Anthropic de bu kaçakçılık ve dolanma yöntemlerine karşı daha güçlü yaptırım çağrısı yapıyor

Endüstriyel ölçekte damıtmanın engellenmesi

  • Model damıtma, sıfırdan model eğitmeye kıyasla bilgi işlem açısından daha verimlidir; bu da Çin'in elindeki çip ölçeğinin normalde mümkün kıldığından daha iyi modeller üretmesine ve çip kontrollerini kısmen aşmasına olanak tanır
  • Yalnızca damıtma, Çin Komünist Partisi'ne ABD ile eşit ya da üstün yapay zeka kapasitesi kazandırmaz; ancak Çin'in frontier modellerini ABD'nin yalnızca birkaç ay gerisinde bir düzeye taşıyabilir
  • Damıtma yapan birçok şirket açık ağırlıklı modeller yayımlasa da asıl mesele yayımlama biçimi değil, ABD frontier seviyesini geçmek isteyen otoriter devletlerin endüstriyel ölçekte çalışmaları desteklemesidir
  • Topyekûn bir açık ağırlık yasağı yerine, damıtmayı caydıracak hedefli politika, hukuk ve ticari mekanizmalar gereklidir
  • Anthropic de kendi modellerini büyük ölçekli damıtma için kullanan hesapları tespit edip engelliyor
    • Bazen ilgili hesaplar ancak önemli ölçüde damıtma yapıldıktan sonra tespit edilebiliyor
    • Çok sayıda sahte hesap sürekli oluşturulduğu için yaptırım hedefleri de sürekli değişiyor
    • Bu sorun yalnızca şirketlerin bireysel önlemleriyle çözülemeyeceğinden politika müdahalesi gerekiyor

Yetenek temelli zorunlu güvenlik testleri

  • Yeterince güçlü tüm modeller, açık ya da kapalı olmalarına ve hangi ülkeden geldiklerine bakılmaksızın, piyasaya sürülmeden önce siber, biyolojik ve hizalama risk testlerinden geçmelidir
  • Trump yönetimi kısa süre önce bu yönde adım attı ve sektör önerileri de en güçlü modellere aynı testlerin uygulanmasını içermektedir
  • Girişimler ve akademi tarafından geliştirilen, yetenek seviyesi düşük modeller zorunlu test kapsamının tamamen dışında bırakılabilir
  • Açık modellerin riskinin gerçekten daha yüksek olup olmadığı ve bu riskin azaltılıp azaltılamayacağı, önceden varsayılmadan test sonuçlarına göre belirlenmelidir
  • Anthropic'in modüler eğitim stratejisi araştırması gibi, açık ağırlıklı modellerin güvenliğini artırma potansiyeli taşıyan yöntemler de vardır
  • Etkili güvenlik testleri için uluslararası uygulama gereklidir; bu nedenle Çin Komünist Partisi'nin katılımı da gerekir
  • Yapay zeka kaynaklı biyolojik silahların önlenmesi Çin'in de çıkarına olabilir; bu alanda sınırlı iş birliğinin mümkün olduğu düşünülüyor

Açık ağırlıklar açık mektubuyla farklar

  • Anthropic, açık ağırlıklar ve ABD yapay zeka liderliği açık mektubundaki bazı görüşlere katılıyor
    • Açık ağırlıklar, yapay zeka ekonomisine erişimi genişletir
    • Bazı kullanım senaryolarında rekabeti güçlendirir
    • Müşterilere daha fazla kontrol verir
    • Damıtma sorunu topyekûn yasakla değil, hedefli hukuki ve ticari mekanizmalarla ele alınmalıdır
  • Ancak açık ağırlıkların mutlaka güvenlik önlemleri geliştirmeyi kolaylaştırdığı ya da geniş yetenek erişiminin savunmacılara saldırganlardan daha çok avantaj sağladığı varsayımına katılmıyor
  • Gerçekte geniş erişim saldırganlara daha fazla avantaj sağlayabilir; bu nedenle hangi tarafın üstün olduğunun ampirik olarak doğrulanması gerekir

Biyolojide saldırgan-savunmacı asimetrisi

  • Yeterince güçlü modeller, yaygın biçimde bulunabilen malzemelerle pandemi düzeyinde bir virüsü hızla silahlandırabilir; buna karşı savunma ise en iyi ihtimalle bile yıllar sürecek operasyonel bir görev olabilir
  • Operation Warp Speed örneğinde olduğu gibi, karşılık verecek teknoloji ve sistemleri kurmak uzun zaman gerektirir; bu nedenle biyolojide güçlü bir saldırgan üstünlüğü olabilir
  • Mevcut durumda biyolojik felaketleri engelleyen şeyin, savunmacıların ya da malzemelerin sınırlılığı değil; zihinsel kapasite ile felaket düzeyinde zarar verme niyeti arasındaki negatif korelasyon olduğu düşünülüyor
  • İnternet araması veya DNA sentezi gibi önceki teknolojiler bu korelasyonu bozacak kadar güçlü değildi; ancak yapay zekanın mevcut gelişim hızıyla bunu yakında kırabileceğinden endişe ediliyor
  • Yeterince güçlü bir teknoloji tüm engelleri kaldırdığında, saldırganlar ile savunmacılar arasında yapısal üstünlüğün kimde olduğu ortaya çıkar; biyolojide üstün olan taraf saldırganlar olabilir
  • Bu riskler, tahminlere ya da yayımlama biçimine ilişkin önyargılara göre değil, sıkı yayımdan önce testlerle değerlendirilmelidir

Anthropic'in talep ettiği politikalar

  • Açık ağırlıklı modeller tek bir kategori olarak yasaklanmamalı
  • Otoriter hükümetlerin yüksek performanslı çipler ve üretim ekipmanları edinmesini önlemek için ihracat ve kaçakçılık kontrolleri güçlendirilmeli
  • Endüstriyel ölçekte model damıtma; hukuk, ticari ve politika araçlarıyla engellenmeli
  • Yeterli yeteneğe sahip tüm açık ve kapalı modeller için siber, biyolojik ve hizalama risk testleri zorunlu hale getirilmeli

3 yorum

 
unsure4000 1 시간 전

Satın aldığım token'ları bitirince bir daha görüşmeyiz gibi görünüyor, adiós.

 
sea715 1 시간 전

Arka planda lobi yapıp sonra açık kaynağı desteklemek gerçekten şaşırtıcı. Anthropic AGI’ye ulaşırsa Arasaka’ya dönüşecekmiş gibi geliyor.

 
GN⁺ 3 시간 전
Hacker News görüşleri
  • “Yeterli kabiliyete sahip tüm modeller zorunlu güvenlik testlerinden geçmelidir” demek, fiilen açık ağırlık modellerinin yasaklanmasını savunmakla aynı şey
    Testi kim yapacak; maliyet aşırı pahalı olursa ya da yöneticiler belirli katılımcıları reddederse ne olacak? ABD geçmişte de zorunlu sertifika damgası getirip sonra bunu vermeyi reddederek ürünleri yasakladı

    • Anthropic, kendi modelinin yalnızca güvenlik katmanlarıyla birlikte sunulduğu için bu haliyle değerlendirilmesi gerektiğini, ancak açık ağırlık modellerinin ağırlıkların kendisiyle aynı testlerden geçmesi gerektiğini savunabilir
      Ekonomik etkisi büyük olur ama güvenlik etkisi zayıf görünüyor. ABD içinde açık ağırlık modellerinin kullanımını sınırlamanın son Hugging Face saldırısı gibi olayları azaltabileceği argümanı en ikna edici olanı; ancak hükümetin test şartlarını fiilen uygulaması zor
      Açık ağırlık modellerinin API üzerinden sunulan modellerle aynı güvenlik standartlarını karşılaması pratikte imkânsız; üreticileri istese bile uyum sağlayamaz. IP engelleme ve ihracat kontrolleriyle erişim ve çıkarım kapasitesi sınırlandırılabilir, fakat kötü niyetli aktörleri caydırmada etkili olmaz
    • Fable’ın geri çekilmesinin nedenlerinden biri olarak “bu kodu düzelt” talimatı verilen jailbreak gösterilmişti — https://news.ycombinator.com/item?id=48552687
      “Mythos seviyesinde” bir model bu kadar tehlikeliyse, bırakın herkesin kodunu düzeltsin. Dünyadaki yazılım şirketleri, hizmetler ve aktif özgür/açık kaynak projeleri en fazla milyonlarca ya da on milyonlarca düzeydedir; herkese kendi kodunu düzeltebilmesi için 100 dolarlık Fable/Mythos kredisi verilebilir
      Anthropic, 100 milyon ila 1 milyar dolarla insanlık tarihinin en büyük reklam kampanyasını yürütürken aynı anda dünyanın güvenliğini güçlendirebilir. Çoğu kişi kötü niyetli değil; mühendisler, danışmanlar, kurucular, işletme sahipleri ve bakımcılar Mythos ile kendi kodlarını düzeltmeye çalışır
      Bu tür bir kapasiteyi izin kapıları ve kapalı kapıların arkasına hapsetmek uzun vadede daha büyük zarar doğurur; erişimi olanların kimin güvende olabileceğine karar verdiği asimetrik bir dünya yaratır. Herkesin Mythos’u olursa kimsenin tekelinde bir “Mythos” olmaz; o yüzden bırakın insanlar kodlarını düzeltsin
    • Güvenlik değerlendirme endüstrisi fiilen OpenAI ve Anthropic tarafından finanse edilip kontrol ediliyor
      Son modeller, yalnızca iç testleri ya da tüm işini bu iki şirkete dayandıran Gray Swan gibi dış ve kapalı değerlendirme firmalarını kullanıyor; bu şirketler de aynı araştırmacı havuzunu kendi aralarında döndürüyor
    • Amaç, güvenlik testi maliyetini 100 milyon doların üzerine çıkarıp yüksek fiyatlar almadıkça dünyanın önemli bir bölümünde yasal olarak kullanılabilecek model çıkarılmasını engellemek ve sonuçta kimsenin rakip model kullanamamasını sağlamak gibi görünüyor
    • Yeterli kabiliyet”in tanımı da yok. Muhtemelen Anthropic ile rekabet eden tüm modeller kastediliyor; şirket bir yıl sonra hâlâ ayaktaysa Fable seviyesini umursamayıp Claude 7 gibi o dönemki kendi modelleriyle rekabet edenleri sınırlamaya çalışacak gibi
  • Çin, bir yandan yapay zekayı kötü amaçlarla kullanmak isteyen bir tehdit, diğer yandan da rakip ülke ABD ile işbirliği yapıp kimliği belirsiz başka aktörlerin aynı hedefe ulaşmasını engelleyecek ülke olarak, Schrödinger’in Çin’i muamelesi görüyor
    Gerçek basit. Anthropic CEO’su, kendi kapalı ve pahalı modellerine benzer ya da daha iyi modellerin geniş çapta dağıtılıp gelirlerini sarsmasını istemiyor
    Anthropic ve diğer model şirketlerinin özel varlığı yalnızca çiplere ayrıcalıklı erişim olduğundan, hangi modellerin çıkacağını ve kimlerin yeni model yapabileceğini sınırlamak istemeleri doğal. Düzenleme olmazsa yüz milyarlarca dolarlık şirket değerlerinin yok olması an meselesi

    • Dario her zamanki gibi kendini dünyanın merkezi sanıyor gibi. Çin’in ABD’nin yapay zeka hâkimiyetini sessizce kabullenmesi için bir neden yok; Tayvan’ı birkaç gemiyle ablukaya alması bile bunu durdurmaya yeter
    • Bu blog yazısındaki zorlama mantığın Anthropic’in imajını iyileştireceğini düşünmeleri akıl almaz
      Sessiz kalsalardı daha çok saygı duyardım. Açık modellerin sert rekabet yaratacağı ya da gelir tabanlarını yok edeceği apaçık ortadayken, tüm insan emeği üzerindeki gücü tekelleştirme girişimini ahlaki üstünlük gibi paketliyorlar
    • Yazı, Çin’e giden donanımın ve Batı’da Çin açık kaynak modellerinin kullanımının sınırlanmasını önerirken bunu “rekabeti destekliyoruz ama…” diye paketliyor
      Çin’in yapay zeka inovasyonunu açık kaynak olarak yayımlayarak yapay zeka balonunu dizginlemesi ya da daha hızlı patlatması, kendi çıkarlarına uygun harika bir tercihti bence
  • İlk paragrafta yasakların faydalı olmadığını söylüyor, sonra Çin’in çip edinmek için kullandığı kaçakçılık ve dolanma yollarının önlenmesi gerektiğini savunuyor
    Yasakların işe yaramadığı inancı donanım için de aynen geçerli olmalı
    Dario’nun desteklediği üç önlem Çin’e çip satış yasağı, damıtmanın önlenmesi ve tüm yüksek performanslı modeller için zorunlu güvenlik testi; tesadüfe bakın ki hepsi Anthropic’e ticari fayda sağlıyor. Anthropic tek bir açık ağırlık modeli yayımlasaydı çok daha ikna edici olurdu

    • ABD içinde Çin açık ağırlık modellerinin kullanımının yasaklanması ile Çin’e yapay zeka çipi ve yarı iletken üretim ekipmanı ihracatının yasaklanması tamamen farklı konular; bu yüzden birine karşı çıkıp diğerini desteklemek çelişki değil
    • Anthropic açık ağırlık model yayımlamış ve Çin bunu damıtarak kötü amaçlarla gizlice elinde tutuyor olsaydı, bu mektup çok daha anlamlı olurdu
    • Özetle, rekabet olsa bile Anthropic’in devasa para kazanmaya devam edebileceği konumu korumak istedikleri anlamına geliyor
  • Daha düne kadar kendi teknolojisinin başka bir ülkedeki kız okullarını bombalamak için kullanılma ihtimalini umursamayan biri, birden başka bir ülkenin vatandaşlarının ezilmesinden endişe ediyor
    Bu tür ahlaki gösterişe ya da yılın “kâbus senaryosu” hakkındaki üstten bakan vaazlara inanmak zor

    • Muhalif görüşlerin bastırılmasıyla ilgili bölümde mevcut Trump yönetiminden alıntı yapması ilginç
    • Dario’nun Çinlilerin iyiliğini gerçekten düşündüğüne inanmak zor. ABD Çin’le savaşa girip şehirleri bombalarsa bunu destekler, Claude ile DeepSeek ve Moonshot merkezlerini hedef listesine ekler gibi geliyor
      İsrail yanlısı olmasına rağmen İsrail hükümetinin yapay zekayla başka ülkelerin vatandaşlarını kontrol edip baskı altına alma riskini hiç ele almadı; nüfus kontrolü, baskı ve gözetim devleti kurmayı açık hedefleri arasında sayan Palantir ile işbirliğine de hevesli
      Dünyanın en baskıcı ülkesi Kuzey Kore bunu yapay zeka olmadan da yapıyor. Çinlilere Dario’nun DeepSeek ya da Kimi’nin kendilerini bastırdığı fikrini söylerseniz muhtemelen gülerler
  • Bir şirketin bu kadar kısa sürede altın yumurtlayan kaz konumundan ne olduğu belirsiz bir hâle düştüğü başka bir örneği hatırlamıyorum.
    Dario’nun açıklamasının altındaki sürekli savunmacı tutum, Anthropic ürünlerine güvenme ya da onlara bel bağlama isteğimi bile yok etti. Bu yazıyla kimi ikna etmeye çalıştığını bile anlamıyorum; Anthropic’in bir toparlanmaya ihtiyacı var gibi görünüyor.

    • Anthropic’in son birkaç aydaki dış iletişimi şaşırtıcı derecede kötü; rekabetin çok yoğun olduğu bir pazarda bunu anlamak zor.
    • Başlıca yatırımcıları Google ve Nvidia açık kaynak dilekçesini imzaladı, Amazon ise imzalamadı; bu yüzden hem bölünmüş yatırımcıları hem de kamuoyunu memnun etmeye çalışıyor gibi görünüyor.
      Daha net bir pozisyon alan herkesi yatıştırmaya çalışan muğlak bir tutum, ama sonuç oldukça kötü.
    • Anthropic zaten başından beri böyleydi. Sadece, aynı mesajı garip bir güçsüz oyuncu verdiğinde insanlar bunu daha olumlu karşılıyordu; şimdi ise trilyon dolarlık dev bir şirket gibi görünüyor.
  • Kötü Çin Komünist Partisi dünya barışı ve iyilik için büyük bir tehdit olduğuna göre, iyi güçlerin serpilip yozlaşmış kaplumbağa biyologlarının ortadan kaldırıldığı kurallara dayalı uluslararası düzen uğruna tüm parayı ve girdi token verilerini Palantir’e devretmemiz gerektiği söyleniyor.
    https://www.theguardian.com/world/2026/jun/20/mona-khalil-tu...

    • Dünyanın yarısının ABD ve İsrail’in başlattığı meşruiyetsiz bir savaş yüzünden enerji fiyatlarıyla boğuştuğu bir ortamda, Amerikalı bir milyarderin Çin’i dünya barışına tehdit olmakla suçlaması mide bulandırıcı.
  • Mantık sonuçta şu: “Bu teknoloji fazla tehlikeli, bu yüzden yalnızca bizim erişimimiz olmalı; biz iyi taraftayız, dolayısıyla güvenli kullanımı garanti edebiliriz.”
    O hâlde gözetleyenleri kim gözetecek?

    • Anthropic’in varlık nedeni zaten AGI’nin OpenAI ya da Sam Altman tarafından kontrol edilmesinin fazla tehlikeli olduğu inancı. Öyleyse dünyadaki herkesin buna sahip olmasının da tehlikeli olduğu sonucuna doğal olarak varılıyor.
    • Anthropic, açık ağırlıklı modellerin kendisinin yasaklanmasını savunmuyor; otoriter güçlerin yüksek performanslı çiplere erişiminin engellenmesini, endüstriyel ölçekte damıtmanın önlenmesini ve açık ya da kapalı fark etmeksizin yeterince güçlü tüm modeller için güvenlik testleri istenmesini savunuyor.
  • Açık modellerin tamamen yayılmasını destekliyorsanız, biyolojik silah ve siber saldırı yetenekleri içeren açık ağırlıklı modeller konusunda ne yapılmalı?
    Saldırganlara bu tür araçlar verilmesini özgürlüğün bedeli olarak mı kabul etmeliyiz? OpenAI/Hugging Face olayı, kısıtlamasız GPT 5.6 düzeyindeki bir modelin neler yapabildiğini gösterdi; yaklaşık 6 ay sonra açık ağırlıklı modeller de o seviyeye ulaşacak ve tüm kötü niyetli aktörler aynı ölçekte saldırılar düzenleyebilecek.
    Açıklığı tercih etmek makul, ancak etkilerini ciddiyetle düşünmeden her koşulda kayıtsız şartsız desteklemek fazlasıyla safça.

    • Hugging Face olayı, savunma amaçlı siber yeteneklere sahip açık kaynak modellere neden ihtiyaç olduğunu iyi gösteriyor.
      Hugging Face, siber yetenekleri olan en ileri modellere erişemiyordu ve sürekli güvenlik önlemlerine takılıyordu; ancak açık kaynak GLM-5.2’yi kullandıktan sonra saldırıdan sağ çıkabildi. Açık kaynak modeller yasaklanırsa, OpenAI ya da Anthropic’in izin listesinde olmayan kuruluşlar siber güvenliklerini sağlayamaz.
    • Kötü niyetli aktörler zaten erişecek. Asıl mesele, dev şirketlerin inovasyonu engelleyip engellemeyeceği.
    • Biyolojik silahları bilmiyorum ama bilgi güvenliği yetenekleri konusunda iyimserim.
      30 yılı aşkın süredir bu tür bir analizden geçmemiş kodun birdenbire milyonlarca “taviso”ya denk yetkinlikle incelendiği sancılı bir risk dönemi yaşanacak; ancak geliştiriciler ve savunmacılar da aynı araçları kullanabilecek. Savunma maliyetinin daha yüksek olduğu bir asimetri olsa bile bu, dengelenen bir silahlanma yarışı; sonunda güvenlik özelliklerinin biçimsel doğrulamasının yaygınlaşması ve aynı modellerin bu maliyeti de sürekli düşürmesi muhtemel.
      Damıtma ve açık ağırlıklı modeller ortadan kalkmayacak; bunları etkili biçimde yasaklamanın ya da kontrol etmenin de neredeyse hiçbir yolu yok. Uzman olmayanların bilgi güvenliği yeteneğine sahip kendi son teknoloji modellerini bizzat damıtıp sürdürmesini sağlayan self-servis araçlar da ortaya çıkabilir.
      Savunmacıysanız en iyi yaklaşım bunu varsayarak hareket etmek; izin verilip verilmemesini tartışsak bile o süre içinde küresel bir yaptırım düzeni oluşmayacak.
    • Risk gerçekten bu düzeydeyse LLM’lere atom bombası gibi davranmak gerekir. ABD diğer ülkelerle temas kurup artık hiç kimsenin yapay zeka modeli geliştirmemesi konusunda anlaşmalı; karşı tarafı durmaya ikna etmenin tek yolu da ABD’nin tüm çıkarları tekeline almadan önce kendisinin örnek olmasıdır.
    • Biyolojiyi bilmiyorum ama siber saldırı yetenekleri saldırganların elinde zaten var ve geri döndürülemez.
      Açık mı kapalı mı olduğu çok da önemli değil; mevcut güvenlik önlemleri yanlış pozitiflere yatkın olsa da kapalı modellerle ciddi siber zararlar verilebilir.
      Etkili tek kontrol, saldırganlarla savunmacıların aynı yeteneklere erişmesini sağlayarak oyun alanını eşitlemek. Dario’nun önerdiği gibi saldırganların aşabildiği ama savunmacıların geçemediği kapılar kurarsanız yalnızca kargaşa garanti edilir.
  • Dario’nun sürekli gözden kaçırdığı şey, insanların artık ABD’nin hizalanmış AI geliştireceğine güvenmemesi.
    Tüm stratejisi, ABD’nin ve ABD hükümetinin istisnai biçimde iyi olduğu varsayımına dayanıyor; fakat dünyanın geri kalanı için bunun açıkça yanlış olduğu görülüyor.

    • Bloomberg röportajında Dario, Amerikan istisnacılığına inandığını açıkça söyledi. ABD askeri liderliğine güvendiği için, AI’ın başka ülkelerdeki kız öğrencilerin bombalanmasına karışmasının sorun olmadığını söyledi.
      Ona göre dünyanın güvenlik ve ahlak kurallarını yalnızca ABD yazmalı; aynı röportajda ABD dış politikasını desteklerken Çin’i “saldırgan ve savaşçı bir rejim” diye niteledi.
      Bunu yalan olarak gören Amerikalıların sayısı da artıyor, ancak oligarşik yönetici sınıf ABD hükümeti politikalarının en büyük faydalanıcısı olduğu için propaganda sürecek.
  • Anthropic’in geliştirmeyi zorlamaya devam ederken aynı anda durma ve düzenleme çağrısı yapmasının mantığını da, bir bireyin yavaşlama istemesine rağmen bir AI şirketinde çalışmaya devam etmek için nedenleri olabileceğini de anlıyorum.
    Ama herkes böyle düşünürse, belki de hiç varılamayacak bir uzlaşı beklenirken rekabet giderek kızışır, hiçbir şey değişmez ve ekonomik teşvikler tüm katılımcıların devam etmesini rasyonelleştirir.
    İçeriden daha somut adımlar gelmesini umuyorum. Yargı çok karmaşık hâle geldiğinde temel ilkelere dönmek gerekir. AI’ın fazla hızlı ilerlediğine inanıyorsanız geliştirmeyi durdurun; bir AI şirketi durmak istiyorsa önce kendisi durup örnek olmalı.
    Diğer şirketler de peşinden gelebilir; gelmeyenler ise sorumsuz görünecektir. Artık günah işlememeye karar veren kişi önce taşı elinden bırakmalıdır.