Gavin Newsom, SB 1047 yapay zeka güvenliği yasa tasarısını veto etti

 (wsj.com)
1 puan yazan GN⁺ 2024-09-30 | 1 yorum | WhatsApp'ta paylaş
  • California Valisi Gavin Newsom, yapay zeka güvenliği yasa tasarısı SB 1047’yi veto ederek yapay zeka düzenlemesinin kapsamına ilişkin tartışmanın sürmesine yol açtı
  • Vetonun temel gerekçesi, tasarının yalnızca en büyük ve en maliyetli yapay zeka modelleri için geçerli olması nedeniyle kapsamının dar kalması
  • Newsom, tasarının modelin yüksek riskli durumlarda kullanıma alınıp alınmadığını dikkate almadığını düşünüyor
  • OpenAI ve Meta tasarıya karşı çıktı; yapay zeka teknolojisini geliştiren önde gelen araştırmacı bilim insanları ise destekledi
  • Newsom, SB 1047’den daha kapsamlı yapay zeka kuralları ilerletme niyetinde

Veto kararı ve çıkarlar

  • California Valisi Gavin Newsom, tartışmalı yapay zeka güvenliği yasa tasarısı SB 1047’yi veto etti
  • Bu tasarı, büyük teknoloji şirketleri ile yapay zeka teknolojisini geliştiren önde gelen araştırmacı bilim insanlarını karşı karşıya getiren bir konu oldu
  • OpenAI ve Meta tasarıya karşı çıktı; araştırmacı bilim insanları ise destekledi

Tasarının kapsamı ve veto gerekçesi

  • Newsom, veto mesajında tasarının uygulama kapsamının sınırlı olduğuna karar verdi
    • Tasarı yalnızca en büyük ve en maliyetli yapay zeka modelleri için geçerli
    • Yapay zeka modelinin yüksek riskli durumlarda kullanıma alınıp alınmadığını dikkate almıyor
  • Newsom, bu tasarıdan daha kapsamlı yapay zeka kuralları istiyor

İlgili okumalar

1 yorum

 
GN⁺ 2024-09-30
Hacker News yorumları

  • https://www.wsj.com/tech/ai/californias-gavin-newsom-vetoes-...

  • Newsom’ın kararı mükemmeldi. Kaliforniya Meclisi çok aktif, ama son yıllarda trendlerin peşinden giden yasama işi fazla abartıldı; Wiener’in gündeminde özellikle konut politikasını destekliyorum, fakat bu tasarının tamamen ıskalandığını düşünüyorum
    Fiilen açık modelleri hedef alan bir torpido gibiydi; OpenAI veya Anthropic gibi önde gelen oyuncular bu tasarı ya da genel olarak açık modeller konusunda pek kaygılı değildi. Destekçileri daha çok Musk gibi alt sıraları temizlemek isteyen geriden gelen oyuncular ya da Batı’nın hasım güçleri ve temkinli telif hakkı sahipleri gibi kendi kontrollerinde olmayan yapay zekaya karşı çıkan taraflardı: https://techcrunch.com/2024/08/26/elon-musk-unexpectedly-off...

    • Newsom’ın veto gerekçelerinden biri, tasarının uygulama eşiğinin şu anki herhangi bir modelden çok daha yüksek olmasıydı; o, tasarının hiç dokunmadığı çok daha küçük ve eğitim işlem miktarı düşük modelleri de daha geniş biçimde sınırlayan bir yaklaşım istiyordu
      Ayrıca OpenAI, Google ve Meta ile birlikte bu tasarıya karşı örgütlü muhalefete öncülük etti; Anthropic ise aksine başlıca destekçilerden biriydi
    • Bu tasarı açık modelleri hedef alan bir torpidoysa Google, Microsoft, OpenAI neden karşı çıktı, merak ediyorum. En çok çıkar sağlayacak konumda olanlar onlar değil mi?
    • Büyük ve yeni bir endüstriyi öldürebilecek bir yasa yapılacaksa bile geriye dönük/olay sonrası tepki niteliğinde olmalı. Bu berbat bir tasarıydı; valinin kararı iyi oldu
    • Hızı düşürüp iki tarafı da dinlemek gerekir; yalnızca AGI’nin 1-2 yıl içinde geleceğine ve T1000’in peşimize düşeceğine inanan tarafı dinlememek lazım
      LLM’lerin, özellikle de daha fazla özel donanım üretildikçe parlak bir geleceği olduğunu düşünüyorum. Sorunların çoğunu piyasa çözebilir; hükümet, işler yanlış yöne gittiğinde ya da tekel ve suistimal netleştiğinde devreye girmeli, iki uçtaki geniş varsayımlara dayanarak hareket etmemeli
    • Ben de genel olarak Wiener ile siyasi açıdan uyumluyum, özellikle konut ve toplu taşıma konularında; ama bu tasarı öyle değildi

  • https://legiscan.com/CA/text/SB1047/id/3019694
    Bu tasarı, belli bir ölçeği aşan modellere açık ağırlıklar sağlamayı yasa dışı hale getiriyor; böyle bir modeli eğitmeye yetecek işlem kaynaklarını satmadan önce müşterinin yasayı hiçe sayıp modeli eğitmeyeceğini doğrulatıyor; modelin bir felakete yardımcı olmayacağını ve kapatılabileceğini kanıtlamaya yönelik denetim şartları dayatıyor gibi görünüyor

    • Denetimler hiçbir şeyi kanıtlayamaz ve geleceği planlamada da değer taşımaz. Denetim yalnızca potansiyel risk unsurlarına dair içgörü veren saf bir olay sonrası değerlendirme aracıdır
      Ayrıca “kapatılabilir olmalı” kısmı, yasa koyucuların bir Star Trek bölümünde değil gerçeklik içinde hareket etmesini diledirtiyor
    • “Belli bir ölçeği aşan modellere açık ağırlık sağlamayı yasa dışı hale getiriyor” diye bir ifade tasarının hiçbir yerinde yok. Tasarı karşıtları yüzünden birçok kişi bunu böyle yanlış anladı
    • Bu tasarı, temel nedeni yanlış biçimde “belki de bilgisayarlar fazla zekidir” diye belirleyip “insanlar ve şirketler araçları kötüye kullanırsa sorumlu tutulmalı” kısmını kaçıran bir yasama girişimi gibi geliyor
    • Çok kötü bir yasa. Bu yasayı destekleyenlerin, özellikle de şirketlerin, piyasayı tekelleştirmeye çalışıp çalışmadıkları izlenmeli
    • Önerilen yasa o kadar saçma derecede aptalca ki Kaliforniya’da yaşasaydım bir sonraki seçimde Anthony Weiner’in rakibine oy vermeyi ciddi ciddi düşünürdüm
      Bu kişiye yetki emanet etmek zor; ayrıca zorladığı gülünç yasa da ilk kez bu değil. Örneğin, açıkça anayasaya aykırı olan AB2098’in arkasındaydı; bu yasa mahkemede bozulmadan önce Kaliforniya eyalet meclisi tarafından sessizce yürürlükten kaldırıldı: https://finance.yahoo.com/news/ncla-victory-gov-newsom-repea...
      https://www.sfchronicle.com/opinion/openforum/article/COVID-...
      Bu partizan bir mesele değil. Siyasi eğiliminiz ya da “yapay zeka güvenliği” konusundaki duruşunuz ne olursa olsun, bu tür korkunç muhakemeden ve yasama yoluyla kendini gösterme çabasından daha dikkatli bir temsilci istemelisiniz

  • İlgili yazılar. Daha var mı?
    OpenAI, Anthropic, Google employees support California AI bill - https://news.ycombinator.com/item?id=41540771 - Eylül 2024, 26 yorum
    Y Combinator, AI startups oppose California AI safety bill - https://news.ycombinator.com/item?id=40780036 - Haziran 2024, 8 yorum
    California AI bill becomes a lightning rod–for safety advocates and devs alike - https://news.ycombinator.com/item?id=40767627 - Haziran 2024, 2 yorum
    California Senate Passes SB 1047 - https://news.ycombinator.com/item?id=40515465 - Mayıs 2024, 42 yorum
    California residents: call your legislators about AI bill SB 1047 - https://news.ycombinator.com/item?id=40421986 - Mayıs 2024, 11 yorum
    Misconceptions about SB 1047 - https://news.ycombinator.com/item?id=40291577 - Mayıs 2024, 35 yorum
    California Senate bill to crush OpenAI competitors fast tracked for a vote - https://news.ycombinator.com/item?id=40200971 - Nisan 2024, 16 yorum
    SB-1047 will stifle open-source AI and decrease safety - https://news.ycombinator.com/item?id=40198766 - Nisan 2024, 190 yorum
    Call-to-Action on SB 1047 – Frontier Artificial Intelligence Models Act - https://news.ycombinator.com/item?id=40192204 - Nisan 2024, 103 yorum
    On the Proposed California SB 1047 - https://news.ycombinator.com/item?id=39347961 - Şubat 2024, 115 yorum

  • Büyük yapay zeka modellerinin acil riski Dünya'yı ataşa çevirmek değil, dolandırıcılığın hizmetleşmesini yaratmak ve hiçbir şeye güvenilemeyen bir toplum oluşturmak
    X'ten fazla parametreye sahip bir modelin ürettiği görüntü, ses ve videolara yapay zeka üretimi olduğunu belirten metadata eklenmesini gerektiren biraz acemice bir yasayı bile destekleyebilirim. Bu tür etiket eklemeyen modellerin yapılmasını yasaklamak gibi
    Ancak bariz sorun şu: Bir yapay zeka görüntüsünün ekran görüntüsünü alıp metadata olmadan yeniden yüklemeyi de yasa dışı saymak gerekir; özellikle görüntülerde uygulama tamamen berbat olabilir. En önemlisi, bu alandaki tüm önlemler “kötü aktörlerin” ne yaptığını fiilen kontrol edemeyeceğimiz varsayımıyla tasarlanmalı. Sorumlu davranmak paradan vazgeçmek demek; o parayı da daha az sorumlu bir ülke alır

    • Açık modellerde herkes bu etiketleme işlevini kapatabileceği için, etiketsiz çıktıları yasaklamak mantıklı değil
    • Güvenilemeyen içeriği sınıflandırmaya çalışan yasalar başarısız olmaya mahkûm görünüyor. Bunun yerine güvenilirliği iletmenin daha iyi yollarını bulmak gerekiyor; daha fazla yasa eklemenin burada yardımcı olup olmayacağından da emin değilim
    • Yapay zeka görüntülerini doğrulamanın en gerçekçi yolunun, üreticinin oluşturduğu tüm görüntülerin parmak izini saklamak olduğunu düşünüyorum
      Daha sonra bir görüntü ortaya çıktığında Meta'ya ya da başka birine “bunu siz yapmış olabilir misiniz?” diye sorulabilir. YouTube'un Content ID'si veya CSAM tespiti gibi benzer teknolojiler zaten var. Kusursuz değil ama tüm görüntü üretimini kilitlemeye çalışmanın devasa yan etkileri olmadan yardımcı olabilir
    • Dolandırıcılıkta kullanıldığı durumlarda yapay zeka içerik etiketi zorunlu kılan yasalar çıkarılabilir
    • Dünya'yı ataşa çevirmek yakın zamanda olmayacağına göre, o risk güvenle göz ardı edilebilir

  • Makalede tasarının ele aldığı risklerin abartılıp abartılmadığını merak ettiğim için metnin aslını okudum.
    “Ciddi zarar”, kapsam dahilindeki modelin veya ondan türetilmiş bir modelin yol açtığı ya da fiilen mümkün kıldığı zararı ifade ediyor; kimyasal, biyolojik, radyolojik ya da nükleer silahların üretilmesi veya kullanılması sonucu kitlesel can kaybı yaşanması, kritik altyapıya yönelik bir siber saldırı nedeniyle kitlesel can kaybı ya da 500 milyon doların üzerinde zarar oluşması, modelin sınırlı insan gözetimi altında suç teşkil edecek bir eylemle ölüm, ağır yaralanma veya mülk zararı yaratması ve bunlara denk kamu güvenliği/güvenliği açısından ciddi zararları kapsıyor.
    Ancak modelin çıktıladığı bilgi, sıradan bir kişinin başka kaynaklardan makul şekilde kamuya açık olarak erişebileceği bir bilgiyse hariç tutuluyor; başka yazılımlarla birleştirildiğinde model zarar ihtimaline anlamlı biçimde katkıda bulunmadıysa hariç tutuluyor; geliştiricinin modeli oluşturması, saklaması, kullanması veya yayımlaması nedeniyle ortaya çıkan ya da mümkün hâle gelen bir zarar değilse yine hariç tutuluyor.

    • Newsom, yapay zeka modellerinin bu tür zararları otonom olarak verebileceğine mi inanıyor, yoksa bunun ancak insanların kullanımı ve gözetimiyle mümkün olduğunu anlıyor mu?
      İnsanlar yapay zekayla zarar verebiliyorsa, bunu yapay zeka olmadan da yapabilirlerdi; asıl mesele yapay zekanın yıkıcı hedeflerin olasılığını ne kadar artırdığı. Endişe, yapay zekanın bunu daha erişilebilir ve etkili hâle getirmesi mi, tam olarak hangi canavardan söz ediliyor bilmiyorum. Bu modellerin kötüye kullanılabilir altyapı ve sistemler hakkında kamuya açık olmayan bilgilere sahip olduğunu sanmıyorum.
    • “Sıradan bir kişinin başka kaynaklardan makul şekilde kamuya açık olarak erişebileceği bilgi”den kaynaklanan zararları hariç tutan istisna, kuralın tamamını yutuyor ve yapay zekanın farkını hedeflemiyor. Yapay zeka, birden fazla olgu akışını birleştirmede sıradan insanlardan gerçekten daha iyi.
      Bu yüzden bu yasa bana yasama şovu gibi görünüyor. Dikkat ve bağış çekerek siyasi bir franchise kurmak üzere tasarlanmış olabilir. Yalnızca en büyük modelleri hedefleyip sadece en büyük oyuncuların etkilenmesini sağlaması da, bu oyuncuların karar başına bağış yapma kapasitesinin en yüksek ve karşı çıkmanın yol açacağı iyi niyet kaybının en düşük olmasından kaynaklanıyor olabilir.
      Yapay zeka düzenlemesi, yeni bir vergi kanunu kadar karmaşık bir yasama ve idare görevi olacak; bunu siyasi franchise olarak ele alırsanız imkânsız hâle gelir. OpenAI’ın kâr amaçlı bir şirkete dönüşmesi durumuna bakınca, yalnızca kâr amacı gütmeyen yapı kamu yararı odağını korumak için yetersiz kalıyor. Böyle bir dönüşüme izin verilmesi, 1990’lardan bu yana kâr amacı gütmeyen hastane sistemlerinin kâr amaçlı yapılara dönüşmesiyle benzer ölçekte bir şey.
      Yapay zekanın potansiyeli, yönetişim kırılganlığımızı açıkça ortaya koyuyor. Zayıf yönetişim daha fazla fırsat da sunar; ancak onun başarısızlıklarından doğan sömürüden kaçma dürtüsü diktatörlüğü büyütür, diktatörlük de diğer haklarla birlikte mülkiyet haklarını da yutar.

  • Sorunlardan biri, kontrolden çıkmış yapay zeka hesaplamalarının basitçe Kaliforniya dışında gerçekleşeceği endişesi mi?
    Sonoma’daki CAFO ile ilgili ilçe seçiminde de benzer şekilde, yerel düzeyde çevresel ilerleme sağlansa bile bunun sorunu düzenlemelerin daha gevşek olduğu başka eyaletlere ihraç etmekle sonuçlanabileceği tartışması var: https://www.kqed.org/news/12006460/the-sonoma-ballot-measure...

    • Her yasada olduğu gibi, düzenlemeden coğrafi olarak kaçınan insanlar mutlaka olacaktır. İyi yazılmış bir yasa, daha sonra düzenleyici işleve ihtiyaç duyan başka bölgelerde emsal ya da başlangıç noktası olarak referans alınır.
      AB ve Kaliforniya, teknoloji ve mahremiyet alanlarında sık sık böyle öncü bir konumda görünüyor. Dışarıdan boşa çaba gibi görünebilir ama bu yolu açma sürecidir ve iyi yasaların dünya genelinde dayanak kazanması için gerekli bir adımdır.

  • Aptalca bir yasaydı; demek ki bir politikacı en azından bir kez akıllıca bir şey yapmış.

  • Bu yasa tasarısının lehindeki ve aleyhindeki argümanları özetleyen bir kaynak varsa merak ederim. Makaleyi okuyunca aklıma ilk gelen şey, “makul özen” ve “makul olmayan risk” gibi ifadelerin sonsuz davalara yol açabilecek, yasa metni için neredeyse imkânsız derecede muğlak göründüğüydü.
    Aynı zamanda, mevcut üretken yapay zeka dalgasının temel teknolojilerinin önemli bir bölümünü geliştiren bilgisayar bilimcileri Geoffrey Hinton ve Yoshua Bengio gibi isimler kamuya açık destek verdi; büyük yapay zeka şirketlerinin eski ve mevcut 119 çalışanı da tasarının geçirilmesi çağrısı yapan bir mektubu imzaladı. Elbette bir alandaki zekâ, hukuki tavsiyeye güvenilebileceği anlamına gelmez; ama Hinton ve Bengio’nun bu yasayı neden güçlü biçimde desteklediğini merak ediyorum.

    • “Makul özen” ve “makul olmayan risk” hiç sorunlu ifadeler değil; tamamen standart hukuki kavramlar. Örneğin haksız fiil hukuku tam da bu tür şeylerle ilgilenir.
      Elbette dava konusu olabilir; ama asıl mesele şu: gri alan varsa şirketler açıkça güvenli bölgede faaliyet göstermeli, sınırları zorlarlarsa hukuki bir kumar oynadıklarını bilmelidir. Sağduyulu süreçler, net belge kayıtları ve avukat onaylı karar alma mekanizmaları kurarsanız genelde güvenli bölgede kalmak kolaydır. Tasarı başka nedenlerle kötü olabilir, ama bu iki ifade başlı başına sorun değil.
    • Kaygı, yakın gelecekteki sistemlerin mevcut sistemlerden çok daha yetenekli hâle gelmesi ve o noktada tepki vermek için çok geç kalınabilecek olması.
      Büyük ve en ileri seviye yapay zeka şirketlerindeki birçok kişi, dünyayı değiştirecek AGI’nin 5 yıl içinde gelebileceğine inanıyor; örnek olarak Aschbrenner’ın Situational Awareness çalışmasına bakılabilir. Yapay zekanın terörü daha kolay hâle getirebileceğine dair paralel bir endişe de var: https://www.theregister.com/2023/07/28/ai_senate_bioweapon/
      Yoshua Bengio kısa süre önce yapay zeka güvenliği hakkındaki görüşlerini ayrıntılı biçimde yazdı; insan seviyesinde yapay zekanın çok yakında geleceği görüşüne daha az ağırlık verse de 5 ila 20 yıl içinde insanüstü zekânın mümkün olduğunu düşünüyor. “Bu belirsizlik, felaket ya da yok oluş ölçeğindeki risklerin büyüklüğü ve yapay zeka yeteneklerindeki son hızlı ilerlemeyi öngörememiş olmamız dikkate alındığında, bilinemezci bir ihtiyat çok daha akıllıca bir yol” diyor.
      Hinton da son dönemde kontrol kaybı riski üzerine ayrıntılı konuşmalar yapıyor. Destekçiler genel olarak bu tasarıyı, kontrol kaybı ve kötüye kullanım konularındaki en kötü senaryoları bir ölçüde ele alan, dar kapsamlı biçimde hedeflenmiş bir yasa olarak görüyor: https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
      https://yoshuabengio.org/2023/06/24/faq-on-catastrophic-ai-r...
      https://yoshuabengio.org/2024/07/09/reasoning-through-argume...
    • Nelerin makul özen kapsamına girdiğine baktım ve sonucunu burada özetledim: https://www.lesswrong.com/posts/kBg5eoXvLxQYyxD6R/my-takes-o...
    • Bilgisayar bilimci Scott Aaronsonın blogunda yazdığı bir destek yazısı var: https://scottaaronson.blog/?p=8269
      Önceki açıklama yazılarına bağlantılar veriyor; lehte ve aleyhte argümanlar ile yorumlarda ek tartışmalar da var.
    • California Office of Legislative Counsel, tüm yasa tasarılarının tam metinleri için her zaman bir “digest” sunar: https://leginfo.legislature.ca.gov/faces/billTextClient.xhtm...
      Sektör perspektifinden bir lehte/aleyhte listesi değil, ama bu tasarının ne yaptığını anlatan muhtemelen en tarafsız açıklama.

  • Berbat bir yasama girişimiydi; valinin bunu durdurmuş olması iyi oldu.
    Düzenleyici ele geçirme tam da böyle görünür. Birileri ürününüzü genel amaçlı bir metaya dönüştürürse, onu ücretsiz olarak yapmaya devam etmenizi yasa dışı hâle getirirler.
    Bu, Linux’u yasa dışı ilan edip herkesi Microsoft ve Apple kullanmaya zorlamaktan farksız.

    • Katılmıyorum. Bu konuda çok fazla ideolojik ve bilgisiz iddia görüyorum.
      Yapay zeka startup’ı kurmayı hayal eden birçok kişinin, yapay zeka ekosistemini ve artı-eksilerini rasyonel ve tarafsız biçimde değerlendirmesinin zor olduğunu düşünüyorum.
    • Bu tür yasalar şirketlere diğer 49 eyaletin ve neredeyse yüzlerce başka ülkenin de var olduğunu fark ettirebilir.
      Kaliforniya’da teknoloji ile üniversitelerin birleştiği nadir bir zeitgeist var; ama yeterli para ve vaat olursa bunun başka yerlerde yeniden üretilemeyecek bir şey olduğu söylenemez.
    • Bu veto, her şeyden önce Kaliforniya’nın yapay zeka yarışında dezavantajlı duruma düşmek istememesinden kaynaklanmış olabilir.