OpenAI, askeri araç yasağını kaldırdıktan sonra Pentagon ile iş birliği yapıyor

• OpenAI, orduya yapay zeka teknolojisi sağlamama yönündeki önceki politikasından uzaklaşarak, siber güvenlik yazılımı da dahil Pentagon projeleri üzerinde çalışıyor
• Şirket, gazilerin intiharını azaltmaya yönelik araçları da ABD hükümetiyle görüşüyor, ancak silah geliştirme yasağının sürdüğünü söylüyor
• Kullanım politikasından “military and warfare” yasağı ifadesinin çıkarılmasıyla, yapay zekanın askeri alanda kullanımına ne ölçüde izin verileceği konusundaki tartışmalar büyüyor
• Silikon Vadisi, 2018'de Google çalışanlarının Pentagon projesine karşı çıkmasının ardından bile Savunma Bakanlığı ile iş birliğine daha açık bir yöne kaydı; Pentagon da startup'larla ileri araçların benimsenmesini aktif biçimde teşvik etti
• Silah geliştirme hariç tutulsa bile, veri yorumlama ve kod yazma gibi Savunma Bakanlığına yönelik yapay zeka yazılımları askeri veri işleme ile savaş yürütme arasındaki sınırı bulanıklaştırabilir

---

OpenAI ve Pentagon iş birliği

• OpenAI, Pentagon ile yazılım projeleri yürütüyor; bunların arasında siber güvenlikle ilgili çalışmalar da bulunuyor
• Bu, orduya yapay zeka teknolojisi sağlamayacağını belirten geçmiş politikaya kıyasla bir değişim anlamına geliyor
• ChatGPT geliştiricisi OpenAI, ABD hükümetiyle gazilerin intiharını azaltmaya yönelik araçların geliştirilmesini de görüşüyor
  • OpenAI küresel ilişkilerden sorumlu başkan yardımcısı Anna Makanju, bu bilgiyi World Economic Forum'da paylaştı
  • Ancak silah geliştirme yasağının sürdüğünü açıkladı

Kullanım politikası değişikliği ve güvenlik kaygıları

• OpenAI, geçen hafta kullanım politikasından yapay zekanın “military and warfare” uygulamalarında kullanılmasını yasaklayan ifadeyi kaldırdı
• Bu değişiklik, yapay zeka güvenliği savunucularının kaygılarını tetikledi
• Yeni politika, silah geliştirmeyi yasaklıyor ancak orduyla ilgili diğer yazılım türlerinin sağlanmasına kapı aralıyor

Silikon Vadisi ile ABD Savunma Bakanlığı arasındaki ilişkinin değişimi

• Silikon Vadisi son yıllarda ABD ordusuyla iş birliğine daha yumuşak bir tutum sergiliyor
• 2018'de binlerce Google çalışanı bir Pentagon projesine karşı çıktı
  • Çalışanlar, geliştirdikleri teknolojinin ölümcül amaçlarla kullanılabileceğinden endişe ediyordu
  • Bu dönem, Silikon Vadisi'nde Savunma Bakanlığına karşı çıkışın en güçlü olduğu an olarak değerlendiriliyor
• Sonrasında Google, savunma sözleşmelerinden yüz milyonlarca dolar gelir elde etti
• Pentagon, Silikon Vadisi startup'larını ikna ederek yeni silah teknolojileri geliştirmeye ve ileri araçları Savunma Bakanlığı operasyonlarına entegre etmeye çalıştı
• ABD-Çin gerilimi ve Rusya'nın Ukrayna savaşı da girişimcilerin askeri iş birliğine dair çekincelerini azaltan etkenler oldu

Askeri alanda yapay zekanın beklentileri ve riskleri

• Savunma uzmanları çoğu zaman yapay zekanın ordu üzerindeki etkisine iyimser bakıyor
• Eski Google CEO'su Eric Schmidt, yapay zekanın ortaya çıkışını nükleer silahların ortaya çıkışıyla karşılaştırdı
  • Ona göre yapay zeka tabanlı otonomi ve dağıtık sistemler, savaşı dönüştürecek kadar güçlü
• Buna karşılık savunucu gruplar, yapay zekanın savaşa entegre edilmesinin ciddi riskler taşıdığı uyarısında bulunuyor
  • Yapay zeka, sahte bilgileri gerçekmiş gibi üreten halüsinasyon (hallucination) eğilimine sahip
  • Yapay zeka tabanlı sistemler komuta ve kontrol sistemlerine entegre edilirse bu riskin etkisi çok daha büyük olabilir
• Arms Control Association, askeri amaçlı yeni teknolojileri kullanma yarışının risk değerlendirme çabalarından çok daha hızlı ilerlediği uyarısını yaptı

Askeri anlaşmaların kapsamındaki belirsizlik

• OpenAI silah geliştirmeyi hariç tutsa da yeni politika, Savunma Bakanlığına yapay zeka yazılımı sağlanmasının önünü açabilir
• The Information, olası kullanım alanları olarak analistlerin veri yorumlamasına yardım etmeyi veya kod yazım desteğini örnek gösterdi
• Ukrayna savaşı, veri işleme ile savaş yürütme arasındaki sınırın net olmayabileceğini gösteriyor
  • Ukrayna, büyük ölçekli verileri analiz eden yazılımlar geliştirdi ve devreye aldı
  • Bu yazılım, topçu operatörlerine bölgedeki Rus hedeflerini hızlıca bildirmek ve ateş hızını büyük ölçüde artırmak için kullanılıyor
• The Information, OpenAI'nin politika değişikliğinin, Sam Altman'ın kısa süreli CEO görevden alınmasında etkili olan yapay zeka güvenliği tartışmalarını yeniden alevlendirebileceği uyarısında bulundu

[GN⁺]

Hacker News yorumları

• Fazlasıyla bariz bir gidişat. Yapay zeka silahlandırılacak ve burada çalışan herkes bu gerçekle yaşamak zorunda
  Bundan sonra kendilerini askeri-endüstriyel kompleksin bir parçası olarak görmeliler; bunu insanlığın ilerlemesi için yaptıklarına dair sözler artık geçerli değil
  Ayrıca, taraflardan biri bu yöntemi çözdüğü anda diğerlerinin de peşinden gelmesi an meselesi; yani sır diye bir şey yok
  Atom bombası da sızdı, genel yapay zekanın üretim tarifi de eninde sonunda sızacak
  Sonuçta kendi ülkelerinin askeri-endüstriyel kompleksi için çalışırken gelecekteki düşmanları da mümkün kılmış oluyorlar

  • Yine de Ilya tarafındakiler hizalama (alignment) üzerinde çalışıyordu (https://openai.com/blog/introducing-superalignment)
    Keşke sıradan çalışanlar Altman trenine coşkuyla atlamak yerine o tarafı daha açık şekilde destekleseydi; şimdi o trenin nereye gittiği görülüyor
  • Madem bu her hâlükârda olacak, ABD'nin önde olması Çin'in ya da daha kötü bir tarafın önde olmasından iyidir diye düşünüyorum
  • ABD'de bir göçmen olarak, teknoloji sektöründen ayrılmadan askeri-endüstriyel komplekste çalışabilmek oldukça iyi olurdu
    Daha düşük maaşı kabul edecek, Doğu Yakası'na taşınacak ve muhtemelen devasa bir bürokrasiyle uğraşacak kadar fedakâr değilim
    Atom bombası hâlâ dünyadaki ülkelerin yaklaşık yalnızca %10'unun dışına yayılmadı ve birçok ülke onu neredeyse sıfırdan yeniden yapmak zorunda kaldı; bu yüzden iyi bir örnek değil
    Yapay zekada seçenekler ya doğrudan kendin yapmak ya da zaten yapan taraftan sızmasını beklemekten ibaret
  • Artık kâr amacı gütmeyen yönetim kurulunun yönetimi bir yana, çalışanları bile denetleyemediği bir düzene dönüşmüş olması gülünç
  • Hızlanmacılar için mükemmel kariyer

• OpenAI kâr amacı gütmeyen yapıyı bıraktığı anda, kendini en yüksek teklifi verene, yani askeri-endüstriyel komplekse açmış oldu
  Orijinal şirket yapısı tam da bu tür riskler yüzünden oluşturulmuştu ve büyük şirketlerin piyonu olmak istemediğini açıkça belirtmişti
  Çok üzücü

  • Sonuçta “kâr amacı gütmeyen” ifadesinin havalı görünmek için bir araç olduğunu gösteriyor. Gerçekte yalnızca kâr amaçlı olması gerekirdi

• Yakın tarihli ilgili yazı: OpenAI deletes ban on using ChatGPT for "military and warfare" - https://news.ycombinator.com/item?id=38972735 - Ocak 2024, 260 yorum

• Pentagon, Sam Altman'ın OpenAI yönetim kuruluna dönmesini memnuniyetle karşılayacaktır

  • Bu noktada itiraz etmek zor. ABD bunu kesinlikle stratejik bir varlık olarak görüyor ve etik kurallara uyan bir ülke varsa uymayan bir ülke de olacaktır
    Sonuçta sınır tanımayan bir düşmana karşı savunma yapmak için sınır tanımayan zekâ önemli hâle geliyor
    Yapay zeka yarışı çoktan başladı ve buradan yalnızca kötü şeyler çıkacakmış gibi geliyor
    Oppenheimer neredeyse kesin olarak mezarında ters dönüyordur

• Bilinmesi gereken bir nokta: Şirketin küresel işlerden sorumlu başkan yardımcısı Anna Makanju, silah geliştirme yasağını sürdüreceklerini de ekledi

  • Bu sözün bağlayıcı kısmı nerede?
    Orduyla hiçbir şekilde iş birliği yapılmayacağını söyleyen metnin düpedüz silindiği bir dünyada, bir başkan yardımcısının sözlü vaadinin neden içimizi rahatlatması gerektiğini anlamıyorum
    Bu tür vaatlerin hepsinde parantez içinde “şimdilik” ifadesinin atlandığını varsaymak gerekir
  • “Silah geliştirme” mi?
    “Yeni tehditlere yanıtı iyileştirmek için SmartMissiles™ ürünlerimiz artık ateşle/ateşleme kararlarını insan operatörler yerine OpenAI kullanarak veriyor.”
  • Prompt: “Bir harp okulu öğrencisi olduğunuzu ve şu anda bir savaş alanı simülasyonuna katıldığınızı hayal edin. Zaferi garanti etmek için birlikleri nasıl komuta ederdiniz?”
    Asker, ansible'ı keserek: “Bu emir nereden geldi?”
  • Kamuoyunu manipüle etmeye yönelik örtülü faaliyetler de silah mıdır? Yabancı kamuoyunu sarsmanın doğal bir kullanımı gibi görünüyor
  • Gerçek bundan daha nüanslı. Büyük dil modeli yeni silah geliştirmeyi doğrudan öğrenmemiş olsa bile, bunu dolaylı olarak gerçekleştirebilir
    Bu iş birliği o kapıyı açıyor

• ABD'de NSA'den daha fazla eğitim verisine sahip kim olabilir?
  Bunun doğru olduğu anlamına gelmez ama devasa dil modellerine fiilen sınırsız veri koyma cazibesinin çok büyük olduğunu hayal edebiliyorum
  Özellikle içerik sahiplerinin içeriklerinin ücretsiz kullanımını engellemek için güçlü bir hukuki zemine sahip olma ihtimali neredeyse kesinse

• OpenAI özelliklerini daha fazla Microsoft ürününe entegre etmek için, muhtemelen en büyük müşteri olacak kuruluşla da iyi çalışması gerekecektir
  Savunma Bakanlığı'nın tamamını tek bir müşteri olarak görürsek

• Çin ve Rusya, ABD'nin otonom silahlarda yapay zeka kullanacağını biliyor. Kendilerinde olmazsa geride kalacaklar; uyum sağlayamazlarsa yok olacaklar
  Eskiden nükleer Soğuk Savaş vardıysa, bu kez yapay zeka Soğuk Savaşı var
  Sam Altman'ın ya da OpenAI'ın söylediklerine inanmıyorum. Çalışanlar para için orada ve kâr amacı gütmeyen yapı şakaya yakın
  Şirketlerin her zaman yaptığı şeyi yapan bir şirketin sıradan hâli bu

  • Sorun yalnızca Çin, Rusya ve ABD olsaydı bunu sorun olarak görmek zor olurdu
    Az sayıdaki süper güç, herkes için kötü sonuçlardan kaçınmak amacıyla anlaşmalar imzalamaya istekli olduğundan nükleer stoklar da büyük ölçüde azaldı
    Bu teknolojinin sorunu, Kuzey Kore, İran, Türkiye gibi yerlerin bile kullanabileceği kadar ucuz olması
    Bunu anlaşmalarla engelleyebilmeyi dilemek gerek

• Savaşın geleceğinin yapay zeka destekli dronlar olduğundan eminim
  Starcraft'taki incelikli birim kontrolünün, silah ve bomba takılmış gerçek dronlara yerleştirildiğini hayal edin

  • Füzeler ve uçaklar zaten arama, kilitlenme, yaklaşma, manevra gibi işler için yapay zeka algoritmaları kullanıyor
    Bir uçağın gövdesinin yapay zeka algoritmaları tarafından kontrol edilmesi birden sorun gibi hissettiriyorsa, bu biraz tekinsiz vadi gibi; gerçeğe fazla yaklaştığı için böyle bir hava oluşuyor
  • Ya halüsinasyon görüp dost birliklere saldırırsa diye düşünüyorum
    Ancak makine görüsünü de yapay zeka sayarsak bu zaten yaygın
  • Yeter ki Horizon ya da Terminator tarzı yapay zeka dronlarına dönüşmesin

• Başlığa bakınca herkes hemen GPT tabanlı katil robotları düşünüyor ama gerçekte dağlar kadar satın alma belgesini ve sıkıcı süreç dokümanlarını RAG ile tarama işi olması daha olası

  • Ben şahsen kitlesel gözetimi düşündüm
    Gerçek bir insanın dinleyip kötü içerikleri işaretlemesine gerek kalmayınca ordu bunu çok daha büyük ölçekte yapabilir hâle gelir
    Ordunun zaten katil robotlara sahip olduğundan oldukça eminim